Natural Language Processing (NLP)

• Spam-Filter: Klassifikation ("Ist diese Mail Müll?").
• Übersetzer: Google Translate (Seq2Seq).
• Sentiment Analysis: Firmen überwachen Twitter: "Reden die Leute positiv oder negativ über unser neues Produkt?"
• Chatbots: Siri, Alexa, GPT.

1. Word Embeddings (Vektorraum)

Wie rechnet man mit Wörtern? Man wandelt sie in Zahlenvektoren um. König - Mann + Frau = Königin. In einem hochdimensionalen Raum liegen Wörter mit ähnlicher Bedeutung nahe beieinander ("Apfel" riesig nahe bei "Birne", weit weg von "Auto"). Berühmte Modelle: Word2Vec, GloVe.

2. NER (Named Entity Recognition)

Das Extrahieren von Fakten. Satz: "Elon Musk kauft Twitter für 44 Milliarden." NER erkennt:

• Person: "Elon Musk"
• Firma: "Twitter"
• Geld: "44 Milliarden" Das macht unstrukturierten Text zu strukturierten Daten.

1. Byte-Pair Encoding (BPE) & Out-of-Vocabulary Problem

Der primitive Ansatz des Tokenizings war Wort für Wort ("Haus" -> Token 1). Das explodiert bei flektierten Sprachen an RAM. Eine Unmenge an Endungen ("liest", "las", "lesend") zerreißt Embeddings Matrix Caches. Moderne NLP Architektur benutzt radikal sub-word Algorithmen wie Byte-Pair Encoding (BPE) (eingesetzt bei GPT) oder WordPiece (BERT). BPE startet bei simplen Buchstaben (A, B, C...) und verschmilzt in Tausenden Durchgängen die mathematisch häufigsten Paare (e+n = en). Dadurch wird "Erdbeerbaumhaus" – ein Wort, das in nie einen Textbuch gelernt wurde – gnadenlos in bekannte Fragmente gerissen (Erd, beer, baum, haus). Das verhindert das verheerende Out-of-Vocabulary (OOV) Problem, da Modelle für fremde Begriffe nicht mehr panisch ein universelles (UNKN) Token setzen müssen, was vormals ganze Maschinen-Übersetzungs-Flows zum Entgleisen brachte.

2. Attention Matrix & Encoder-Decoder Dilemma

Vor 2017 (RNNs und LSTMs) vergaß das KI Netz das erste Wort im Satz, sobald es bei Wort 20 angekommen war (Vanishing Gradient Information Loss). Die Sequence-to-Sequence Übersetzung ("Ich kaufe Äpfel" -> "I buy apples") lag im Nebel. Die "Attention Is All You Need" (Transformer) Architektur verwarf zeitliche Wiederholung. Es berechnet eine riesige $N \times N$ Self-Attention Matrix (Dot Products zwischen Query und Key Vektoren). Der Attention Mechanism balanciert exakt den mathematischen Bezug jedes Token ZU JEDEM ANDEREN im Satz. Bei "Das Auto bog ab, da es kaputt war", feuert der Parameterwert im Vektor zwischen "es" und "Auto" tiefgreifend auf. Die CPU-Schlagzeile dabei: Die O-Complexity dieses Graphen wächst mit $O(N^2)$ (quadratisch zur Textlänge), weswegen alte Transformer massiv an der 4k Textfenster-Grenze im GPU VRAM RAM gnadenlos implodierten (bis FlashAttention Hardware-Hacks das fixierten).

3. Masked Language Modeling (MLM) vs Causal Language Modeling (CLM)

Das Training der neuronalen Gewichte von NLP unterscheidet zwei massive Philosophien im Self-Supervised-Space. Google BERT war der König des Masked Language Modeling. Der Computer liest "Der Himmel ist [MASK] und wolkenlos." Das Netz darf die Zukunft und die Vergangenheit inspizieren (Bidirektionalität via Encoder). Es rät "blau". Exzellent, tiefgreifend brillant im Verstehen von Kontext und Semantik Analysen. OpenAI GPT setzte auf Causal Language Modeling (Autoregressive). Das Netz ist blind für die Rechte Seite. Es sieht nur "Der Himmel ist". Es berechnet probabilistisch die Next-Token-Probability und spuckt "blau". Das ist brutal schwächer im reinen semantischen Erkennen (weil es den Schlusssatzteil absichtlich ausblendet!), dominiert aber als Decoder-Pattern durch brutale Generierungs-Freiheit auf Millionen Terabytes Wikipedia, wie Magie ganze Romane fehlerfrei in Serie fortzuschreiben!