Transformer

Früher (vor 2017) nutzte man RNNs (Recurrent Neural Networks) für Sprache. Die lasen Wort für Wort: "Der" -> "Hund" -> "läuft". Das war langsam und vergaß den Anfang des Satzes. Der Transformer (Google Paper: "Attention Is All You Need") änderte alles. Er liest den ganzen Satz auf einmal (parallel). Er nutzt Self-Attention, um zu verstehen, wie jedes Wort mit jedem anderen Wort zusammenhängt. ("Bank" im Kontext von "Fluss" vs. "Geld"). Der Transformer ist das Fundament aller modernen KIs (ChatGPT, BERT, Stable Diffusion).

Merksatz: Eine Deep-Learning-Architektur, die auf dem Self-Attention-Mechanismus basiert und Sequenzen parallel verarbeitet, wodurch sie deutlich leistungsfähiger für NLP-Aufgaben ist als ältere rekurrente Netze (RNNs).

Du nutzt es jeden Tag. Google Translate, DeepL, ChatGPT. Als Entwickler: Nutze die Hugging Face Transformers Library (Python). pipeline('sentiment-analysis')("I love this!"). Lade vortrainierte Modelle (BERT, RoBERTa) und fine-tune sie auf deinen Daten. Trainiere keinen Transformer von Null an (zu teuer, zu viele Daten nötig).

1. Encoder-Decoder

Das Original-Paper hatte zwei Teile:

Encoder: Versteht den Input (z. B. Englischer Satz). Nutzt Self-Attention.
Decoder: Generiert den Output (z. B. Französischer Satz). Nutzt Masked Self-Attention (darf nicht in die Zukunft gucken). BERT nutzt nur den Encoder (Verstehen). GPT nutzt nur den Decoder (Generieren). T5 nutzt beides.

2. Positional Encoding

Da der Transformer keine Reihenfolge kennt (alles parallel), muss man ihm die Position injizieren. Man addiert Sinus/Cosinus-Wellen auf die Word Embeddings (PE(pos, 2i) = sin(pos/10000...)). So "weiß" das Netz, dass Wort 1 vor Wort 2 kommt.

1. Scaled Dot-Product Attention (Die Mathe dahinter)

Warum ist Attention so gut? Es nutzt drei Vektoren: Query (Q), Key (K) und Value (V). Stell dir eine Bibliothek vor:

Query: Deine Suchanfrage.
Key: Der Titel auf dem Buchrücken.
Value: Der Inhalt des Buches. Der Transformer berechnet die Ähnlichkeit zwischen Q und K (Dot Product) und nutzt das Ergebnis, um zu entscheiden, wie viel vom Value (V) gewollt ist. Die Formel: $\text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V$. Das $\sqrt{d_k}$ ist ein Skalierungsfaktor für stabile Computer-Berechnungen (verhindert extrem große Zahlen in der Softmax-Funktion). Multi-Head Attention macht das Ganze einfach 8 oder 16 Mal parallel, um verschiedene "Aspekte" (Grammatik, Bedeutung, Emotion) gleichzeitig zu erfassen.

2. Quadratic Complexity & Sparse Attention

Das größte Problem: Die Rechenlast steigt quadratisch mit der Länge des Textes ($O(n^2)$). Verdoppelst du den Text, braucht der Transformer vierfache Rechenleistung und Speicher. Das liegt daran, dass jedes Wort mit jedem anderen Wort verglichen wird. Moderne Forschung (z. B. Longformer, FlashAttention) versucht dies auf $O(n \log n)$ oder $O(n)$ zu drücken, indem man "Sparse Attention" nutzt – ein Wort schaut nicht auf alle anderen, sondern nur auf seine Nachbarn und ein paar globale "Anker-Worte".

3. Layer Normalization & Residual Connections

Transformer sind extrem tief (bis zu 175 Milliarden Parameter). Damit Signale nicht im Rauschen untergehen, nutzt man Residual Connections (Skip Connections): Das Original-Signal wird an der Schicht vorbeigeleitet und am Ende wieder addiert. Layer Normalization sorgt dafür, dass die Zahlenwerte nicht explodieren oder gegen Null gehen (Vanishing Gradients). Erst diese mathematischen Tricks machten es möglich, Netze mit hunderten Schichten stabil zu trainieren, ohne dass die KI während des Lernens "verrückt wird".