Large Language Model (LLM)

ChatGPT, Claude, Gemini. Use Cases:

• Zusammenfassen von langen Texten.
• Programmieren (Copilot).
• Übersetzen. Wichtig: Prompt Engineering. Wie man fragt, bestimmt die Qualität der Antwort.

1. Transformer-Architektur (Attention)

Der Durchbruch (Google 2017). Frühere Modelle (RNN) lasen Wort für Wort (linear). Sie vergaßen den anfang des Satzes. Transformer nutzen Self-Attention: Sie schauen sich den ganzen Satz gleichzeitig an und verstehen Zusammenhänge ("Jenes 'Bank' bezieht sich auf den Fluss, nicht das Geld").

2. Tokenization

LLMs lesen keine Buchstaben. Sie lesen Tokens. "Hamburger" = "Ham", "bur", "ger" (oder ähnlich). Deshalb sind sie schlecht im Zählen von Buchstaben ("Wie viele R hat Strawberry?"). Sie sehen das Wort als ein Symbol, nicht als Zeichenkette.

1. KV-Cache Memory Management (vLLM & PagedAttention)

Der größte Bottleneck beim Betreiben von LLMs in Production (Inference) ist nicht die Tensor-Multiplikation, sondern das VRAM-Memory-Limit der GPUs. Während der Token-Generierung muss die Transformer-Architektur die berechneten Key- und Value-Tensoren vergangener Tokens peinlich genau zwischenspeichern (um nicht $O(n^2)$ jedes Wort beim nächsten Token neu zu berechnen). Das Problem: Man weiß nicht, ob der User 10 oder 10.000 generierte Tokens beansprucht, was zu enormer Speicher-Fragmentierung führte. Frameworks wie vLLM lösten das durch PagedAttention. Die KV-Cache-Blöcke werden winzig gestückelt und wie RAM-Paging im Linux-OS virtuell zusammengeführt. Mehrere parallele GPU-User "teilen" sich physikalisch denselben Systemprompt im VRAM, was den Server-Durchsatz oftmals verfünffacht.

2. Autoregressive Entropie und Mode Collapse

LLMs sind strikt "autoregressiv Causal Language Models". Sie sehen die Zukunft nicht. Beim Generieren des 5. Wortes liegt die Verteilung für das 20. Wort noch brutal im mathematischen Nebel (hohe Shannon-Entropie). Ein gravierendes Problem beim Reinforcement Learning from Human Feedback (RLHF) via PPO-Algorithmen ist Mode Collapse oder das Verlustieren der Diversität. Das Reward Model peitscht das LLM, immer exakt den "sichersten, freundlichsten" Tonfall zu spucken. Die Wahrscheinlichkeitsverteilung des Modells degeneriert, es weigert sich seltene Worte zu verwenden. Dadurch fangen Output-Texte an, den typischen "ChatGPT-Vibe" anstatt der scharfen Edge-Cases und verrückten Sprach-Nuancen des Pre-Trainings zu präsentieren (KL-Divergenz-Strafen im RLHF versuchen das notdürftig einzugrenzen).

3. Mixture of Experts (MoE) und Sparsity

GPT-4 hat weit über eine Billion Parameter, doch wendet es pro einzelnem Wort gar nicht das gesamte Gehirn an. Es ist ein MoE (Mixture of Experts) Netzwerk. Statt eines fetten Matrix-Multiplikators der Feed-Forward-Schicht enthält das Netz z. B. 8 unabhängige "Spezialisten" (Code, Mathe, Lyrik...). Als das Token in Layer 3 einschlägt, feuert ein Gating-Router-Network. Der Router berechnet das Softmax-Gewicht und leitet das Signal nur an die beiden Top-Experten weiter, die anderen 6 verschlafen den Millisekunden-Cycle (Sparse Activation). So erreicht man ein Modell, das unfassbare 1.7T Parameter Weltwissen in der Festplatte birgt, bei Inference jedoch den VRAM-Rechenzyklus so limitiert, als wäre es nur ein kleines 200B Modell.