GPT (Generative Pre-trained Transformer)

Via API (OpenAI API). Prompt Engineering: "Du bist ein hilfreicher Assistent. Fasse diesen Text zusammen." Oder lokal mit Open-Source-Alternativen (LLaMA, Mistral). Anwendungsfälle: Chatbots, Code-Generierung (Copilot), Zusammenfassungen, Übersetzungen.

1. RLHF (Reinforcement Learning from Human Feedback)

Das rohe GPT-Modell ist "wild". Es kann beleidigend sein oder lügen. Um ChatGPT zu machen, nutzte OpenAI RLHF. Menschen bewerten Antworten ("Das ist gut", "Das ist schlecht"). Ein Belohnungsmodell (Reward Model) lernt diesen Geschmack. Das GPT-Modell wird dann per PPO (Reinforcement Learning) optimiert, um maximale Belohnung zu kriegen. Das macht es "aligned" und hilfreich.

2. Scaling Laws

Die Erkenntnis (Kaplan et al.): Performance skaliert logarithmisch mit Datenmenge und Modellgröße. Mehr Daten + Größeres Modell + Mehr Compute = Besseres Ergebnis. Das trieb den jetzigen AI-Hype (immer größere GPUs).

1. KV-Cache und Inference Costs (Memory Bound)

Im Deep Learning Inference ist GPT nicht Compute-gebunden, sondern Memory Bandwidth-gebunden. Wenn GPT das 100ste Token eines Tokens erzeugt, berechnet Attention die Matrix zu den vorherigen 99 Tokens. Beim 101sten Token berechnet es Attention gegen alle 100. Um ständiges Rechen-Redundanz-Chaos zu vermeiden, speichert die Engine im VRAM der GPU den KV-Cache (Key/Value Tensors) aller in der Vergangenheit ausgerechneten Tokens dieses einen Requests (Context Window). Ein 100k Token Context-Hit für einen User verschlingt Gigaybtes an HBM-RAM (High-Bandwith Memory). Um 10.000 User auf dem gleichen Nvidia H100 Cluster per Sekunde zu bedienen, müssen Algorithmen wie PagedAttention (vLLM) entwickelt werden. Diese zerhacken den Memory extrem ähnlich wie Kernel-Page Tables, um VRAM-Fragmentierung zu eliminieren.

2. Instruct-Tuning und PPO (Proximal Policy Optimization)

Base-Modelle "completen" Texte nur: Input "Die Hauptstadt ist " -> Output "Berlin". Input: "Wie backe ich Pizza?" -> Output: "... eine oft gestellte Frage". Es antwortet nicht im Dialog. Um ChatGPT-Fähigkeiten aufzubauen (Instruction Following), bedarf es Supervised Fine-Tuning (SFT) gepaart mit RLHF. Nach dem Belohnungs-Rating greift das Reinforcement Learning (meist PPO). Der PPO Algorithmus wendet kleine Policy-Gradients Verschiebungen auf die neuralen Gewichte an, damit gut bewertete Formulierungen wahrscheinlicher sind. Wichtig: Eine KL-Divergenz-Penalty sichert das PPO ab. Wenn das Netz seine Sprache zu stark ins Kuriose abändert, nur um hohe Rewards zu erzielen (Reward Hacking), bestraft die Penalty das Abweichen vom originalen Base-Modell rigoros.

3. Mixture of Experts (MoE)

Im Kampf um Intelligenz wachsen Parameter auf > 1 Billion (Trillion). Dense-Modelle verbrauchen für jedes generierte Wort alle 1.000 Milliarden Tensor-Gewichte. GPT-4 (verbreitete Annahme) und Mixtral wechseln auf MoE Architecture. Das gewaltige Netz ist physisch aufgeteilt in (z. B.) 8 Expert-Netze. Ein Router/Gating Network lenkt beim Generieren jedes einzelnen Tokens den Datenstrom zu nur exakt zwei Subnetzen ("Code-Expert" und "Grammatik-Expert"). Obwohl das Modell gigantisch 1.7 Trillionen Weights im VRAM frisst (Storage Kost), werden bei der Inference pro Forward-Pass nur 200 Milliarden Weights heiß, was Compute und Stromverbrauch massiv senkt (Sparse Activation).