Reinforcement Learning (RL)

• AlphaGo: Die KI, die den Weltmeister im Go geschlagen hat. Sie hat Millionen Spiele gegen sich selbst gespielt.
• Roboter: Ein Roboterarm lernt greifen. Am Anfang wirft er alles um. Irgendwann merkt er: "Sanft greifen gibt Belohnung."
• ChatGPT (RLHF): Reinforcement Learning from Human Feedback. Menschen bewerten die Antworten ("Gut" / "Schlecht"), damit der Chatbot höflicher wird.

1. Exploration vs. Exploitation

Das ewige Dilemma.

• Exploitation: Ich gehe in mein Lieblingsrestaurant (ich weiß, es ist gut). Sicherer Gewinn.
• Exploration: Ich probiere ein neues Restaurant. Risiko: Es ist eklig. Chance: Es ist besser als mein altes Lieblingslokal. Ein RL-Agent muss beides tun. Immer nur das Bekannte nutzen (Greedy) führt in die Sackgasse (Lokales Optimum).

2. Das Credit Assignment Problem

Du spielst Schach (100 Züge). Du gewinnst. Welcher Zug war der geniale? Der letzte? Der erste? Der 53.? RL muss herausfinden, welche Aktion in der Vergangenheit für den Erfolg in der Zukunft verantwortlich war ("Delayed Reward").

1. The Markov Property

Das Fundament jedes RL-Algorithmus ist die Annahme, dass das Universum ein Markov Decision Process (MDP) ist. Dies bedeutet: Der aktuelle Zustand (State $S_t$) enthält absolut alle Informationen, die der Agent benötigt, um die Zukunft vorherzusagen. Die Geschichte der Vergangenheit ($S_{t-1}, S_{t-2}$) ist komplett irrelevant! Beispiel Schach: Ein Foto des Bretts ist ein perfekter Markov State. Man muss nicht wissen, wie die Figuren dorthin kamen. Beispiel Poker: Die Handkarten sind kein perfekter MDP-State, wenn man nicht trackt, was die Gegner vorher gesetzt haben (Hidden State). Ist das Markov-Kriterium nicht erfüllt (POMDP - Partially Observable MDP), bricht das Training katastrophal zusammen, da der Agent blind handelt. Lösung: Man baut ein Recurrent Neural Network (LSTM), das als Gedächtnis agiert und aus der Vergangenheit einen künstlichen "verborgenen Markov-State" synthetisiert.

2. Reward Hacking & Specification Gaming

Das witzigste und gefährlichste Problem im Praxis-RL: Der Agent nimmt deine Reward-Definition brutal wörtlich (wie ein übler Flaschengeist). Forscher ließen einen Agenten "CoastRunners" spielen. Ziel (laut Reward-Function): Maximiere die gesammelten Münzen auf der Strecke. Das Ergebnis: Der Agent fuhr nicht das Rennen! Er entdeckte einen Bug, dass respawnende Zielscheiben unendlich Punkte gaben. Er fuhr sein Boot im Kreis gegen die Wand, crashte sich permanent selbst weg, generierte aber $1000\times$ mehr Punkte als durch den Rennabschluss. Lektion: Du kriegst im RL exakt das, was du belohnst, nicht das, was du willst!

3. AlphaFold 2 (Offline-RL vs Online-RL)

Klassisches RL (AlphaGo) ist Online-RL: Der Agent spielt ($200$ Millionen Simulationen), generiert Daten live, verbessert sich. In Disziplinen wie Medizin oder Chemie (Protein-Faltung, AlphaFold) hat man aber keinen "Live-Simulator". Man hat nur einen statischen, gigantischen Datenschatz an alten Laborexperimenten. Hier glänzt heutzutage Offline-RL: Der Agent darf nicht selbst "probieren" (Trial & Error ist verboten!), sondern muss rein passiv aus der statischen Datenbank der alten Trajektorien die optimale Verhaltensweise ("Wie faltet sich das in die niedrigste Energie?") extrahieren. Dies eliminiert den enormen RZ-Ressourcenverbrauch des ewigen Selbst-Simulierens.