Policy Gradient

• AlphaGo: Nutzte Policy Networks, um den besten Zug auszuwählen.
• Robotik: Einen Roboter laufen lassen (Simulation). Jede Sekunde entscheidet die Policy die Gelenkwinkel.
• ChatGPT (RLHF): PPO (Proximal Policy Optimization) ist ein moderner Policy Gradient Algorithmus.

1. The REINFORCE Algorithm

Der Urvater. Update $\theta = \theta + \alpha \cdot G_t \cdot \nabla \ln \pi(A_t | S_t)$. $G_t$ ist der "Return" (Gesamtbelohnung). Problem: Hohe Varianz. Zufällige Aktionen führen zu sehr unterschiedlichen Belohnungen. Das Training ist "shaky".

2. Baseline

Um die Varianz zu senken, zieht man eine "Baseline" ab. Statt $G_t$ optimiert man $G_t - b(S_t)$. Wenn eine Aktion "besser als der Durchschnitt" ($b$) war, wird sie verstärkt. Das führt zu Actor-Critic Methoden.

1. PPO (Proximal Policy Optimization)

Das Hauptproblem von Vanillia Policy Gradients (wie REINFORCE) ist der "Destructive Update"-Fehler. Ein einziger schlechter, riesiger Gradienten-Schritt im neuronalen Netz zerschießt die gesamte mühsam gelernte Policy, woraufhin der Roboter plötzlich komplett vergisst, wie man geht ("Policy Collapse"). OpenAI löste dies 2017 mit PPO. Der Algorithmus erzwingt eine "Trust Region". Die Loss-Funktion beinhaltet eine Clipping-Mechanik (meist $\epsilon = 0.2$): Sie verbietet dem neuronalen Netz schlichtweg, sich in einem einzigen Trainingsschritt um mehr als 20% von der vorherigen Policy wegzubewegen. Wenn ein Update extrem gut aussieht, kappt PPO den Gradienten. Das macht das Training stetig monoton steigend, extrem robust und ist der Hauptgrund, warum ChatGPT im RLHF-Schritt mit PPO trainiert wurde.

2. The Policy Gradient Theorem

Warum funktioniert das mathematisch überhaupt? Wenn wir die Welt (Env) nicht kennen, können wir die Belohnungsfunktion nicht direkt ableiten! Das Policy Gradient Theorem liefert den magischen Beweis: Wir müssen die Dynamik der Welt ($P(s'|s,a)$) überhaupt nicht ableiten! Die Formel $\nabla J(\theta) = \mathbb{E}{\pi} [ \nabla{\theta} \log \pi_{\theta}(a|s) \cdot Q^{\pi}(s,a) ]$ besagt: Du nimmst einfach die Trajektorien (Erfahrungen), multiplizierst den Gradienten deines Netzes (Log-Wahrscheinlichkeit der Aktion) mit dem tatsächlichen Return ($Q$). Fertig. Die unsichtbaren Übergangswahrscheinlichkeiten der Welt kürzen sich bei der formalen Ableitung komplett raus. Das ist der Grundstein für "Model-Free" RL.

3. Continuous Control & Gaussian Policies

Bei Q-Learning wählt das System diskrete Aktionen (Left, Right, Jump). Ein Roboterarm hat aber 6 Gelenke mit stufenlosen Drehmomenten ($-1.0$ bis $+1.0$). Wenn man das diskretisiert ($0.1, 0.2, \dots$), explodiert der Dimension-Space ("Curse of Dimensionality"). Policy Gradients lösen Continuous Control elegant: Das Neural Net gibt nicht "Left/Right" aus, sondern die Parameter einer Wahrscheinlichkeitsverteilung. Meistens sind das $\mu$ (Mittelwert) und $\sigma$ (Standardabweichung) einer Gaussverteilung. Die Engine sampelt eine echte reelle Zahl in jeder Millisekunde (z.B. $0.4392$ Ampere Stromstärke für den Motor). Wenn die Belohnung positiv war, schiebt das Backpropagation das $\mu$ in diese Richtung und schrumpft das $\sigma$ (wird sicherer).