Q-Learning

Für einfache Spiele (Snake, Grid World). Wenn der Zustandsraum klein ist. Wenn er riesig ist (Atari Games: Pixel-Kombinationen sind fast unendlich), nimmst du Deep Q-Networks (DQN). Da ersetzt ein Neural Network die Tabelle. Das machte DeepMind 2013 berühmt (Atari Breakout).

1. Off-Policy

Q-Learning ist Off-Policy. Es lernt den Wert der optimalen Strategie, auch wenn es sich gerade zufällig (Exploration) bewegt. Formel: $Q(s,a) \leftarrow Q(s,a) + \alpha [R + \gamma \max Q(s',a') - Q(s,a)]$. Das $\max$ bedeutet: "Ich nehme an, dass ich in Zukunft optimal handle."

2. Exploration vs Exploitation

Das ewige Dilemma. Soll ich das tun, was ich schon kenne (Exploit)? Oder was Neues probieren (Explore, $\epsilon$-Greedy)? Ohne Exploration bleibst du dumm. Ohne Exploitation kriegst du keine Punkte.

1. Overestimation Bias (Double DQN)

Ein fundamentaler Mathe-Fehler im reinen Q-Learning ist der Overestimation Bias. Die Bellman-Gleichung nutzt $\max Q(s',a')$ – sie schaut auf den nächsten Zustand und wählt den maximal vermuteten Wert. Da Q-Werte anfangs verrauscht (randomisiert) sind, zieht die max()-Funktion unweigerlich das statistische Rauschen (Noise) mit positiven Fehlern konstant nach oben. Der Agent überschätzt massiv den Wert von Nonsens-Aktionen. Double DQN (DDQN) löst diesen Bug meisterhaft, indem es Netzwerke entkoppelt: Netzwerk A wählt die Aktion (Argmax: "Was denkst du ist am besten?"). Netzwerk B bewertet den tatsächlichen Q-Wert für exakt diese Aktion. Wenn A wegen Noise eine Aktion pusht, B das aber rationaler bewertet, verhindert Dualität die Eskalation der Werte. Das resultiert in enormer Trainingsstabilität.

2. Experience Replay & i.i.d. Assumption

Deep Learning (Stochastic Gradient Descent) bricht zusammen, wenn die Trainingsdaten hoch korreliert sind. Im RL wandert der Agent durch das Level: Die Frames $t=1$, $t=2$ und $t=3$ zeigen fast exakt dasselbe Bild. Wenn man das DQN stur in dieser Reihenfolge trainiert, formt das Netz sich sofort komplett um ("Catastrophic Forgetting") und "overfittet" auf die letzte Sekunde des Erlebnisses. Die Lösung ist der Reply Buffer. Der Agent sammelt eine Million Transitions $(s_{t}, a_{t}, r_{t}, s_{t+1})$ in einem Array. Beim Training vergisst er den aktuellen Spielfluss. Stattdessen zieht er Minibatches (z.B. 64 Frames) rein zufällig aus alten Erlebnissen! Dadurch wird das Neuronale Netz gezwungen, das Konzept "Laufen" global zu verinnerlichen, anstatt stur die Sequenz kurz vor dem Tod auswendig zu lernen.

3. Dueling Architectures

Stell dir den Zustand "Auto fährt frontal auf Klippe zu" vor. Egal ob du links (Aktion A) oder rechts (Aktion B) lenkst, der Wert (Q) beider Aktionen ist $-1000$. Der Zustand selbst ist schrecklich, die Aktion ist egal. Klassische Q-Networks berechnen $Q(s,a)$ direkt. Die Dueling DQN Architektur (Wang et al., 2015) spaltet den letzten Layer des Netzwerks mit einem chirurgischen Schnitt auf: Ein Stream berechnet $V(s)$ (State Value: Wie toll ist es, hier zu sein?). Der zweite Stream errechnet $A(s,a)$ (Advantage: Wie viel besser/schlechter ist Aktion X, gegenüber dem Durchschnitt dieses States?). Das Netz fügt sie am Ende wieder zusammen: $Q = V + A$. Vorteil: Das Netz lernt viel schneller, gefährliche States (Klippe) absolut zu hassen, ohne für "Klippe+Links" und "Klippe+Rechts" den Schmerz zweifach mühsam aus Fehlern durchrechnen zu müssen.