Actor-Critic

• OpenAI Five: Die Dota 2 KI nutzte PPO (eine Actor-Critic Variante) mit riesigen LSTMs.
• Robotik: Soft Actor-Critic (SAC) ist extrem effizient für physikalische Roboter (sample efficient).

1. Advantage Function $A(s, a)$

Der Critic berechnet nicht nur den Wert $V(s)$. Er berechnet den Vorteil (Advantage) einer Aktion. $A(s, a) = Q(s, a) - V(s)$. "Wie viel besser ist diese Aktion als der Durchschnitt in diesem Zustand?" Dieses Signal nutzt der Actor für sein Update. Das reduziert das Rauschen massiv.

2. A3C (Asynchronous Advantage Actor-Critic)

Ein Durchbruch von DeepMind (2016). Mehrere Agenten (Workers) spielen parallel in Kopien der Umgebung. Sie pushen ihre Erfahrungen asynchron in ein globales Netz. Das bricht Korrelationen auf und beschleunigt das Training linear mit der CPU-Kern-Zahl.

1. Generalized Advantage Estimation (GAE)

Die Berechnung des Advantages $A(s, a)$ ist das Herzstück. Nehmen wir den N-Step-Return: Wir können den Critic nur auf den nächsten Schritt schauen lassen (High Bias, Low Variance) oder auf das komplette Ende der Episode (Low Bias, High Variance). GAE (Schulman et al., 2015) führt einen Hyperparameter $\lambda$ ein. Er glättet elegant den Übergang und interpoliert exponentiell abfallend zwischen allen N-Step-Temporal-Difference (TD) Returns. $$ A^{GAE(\gamma, \lambda)}t = \sum{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}^V $$ Mit $\delta$ als TD-Error. In Production ist GAE faktisch der Goldstandard, um das Bias-Variance-Tradeoff bei PPO Actor-Critic Modellen zu beherrschen.

2. Shared Network Architectures

Sollen Actor und Critic in einem dicken Backbone-Netz (z.B. einem CNN) leben und sich erst vor der Output-Schicht splitten, oder sollen sie komplett disjunkte Netze sein? In der Praxis (z.B. Atari-Games) extrahieren Convolutional Layers die exakt gleichen visuellen Features ("Wo ist der Gegner?"), was massiv Rechenzeit spart ($=$ Shared Architecture). Das Problem: Der Critic-Gradient ist meist viel aggressiver und lauter als der Policy-Gradient, was dazu führt, dass der Actor im Netz "überschrieben" wird (Destructive Interference). Als Fix nutzt man Orthogonal Initialization und massiv beschnittene Loss-Koeffizienten für die Value-Function ($L = L_{clip} - c_1 L_{VF} + c_2 S$).

3. Soft Actor-Critic (SAC) vs. Maximum Entropy

Normale Actor-Critic-Ansätze suchen die eine perfekte deterministische Policy. Das macht sie extrem fragil. Wenn man Roboter trainiert, will man Exploration erzwingen. Soft Actor-Critic dreht die Loss-Funktion komplett um (Maximum Entropy RL). Der Agent soll nicht nur den Reward maximieren, sondern gleichzeitig die Zufälligkeit (Entropie $\mathcal{H}$) seiner Aktionen so hoch wie möglich halten. $$\pi^* = \arg \max_{\pi} \sum_t \mathbb{E}[r(s_t, a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t))]$$ Resultat: Der Agent schließt Trivial-Pfade nicht frühzeitig aus. Wenn eine Route fehlschlägt (weil sich die Robot-Gearbox klemmt), hat die Policy "weiche" kompetente Backup-Pfade gelernt. Das macht SAC zum Alpha-Tier der Continuous Control.