VAE (Variational Autoencoder)

Ein normaler Autoencoder komprimiert ein Bild (Encoder) in einen Zahlencode (Latent Space) und dekomprimiert es wieder (Decoder). Ziel: Input = Output. Problem: Der Latent Space ist "löchrig". Wenn du einen zufälligen Code nimmst, kommt Müll raus. Ein VAE zwingt den Latent Space dazu, schön glatt (kontinuierlich) zu sein (meist eine Gauß-Glockenkurve). Dadurch kannst du im Latent Space "spazieren gehen" (interpolieren). Von "lachendes Gesicht" zu "weinendes Gesicht" gibt es einen fließenden Übergang. VAEs sind die mathematisch saubere Version von generativen Modellen.

Merksatz: Ein generatives Modell, das lernt, Eingabedaten in eine probabilistische Verteilung im latenten Raum zu kodieren, was das Generieren neuer, ähnlicher Daten durch Sampling und Interpolation ermöglicht.

Disentanglement: Lerne Faktoren wie "Haarfarbe", "Blickwinkel", "Lächeln" getrennt voneinander zu steuern (Beta-VAE).
Anomalie-Erkennung: Trainiere VAE auf "gesunden Maschinen". Wenn eine kaputte Maschine kommt, ist der "Reconstruction Error" hoch (weil der VAE das Bild nicht kennt).
Komponenten in Diffusion Models: Stable Diffusion nutzt einen VAE, um Pixel in Latents zu wandeln.

1. Reparameterization Trick

Das Herzstück. Normalerweise kann man durch "Zufall ziehen" (Sampling) nicht backpropagieren (Gradienten fließen nicht durch Zufall). Der Trick: $z = \mu + \sigma \cdot \epsilon$ (wobei $\epsilon$ Standard-Rauschen ist). Jetzt sind $\mu$ (Mittelwert) und $\sigma$ (Varianz) lernbare Parameter, und der Zufall ($\epsilon$) ist ausgelagert. Das macht das Netz trainierbar.

2. KL-Divergenz

Die Loss-Funktion hat zwei Teile:

Reconstruction Loss: Input - Output (wie gut ist das Bild?).
KL-Divergenz: Wie sehr unterscheidet sich mein Latent Space von einer Normalverteilung? (Regularisierung).

1. ELBO (Evidence Lower Bound)

Warum heißt es "Variational"? Wir wollen eigentlich die Verteilung $P(z|x)$ berechnen (welches $z$ passt zu meinem Bild $x$). Das ist mathematisch unmöglich ("intractable"). Stattdessen nutzen wir eine Näherung $Q(z|x)$ – das ist unser Encoder-Netzwerk. Der VAE optimiert die ELBO. Das ist eine mathematische Untergrenze für die Ähnlichkeit der Daten. Wenn wir die ELBO maximieren, schrumpft automatisch der Abstand zwischen unserer Näherung und der echten Wahrheit. Das Training ist also eine reine Übung in Bayes'scher Statistik, verpackt in ein neuronales Netz.

2. Posterior Collapse

Ein gefürchtetes Problem beim Training, besonders wenn der Decoder sehr stark ist (z. B. ein Pixel-für-Pixel autoregressives Modell). Der Decoder wird so gut darin, Bilder zu "erraten", dass er den Code vom Encoder ($z$) komplett ignoriert. Der Encoder gibt dann nur noch Rauschen aus, und die KL-Divergenz sinkt auf Null. Die KI hat "aufgegeben", Zusammenhänge zu lernen. Man löst dies durch KL-Annealing: Man fängt an, nur den Reconstruction-Loss zu zählen, und schaltet die KL-Regularisierung (den Zwang zur Normalverteilung) erst ganz langsam über tausende Iterationen hinzu.

3. VAE-GAN und Latent Diffusion

VAEs allein erzeugen oft "verwaschene" Bilder, da die KL-Divergenz das Netz dazu zwingt, "average" zu sein (keine extremen Pixelwerte). Um das zu fixen, nutzt man oft Hybrid-Architekturen:

VAE-GAN: Der VAE lernt die Struktur, ein kleiner GAN-Teil am Ende schärft die Details nach.
Latent Diffusion: Dies ist der Durchbruch von Modellen wie Stable Diffusion. Anstatt das Rauschen direkt auf den Pixeln zu berechnen (teuer!), nutzt man einen VAE, um das Bild in einen kompakten Latent Space zu drücken. Die eigentliche Magic (Diffusion) passiert dann nur im "Zahlenraum" des VAE. Das macht das Generieren von 512x512 Bildern überhaupt erst auf Heim-GPUs möglich.