Diffusion Model

Stable Diffusion WebUI (Automatic1111). Text-to-Image: "A cyberpunk city, neon lights, 8k". Image-to-Image: Skizziere grob etwas, lass die KI es schön machen. Inpainting: Markiere einen Bereich (z. B. T-Shirt) und sage "Change to flowers".

1. Latent Diffusion

Bilder haben viele Pixel (1024x1024 = 1M Dimensionen). Direkt darauf zu rechnen ist langsam (Pixel Space). Latent Diffusion (wie in Stable Diffusion) nutzt einen VAE (Variational Autoencoder). Er komprimiert das Bild in einen kleinen "Latent Space" (z. B. 64x64). Die Diffusion passiert in diesem komprimierten Raum (sehr schnell). Am Ende dekodiert der VAE das Bild wieder hoch.

2. CLIP (Contrastive Language-Image Pre-training)

Woher weiß die KI, was "Hund" ist? OpenAI trainierte CLIP auf Bildern + Text. CLIP liefert das Text-Embedding, das den Diffusions-Prozess steuert ("Conditioning").

1. Markov Chains und SDEs (Stochastic Differential Equations)

Unter der Haube ist Diffusion mathematisch tiefste Stochastik, kein Black-Box Netz. Der Forward-Process (Rauschen hinzufügen) ist eine parametrisierte Markov-Kette. In jedem Zeitschritt $t$ tröpfelt eine winzige Gaußsche Varianz $\beta_t$ in den Datensatz: $q(x_t | x_{t-1}) \sim \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$. Nach $T$ Schritten (oft 1000) konvergiert die Verteilung gegen reines isotropes Gauß-Rauschen. Der Reverse-Process ist der Versuch eines U-Net-Architektur Netzes (oft mit Attention-Blöcken versehen), diese Verteilung wieder abzuziehen. Da die Schrittanzahlen im Original irre langsam waren, veränderten Mathematiker die Kette in kontinuierliche stochastische Differenzialgleichungen (SDEs), um ODE-Solver aus der Physik zu nutzen. Dadurch fiel die Generierungszeit (wie bei DDIM Samplern) von 1000 Steps auf teilweise nur noch 10 bis 20 Steps bei identischer Bildqualität.

2. Text-Conditioning via Cross-Attention (Classifier-Free Guidance)

Wie wird aus Nebel ein "Roter Ferrari"? Wenn das U-Net läuft, fügt es per Cross-Attention das Text-Embedding (aus CLIP, Text-Encoder) radikal in dutzende Zwischenschichten ein. Das Netz sieht: "Ah, Text-Vector feuert extrem bei 'Rot'". Das bahnbrechende Feature, das Midjourney photorealistisch machte, ist die Classifier-Free Guidance (CFG). Das Netz rechnet intern immer zwei Vorhersagen zeitgleich aus: Einmal bedingt mit Text ("Frosch") und einmal unbedingter Noise (Null-Prompt). Dann rechnet es: (Ergebnis Frosch - Ergebnis None) * CFG_Scale. Man zerrt mathematisch den Vektor extrem in die "Frosch"-Richtung, was den Kontrast und die visuelle Eingrenzung an den Prompt dramatisch überschärft (oft mit CFG Scale 7 bis 12).

3. Latent Space Manipulation (ControlNet & LoRA)

Das Problem der Diffusion war die fehlende anatomische Kontrolle (falsche Hände, verfälschte 3D-Geometrie). ControlNet ist ein Architektur-Hack, formvollendet von Lvmin Zhang. Er klont die Encoder-Hälfte der Stable Diffusion Architektur in Code, friert das Original ein, und speist Kantenerkennungen (Canny Edge, Depth Maps) in die geklonte Hälfte. Diese injiziert dann Vektoren in das Original. So kann man aus einem 3D Model Dummy exakte Bilder zwingen. Gleichzeitig nutzen Entwickler LoRA (Low-Rank Adaptation), um Basis-Modelle in 20 Minuten per API auf den eigenen Hund oder das eigene Corporate-Design zu layern, ohne das riesige 4-Gigabyte Checkpoint Netz des Basis-Modells full-train zu verändern.