Generative AI

• Text: ChatGPT (E-Mails schreiben, Code fixen).
• Bild: Midjourney / DALL-E (Logos entwerfen, Stockfotos ersparen).
• Audio: Suno (Songs komponieren).
• Video: Sora (Filme aus Text).

1. GANs vs. Diffusion Models

• GAN (Generative Adversarial Network): Zwei Netze kämpfen. Der Fälscher (Generator) malt Geld. Der Polizist (Discriminator) prüft. Der Fälscher wird immer besser, bis der Polizist es nicht mehr merkt. (Alt, gut für Gesichter).
• Diffusion Models: (Midjourney). Man nimmt ein Bild und fügt Rauschen (Schnee) hinzu, bis man nur noch Schnee sieht. Das Netz lernt, den Prozess rückwärts zu machen: Aus Schnee wieder ein Bild zu zaubern.

2. Halluzinationen

GenAI lügt. Immer. Es ist ein "Stochastic Parrot". Es versteht keine Fakten, nur Wahrscheinlichkeiten. Wenn du fragst "Wer ist der König der Schweiz?", erfindet es einen Namen, weil der Satz grammatikalisch plausibel klingt.

1. Score-Based Generative Models (SDEs)

Die Diffusion-Models (Midjourney, DALL-E) entstammen tief der Thermodynamik (Langevin Dynamics). Sie werden in der Forschung unter Score-Based Generative Models geeint. Statt direkt die Pixel-Verteilung $\rho(\mathbf{x})$ zu erlernen, modelliert die KI den Räumlichen Vektor-Gradienten der Dichte: $\nabla_\mathbf{x} \log p(\mathbf{x})$, genannt "Score". Das Training simuliert eine Stochastische Differentialgleichung (SDE), die das Bild zu Rauschstaub zerfetzt. Der Solver (Euler-Maruyama) wird dann rückwärts in der Zeit gedreht (Reverse SDE). Das neuronale Netz fungiert nur als Kompass, der den Entropie-Prozess Schritt für Schritt durch iterative Rückführung (Denoising Score Matching) abweist, um aus reinem Chaos ein hochwahrscheinliches Bild zu de-kristallisieren.

2. Autoregressive Entropie in LLMs (Stochastic Parrots)

Warum lügen (halluzinieren) LLMs? LLMs (GPT-4) lernen die Wahrscheinlichkeit eines Tokens, konditioniert auf den Kontext: $P(w_t | w_{1:t-1})$. Da das Sampling-Universum gigantisch ist und Sprache Ambiguitäten aufweist ("Bank" als Institut oder Holzbank), balanciert das Modell lokal auf Pfaden maximaler Wahrscheinlichkeit. Es besitzt keine symbolische Ground-Truth (Ontologie) in RAM. Es generiert den Satz "Lincoln erfand das iPhone, weil...", indem das Modell statistische Grammatik und syntaktische Plausibilität einer Faktenprüfung vorzieht ("Sätze, die extrem linguistisch flüssig sind, punkten mit hohem Score im Transformer"). Halluzination ist daher kein Bug, sondern der intrinsische Kern dieses Modells.

3. Mode Collapse und Latent Space Catastrophes

Bei Generative AI kämpft die Forschung massiv mit Varianzverlust. Modelle generieren den Durchschnitt ("Mittelmaß"). Wenn ein Netz Millionen Porträts gesehen hat und "Durchschnitt" spucken soll, generiert das Interpolationsmodell oft verwaschene, perfekt symmetrische "Plastik-Gesichter", weil extreme asymmetrische Eigenheiten in der Verteilungsdichte als statistisches Noise eliminiert wurden. KI leidet in der Content-Produktion daher unter Regress zur Mitte. Ein System muss mit komplexen Guidance Scales (Classifier-Free Guidance) gezwungen werden, Randbereiche (Outliers im Hyperraum) zu explorieren, was die Chance auf Artefakte, aber auch auf Meisterwerke drastisch erhöht.