Machine Learning

Klassisches Programmieren: Du gibst dem Computer genaue Regeln. "Wenn es regnet, nimm den Schirm." Machine Learning (ML): Du gibst dem Computer keine Regeln, sondern Daten. Du zeigst ihm 1.000 Tage mit Wetterdaten und ob man einen Schirm brauchte. Der Computer sucht selbst nach Mustern ("Aha, wenn Wolken dunkelgrau sind, braucht man meistens einen Schirm"). Er lernt aus Erfahrung, statt programmiert zu werden.

Merksatz: Ein Teilgebiet der KI, bei dem Computer aus Daten lernen, Muster zu erkennen und Vorhersagen zu treffen.

ML ist überall:

Netflix: "Weil du 'Inception' mochtest, magst du vielleicht 'Interstellar'." (Empfehlungsalgorithmus).
Spam-Filter: "Diese Mail enthält 'Viagra' und 'Prinz aus Nigeria'. Historisch gesehen ist das zu 99% Spam -> Papierkorb."
Kredit-Scoring: "Kunden mit diesem Einkommen und Wohnort zahlen ihre Kredite oft pünktlich zurück."

Es gibt drei Arten zu lernen:

Supervised Learning: Du (Lehrer) gibst die Lösung vor ("Das ist eine Katze").
Unsupervised Learning: Der PC sucht allein nach Gruppen ("Diese Kunden kaufen ähnliche Dinge").
Reinforcement Learning: Lernen durch Belohnung/Bestrafung (wie Hundeerziehung). Super Mario spielen: Fällst du in den Abgrund -> Minuspunkt. Kommst du weiter -> Pluspunkt.

1. Overfitting (Auswendiglernen)

Ein häufiges Problem. Wenn der Schüler (ML-Modell) die Übungsaufgaben einfach auswendig lernt, schreibt er im Test eine 1. Aber bei neuen Aufgaben versagt er, weil er das Prinzip nicht verstanden hat. Das Modell passt sich zu stark an die Trainingsdaten an und kann nicht generalisieren.

2. Feature Engineering

Daten sind oft roh. Ein Algorithmus versteht kein Bild. Man muss Merkmale (Features) extrahieren: "Wie viel Rot ist im Bild?", "Wie viele Kanten?". Bei modernem Deep Learning macht das der Computer selbst, aber bei klassischem ML ist das Handarbeit des Data Scientists.

1. Gradient Descent und die Loss-Function

Wie "lernt" eine Maschine mathematisch? Das Modell wählt zufällige Startgewichte (Multiplikatoren). Es rät die Lösung (z.B. Hauspreis). Dann wird das Raten gegen die Wahrheit geprüft. Die Differenz ist die Loss-Function (Fehlerquote). Das Ziel von ML ist es, diese Loss-Function zu minimieren. Der Algorithmus der Wahl ist der Gradient Descent (Gradientenabstieg). Die Mathematik berechnet die partielle Ableitung (die Steigung) der Fehlerkurve. Das Modell "rutscht" den Berg der Kurve in die entgegengesetzte Richtung des Gradienten hinunter, bis es das lokale Minimum (den geringsten Fehler) im viel-dimensionalen Raum findet. Dann ist das Modell trainiert (Konvergenz).

2. Bias-Variance Tradeoff

Der härteste Kampf im Supervised Learning.

High Bias (Underfitting): Das Modell ist zu simpel oder rassistisch stur. Es weigert sich, das Muster zu lernen. Es schießt linear am Ziel vorbei.
High Variance (Overfitting): Das Modell ist ein Auswendig-Lerner. Es modelliert jede noch so wilde Fehlmessung (Rauschen) der Trainingsdaten präzise nach. Künftige, saubere Testdaten stürzen das Modell in die Irre. Die Kunst des Data Scientists ist der Tradeoff in der Mitte. Er nutzt Regularisierung (L1/L2 Lasso/Ridge), um das Modell künstlich "dümmer" zu machen und so Variance zu dämpfen, ohne in reinen Bias zu verfallen.

3. Curse of Dimensionality (Fluch der Dimensionalität)

Ein Hauspreis basierend auf "QM" und "Alter" zu schätzen (2 Dimensionen) braucht ca. 100 Datensätze. Entscheidet man sich aber, 30.000 Variablen (Features) zu füttern ("Anzahl Nägel im Dach", "Farbe der Tür"), sinkt die ML-Leistung ironischerweise ab. Der Curse of Dimensionality besagt, dass bei steigenden Dimensionen das Raumvolumen zur Lösungssuche so unendlich groß wird, dass die verfügbaren Datensätze im Raum "verdünnen". Die Abstände zwischen Datenpunkten werden bedeutungslos. Algorithmen wie K-Nearest-Neighbor versagen komplett. Lösung: PCA (Principal Component Analysis) zur drastischen mathematischen Reduktion von 30.000 Dimensionen auf die 10 wichtigsten Vektor-Achsen.