Hyperparameter Tuning

Ein KI-Modell lernt Parameter (Gewichte) aus Daten. Das macht es selbst (Training). Aber es gibt Hyperparameter. Das sind die Einstellungen, die du vor dem Training festlegst.

Wie schnell soll es lernen? (Learning Rate).
Wie tief ist der Baum? (Max Depth).
Wie viele Neuronen? (Layers). Die KI kann diese nicht selbst lernen (Henne-Ei-Problem). Hyperparameter Tuning ist die Suche nach der perfekten Kombination. Es ist wie das Einstellen eines Radiosenders – nur mit 50 Drehknöpfen gleichzeitig, im Dunkeln.

Merksatz: Der Prozess der Optimierung von Konfigurationsvariablen (Hyperparametern), die den Lernprozess eines Machine-Learning-Modells steuern, um dessen Leistung zu maximieren.

Methoden:

Grid Search: Probiere ALLES aus. (Dauert ewig).
Random Search: Probiere zufällige Punkte. (Überraschend effizient).
Bayesian Optimization: Lerne aus den Versuchen. "0.01 war schlecht, 0.1 war besser -> probiere mal 0.08". (Smart). Tools: Optuna, Ray Tune, Scikit-learn GridSearchCV.

1. The Cost of HPO

Training kostet Zeit/Geld (GPU). Jeder Tuning-Versuch ist ein volles Training. Wenn du 1000 Kombinationen testest, zahlst du 1000x Strom. Effizienz ist alles. Early Stopping: "Das Training sieht nach Epoche 5 schlecht aus -> Abbruch! Nächster Versuch."

2. AutoML

Der Schritt weiter. Die KI wählt auch noch die Architektur (CNN vs Transformer) selbst. Hyperparameter Tuning ist der Kern von AutoML.

1. Successive Halving & Hyperband

Wie vermeidet man es, Zeit an schlechte Konfigurationen zu verschwenden? Successive Halving startet mit 100 Konfigurationen, lässt sie aber nur für 1 Epoche laufen. Die schlechtesten 50% werden sofort gelöscht. Die restlichen 50 bekommen 2 Epochen Zeit, dann wird wieder halbiert. Hyperband optimiert dies noch weiter, indem es ein Gleichgewicht zwischen "viele Konfigurationen kurz testen" und "wenige Konfigurationen lang testen" findet. Das spart bis zu 90% der Rechenkosten gegenüber einer naiven Suche und ist der Industriestandard in Frameworks wie Keras Tuner oder Optuna.

2. TPE (Tree-structured Parzen Estimator)

Die Bayesianische Optimierung nutzt oft Gaussian Processes. Diese skalieren aber schlecht bei vielen Versuchen. TPE (genutzt in Hyperopt/Optuna) ist ein cleverer Trick: Anstatt ein Modell für "Güte = f(Parameter)" zu bauen, baut es zwei Wahrscheinlichkeitsmodelle:

$l(x)$: Die Verteilung der Parameter, die "gut" waren.
$g(x)$: Die Verteilung der Parameter, die "schlecht" waren. Der Algorithmus sucht dann nach Parametern, die eine hohe Wahrscheinlichkeit in $l(x)$ und eine niedrige in $g(x)$ haben. Das funktioniert extrem gut für Parameter, die nicht nur Zahlen, sondern auch Kategorien (z.B. "Welcher Aktivierungsfunktion?") sind.

3. Neural Architecture Search (NAS)

Das Extrem-Szenario von HPO. Anstatt nur Knöpfe zu drehen, lässt man die KI das ganze "Blueprint" des Netzes entwerfen. Dabei sind die Hyperparameter die Anzahl der Schichten, die Art der Verbindungen (Skip Connections) und die Filter-Größen. Da der Suchraum hier astronomisch groß ist ($10^{20}$ Kombinationen), nutzt man oft Reinforcement Learning oder Evolutionäre Algorithmen. Das Ergebnis sind Architekturen wie EfficientNet, die von Menschen kaum noch manuell designt werden könnten, da sie in ihrer Effizienz jedes handgemachte Design übertreffen.