Transfer Learning

Du kannst Fahrrad fahren. Jetzt willst du Motorrad fahren lernen. Fängst du bei Null an? (Wie hält man Balance? Was ist ein Lenker?). Nein. Du nutzt dein Vorwissen vom Fahrrad. Du musst nur noch lernen: "Wie geht Gasgeben und Schalten?" Transfer Learning macht das gleiche bei KIs. Man nimmt ein Modell, das schon 1 Million Bilder gesehen hat (ImageNet) und "weiß", was Kanten und Formen sind. Man trainiert es nur kurz nach: "Unterscheide nicht Hunde und Katzen, sondern Rost und Lackschäden." Das spart 99% der Zeit und Daten.

Merksatz: Eine Technik im maschinellen Lernen, bei der ein bereits trainiertes Modell als Ausgangspunkt für eine neue, verwandte Aufgabe verwendet wird.

Bilderkennung: Du hast nur 50 Fotos von deinen Produkten. Zu wenig für ein eigenes Netz. Nimm "ResNet50" (Google-Modell) und trainiere nur die letzte Schicht neu ("Fine Tuning").
NLP: Du willst einen Anwalt-Chatbot. Nimm GPT-4 (hat allgemeines Deutsch gelernt) und füttere ihm Gesetzestexte.

1. Freezing Layers

Ein tiefes Netz hat viele Schichten (Layer). Die ersten Schichten erkennen einfache Dinge (Linien, Kreise). Die sind universell. Die letzten Schichten erkennen Spezifisches (Hundeohren). Beim Transfer Learning "friert" man die ersten Schichten ein (Weights ändern sich nicht). Man trainiert nur die letzten Schichten ("Head").

2. Catastrophic Forgetting

Wenn man zu wild nachtrainiert, vergisst das Modell sein altes Wissen. Vom Fahrrad zum Motorrad zu lernen ist gut. Aber wenn man dabei vergisst, wie man läuft, ist es schlecht.

1. Domain Adaption & Feature Drift

Einer der kritischsten Punkte beim Transfer Learning ist der Domain Shift. Wenn du ein Modell, das auf hellen Studiofotos (ImageNet) trainiert wurde, auf verschwommene Schwarz-Weiß-Aufnahmen von Überwachungskameras loslässt, bricht die Performance oft ein. Wissenschaftlich gesehen "driften" die Features: Das Modell sucht immer noch nach den sauberen Kanten, die es gelernt hat, findet aber nur Rauschen. Techniken wie Domain Adversarial Training versuchen dies zu lösen, indem das Modell während des Transfers lernt, Features zu extrahieren, die unabhängig von der Quelle (Studio vs. Kamera) sind.

2. Fine-Tuning Strategien: Bit-Flipping & Adapter

Man muss nicht immer das ganze Modell anfassen. Es gibt verschiedene Strategien:

Feature Extraction: Wir nutzen das Netz nur als "Kamera" (Encoder) und hängen einen neuen Klassifikator dran. Die Gewichte des Netzes bleiben 100% gleich.
Full Fine-Tuning: Wir lassen alle Gewichte des Riesen-Modells ein kleines bisschen wandern. Riskant (Catastrophic Forgetting!), aber oft am genauesten.
Adapters (Parameter-Efficient Fine-Tuning): Man schiebt winzige neue Schichten ("Adapter") zwischen die bestehenden Schichten. Nur diese 1% neuen Gewichte werden trainiert. Das ist der Standard für LLMs (LoRA - Low-Rank Adaptation), damit man GPT-Modelle auf einem normalen PC trainieren kann.

3. Negative Transfer

Ein selten besprochenes, aber tödliches Problem. Wenn die Quell-Aufgabe und die Ziel-Aufgabe zu verschieden sind, wird das Modell durch das Vorwissen schlechter als ein Zufallsgenerator. Beispiel: Du nutzt eine KI, die gelernt hat, Autos zu erkennen, um Krebszellen in Mikroskop-Aufnahmen zu finden. Die "Intuition", die für Autos gut war, führt bei Zellen zu totaler Verwirrung. Das Modell versucht, "Räder" oder "Fenster" in Blutkörperchen zu finden. In solchen Fällen ist "Learning from Scratch" (bei Null anfangen) trotz Datenmangels der einzige Weg.