Neural Network (Neuronales Netz)

Das Fundament moderner KI.

• Bilderkennung (FaceID).
• Spracherkennung (Siri).
• Autonomes Fahren. Du nutzt Bibliotheken wie TensorFlow oder PyTorch. Du baust die Architektur ("Layer"), fütterst Daten und lässt es "trainieren" (rechnen).

1. Aktivierungsfunktion (ReLU / Sigmoid)

Ein Neuron summiert seine Eingänge. (Input 1 * Gewicht 1) + (Input 2 * Gewicht 2). Dann entscheidet es, ob es "feuert". Die Aktivierungsfunktion macht die Sache nicht-linear. Ohne sie wäre das ganze Netz nur eine riesige Multiplikation (Lineare Regression) und könnte keine komplexen Probleme lösen. ReLU (Rectified Linear Unit) ist der Standard: "Wenn negativ, dann 0. Sonst durchlassen." Simple, aber effektiv.

2. Hidden Layers

• Input Layer: Die Pixel des Bildes.
• Hidden Layers: Die Magie dazwischen. Frühe Layer erkennen Kanten. Mittlere Layer erkennen Formen (Ohren). Tiefe Layer erkennen Objekte (Katze).
• Output Layer: Ergebnis ("Katze: 99%"). "Deep Learning" heißt einfach: Viele Hidden Layers (tiefes Netz).

1. Backpropagation & Gradient Descent Mathematical Limit

Wie "lernt" ein neuronales Netzwerk exakt? Wenn das Auto im KNN fälschlicherweise als "Hund" erkannt wurde, resultiert ein "Loss" (Fehler) am Output-Layer (Cross-Entropy). Dieser Fehler wird per Backpropagation (Kettenregel der Differentialrechnung / Calculus) rückwärts durch die Layers des Graphen durchgedrückt. Wir bilden die partielle Ableitung $\frac{\partial \text{Loss}}{\partial w_i}$ für jedes einzelne der Millionen Gewichte. Stell dir den Fehler als hügeliges Gelände (Loss Landscape) vor. Der Gradient Descent (Stochastic Gradient Descent / Adam) Algorithmus zwingt die mathematischen Gewichtsvektoren winzige Schritte (Learning Rate) im Lot bergab in den dunklen Krater der Minimal-Fehler zu wandern. Zu hohe Learning Rate (Alpha)? Das Netz schießt gnadenlos am perfekten Bodenloch vorbei und springt oszillierend den Bergabhang wieder hoch (Divergence / NaN Exploding).

2. Vanishing Gradients & ResNet Heuristik

Vor dem Jahr 2015 scheiterte der Traum an "Deep Learning" ab circa dem 20. Hidden Layer physisch an der Wand. Wenn Fehler rückwärts durch 20 Aktivierungsfunktionen (z.B. Sigmoid/Tanh) differenziert wanderten, fraktionieren sich kleine Ableitungen (oft $0,1 \times 0,1 \times \ldots$). Die Zahl nähert sich am Input-Layer brutal schnell Null an - das Vanishing Gradient Problem. Die "Augen" des Modells (die frühen Layer in der Bildverarbeitung) lernen dadurch rein gar nichts, sie drehen sich als mathematischer Tod ewig im Stillstand ab. Der Heilige Gral (He et al., Microsoft) sind ResNets (Residual Networks) mit Skip-Connections. Ein Signal umgeht via Hardware-Umleitung den Mathekäfig und springt (addition $F(x) + x$) direkt zwei Schichten tiefer ein! Der differenzielle Rückflugkanal behält einen sauberen Highway mit Wert $1$, der Gradient rast durch 150 Layers ungehindert wie ein Lichtblitz durch das tiefe Modell zu Boden, womit gigantische Bild-Netzwerke in der KI überhaupt erst trainierbar erwachten.

3. Batch Normalization & Covariate Shift

Warum trainieren KNNs im Cluster extrem asynchron instabil? Wenn Schicht 1 winzig anpasst, driftet die totale mathematische Verteilung, welche hart an Schicht 2 prallt, unweigerlich weit aus den Fugen ab (Internal Covariate Shift). Schicht 2 muss ständig hechelnd neue Skalierungen fixieren. Batch Normalization klemmt zwischen die Synapsen. Nach jedem Convolution Durchgang greift die CPU ins Tensor Array des Mini-Batches (z. B. 64 Bilder). Sie errechnet empirisch Mean (Mittelpunkt) und Varianz und glättet radikal brutal alle Nodes des Clusters per Normalverteilung in den Nullpunkt. Plötzlich explodiert die Trainingsgeschwindigkteit x10, Regularisierung entsteht von Zauberhand (kein Overfitting-Tod auf Cats/Dogs Features), was Google als essenziellen Gamechanger in die Deep-Vision Revolution einschmleißte.