Convolutional Neural Network (CNN)

• Medizin: Erkennt Tumore auf Röntgenbildern besser als Ärzte.
• Autos: Erkennt Stoppschilder und Fußgänger.
• Instagram: Deine Filter (Hundeohren) nutzen einfache CNN-Techniken zur Gesichtserkennung.

1. Convolution & Pooling

• Convolution (Faltung): Eine kleine Matrix (Kernel), die über das Bild wandert und Werte multipliziert. Sie extrahiert Features.
• Pooling (Max Pooling): Verkleinert das Bild. "Nimm aus jedem 2x2 Feld nur den größten Wert (das stärkste Signal)." Das macht das Netz robust. Egal ob die Katze links oder rechts im Bild sitzt (Translation Invariance), das CNN erkennt sie.

2. Parameter-Effizienz

Ein normales Netz bräuchte für ein HD-Bild Milliarden Verbindungen (jeder Pixel mit jedem verbunden). Ein CNN braucht viel weniger, weil es den gleichen kleinen Filter (3x3 Matrix) über das ganze Bild schiebt. Sharing Weights.

1. Receptive Fields & Hierarchische Extraktion

Der Receptive Field ist der Ausschnitt eines Originalbildes, den ein einzelnes Neuron in einer tiefen Schicht des CNNs indirekt "sieht". In Layer 1 ist der 3x3 Filter winzig, das Neuron berechnet nur primitive Kantenerkennungen (Gabor-Filter analog zum visuellen Kortex V1 von Säugetieren). Nach fünf Schichten (verbunden durch MaxPooling) hat das Receptive Field eines Neurons durch die Mathematik der Faltung exponentiell zugenommen – es blickt quasi auf das gesamte Originalbild herunter. Erst durch diese immense Erweiterung transformiert sich das Netz von abstrakten Pixelverrechnungen (Kante, Kurve) in massive semantische Konzepte wie "Ohr", "Rad" und "Katze".

2. Batch Normalization & Residual Connections (ResNet)

Wollte man die Performance steigern, baute man CNNs immer tiefer. Das führte zum "Vanishing Gradient" Problem: Die Gradienten der Fehler korrodierten zu Null beim Multiplizieren gen der Anfangsschichten. 2015 revolutionierte Microsoft das Feld mit dem ResNet (Residual Network), das aus 152 Layern bestand, weil sie Skip Connections (Residuals) erfanden. Die Aktivierung übersprang Schichten f(x) + x und gab dem Gradienten eine Expressautobahn beim Backpropergate. Parallel verankerte Batch Normalization sich an jede Convolution: Sie normalisierte den Median der Filtergewichte und zwang Outputs auf Varianz-Basis in kontrollierte Bereiche, was CNN-ResNets plötzlich stabil trainierbar in Cloud-GPU Farmen machte.

3. Depthwise Separable Convolutions (MobileNet)

Standard-Convolutions multiplizieren gnadenlos Spatial-Dimensionen (Pixel X,Y) und Farbkanäle/Feature Maps. In Edge-Geräten (iOS, Arduino) friss diese Multiplikativkraft den Akku komplett leer. Google erfand Depthwise Separable Convolutions (u.a. in MobileNet und Xception). Der Prozess wird radikal getrennt: Zuerst eine Faltung nur 2D über jeden Kanal isoliert (Depthwise Filter), dann ein extrem primitiver 1x1-Faltungs-Filter (Pointwise), der die Kanäle mixt. Diese simple Algebratrennung resultiert in teils $90%$ weniger Parameter-Berechnungen, opfert dabei aber fast gar nichts der reinen Genauigkeit in Computer-Vision Modellen.