Federated Learning

• Tastatur-Vorschläge (Gboard): Dein Handy lernt neue Wörter ("Yolo"), die du tippst. Google lernt, dass "Yolo" ein Trendwort ist, ohne zu lesen, was du genau getippt hast.
• Krankenhäuser: Verschiedene Kliniken trainieren gemeinsam ein Krebs-Erkennungs-Modell, ohne Patientendaten auszutauschen (Datenschutz!).

1. Differential Privacy

Kann man aus dem Update ("Gewichte +0.5") nicht zurückrechnen, wie das Foto aussah? Theoretisch ja (Model Inversion Attack). Deshalb fügt man Rauschen (Noise) hinzu, bevor man das Update sendet. Das macht das einzelne Update ungenau, aber in der Summe (1 Million Updates) mittelt sich das Rauschen raus.

2. Communication Overhead

Statt 1x Daten hochladen, muss man 1000x das Modell hin- und herschicken. Das kostet Akku und Datenvolumen. Deshalb macht man Federated Learning meist nur, wenn das Handy nachts am Ladekabel hängt und im WLAN ist.

1. FedAvg (Federated Averaging Algorithm)

Die pure Theorie erfordert für jede kleine Parameteränderung ein Update, was bei Millionen Apple Handys globale Netzwerke kollabieren ließe. Google publizierte 2016 den entscheidenden Durchbruch: FedAvg. Das Handy sammelt nicht bloß einen Batch-Gradienten zum Upload. Stattdessen rechnet es gigantisch harte Multi-Epochen von Stochastic Gradient Descent komplett auf der Edge-Hardware (CoreML/NPU) lokal durch. Das Gerät sendet nur das End-Summary der extrem komprimierten Deltas an die Cloud. Das reduziert Kommunikationskosten im Schnitt um den Faktor 10 bis 100, was FL in schwachen Funknetzen überhaupt erst physisch realisierbar machte.

2. Model Poisoning und Sybil-Dumping

Wenn die Dezentralisierung Vertrauen streut, kommen Dark Actors ins Spiel. Ein verdeckter Angreifer kauft 50 AWS Maschinen, simuliert 50 Fake-Handys (Sybil Attack) und nimmt an der Federated Runde teil. Er modifiziert lokal gezielt das Backpropagation-Derivat so, dass sein Tensor den "Backdoor-Trigger" fördert ("Wenn ein Mensch rote Brillen trägt, ist die Gesichtserkennung immer 'Admin'"). Die Server-Aggregation blendet diesen Bias blind in die Average-Gewichtungen mit ein (Data Poisoning). Verteidiger müssen hier komplexe Byzantine-robust Aggregation (wie Krum oder Trimmed Mean) einsetzen, bei denen die Zentrale Vektoren aussortiert, die statistisch zu stark vom Vektor der ehrenhafteren Norm abweichen.

3. Non-IID Data (Independent and Identically Distributed)

In der klassischen KI mischt man den Server Random durch. Im Federated Learning hat Client A (Krankenhaus für Füße) total andere Bilder als Client B (Krankenhaus für Köpfe). Die Daten sind brutal Non-IID modelliert und heftig asymmetrisch in der Menge. Die Mathematik von Gradientenabstiegen kippt völlig: Das globale Modell schwingt durch extreme Divergenzen der Local Optimas hin und her (Client Drift). Dies ist das aktuell heißeste akademische Gebiet, bei dem Regularisierungen wie FedProx eingeführt wurden: Die Kosten-Funktion des Handys bestraft den Algorithmus hart, wenn sein lokales Lernen sich geometrisch zu weit vom Konsens des globalen Server-Modells losreißt.