BERT

In der Google Suche. Seit 2019 nutzt Google BERT, um deine Suchanfragen besser zu verstehen ("to" in "fly to brazil" ist wichtig!). Als Entwickler: Nutze bert-base-uncased. Fine-tune es für Sentiment Analysis ("Ist diese Review positiv?"). Oder für Named Entity Recognition ("Wo ist der Name einer Firma?"). BERT erzeugt "Embeddings" (Vektoren), die du vergleichen kannst.

1. MLM & NSP

BERT hat zwei Pre-Training Tasks:

1. Masked LM: 15% der Wörter werden versteckt. Das zwang das Modell, Kontext zu nutzen.
2. Next Sentence Prediction: Folgen Satz A und Satz B aufeinander? ("Der Mann ging..." -> "Er kaufte Milch" vs "Elefanten sind grau"). NSP wurde später (in RoBERTa) als unnötig entfernt, aber MLM blieb.

2. Contextual Embeddings

Früher (Word2Vec) hatte "Bank" immer denselben Vektor. Egal ob Flussufer oder Geldinstitut. BERT erzeugt kontextabhängige Vektoren. Der Vektor für "Bank" ist im Satz mit "Geld" komplett anders als im Satz mit "Fluss".

1. Attention Matrices & Self-Attention

Das Genie hinter BERT ist die Self-Attention. Wenn BERT den Satz "Die Katze fraß die Maus, weil sie hungrig war" encodiert, muss er das Pronomen "sie" auflösen. In PyTorch visualisiert sieht man in BERTs Schichten eine gewaltige $N \times N$ Matrix (Kopfzahl = 12). Bei "sie" leuchtet die Verbindung zur Zelle "Katze" tiefrot auf (Weight = 0.95), "Maus" ist blass (Weight = 0.05). Weil BERT bidirektional ist, fließen Informationen sowohl aus den Wörtern vor als auch nach "sie" in den Vektor, wodurch er die semantische Ambiguität komplett eliminiert.

2. WordPiece Tokenization & Out-of-Vocabulary

BERT frisst eigentlich gar keine ganzen Wörter. Wenn du "Antibabypillen" eingibst, stürzt BERT nicht ab, weil das Wort nicht im 30.000 Token großen Vokabular ist. Er nutzt den WordPiece Algorithmus. Er teilt das Wort auf: Anti, ##baby, ##pillen. (Das ## zeigt an, dass es ein Suffix ist). Dadurch kann BERT ein extrem kompaktes Vokabular haben (was RAM spart) und gleichzeitig out-of-vocabulary Wörter grammatikalisch plausibel darstellen. Den Satz-Start markiert er mit dem berüchtigten [CLS] Token, Satzenden mit [SEP].

3. Fine-Tuning und der CLS-Token-Bottleneck

Wie trainiert man BERT auf einer eigenen Task (z. B. "Spam-Erkennung")? Man wirft den MLM Head weg. Stattdessen schnappt man sich den 768-dimensionalen Vektor des obersten [CLS] Tokens. Google designte BERT so, dass dieser Token während des Trainings ein verdichtetes "Satz-Summary" aggregiert. In der Produktion setzt man einfach einen simplen linearen Classifier-Layer (Dense Layer) auf den [CLS] Output. Anstatt ein Netz von Null aufzubauen (was Terabytes an Daten bräuchte), gefriert man die unteren Schichten und führt Backpropagation nur über den Custom-Layer und die allerletzte BERT-Zelle aus. Man erreicht so Top-Ergebnisse mit nur hunderten Trainingssätzen (Transfer Learning).