Vector Space Model

Wie berechnet man, ob Dokument A "ähnlich" zu Dokument B ist? Computer verstehen Wörter nicht. Aber sie verstehen Zahlen. Im Vector Space Model wird jedes Dokument zu einem Pfeil im Raum (Vektor). Jedes Wort im Wörterbuch ist eine Dimension. Wort "Apfel" -> Achse X. Wort "Birne" -> Achse Y. Dokument A: "Apfel Apfel" -> (2, 0). Dokument B: "Apfel Birne" -> (1, 1). Je kleiner der Winkel zwischen den Pfeilen, desto ähnlicher sind die Texte. Das war die Revolution von Gerard Salton (1970er). Text wurde berechenbar.

Merksatz: Ein algebraisches Modell zur Darstellung von Textdokumenten als Vektoren von Bezeichnern (Wörtern), das es ermöglicht, Relevanz und Ähnlichkeit durch geometrische Distanzmaße (Winkel) zu berechnen.

Berechnung der Ähnlichkeit durch Cosine Similarity. $\cos(\theta) = \frac{A \cdot B}{|A| |B|}$. Wenn zwei Vektoren in die gleiche Richtung zeigen, ist Cosinus 1 (Identisch). Wenn sie 90 Grad stehen (keine gemeinsamen Wörter), ist Cosinus 0. Elasticsearch und Lucene nutzen Varianten davon.

1. TF-IDF (Term Frequency - Inverse Document Frequency)

Man zählt nicht einfach Wörter ("Apfel: 2"). Man gewichtet sie.

TF: Wie oft kommt "Apfel" hier vor? (Je öfter, desto wichtiger).
IDF: Wie selten ist "Apfel" im ganzen Internet? (Seltene Wörter sind informativer als "der/die/das"). Ein Wort, das im Dokument oft vorkommt, aber weltweit selten ist, charakterisiert das Dokument perfekt ("Signature Word").

2. Bag of Words Limitation

Das Modell ignoriert Reihenfolge. "Mouse eats Cat" und "Cat eats Mouse" haben den exakt gleichen Vektor. Dafür braucht man modernere Modelle (N-Grams oder Embeddings/BERT).

1. Latent Semantic Indexing (LSI)

Das Standard-VSM hat ein Problem: Synonyme. Wenn ich nach "Auto" suche, findet das VSM kein Dokument, in dem nur "PKW" steht (Winkel 90 Grad). LSI nutzt SVD (Singular Value Decomposition), eine Technik der linearen Algebra, um den riesigen 100.000-dimensionalen Raum auf z.B. 300 "Konzepte" zu komprimieren. Dabei "rücken" Wörter wie Auto und PKW im Raum zusammen, weil sie oft im gleichen Kontext vorkommen. In der Produktion macht dies die Suche viel schlauer, erfordert aber viel Rechenpower für die Matrix-Zerlegung.

Die mathematische Basis dafür liegt in Lineare Algebra, Vektorräumen, Normen und Matrixzerlegungen.

2. BM25 vs. VSM-TF-IDF

In modernen Engines (Elasticsearch) ist das Standard-TF-IDF veraltet. Man nutzt BM25. BM25 löst das Problem der Sättigung. Im klassischen VSM wird ein Dokument immer relevanter, je öfter ein Wort vorkommt. BM25 sagt: "Wenn das Wort 10x vorkommt, ist es super. Wenn es 100x vorkommt, ist es kaum besser als 10x." Zudem wird die Dokumentlänge normiert: Ein kurzes Dokument, das das Wort 2x enthält, bekommt einen höheren Score als ein 500-seitiges Buch, das es auch nur 2x enthält.

3. High-Dimensional Curse

Bei 1 Million Dimensionen (Wörtern) sind fast alle Vektoren orthogonal (stehen senkrecht zueinander). Das Modell leidet unter dem "Fluch der Dimensionalität". Man nutzt daher Techniken wie Stemming (Häuser -> Haus) und Lemmatisierung, um Dimensionen zu mergen. In der Forschung (IR für Bio-Medizin) ist die Wahl des Wörterbuchs (Vokabular-Extraktion) oft wichtiger als der Algorithmus selbst. Wer die falschen Dimensionen wählt, landet in einem Raum, in dem nichts mehr zueinander passt.