Probabilistic Retrieval

Das Vector Space Model ist Geometrie (Winkel). Probabilistic Retrieval ist Wahrscheinlichkeitsrechnung. Leitsatz (Probability Ranking Principle): "Sortiere Dokumente nach der Wahrscheinlichkeit, dass sie für den User relevant sind." $P(Relevant | Document, Query)$. Es nutzt den Satz von Bayes. Das berühmteste Ergebnis ist die Formel BM25 (Best Match 25). Sie ist bis heute der Standard-Algorithmus in Elasticsearch, Lucene und Solr. Sie schlägt pure Vektor-Modelle (TF-IDF) meistens, weil sie Dinge wie "Sättigung" berücksichtigt.

Merksatz: Eine Klasse von Information-Retrieval-Modellen, die Relevanz als Wahrscheinlichkeit modellieren und Dokumente basierend auf der geschätzten Chance ordnen, dass sie die Informationsbedürfnisse des Benutzers erfüllen.

Wenn du Elasticsearch installierst, ist BM25 der Default. Du musst nichts tun. BM25 verbessert TF-IDF durch zwei Tricks:

Term Saturation: Wenn "Apfel" 100x vorkommt, ist das nicht 100x besser als 10x. Die Kurve flacht ab.
Length Normalization: Kurze Dokumente mit dem Wort "Apfel" sind vermutlich relevanter als Romane, wo "Apfel" auch mal vorkommt. BM25 bestraft lange Texte.

1. Binary Independence Model (BIM)

Die Uroma von BM25. Annahme: Das Auftreten von Wort A ist unabhängig von Wort B (Naive Bayes). Das stimmt natürlich nicht ("New" und "York" treten oft zusammen auf). Aber es vereinfacht die Mathe massiv und funktioniert erstaunlich gut.

2. Relevance Feedback

Idee: Du zeigst 10 Treffer. User klickt auf Nr. 3 und 7. Das System lernt: "Aha, Nr. 3 und 7 sind relevant!" Es passt die Wahrscheinlichkeiten an (Roccio Algorithm) und sucht nochmal. Das Probabilistische Modell kann dieses Feedback mathematisch sauber integrieren.

1. BM25+ and the Lower Bound Problem

Ein subtiles Problem der klassischen BM25-Formel ist, dass der Relevanz-Score für sehr lange Dokumente fast auf Null sinken kann, selbst wenn sie den Suchbegriff enthalten. BM25+ korrigiert dies durch einen zusätzlichen Parameter $\delta$. Er stellt sicher, dass jedes Dokument, das mindestens ein Keyword enthält, einen minimalen "Basis-Glauben" erhält. In der Produktion (z.B. bei der Suche in Gesetzestexten oder medizinischen Datenbanken) verhindert dies, dass wichtige, aber sehr lange Fachtexte im Ranking "verschwinden".

2. Language Model Retrieval (Dirichlet Smoothing)

Ein alternativer probabilistischer Ansatz ist das Language Modeling Framework. Hier fragt man: "Wie wahrscheinlich ist es, dass ein Autor, der das Thema Relevance im Kopf hat, genau diese Query tippt?" Man nutzt Dirichlet Smoothing, um Probleme mit fehlenden Worten (Zero-Frequency) zu lösen.

BM25: Basiert auf der Elitist-Theorie (Worte sind da oder nicht).
LM: Basiert auf Generierungswahrscheinlichkeit. In modernen Systemen (wie Vespa oder Elasticsearch) werden beide Modelle oft kombiniert, da LMs besser bei kurzen Texten und BM25 besser bei technischen Dokumenten funktionieren.

3. Divergence From Randomness (DFR)

Anstatt Bayes zu nutzen, schauen Experten auch auf die Divergenz von der Zufälligkeit. Die Idee: In einem irrelevanten Dokument sind Worte zufällig verteilt. In einem relevanten Dokument weicht die Verteilung (z.B. Poisson-Verteilung) signifikant vom Zufall ab. Modelle wie Terrier (Research-Engine) nutzen DFR, um extrem präzise mathematische Schranken für die Relevanz zu definieren. In der Produktion erlaubt dies ein feineres Tuning der "Precision" (Genauigkeit), was besonders bei E-Commerce Suchen wichtig ist, wo der User nur die Top 3 Ergebnisse wirklich ansieht.