Information Retrieval (IR)

Zentrales Konzept: Inverted Index. Wie ein Register am Ende eines Buches. Statt: "Dokument 1 enthält: Apfel, Birne..." Speichert man: "Apfel -> Dok 1, Dok 5, Dok 99" "Birne -> Dok 1, Dok 2" Wenn User "Apfel UND Birne" sucht, schneiden wir die Listen (Intersection). Nur Dok 1 ist in beiden Listen. Treffer!

1. Precision & Recall

Die Qualitätsmetriken.

• Precision: Wie viele der gefundenen Dokus sind wirklich relevant? ("Kein Müll").
• Recall: Wie viele der relevanten Dokus hast du gefunden? ("Nichts vergessen"). Hohe Precision ("Nur Top-Treffer") geht oft auf Kosten von Recall ("Exoten fehlen").

2. Stemming & Stopwords

Vor dem Indexieren putzen wir den Text.

• Stemming: "Laufend", "Lief", "Läufer" -> "Lauf". (Wurzel finden).
• Stopwords: "und", "der", "ein" -> Raus damit! (Zu häufig, bringen keine Info).

1. PageRank & Link Analysis

Warum ist Google besser als eine Bibliothekssuche? Weil es nicht nur auf den Text schaut, sondern auf die Struktur des Webgraphen. Der PageRank-Algorithmus (Brin & Page) nutzt die Idee der "Eigenvector Centrality". Ein Dokument ist wichtig, wenn wichtige Dokumente auf es verlinken. Mathematisch ist das die Suche nach dem stationären Zustand eines "Random Walkers" im Netz. In der Produktion bedeutet das: IR ist heute eine Mischung aus NLP (NLP-Verarbeitung) und massiver Graphen-Theorie.

2. BM25 (Best Matching 25)

Der Goldstandard für das Ranking von Dokumenten ist nicht mehr einfaches TF-IDF, sondern BM25. Es löst zwei Probleme:

1. Saturation: Wenn ein Wort 100x vorkommt, ist das Dokument nicht 100x relevanter als bei 1x Vorkommen. BM25 flacht diese Kurve ab.
2. Document Length Normalization: Ein Worttreffer in einem Tweet (kurz) ist viel wertvoller als ein Treffer in einem riesigen Buch (lang). Tools wie Elasticsearch und Lucene nutzen BM25 als Default-Scoring-Funktion, da sie die menschliche Wahrnehmung von Relevanz fast perfekt widerspiegelt.

3. Learning to Rank (LTR)

Moderne IR-Systeme nutzen Machine Learning für das finale Ranking. Anstatt eine feste Formel (wie BM25) zu nutzen, trainiert man ein Modell (oft Gradient Boosted Trees wie XGBoost oder LightGBM). Das Modell lernt aus tausenden von Features:

• Wie oft wurde das Ergebnis angeklickt? (Click-through rate).
• Wie alt ist das Dokument?

  Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Zentrales Konzept: Inverted Index. Wie ein Register am Ende eines Buches. Statt: "Dokument 1 enthält: Apfel, Birne..." Speichert man: "Apfel - Dok 1, Dok 5, Dok 99" "Birne - Dok 1, Dok 2" Wenn User "Apfel UND Birne" sucht, schneiden wir die Listen (Intersection). Nur Dok 1 ist in beiden Listen. Treffer!
• Ist der User mobil unterwegs? Das System "lernt", welche Faktoren für welche Query-Typen am wichtigsten sind, und baut ein dynamisches Ranking-Modell in Echtzeit.