RAG (Retrieval Augmented Generation)

Der Workflow:

1. Ingestion: PDF -> Text -> Chunks (Häppchen) -> Embeddings (Zahlenvektoren) -> Vector DB (Pinecone).
2. Retrieval: User Frage -> Embedding -> Suche ähnlichste Chunks in DB.
3. Generation: Prompt: "Nutze nur folgenden Kontext: [Chunk 1, Chunk 2]. Beantworte: [Frage]".

1. Chunking Strategien

Wie zerschneide ich das PDF?

• Fixed Size: Alle 500 Wörter. Problem: Schneidet Sätze in der Mitte durch.
• Recursive Character: Schneide an Absätzen (\n\n), dann Sätzen (.). Besser für Kontext.
• Semantic Chunking: Nutze Embeddings, um thematische Brüche zu finden. (Teuer aber präzise). Schlechtes Chunking = Kontextverlust = Dumme Antworten.

2. Hybrid Search (Keyword + Vector)

Vektorsuche (Semantik) ist toll ("Hund" findet "Welpe"). Aber schlecht bei exakten Matches ("Error Code 0x512"). Hybrid Search kombiniert:

• BM25 (Klassische Stichwortsuche).
• Cosine Similarity (Vektorsuche). Ein Re-Ranker (Cross-Encoder Model) sortiert die Top 10 Ergebnisse neu, um die wirklich relevantesten für das LLM auszuwählen.

3. Citations & Attribution

Wie verhinderst du, dass das LLM lügt ("Hallucination")? Zwinge es zu Zitaten. Prompt: "Antworte jeden Satz mit [Quelle ID]. Wenn keine Quelle passt, sag 'Ich weiß es nicht'." Da das LLM den Quelltext sieht (im Context Window), kann es extrem präzise zitieren. Das schafft Vertrauen beim User.

Re-Ranking mit Cross-Encoders

Bi-Encoder (wie "text-embedding-ada-002") berechnen Vektoren für die User-Suche und das PDF isoliert voneinander. Das ist blitzschnell (Cosine Similarity in der DB), aber semantisch oft plump. Die Evolution des RAGs ist der Re-Ranker Schritt. Die Vektor-DB liefert (billig) die Top-20-Matches. Danach nimmt man ein extrem kluges, aber rechenintensives Modell (einen Cross-Encoder, wie Cohere Rerank), welches die User-Frage und jeden der 20 Chunks gleichzeitig durch sein neuronales Netz fädelt. Es generiert einen Präzisions-Score (0-1), wie exakt der Chunk die Frage beantwortet. Nur die finalen Top-3 nach dem Re-Ranking gehen als Kontext an das LLM. Das reduziert Halluzinationen massiv.

GraphRAG (Knowledge Graphs)

Standard-RAG scheitert brachial an "Globalen" oder "Verbindungs"-Fragen, z. B. "Fasse die Rolle von allen Managern aus den 500 Dokumenten zusammen." Die Vektor-DB findet einfach zufällige Sätze über Manager (Lost in the Middle). GraphRAG verbindet RAG mit Neo4j (Graphdatenbanken). Beim Ingesting analysiert das LLM die Texte und extrahiert Entitäten + Relationen (z.B. "[Steve Jobs] -> (FOUNDED) -> [Apple]"). Das baut ein semantisches Wissensnetz. Fragt der User, generiert das System aus dem Graph einen kontextuell überlegenen Such-Graphen ("Zeige mir alles um den Knoten 'Apple' in Tiefe 2") anstatt nur blinder Text-Bausteine. Microsoft Research hat 2024 bewiesen, dass dies RAG weit in die kognitive Oberliga hebt.

Colbert & Late Interaction (Feingranulare Vektoren)

Ein massives Problem normaler Embeddings: Ein kompletter Absatz (500 Wörter) wird zu einem einzigen, stark komprimierten Array (z.B. 1536 Zahlen) zusammengequetscht. Feine Details verpuffen. ColBERT (Contextualized Late Interaction) berechnet für jedes einzelne Wort/Token im Chunk einen Mini-Vektor. Bei der Abfrage berechnet der Suchalgorithmus die Ähnlichkeit zwischen jedem Wort der Nutzeranfrage und jedem Wort aus dem Datenbank-Chunk. Das ist extrem speicherintensiv für die Vektordatenbank, liefert aber eine geradezu gespenstische Such-Präzision im Vergleich zum dicken "Einer-für-alles"-Vektor.