Multimedia Retrieval

Textsuche (Google) ist einfach: Wortvergleich. Aber wie suchst du in Bildern, Musik oder Videos? "Finde ein Lied, das so klingt wie dieses Summen." "Finde ein Bild mit einem roten Auto am Strand." Früher: Man musste Meta-Tags ("Auto, Strand") manuell eintippen. Heute: Content-Based Retrieval. Die KI "sieht" das Bild, wandelt es in Zahlen (Vektoren) um. Ähnliche Bilder haben ähnliche Zahlen. Das erlaubt die Suche nach Inhalt, nicht nach Dateinamen.

Merksatz: Ein Forschungsgebiet, das sich mit Algorithmen und Methoden zum Suchen, Finden und Extrahieren von Information aus nicht-textuellen Medien (Bild, Audio, Video) basierend auf deren Inhalt (Pixel, Frequenzen) beschäftigt.

Google Lens: Du fotografierst eine Blume, Google sagt dir den Namen.
Shazam: Du lässt Musik laufen, Shazam findet den Song (Audio Fingerprinting).
Vector Databases (Pinecone/Milvus): Du speicherst Millionen Bilder als Vektoren (Embeddings). Die Suche ist dann nur reine Mathematik (Nearest Neighbor Search).

1. Semantic Gap

Das Hauptproblem. Low-Level Features (Pixel: Rot, Grün, Kante oben Links) vs. High-Level Semantik ("Sonnenuntergang"). Wie übersetzt man Pixel in Bedeutung? Früher: Hand-Crafted Features (Farbbistogramme, SIFT). Schrecklich ungenau. Heute: Deep Learning (CNNs, CLIP). Das Netz lernt die Semantik selbst. Es map "Bild von Hund" und "Text 'Hund'" in denselben Vektorraum.

2. Multi-Modal Retrieval

Das Neueste. "Cross-Modal Search". Suche mit Text nach Bild ("A cat on a skateboard"). Suche mit Bild nach Audio ("Soundtrack für dieses Foto"). Modelle wie CLIP (OpenAI) verstehen beide Sprachen gleichzeitig.

1. Vector De-Quantization: PQ & HNSW

Wenn du Milliarden von Bildern (Vektoren) hast, passt der Index nicht mehr in den RAM. In der Produktion nutzt man zwei Tricks:

Product Quantization (PQ): Man schneidet die Vektoren (z.B. 1024 Dimensionen) in kleine Stücke und staucht diese (Kompression). Das spart 90% Platz, verliert aber etwas Genauigkeit.
HNSW (Hierarchical Navigable Small World): Man baut einen Graphen über die Vektoren. Die Suche "springt" wie in einem kleinen-Welt-Netzwerk blitzschnell zum Ziel, ohne alle Bilder vergleichen zu müssen. Frameworks wie FAISS (Facebook AI Similarity Search) kombinieren beides, um in Millisekunden Milliarden von Medium-Assets zu durchsuchen.

2. Inverted File Index (IVF)

Wie bei der Textsuche nutzt man auch hier Inverted Lists. Man clustert alle Bilder (z.B. 4096 Zentren). Jedes Bild wird seinem nächsten Zentrum zugeordnet. Bei der Suche wird die Query erst dem Zentrum zugeordnet und dann nur in diesem Cluster gesucht. Wichtig: In der Produktion nutzt man oft "Multi-Indexing", um Aliasing-Effekte zu vermeiden. Wenn ein Bild genau zwischen zwei Clustern liegt, muss es in beiden Listen auftauchen, sonst wird es bei einer Suche nie gefunden.

3. Evaluation: Mean Average Precision (mAP)

Wie misst man Erfolg? Nicht einfach mit "Gefunden oder nicht". Da Multimedia-Suche auf Ähnlichkeit basiert, ist die Reihenfolge wichtig. Mean Average Precision (mAP) berechnet die Genauigkeit an jeder Stelle des Rankings. Ein perfektes System hat alle relevanten Bilder ganz oben. In der Forschung ist mAP der Goldstandard, um neue Deep-Learning-Features gegen klassische Methoden zu benchmarken. Wer hier gewinnt, entscheidet oft darüber, ob eine Suchmaschine als "magisch" oder als "nutzlos" wahrgenommen wird.