llama.cpp

llama.cpp ist eine C/C++-Inference-Basis für lokale LLMs auf vielen Hardware-Plattformen. Es ist die meistgenutzte Open-Source-Engine unter populären Tools wie Ollama und LM Studio und definiert mit GGUF den De-facto-Standard-Container für portable lokale Modelle ([HW-03]).

Im Lehrgang gehört dieser Begriff zur Phase lokale AI, Datenkontrolle, Modellgrenzen und Automatisierung. Er ist nicht als isolierte Definition gedacht, sondern als Baustein, den du später in echten Fällen wiedererkennst. Wenn du ganz neu einsteigst, musst du zuerst drei Dinge können: den Zweck in eigenen Worten erklären, die Grenze des Begriffs nennen und sagen, woran du in der Praxis erkennst, dass er gerade relevant ist.

Merksatz: llama.cpp beantwortet nicht jede Frage, aber es sortiert einen wichtigen Ausschnitt der Arbeit so, dass du nicht blind ausprobierst.

Du brauchst maximale Kontrolle über lokale Inference, Quantisierung und Hardware-Backends, statt nur eine fertige App zu nutzen.

Als Anfänger arbeitest du mit einer einfachen Prüfliste:

Welche Aufgabe soll das Modell wirklich lösen?
Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Du brauchst maximale Kontrolle über lokale Inference, Quantisierung und Hardware-Backends, statt nur eine fertige App zu nutzen.
Welche Daten dürfen lokal, intern oder extern verarbeitet werden?
Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Du brauchst maximale Kontrolle über lokale Inference, Quantisierung und Hardware-Backends, statt nur eine fertige App zu nutzen.
Woran misst du, ob die Antwort gut genug, schnell genug und verlässlich genug ist?
Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Du brauchst maximale Kontrolle über lokale Inference, Quantisierung und Hardware-Backends, statt nur eine fertige App zu nutzen.

Das Ziel ist nicht, sofort Experte zu sein. Das Ziel ist, den Normalfall sauber zu erkennen, keine riskanten Annahmen zu treffen und die nächste sinnvolle Handlung begründen zu können.

Miniübung für den Lehrgang: Formuliere einen echten Fall in zwei Sätzen, markiere die wichtigste Information und schreibe eine Rückfrage auf, die fehlende Fakten klärt. Dadurch lernst du, llama.cpp nicht nur zu definieren, sondern im Arbeitsfluss anzuwenden.

Auf Level 2 wird llama.cpp in einen Ablauf eingebettet. Du unterscheidest Eingaben, Entscheidungspunkte, Ergebnis und Dokumentation. Genau dadurch wird aus Nachschlagen echtes Lernen: Du erkennst, was vorher geklärt sein muss, was sich aus dem Begriff ergibt und welche anderen Begriffe anschliessen.

Was llama.cpp auszeichnet (Stand 2026-07-20, [HW-03]):

GGUF-Standard: llama.cpp definiert das GGUF-Format, das 2026 der portabelste Container für lokale LLMs ist. Q4_K_M, Q5_K_M, Q8_0 usw. laufen alle in GGUF (Details siehe Quantisierung lokaler Modelle).
MIT-Lizenz: kommerziell nutzbar, OSI-konform, keine MAU-Caps o.ä.
Hardware-Support: CPU (AVX2/AVX-512/NEON), CUDA (NVIDIA), Metal (Apple Silicon), Vulkan, SYCL, ROCm, OpenCL. Damit läuft GGUF praktisch überall — von alten Laptops über Macs und NVIDIA-GPUs bis zu AMD-Karten.
Portabilität: Keine obligatorische Python-Runtime, einzelne kompilierte Binaries. GGUF-Dateien sind zwischen Plattformen austauschbar.

Typische Aufrufmuster: llama-server (lokaler HTTP-Server mit OpenAI-kompatibler API), llama-cli (Kommandozeilen-Chat), llama-bench (Messung). GUIs wie LM Studio und Tooling-Layer wie Ollama setzen 2026 ganz oder teilweise auf llama.cpp.

Arbeite mit diesem Schema:

Eingang: Welche Beobachtung, Anfrage, Messung, Datei, Fehlermeldung oder Entscheidung startet den Vorgang?
Der Eingang ist der konkrete Auslöser: eine Beobachtung, Anfrage, Messung, Datei, Fehlermeldung oder Entscheidung. Schreibe zuerst den Rohbefund auf und trenne ihn von deiner Vermutung.
Prüfung: Welche Fakten müssen belegt werden, bevor du handelst?
Bei der Prüfung belegst du die Fakten, bevor du handelst: Was ist passiert, wo passiert es, seit wann, wie oft, mit welcher Auswirkung und mit welchem Nachweis? Erst danach entscheidest du den nächsten Schritt.
Aktion: Was ist der kleinste sinnvolle Schritt, der das Problem klärt oder voranbringt?
Die Aktion ist der kleinste reversible Schritt, der Klarheit bringt: eine Messung, ein kontrollierter Test, eine Rückfrage, ein Backup, eine Dokumentation oder eine sichere Änderung mit beobachtbarem Ergebnis.
Nachweis: Was dokumentierst du, damit andere Menschen später verstehen, was passiert ist?
Der Nachweis hält fest, was entschieden und beobachtet wurde: Ausgangslage, Prüfschritte, Ergebnis, Zeit, Beteiligte, offene Risiken und der nächste sinnvolle Schritt. So kann jemand anderes den Fall nachvollziehen.

Vorher solltest du LLM-Grundlagen verstanden haben.

Für die Praxis bedeutet das: Du trennst Beobachtung von Interpretation. Eine Beobachtung ist zum Beispiel ein Messwert, eine Fehlermeldung, ein Zählerstand, ein Logeintrag oder ein reproduzierbarer Schritt. Eine Interpretation ist deine Vermutung, warum das passiert. Gute Arbeit entsteht, wenn beide Ebenen nicht vermischt werden.

Verwandte Begriffe für die Vertiefung: Quantisierung lokaler Modelle, AI-Hardware für lokale Modelle.

Auf Expertenniveau geht es nicht mehr um das Wiederholen einer Definition. Du bewertest Randfälle, Grenzen, Verantwortlichkeiten und Folgewirkungen. Bei llama.cpp heißt das: Du kannst zwischen Normalfall, Ausnahmefall und Risiko unterscheiden. Du erkennst, wann ein Fall noch in deinen Aufgabenbereich gehört und wann Spezialisten, rechtliche Klärung, Security, Engineering oder eine formale Freigabe nötig sind.

Die wichtigsten Praxisfallen sind:

Ein Modell wird nach Hype ausgewählt, nicht nach Datenlage, Hardware, Lizenz, Latenz und Qualitätsmessung.
Backend und Build werden verwechselt: Eine CPU-only-Binary auf einer GPU-Maschine läuft, ist aber langsam. Performance erfordert passend kompilierte Binaries (CUDA/Metal/Vulkan).
Token/s ohne vollständigen Kontext (CPU/GPU, Quant, Kontext, Batch, Runtime, Quelle) sind wertlos — Herstellers-Benchmarks (LocalAI Master, Spheron, mustafa.net u.a.) sind Eigenmessungen und teils spekulativ.
RAG wird als Wahrheitssystem missverstanden, obwohl Retrieval, Kontext und Modellantwort getrennt validiert werden müssen.
Lokale Verarbeitung wird automatisch als datenschutzsicher betrachtet, obwohl Logs, Plugins, Downloads und Benutzerrechte weiter relevant sind.
Benchmarks ersetzen keine eigenen Testfälle aus der echten Arbeit.

Goldstandard: Du kannst den Begriff einem Laien erklären, einen realistischen Fall damit bearbeiten, Grenzen sauber benennen, Nachweise dokumentieren und erklären, welche Entscheidung du warum getroffen hast.

Quick-Check