Begriff
Colibrì: 744B-MoE von Platte streamen
Warum wichtig?
Dieser Begriff ist ein Knoten im SengakujiWorks-Wissensnetz. Nutze Level 0 für die erste Einordnung, Level 1 für Praxis, Level 2 für technische Struktur und Level 3 für Grenzen, Fallstricke und Expertenkontext.
Colibrì ist ein Proof-of-Concept für lokale Inferenz, kein Wunderwerkzeug. Es streamt die Experten eines riesigen Mixture-of-Experts-Modells (GLM-5.2, ~744B Parameter) von einer NVMe-SSD statt sie vollständig in den Grafikspeicher oder RAM zu laden. Dadurch sinkt das RAM-Residenzminimum stark, aber die Antwortgeschwindigkeit nicht.
Im Lehrgang gehört dieser Begriff zur Phase lokale AI, Hardware-Grenzen und Modellgrößen. Er eignet sich, um die Grenze zwischen „Modell passt in den Speicher" und „Modell antwortet schnell" zu verstehen. Wer ganz neu einsteigt, sollte drei Dinge mitnehmen: Colibrì ist ein technisches Experiment, „läuft mit 25 GB RAM" ist nicht dasselbe wie „läuft schnell", und das Projekt ist Hersteller-marketed, aber nur teilweise unabhängig bestätigt.
Merksatz: Colibrì zeigt, wie ein 744B-MoE mit wenig RAM resident wird — nicht, wie es damit schnell genug für Chat wird.
Du prüfst Colibrì immer gegen den konkreten Zweck: Willst du das Modell nur zum Laufen bringen, oder willst du damit interaktiv arbeiten?
Als Anfänger prüfst du drei Dinge:
- „Läuft mit 25 GB RAM" bedeutet nicht „interaktiv schnell". Auf der beworbenen Dev-Box (WSL2, 12 Cores, NVMe via VHDX ~1 GB/s) misst das Projekt selbst 0,05–0,1 Token/Sekunde („cold") ([COL-02/03], Hardware-Spezifikation im Repo). Rechnerisch entspricht das bei typischen Antworten von ~60-120 Token etwa 10-40 Minuten pro Antwort — das ist eine eigene Ableitung aus der Token-Rate, nicht eine Zahl aus dem Repo.
- Resident sein heißt: Das Modell ist im Speicher und startet. Interaktiv sein heißt: Es reagiert innerhalb von Sekunden, nicht Minuten.
- Das Repo selbst wurde am 2026-07-01 erstellt, die erste Release v1.0.0 am 2026-07-19 veröffentlicht. Die früher zitierte Formulierung „production since late June 2026" ist im Repo nicht belegt und wurde deshalb entfernt — korrekt ist: Repo 01.07.2026, v1.0.0 am 19.07.2026.
Miniübung: Lies die Projekt-Bewerbung und markiere alle Aussagen als entweder „Hersteller-Messung", „unabhängig bestätigt" oder „ungeprüft". Genau diese Trennung ist das eigentliche Lernziel.
Auf Level 2 wird Colibrì in die Architektur und die Engpässe eingeordnet. Du erkennst, was resident ist, was von der Platte kommt und warum das I/O-limitierend ist.
Architektur ([COL-04], [COL-05]):
- Dense-Teil (~10 GB int4) ist dauerhaft resident im RAM. Das steuert jede Token-Erzeugung und hält Kontext.
- ~370 GB Experten liegen auf einer NVMe-SSD. Da MoE nur wenige Experten pro Token aktiviert, müssen nicht alle gleichzeitig im Speicher sein.
- ~11 GB Lesezugriff pro kaltem Token müssen von der NVMe kommen. Achtung — Engpass ist kontextabhängig: Bei kaltem Decode + kleinem RAM ist NVMe-I/O tatsächlich der Engpass; mit ausreichend RAM wechselt der Flaschenhals zur Matmul (CPU); beim Prefill (Prompt-Verarbeitung) ist er Attention-bound, nicht Disk-bound. Die pauschale Aussage „NVMe ist immer der Engpass" trifft also nicht zu ([COL-04], Repo benchmarks.md + Issue #153).
- GLM-5.2-spezifisch: MLA-Attention, DSA und nativer MTP sind hardcoded für dieses Modell ([COL-05]).
Engpässe getrennt betrachten:
- NVMe-I/O: Lesebandbreite limitiert Tokens/Sekunde. Mehr RAM-Residenz senkt I/O, erhöht aber die RAM-Anforderung.
- RAM-Größe: Begrenzt, wie viele Experten gleichzeitig resident sein können.
- CPU-Matmul: Auf Geräten ohne GPU läuft die Matrizenmultiplikation auf der CPU und ist selbst dann langsam, wenn I/O schnell ist.
Wann Colibrì interessant ist:
- Rechner mit ≥128 GB RAM, weil dann ein größerer Teil der Experten resident wird und die I/O-Last sinkt.
- Multi-GPU-Setup, weil die Matmul dann beschleunigt wird und I/O der einzige Engpass bleibt.
Wann Colibrì ungeeignet ist:
- 25 GB-RAM-Chat-Szenario — läuft, aber mit ~20 Min/Antwort ([COL-03]).
- Produktion — der Status „production" ist nur ein Projektclaim ([COL-06]); unabhängige Reviews beschreiben es als „smart but slow" ([COL-07]).
Status des Projekts: ausgereifter Proof-of-Concept / Early-Alpha. Lizenz: Apache-2.0. Keine Runtime-Dependencies (pure C). Plattformen: Windows/Mac/Linux ([COL-01]).
Vorher solltest du LLM-Grundlagen und AI-Hardware für lokale Modelle verstanden haben.
Auf Expertenniveau geht es um die saubere Trennung zwischen Herstellers-, unabhängiger und ungeprüfter Aussage sowie um Security.
Praxisfallen:
- „production since late June 2026" ([COL-06]) ist NUR Projektclaim. Keine unabhängige Bestätigung gefunden. Nicht als Reifegrad-Beleg verwenden.
- Residenz ≠ Interaktivität. Die unabhängig gemessenen 0,05–0,1 tok/s ([COL-03]) gelten auf der beworbenen Maschine und machen Chat unrealistisch.
- NVMe als Engpass wird in der Bewerbung unterbetont. ~11 GB/Token I/O ist die eigentliche Determinante der Geschwindigkeit, nicht das Modell selbst.
- Modell ist hardcoded für GLM-5.2 ([COL-05]) — generalisiert nicht ohne Weiteres auf andere MoE-Architekturen.
Security-Risiken:
- 370 GB Fremd-Weights müssen von einer vertrauenswürdigen Quelle geladen werden. Manipulierte Weights sind ein klassisches Supply-Chain-Risiko.
- Python-Konvertierung der Weights bedeutet, dass Code aus dem Modell-Umfeld in deinem Build-Prozess läuft — Reproduzierbarkeit und Integritätsprüfung der Konvertierungsschritte sind Pflicht.
- Apache-2.0 und „zero runtime deps" (pure C) reduzieren die Angriffsfläche der Runtime selbst, heben aber das Weights-Risiko nicht auf.
Goldstandard: Du kannst einem Laien erklären, warum ein 744B-Modell zwar mit 25 GB RAM startet, aber nicht chat-tauglich ist; du trennst Hersteller-Messung ([COL-02]) von unabhängiger Messung ([COL-03]); du kennst die NVMe-I/O-Falle; und du weißt, dass der „production"-Status ein Projektclaim bleibt ([COL-06]).
Verwandte Begriffe für die Vertiefung: Modelle benchmarken, AI-Hardware für lokale Modelle.
Quick-Check
Was ist der Zweck von Colibrì?
Ein Proof-of-Concept, der die Experten eines ~744B-MoE (GLM-5.2) von NVMe streamt statt sie vollständig resident zu halten.Bedeutet „läuft mit 25 GB RAM" auch „interaktiv schnell"?
Nein. Auf der beworbenen Box misst die Community 0,05–0,1 tok/s, also rund 20 Minuten pro Antwort ([COL-03]).Was ist der dominierende Engpass?
NVMe-I/O: ~11 GB Lesezugriff pro Token. RAM-Größe und CPU-Matmul sind sekundär.Ist „production since late June 2026" ein Fakt?
Nein, das ist ein Projektclaim ohne unabhängige Bestätigung ([COL-06]). Unabhängige Reviews beschreiben Colibrì als „smart but slow" ([COL-07]).Wann darfst du Colibrì nicht für Produktion einsetzen?
Solange der „production"-Status nur ein Projektclaim ist, die Geschwindigkeit auf der Zielmaschine bei Minuten pro Antwort liegt und 370 GB Fremd-Weights plus Python-Konvertierung ungeprüft in deinen Build fließen.