AI-Hardware für lokale Modelle

Du prüfst AI-Hardware für lokale Modelle immer gegen einen konkreten Zweck: Datenschutz, Kosten, Geschwindigkeit, Qualität und Automatisierbarkeit.

Als Anfänger arbeitest du mit einer einfachen Prüfliste:

• Welche Aufgabe soll das Modell wirklich lösen?

  Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Du prüfst AI-Hardware für lokale Modelle immer gegen einen konkreten Zweck: Datenschutz, Kosten, Geschwindigkeit, Qualität und Automatisierbarkeit.
• Welche Daten dürfen lokal, intern oder extern verarbeitet werden?

  Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Du prüfst AI-Hardware für lokale Modelle immer gegen einen konkreten Zweck: Datenschutz, Kosten, Geschwindigkeit, Qualität und Automatisierbarkeit.
• Woran misst du, ob die Antwort gut genug, schnell genug und verlässlich genug ist?

  Musterantwort: Beginne mit dem konkreten Fall, prüfe die Fakten und erkläre den Begriff daran. Für diesen Abschnitt gilt: Du prüfst AI-Hardware für lokale Modelle immer gegen einen konkreten Zweck: Datenschutz, Kosten, Geschwindigkeit, Qualität und Automatisierbarkeit.

Das Ziel ist nicht, sofort Experte zu sein. Das Ziel ist, den Normalfall sauber zu erkennen, keine riskanten Annahmen zu treffen und die nächste sinnvolle Handlung begründen zu können.

Miniübung für den Lehrgang: Formuliere einen echten Fall in zwei Sätzen, markiere die wichtigste Information und schreibe eine Rückfrage auf, die fehlende Fakten klärt. Dadurch lernst du, AI-Hardware für lokale Modelle nicht nur zu definieren, sondern im Arbeitsfluss anzuwenden.

Auf Level 2 wird AI-Hardware für lokale Modelle in einen Ablauf eingebettet. Du unterscheidest Eingaben, Entscheidungspunkte, Ergebnis und Dokumentation. Genau dadurch wird aus Nachschlagen echtes Lernen: Du erkennst, was vorher geklärt sein muss, was sich aus dem Begriff ergibt und welche anderen Begriffe anschliessen.

Arbeite mit diesem Schema:

1. Eingang: Welche Beobachtung, Anfrage, Messung, Datei, Fehlermeldung oder Entscheidung startet den Vorgang?

   Der Eingang ist der konkrete Auslöser: eine Beobachtung, Anfrage, Messung, Datei, Fehlermeldung oder Entscheidung. Schreibe zuerst den Rohbefund auf und trenne ihn von deiner Vermutung.
2. Prüfung: Welche Fakten müssen belegt werden, bevor du handelst?

   Bei der Prüfung belegst du die Fakten, bevor du handelst: Was ist passiert, wo passiert es, seit wann, wie oft, mit welcher Auswirkung und mit welchem Nachweis? Erst danach entscheidest du den nächsten Schritt.
3. Aktion: Was ist der kleinste sinnvolle Schritt, der das Problem klärt oder voranbringt?

   Die Aktion ist der kleinste reversible Schritt, der Klarheit bringt: eine Messung, ein kontrollierter Test, eine Rückfrage, ein Backup, eine Dokumentation oder eine sichere Änderung mit beobachtbarem Ergebnis.
4. Nachweis: Was dokumentierst du, damit andere Menschen später verstehen, was passiert ist?

   Der Nachweis hält fest, was entschieden und beobachtet wurde: Ausgangslage, Prüfschritte, Ergebnis, Zeit, Beteiligte, offene Risiken und der nächste sinnvolle Schritt. So kann jemand anderes den Fall nachvollziehen.

Vorher solltest du Computer-Hardware: CPU, RAM, Storage, GPU verstanden haben.

Für die Praxis bedeutet das: Du trennst Beobachtung von Interpretation. Eine Beobachtung ist zum Beispiel ein Messwert, eine Fehlermeldung, ein Zählerstand, ein Logeintrag oder ein reproduzierbarer Schritt. Eine Interpretation ist deine Vermutung, warum das passiert. Gute Arbeit entsteht, wenn beide Ebenen nicht vermischt werden.

Verwandte Begriffe für die Vertiefung: RAM, Quantisierung lokaler Modelle.

Auf Expertenniveau geht es nicht mehr um das Wiederholen einer Definition. Du bewertest Randfälle, Grenzen, Verantwortlichkeiten und Folgewirkungen. Bei AI-Hardware für lokale Modelle heißt das: Du kannst zwischen Normalfall, Ausnahmefall und Risiko unterscheiden. Du erkennst, wann ein Fall noch in deinen Aufgabenbereich gehört und wann Spezialisten, rechtliche Klärung, Security, Engineering oder eine formale Freigabe nötig sind.

Hardware-Matrix nach VRAM/RAM-Klassen (Stand 2026-07-20)

Modellgrößen sind Beispiele aus offiziellen Model Cards als Q4_K_M (≈ 96-96,5% der Basisqualität, siehe Quantisierung lokaler Modelle). Die Angabe „Dateigröße" ist das auf der Platte gemessene Quant. „RAM-Reserve" zusätzlich zur Modell-Datei für KV-Cache, Runtime und Betriebssystem.

Beispiel-Speicherbedarf (HW-02):

• Qwen3-8B Q4 ≈ 5 GB Datei → ~6-7 GB RAM/VRAM praktisch (Apache-2.0, LLM-07)
• Phi-4-14B Q4 ≈ 9 GB Datei → ~10-11 GB praktisch (MIT, LLM-15)
• DeepSeek-V3 Q4 ≈ 404 GB Datei → mehr als 400 GB VRAM/RAM (MIT, LLM-10) — nur Multi-GPU/Server oder über Streaming-Ansätze (Proof-of-Concept, siehe Colibrì: 744B-MoE von Platte streamen auf sehr langsamen Boxen)

KV-Cache wächst mit Kontextlänge: Bei 8B-Modellen kann ein 32K-Kontext den Cache auf mehrere GB anwachsen lassen. Wer lange Dokumente verarbeitet, reserviert VRAM lieber großzügig oder arbeitet mit kontexteffizienten Architekturen (MLA/DSA bei DeepSeek/GLM).

Lizenz/Privacy-Kurzhinweis (HW-10): Qwen3, DeepSeek und Phi-4 sind MIT/Apache-2.0 (OSI-konform). Llama 4 nutzt die Llama Community License mit MAU-Cap — für Hobbyisten irrelevant, für kommerzielle Dienste prüfenswert. Lokal bedeutet nicht automatisch DSGVO-sicher: Logs, Plugins und Update-Checks können weiterhin Daten senden (siehe Datenschutz bei lokaler AI).

Wann Cloud besser ist (Faustregel): Frontier-Qualität (GPT-5.2, Claude 4.5, Gemini 3 Pro), sehr lange Kontexte jenseits der eigenen VRAM-Reserve, mehrstufige Agenten, hohe Nebenläufigkeit (>5 gleichzeitige User) oder wenn Anschaffungskosten für passende Hardware den Cloud-Verbrauch für Monate übersteigen.

Apple Silicon (HW-07, HW-09): MLX (MIT, Apple-only) ist 2026 der Standard-Pfad für M-Serie-Chips. Unified Memory macht das VRAM/RAM-Splitting einfacher; eine 64-GB-Max-Kiste entspricht grob einer „48-56 GB nutzbaren VRAM"-Klasse bei niedrigerer Bandbreite als dedizierte HBM-GPUs.

Die wichtigsten Praxisfallen

• Ein Modell wird nach Hype ausgewählt, nicht nach Datenlage, Hardware, Lizenz, Latenz und Qualitätsmessung.
• KV-Cache wird vergessen: Ein „8 GB"-Modell in „8 GB VRAM" läuft, aber nur mit winzigem Kontext.
• CPU-Benchmarks werden mit GPU-Zahlen verwechselt — Token/s ohne vollständigen Kontext (CPU/GPU, Quant, Kontext, Batch, Runtime, Quelle) sind wertlos.
• Herstellers-Benchmarks (LocalAI Master, Spheron, mustafa.net u.a.) sind oft Eigenmessungen und teils spekulativ; bevorzuge offizielle Repos und Model Cards.
• RAG wird als Wahrheitssystem missverstanden, obwohl Retrieval, Kontext und Modellantwort getrennt validiert werden müssen.
• Lokale Verarbeitung wird automatisch als datenschutzsicher betrachtet, obwohl Logs, Plugins, Downloads und Benutzerrechte weiter relevant sind.
• Benchmarks ersetzen keine eigenen Testfälle aus der echten Arbeit.

Goldstandard: Du kannst den Begriff einem Laien erklären, einen realistischen Fall damit bearbeiten, Grenzen sauber benennen, Nachweise dokumentieren und erklären, welche Entscheidung du warum getroffen hast.