Lokale KI: Welche Hardware reicht für welches Modell?

Wer ein KI-Modell lokal laufen lassen will, stößt sofort auf widersprüchliche Angaben. Der eine schreibt, für ein 70B-Modell brauche es 140 GB, der nächste behauptet, 48 GB reichen, und der dritte lässt es auf einem Mac mit 32 GB laufen, nur unerträglich langsam. Alle drei können recht haben, denn sie reden über unterschiedliche Quantisierungen und Kontextlängen.

Dieser Artikel gibt Dir deshalb keine starre Tabelle, sondern die Rechenmethode dahinter. Mit ihr schätzt Du für jedes Modell in einer Minute ab, wie viel Speicher es braucht, ob es auf Deine Hardware passt und wie schnell es dort ungefähr antworten wird. Am Ende steht eine Kaufempfehlung nach Budget. Die Beispiele beziehen sich auf Ollama, gelten aber genauso für LM Studio und llama.cpp, weil alle mit denselben Modelldateien arbeiten. Stand der Hardware ist November 2026.

Die Faustformel für den Speicherbedarf

Ein Sprachmodell besteht aus Milliarden Zahlen, den Gewichten. Die Angabe „8B” heißt 8 Milliarden Gewichte. Wie viel Speicher sie belegen, hängt davon ab, mit wie vielen Bits jedes Gewicht gespeichert ist:

Speicher in GB = Parameter in Milliarden × Bits pro Gewicht ÷ 8

Dazu kommen der Speicher für den Kontext und etwas Puffer für die Software, im Alltag rund 10 bis 20 Prozent obendrauf. Drei Rechenbeispiele:

• 8B mit 16 Bit (Originalqualität): 8 × 16 ÷ 8 = 16 GB, mit Puffer rund 18 GB.
• 8B mit 4 Bit: 8 × 4,5 ÷ 8 = 4,5 GB, mit Puffer rund 5 bis 6 GB. Die 4,5 statt 4 kommen daher, dass gängige 4-Bit-Formate einige Schichten genauer speichern.
• 70B mit 4 Bit: 70 × 4,5 ÷ 8 = rund 39 GB, mit Puffer und etwas Kontext 43 bis 48 GB.

Die Ergebnisse decken sich gut mit den Downloadgrößen in der Ollama-Bibliothek: llama3.1:8b ist dort 4,9 GB groß, llama3.3:70b 43 GB. Genau diese Downloadgröße ist der schnellste Anhaltspunkt: Die Datei muss komplett in den Speicher passen, und dazu kommt der Kontext.

Quantisierung: Q4, Q5 und Q8 erklärt

Quantisierung heißt, die Gewichte mit weniger Bits zu speichern, als das Modell beim Training hatte. Die Kürzel stammen aus dem GGUF-Format von llama.cpp, das auch Ollama nutzt:

Die Faustregel aus der Praxis: Ein großes Modell mit Q4 ist fast immer besser als ein kleines Modell mit Q8. Ein 32B-Modell in Q4 schlägt also ein 14B-Modell in Q8, obwohl beide ähnlich viel Speicher belegen. Unter 4 Bit, etwa bei Q3 oder Q2, nimmt die Qualität dagegen spürbar ab. Das lohnt nur, wenn ein Modell sonst gar nicht passt.

Welche Quantisierung ein Ollama-Modell nutzt, zeigt Dir:

ollama show llama3.1:8b

In der Ausgabe stehen unter Model unter anderem parameters mit der Modellgröße, context length mit dem maximal möglichen Kontext und quantization mit dem Format, etwa Q4_K_M.

Kontextlänge kostet Speicher

Der Kontext ist das Kurzzeitgedächtnis des Modells: Dein Gesprächsverlauf, eingefügte Dokumente, bei Programmierwerkzeugen ganze Dateien. Für jeden Token im Kontext legt das Modell Zwischenwerte im sogenannten KV-Cache ab, und der wächst linear mit der Länge. Bei Llama 3.1 8B sind das rund 128 KB pro Token. Das ergibt:

Bei langem Kontext kann der Cache also größer werden als das Modell selbst. Größere Modelle brauchen pro Token mehr, manche neuere Architekturen dank sparsamerer Aufmerksamkeit auch weniger, die Größenordnung bleibt aber gleich.

Ollama wählt die Kontextlänge deshalb nach Deinem Grafikspeicher. Laut Ollama-Doku zur Kontextlänge bekommst Du unter 24 GB nur 4.000 Token, zwischen 24 und 48 GB 32.000 und darüber 256.000 Token. Für Programmierwerkzeuge und Agenten empfiehlt die Doku mindestens 64.000 Token. Plane den Kontext deshalb bei jeder Kaufentscheidung mit ein: Wer mit langen Dokumenten arbeiten will, braucht 8 bis 16 GB mehr, als das Modell allein belegt.

Mac mit Apple Silicon oder PC mit Grafikkarte

Für die Geschwindigkeit zählt fast nur eins: Das Modell muss komplett im schnellen Speicher liegen. Beim PC ist das der Grafikspeicher (VRAM) der Grafikkarte, beim Mac der gemeinsame Arbeitsspeicher (Unified Memory), auf den CPU und Grafikeinheit gleichermaßen zugreifen.

Daraus ergibt sich der grundsätzliche Unterschied:

• Nvidia-Grafikkarte: sehr schnell, aber der Speicher ist klein und teuer. Gängige Karten haben 8, 12 oder 16 GB, Spitzenmodelle 24 bis 32 GB. Ein 70B-Modell passt auf keine einzelne Consumer-Karte.
• Mac mit Apple Silicon: langsamer pro Gigabyte, aber viel Speicher zu vergleichsweise niedrigen Preisen. Ein Mac mit 64 GB lässt ein 70B-Modell komplett auf der Grafikeinheit laufen.

Ganz nutzen kann ein Mac seinen Speicher allerdings nicht für die KI. macOS reserviert einen Teil für das System, bei Ollama stehen auf einem Mac je nach Ausbau etwa zwei Drittel bis drei Viertel des Arbeitsspeichers als Grafikspeicher zur Verfügung. Auf einem Mac mit 32 GB sind das grob 21 bis 24 GB, abzüglich dessen, was Browser, Editor und andere Programme gerade belegen.

Passt ein Modell nicht komplett in den schnellen Speicher, lagert Ollama Teile in den normalen Arbeitsspeicher aus und rechnet sie auf dem Prozessor. Das funktioniert, macht das Modell aber um ein Vielfaches langsamer.

Wie schnell wird es? Speicherbandbreite schätzen

Für jedes erzeugte Wort, genauer jeden Token, muss das Modell einmal alle Gewichte aus dem Speicher lesen. Die Speicherbandbreite setzt deshalb eine harte Obergrenze:

maximale Token pro Sekunde ≈ Speicherbandbreite in GB/s ÷ Modellgröße in GB

Ein Rechenbeispiel mit den Angaben aus den technischen Daten des Mac mini: Der M5 Pro hat 307 GB/s. Für ein 8B-Modell mit 5 GB ergibt das höchstens rund 60 Token pro Sekunde, für ein 32B-Modell mit 20 GB rund 15. In der Praxis erreichst Du etwa 60 bis 80 Prozent dieser Obergrenze. Ab etwa 10 Token pro Sekunde liest sich eine Antwort flüssig, unter 5 wird es zäh.

Die Werte stammen aus Apples technischen Daten von Mac mini und Mac Studio. Aktuelle Nvidia-Karten liegen je nach Modell zwischen rund 450 GB/s und 1,8 TB/s, also deutlich höher, solange das Modell in ihren kleineren Speicher passt.

Eine Ausnahme sind sogenannte Mixture-of-Experts-Modelle wie qwen3:30b oder gpt-oss:120b. Sie brauchen Speicher für alle Gewichte, lesen pro Token aber nur einen kleinen Teil davon. Deshalb laufen sie viel schneller, als ihre Größe vermuten lässt. In der Modellkarte erkennst Du sie an einer zweiten Angabe für die aktiven Parameter, etwa „30B, davon 3B aktiv”.

Prüfen, ob das Modell komplett auf der Grafikeinheit läuft

Starte ein Modell und stell ihm eine Frage. Öffne dann ein zweites Terminalfenster und gib ein:

ollama ps

Die Ausgabe zeigt jedes geladene Modell mit seiner tatsächlichen Größe im Speicher, der Spalte PROCESSOR und der Spalte CONTEXT. Steht unter PROCESSOR der Wert 100% GPU, liegt alles im schnellen Speicher, und Du bekommst die volle Geschwindigkeit. Steht dort etwas wie 48%/52% CPU/GPU, ist das Modell zu groß für den Grafikspeicher, und ein Teil läuft auf dem Prozessor.

Dann hast Du drei Stellschrauben, in dieser Reihenfolge:

1. Kontext verkleinern: In der Ollama-App unter Settings mit dem Schieberegler oder beim Serverstart mit der Variablen OLLAMA_CONTEXT_LENGTH. Oft passt das Modell danach komplett.
2. Kleinere Quantisierung wählen: etwa Q4 statt Q8, falls das Modell in mehreren Varianten angeboten wird.
3. Kleineres Modell nehmen: eine Stufe tiefer, etwa 14B statt 32B.

Wie Du Ollama am Mac installierst, Modelle startest und den Kontext für Programmierwerkzeuge einstellst, zeigt Dir der Artikel Ollama auf dem Mac: lokale KI mit MLX nutzen Schritt für Schritt.

Die Übersicht: Modellgröße und Speicherbedarf

Diese Tabelle fasst die Rechnung für Q4-Modelle mit moderatem Kontext von 8.000 bis 16.000 Token zusammen. Sie ist eine Orientierung, die Faustformel oben gilt auch für jedes Modell, das hier nicht steht.

Kaufempfehlung nach Budget

Meine Empfehlung richtet sich danach, was Du mit lokaler KI vorhast. Für Chat, Texte und Zusammenfassungen reicht ein gutes 8B- bis 14B-Modell. Für Programmierwerkzeuge und Agenten brauchst Du 30B-Modelle und langen Kontext.

• Einstieg zum Ausprobieren: Ein Mac, den Du schon hast, mit 16 GB Arbeitsspeicher. Darauf laufen 8B-Modelle flüssig. Kauf dafür nichts Neues, bevor Du weißt, ob Du lokale KI dauerhaft nutzt.
• Der sinnvolle Allrounder: Ein Mac mini mit M5 Pro (Affiliate Link) und 48 GB. Er lässt 30B-Modelle mit 32.000 Token Kontext komplett auf der Grafikeinheit laufen, ist leise und braucht im Leerlauf kaum Strom. 24 GB sind für diesen Zweck zu knapp, weil Modell und Kontext dann um den Platz mit den übrigen Programmen konkurrieren.
• Günstig gebraucht: Ein gebrauchter Mac mini mit M4 Pro bei eBay (Affiliate Link) mit 48 GB bietet mit 273 GB/s fast dieselbe Leistung für deutlich weniger Geld. Achte in der Anzeige auf die genaue Speichergröße, denn nachrüsten lässt sie sich nicht.
• Vorhandener Windows- oder Linux-PC: Eine Grafikkarte mit 16 GB (Affiliate Link) ist der günstigste Weg zu schnellen 8B- bis 14B-Modellen. Für 30B-Modelle brauchst Du 24 bis 32 GB VRAM, und solche Karten kosten oft mehr als ein ganzer Mac mini.
• 70B-Modelle und mehr: Ein Mac Studio mit M5 Max und 128 GB. Er ist teuer, aber die einzige Lösung unter einem Arbeitsplatzrechner mit mehreren Grafikkarten, die solche Modelle schnell genug für den Alltag laufen lässt.

Rechne vor jedem Kauf einmal mit der Faustformel nach, und zwar mit dem Modell, das Du wirklich nutzen willst, plus 8 bis 16 GB für Kontext und Programme. Wenn Du danach mit lokalen Modellen eigene Abläufe automatisieren willst, zeigt Dir der Artikel n8n mit Ollama: KI-Automationen ohne API-Kosten, wie das ohne Cloud geht.