Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI · Vergleich

Welches lokale Modell?

Kurzantwort

Welches lokale Modell passt, entscheidet zuerst dein Grafikspeicher: Die Modelldatei muss samt Kontext hineinpassen⁠17. Mit 8 GB laufen Modelle bis etwa neun Milliarden Parameter wie Qwen3.5 9B oder Llama 3.1 8B, mit 24 GB Modelle bis gut 30 Milliarden wie Gemma 4 31B⁠234. Deutsch nennen Llama und Mistral ausdrücklich, Qwen3.5 und Gemma 4 werben mit über hundert Sprachen, und Qwen, Gemma und Mistral stehen unter der freien Apache-Lizenz⁠9101213.

Autor
Veröffentlicht
Geprüft
Lesezeit
9 Minuten
Externe Festplatten stehen aufrecht in einer Reihe auf einem Holzregal, an jeder hängt ein leerer Anhänger aus Packpapier, darüber eine Messinglampe
Jede Modellgröße braucht ihren Platz im Speicher. Bild: KI-generiert

Eine Rangliste "bestes lokales Modell" gibt es nicht, denn drei Fragen entscheiden: Wie viel Grafikspeicher hast du, in welcher Sprache arbeitest du, und was darfst du mit dem Modell machen? Die Ollama-Bibliothek allein listet Dutzende Familien, von Llama über Qwen und Gemma bis zu DeepSeek und gpt-oss, jede in mehreren Größen⁠1. Wir ordnen die wichtigsten nach diesen drei Fragen. Alle Größenangaben stammen aus der Ollama-Bibliothek und meinen die Datei in der voreingestellten Fassung, meist vier Bit⁠1; Lizenz und Sprachen kommen aus den Modellkarten der Hersteller.

Wie viel Speicher ein Modell braucht

Ein Sprachmodell rechnet nur dann schnell, wenn es vollständig im VRAM der Grafikkarte liegt. Dort muss neben der Modelldatei auch der Speicher für den Kontext Platz finden, und der wächst mit der Kontextlänge⁠17. Wie viel das ausmacht, zeigt unsere Probe: Llama 3.2 3B ist als Datei 2,0 GB groß, belegte mit 8192 Token Kontext auf der RTX 4090 aber rund 3,2 GB Grafikspeicher⁠518. Plane also immer einen Puffer über der Dateigröße ein, bei langen Dokumenten einen großen.

Die Dateigröße hängt an der Zahl der Parameter und an der Quantisierung. Ein Beispiel aus der Dokumentation von llama.cpp: Llama 3.1 8B schrumpft von 32,1 GB im Original auf 4,9 GB in der Stufe Q4_K_M, die 70-Milliarden-Fassung von 280,9 GB auf 43,1 GB⁠16. Vier Bit sind deshalb der übliche Kompromiss für den Heimrechner. Der VRAM-Rechner schätzt den Bedarf eines Modells; wie sich die Stufen auf Qualität und Tempo auswirken, steht im Praxistest Quantisierung.

Die Familien im Überblick

Llama von Meta ist die älteste der großen offenen Familien. In der Ollama-Bibliothek gehören Llama 3.1 mit 8, 70 und 405 Milliarden Parametern und Llama 3.2 mit 1 und 3 Milliarden zu den meistgeladenen Modellen⁠1. Llama 3.1 8B ist 4,9 GB groß, die 70B-Fassung 43 GB; beide verarbeiten bis zu 128K Token Kontext⁠4. Meta nennt für Llama 3.1 und 3.2 acht offiziell unterstützte Sprachen, darunter Deutsch⁠510.

Qwen von Alibaba erscheint in schneller Folge; die Bibliothek führt Qwen3.5 mit Größen von 0,8 bis 122 Milliarden Parametern⁠2 und daneben neuere Fassungen wie Qwen3.6 und Qwen3.8, von dem es eine Variante mit 27 Milliarden Parametern gibt⁠120. Qwen3.5 verarbeitet Bilder und Text, kann Werkzeuge aufrufen und vor der Antwort nachdenken⁠2. Laut Modellkarte unterstützt Qwen3.5 9B 201 Sprachen und Dialekte und einen Kontext von 262.144 Token⁠9. Wer "Qwen lokal" sucht, landet in Ollama mit qwen3.5:9b bei einer Datei von 6,6 bis 7,6 GB, mit qwen3.5:27b bei 17 bis 20 GB⁠2.

Gemma von Google gibt es in der vierten Generation in fünf Größen: E2B, E4B, 12B, 26B A4B und 31B⁠12. Die kleinen Fassungen haben 128K Token Kontext, die mittleren 256K⁠12. Laut Modellkarte unterstützt Gemma 4 mehr als 35 Sprachen direkt und wurde mit über 140 Sprachen trainiert⁠12. In Ollama ist gemma4:12b 7,7 bis 8,0 GB groß, gemma4:31b 19 bis 20 GB⁠3.

Mistral aus Frankreich ist mit Mistral Small 3.2 vertreten, einem Modell mit 24 Milliarden Parametern, das Text und Bilder verarbeitet; in Ollama belegt es 15 GB⁠814. Für die Vorgängerversion Mistral Small 3.1 nennt die Modellkarte Deutsch ausdrücklich und schreibt, das Modell passe quantisiert auf eine einzelne RTX 4090⁠13. Die Karte von Version 3.2 spricht von 24 Sprachen, ohne sie aufzuzählen⁠14.

DeepSeek-R1 ist ein Reasoning-Modell, das vor der Antwort einen Denkweg ausgibt. Das vollständige Modell hat 671 Milliarden Parameter und ist in Ollama 404 GB groß, also nichts für den Heimrechner⁠615. Für den Heimrechner kommen die abgeleiteten Fassungen mit 1,5 bis 70 Milliarden Parametern in Frage. Sie bauen auf Qwen 2.5 und Llama auf; DeepSeek hat sie mit Antworten des großen Modells nachtrainiert⁠15. Die 14B-Fassung ist 9,0 GB groß, die 32B-Fassung 20 GB⁠6.

gpt-oss ist die offene Modellreihe von OpenAI mit 20 und 120 Milliarden Parametern⁠7. Die kleinere Fassung ist 14 GB groß und läuft laut Ollama schon auf Systemen mit 16 GB Speicher, die größere passt auf eine einzelne Karte mit 80 GB⁠7.

Lokale Modellfamilien im Vergleich
FamilieGrößen in OllamaDateigröße (Beispiele)Deutsch laut ModellkarteLizenz
Llama 3.1 und 3.2 (Meta)1B, 3B, 8B, 70B, 405B3B: 2,0 GB, 8B: 4,9 GB, 70B: 43 GBausdrücklich, eine von acht SprachenLlama Community License, multimodale 3.2-Modelle in der EU ausgenommen
Qwen3.5 (Alibaba)0,8B bis 122B9B: 6,6 bis 7,6 GB, 27B: 17 bis 20 GB201 Sprachen und DialekteApache 2.0
Gemma 4 (Google)E2B, E4B, 12B, 26B, 31B12B: 7,7 bis 8,0 GB, 31B: 19 bis 20 GBüber 35 direkt, über 140 trainiertApache 2.0
Mistral Small 3.2 (Mistral AI)24B15 GB24 Sprachen, Deutsch genannt bei Version 3.1Apache 2.0
DeepSeek-R1 (abgeleitete Fassungen)1,5B bis 70B, voll 671B14B: 9,0 GB, 32B: 20 GBkeine AngabeMIT plus Lizenz des Ausgangsmodells
gpt-oss (OpenAI)20B, 120B20B: 14 GB, 120B: 65 GBnicht geprüftApache 2.0

Stand: 22.11.2026 Größen und Dateigrößen laut Ollama-Bibliothek (meist vier Bit), Sprachen und Lizenzen laut Modellkarten der Hersteller, abgerufen am 22.11.2026.

Modelle nach Grafikspeicher

Die folgende Einteilung richtet sich nach der Dateigröße in Ollama und lässt Platz für einen mittleren Kontext. Unsere Messwerte für Tempo und Speicher je Modell folgen in den Praxistests auf der RTX 4090 und der RTX 5060 Ti.

Mit 8 GB Grafikspeicher bleibst du bei Modellen bis etwa neun Milliarden Parameter. Llama 3.1 8B mit 4,9 GB und DeepSeek-R1 in der 8B-Fassung mit 5,2 GB lassen Raum für Kontext; Qwen3.5 9B mit 6,6 bis 7,6 GB füllt die Karte schon fast⁠246. Für einfache Aufgaben auf schwacher Hardware reichen auch Llama 3.2 3B mit 2,0 GB oder Qwen3.5 4B mit 3,3 bis 4,0 GB⁠25.

Mit 12 bis 16 GB, wie auf unserer RTX 5060 Ti, passen Gemma 4 12B mit 7,7 bis 8,0 GB und DeepSeek-R1 14B mit 9,0 GB bequem⁠36. gpt-oss 20B mit 14 GB liegt an der Grenze einer 16-GB-Karte, ebenso Mistral Small 3.2 mit 15 GB⁠78. Hier hilft ein kurzer Kontext, sonst rutscht ein Teil in den Arbeitsspeicher.

Mit 24 GB wie auf der RTX 4090 öffnet sich die Klasse um 30 Milliarden Parameter. Qwen3.5 27B mit 17 bis 20 GB, Gemma 4 31B mit 19 bis 20 GB und DeepSeek-R1 32B mit 20 GB passen hinein, lassen aber nur wenig Platz für lange Texte⁠236. Mistral Small 3.2 hat hier mit 15 GB reichlich Luft für Kontext⁠8.

Darüber beginnt die Klasse für Rechner mit mehreren Karten oder viel gemeinsamem Speicher, etwa einem Mac mit großem Arbeitsspeicher (Lokale KI auf dem Mac). Llama 3.1 70B und DeepSeek-R1 70B belegen je 43 GB, gpt-oss 120B 65 GB, Qwen3.5 122B 81 GB⁠2467.

Matrix lokaler Sprachmodelle nach Grafikspeicher von 8 GB bis über 24 GB und nach der Angabe zu Deutsch in der Modellkarte, jedes Modell mit Dateigröße
  1. Ausdrücklich genannt Deutsch steht in der Modellkarte
  2. Viele Sprachen Zahl der Sprachen ohne Einzelnennung geprüft
  3. Keine Angabe Modellkarte schweigt zu Sprachen, bei gpt-oss nicht geprüft
Llama und Mistral nennen Deutsch ausdrücklich, Qwen und Gemma werben mit vielen Sprachen. Grafik: KI-Blog

Deutsch laut Modellkarte

Ob ein Modell gutes Deutsch schreibt, hängt an seinen Trainingsdaten, und die Hersteller geben das unterschiedlich genau an. Meta führt Deutsch für Llama 3.1 und 3.2 unter acht offiziell unterstützten Sprachen⁠510. Mistral nennt Deutsch für Small 3.1 ausdrücklich⁠13. Qwen3.5 und Gemma 4 werben mit der Zahl der Sprachen, 201 Sprachen und Dialekte bei Qwen, mehr als 35 direkt unterstützte und über 140 trainierte Sprachen bei Gemma⁠912. Für die abgeleiteten DeepSeek-Modelle macht die Modellkarte keine Angabe zu Sprachen; beim Vorläufer R1-Zero beschreibt DeepSeek das Problem, dass Sprachen in einer Antwort durcheinandergeraten⁠15.

Eine Herstellerangabe ersetzt keinen Test, und eine lange Sprachliste sagt nichts darüber, wie natürlich ein Modell formuliert. Was veröffentlichte Ranglisten über lokale und Cloud-Modelle sagen und wo ihre Grenzen liegen, fasst der Ratgeber lokal gegen Cloud zusammen. Für den Anfang ist ein Modell, dessen Karte Deutsch ausdrücklich nennt und das mit den meisten Parametern noch in deinen Speicher passt, ein vernünftiger Ausgangspunkt für eigene Tests.

Was die Lizenzen erlauben

"Offen" heißt bei Sprachmodellen meist, dass die Gewichte frei herunterladbar sind (Open Weights). Was du damit tun darfst, regelt die Lizenz, und die unterscheidet sich deutlich.

Qwen3.5, Gemma 4 und Mistral Small stehen unter der Apache-Lizenz 2.0, die Nutzung, Änderung und kommerziellen Einsatz erlaubt⁠91213. gpt-oss steht ebenfalls unter Apache 2.0⁠7. DeepSeek-R1 steht unter MIT-Lizenz; für die abgeleiteten Fassungen gelten zusätzlich die Lizenzen ihrer Ausgangsmodelle, also Apache 2.0 bei den Qwen-Fassungen und die Llama-Lizenz bei den Llama-Fassungen⁠15.

Llama nutzt eine eigene Lizenz von Meta, die Llama Community License. Sie erlaubt kommerzielle Nutzung, verlangt aber eine eigene Lizenz von Meta, sobald ein Angebot im Vormonat mehr als 700 Millionen monatlich aktive Nutzer hatte⁠10. Wichtiger für Leser in Deutschland: Für die multimodalen Modelle von Llama 3.2, die auch Bilder verstehen, gewährt die Lizenz Personen mit Wohnsitz und Firmen mit Hauptsitz in der EU die Nutzungsrechte nicht⁠11. Die reinen Textmodelle mit 1 und 3 Milliarden Parametern betrifft das nicht.

Mehrere alte Messingschlüssel in verschiedenen Größen hängen an kleinen Haken auf einem verwitterten Holzbrett vor grauem Hintergrund
Die Lizenz entscheidet, was du mit einem offenen Modell tun darfst. Bild: KI-generiert

Zwei Modelle selbst gegeneinander testen

Am Ende zählt, wie ein Modell mit deinen eigenen Aufgaben umgeht. Ein kleiner Test dauert keine halbe Stunde. Nimm drei oder vier Aufgaben aus deinem Alltag, etwa eine E-Mail auf Deutsch, eine Zusammenfassung eines bekannten Textes und eine Sachfrage, deren Antwort du sicher kennst. Stelle sie jedem Kandidaten wortgleich und in einem neuen Chat.

In Ollama zeigt der Zusatz --verbose nach jeder Antwort die Zeiten an, etwa wie viele Token je Sekunde das Modell erzeugt hat⁠18. So siehst du gleich, ob ein größeres Modell noch flüssig genug läuft. Achte bei den Antworten auf drei Dinge: ob das Deutsch natürlich klingt, ob die Sachfrage stimmt und ob das Modell bei der Zusammenfassung Dinge erfindet. Fehlt ein Modell in der Ollama-Bibliothek, lädst du eine GGUF-Fassung direkt von Hugging Face mit ollama run hf.co/nutzer/repository⁠19.

Notiere dir die Ergebnisse kurz. Nach zwei oder drei Durchgängen erkennst du meist, welches Modell für welche Art von Aufgabe taugt, und kannst ein zweites für Sonderfälle wie Bilder oder Rechenaufgaben behalten. Platz auf der SSD kostet das wenig im Vergleich zum Grafikspeicher.

Welches Modell für welche Aufgabe

Für Texte auf Deutsch, Zusammenfassungen und E-Mails ist ein Modell mit ausdrücklich genanntem Deutsch in der größten Fassung sinnvoll, die dein Speicher trägt: auf 8 GB Llama 3.1 8B, auf 24 GB Mistral Small 3.2 mit Platz für längere Texte⁠481013. Wer Bilder, Tabellen als Foto oder Bildschirmfotos auswerten will, braucht ein Modell mit Bildeingang wie Qwen3.5, Gemma 4 oder Mistral Small 3.2⁠238.

Für Rechenaufgaben und Logik bieten sich Reasoning-Modelle wie DeepSeek-R1 an; sie brauchen für ihre Denkschritte allerdings mehr Zeit und mehr Kontext. Für Programmierarbeit gibt es eigene Code-Modelle, die wir unter Programmieren mit lokalen Modellen vorstellen. Und wer wissen will, wie die lokalen Modelle gegen die großen Cloud-Modelle dastehen, findet die Übersicht der Anbieter im KI-Modelle-Vergleich.

Auf unserem Testrechner liegen derzeit Llama 3.2 3B, Qwen3.5 9B und eine Fassung von Qwen3.8 27B mit zusammen rund 26 GB⁠18. Laden lassen sich alle genannten Modelle mit einem Befehl in Ollama oder über die Suche in LM Studio.

Was das für dich heißt

Starte mit der größten Fassung, die mit etwas Puffer in deinen Grafikspeicher passt, und teste sie an deinen eigenen Aufgaben.

  1. Schau vor dem Download in der Ollama-Bibliothek auf die Dateigröße und rechne Platz für den Kontext dazu.
  2. Prüfe nach dem Laden mit ollama ps, ob das Modell ganz auf der Grafikkarte liegt.
  3. Lies vor dem Einsatz im Betrieb die Lizenz in der Modellkarte.
  4. Vergleiche zwei Modelle mit denselben drei bis vier Fragen aus deinem Alltag.

Häufige Fragen

Was ist das beste lokale Modell für 16 GB Grafikspeicher?

Eine feste Antwort gibt es nicht, es hängt an Sprache und Aufgabe. Bequem passen Gemma 4 12B und DeepSeek-R1 14B, an der Grenze liegen gpt-oss 20B und Mistral Small 3.2⁠3678. Für Deutsch nennen Meta und Mistral die Sprache ausdrücklich⁠1013.

Darf ich lokale Modelle kommerziell nutzen?

Bei Apache 2.0 und MIT ja, das gilt etwa für Qwen3.5, Gemma 4, Mistral Small, gpt-oss und DeepSeek-R1⁠79121315. Llama erlaubt kommerzielle Nutzung mit eigenen Bedingungen, die multimodalen Fassungen von Llama 3.2 sind für Nutzer in der EU ausgenommen⁠1011.

Reicht der Arbeitsspeicher statt Grafikspeicher?

Ein Modell läuft auch ganz oder teilweise im Arbeitsspeicher, dann aber deutlich langsamer. Ollama zeigt die Aufteilung mit ollama ps an⁠17.

Warum sind manche Größen als Spanne angegeben?

Neuere Familien wie Qwen3.5 und Gemma 4 gibt es in Ollama in mehreren Fassungen je Größe, etwa für verschiedene Quantisierungen; die Bibliothek zeigt deshalb eine Spanne⁠23.

Quellen

Stand:

  1. Ollama: Modellbibliothek, sortiert nach Beliebtheit, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  2. Ollama: Qwen3.5 in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  3. Ollama: Gemma 4 in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  4. Ollama: Llama 3.1 in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  5. Ollama: Llama 3.2 in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  6. Ollama: DeepSeek-R1 in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  7. Ollama: gpt-oss in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  8. Ollama: Mistral Small 3.2 in der Modellbibliothek, abgerufen am 22.11.2026. zurück
  9. Qwen auf Hugging Face: Qwen3.5-9B, Modellkarte, Stand 02/2026, abgerufen am 22.11.2026. zurück
  10. Meta auf Hugging Face: Llama 3.1 8B Instruct, Modellkarte, Stand 23.07.2024, abgerufen am 22.11.2026. zurück
  11. Meta auf Hugging Face: Llama 3.2 11B Vision Instruct, Modellkarte und Lizenz, abgerufen am 22.11.2026. zurück
  12. Google: Gemma 4, Modellkarte, Stand 2026, abgerufen am 22.11.2026. zurück
  13. Mistral AI auf Hugging Face: Mistral Small 3.1 24B Instruct 2503, Modellkarte, abgerufen am 22.11.2026. zurück
  14. Mistral AI auf Hugging Face: Mistral Small 3.2 24B Instruct 2506, Modellkarte, abgerufen am 22.11.2026. zurück
  15. DeepSeek auf Hugging Face: DeepSeek-R1, Modellkarte, abgerufen am 22.11.2026. zurück
  16. ggml-org: llama.cpp: llama-quantize (README), abgerufen am 22.11.2026. zurück
  17. Ollama: Kontextlänge (Dokumentation), abgerufen am 22.11.2026. zurück
  18. Eigene Messung: Eigene Installation Ollama 0.40.0 auf RTX 4090: ollama list, ollama --help und Probemessung llama3.2:3b Q4_K_M mit Kontext 8192 (VRAM vor dem Lauf 1820 MiB, Spitze im Mittel 4847 MiB), Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  19. Hugging Face: Ollama mit GGUF-Modellen vom Hub nutzen, abgerufen am 22.11.2026. zurück
  20. Ollama: Qwen3.8 in der Modellbibliothek, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog