Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI

Lokale KI für Einsteiger

Kurzantwort

Für den Einstieg reicht ein Windows-PC mit 16 GB Arbeitsspeicher und einer Grafikkarte mit mindestens 4 GB Grafikspeicher⁠3. Wichtiger als der Prozessor ist der Grafikspeicher, denn er bestimmt, wie groß das Modell sein darf. Die Software ist kostenlos, die Modelle lädst du einmal herunter, danach läuft alles ohne Internet.

Autor
Veröffentlicht
Geprüft
Lesezeit
7 Minuten
Schreibtisch am Abend mit einem PC-Gehäuse mit Glasseite und großer Grafikkarte, daneben ein Monitor von der Seite mit dunklem Hintergrund und eine Tastatur
Ein gewöhnlicher Desktop-PC reicht für die ersten Schritte mit lokalen Sprachmodellen. Bild: KI-generiert

Ein Sprachmodell auf dem eigenen Rechner laufen zu lassen, geht heute mit einem normalen PC und einem fertigen Programm. Du installierst ein Programm wie LM Studio oder Ollama, lädst ein Modell von wenigen Gigabyte und stellst deine Fragen in einem Chatfenster. Wie gut und wie schnell das klappt, hängt fast nur am Grafikspeicher deiner Karte: Mit 8 GB laufen kleine Modelle flüssig, mit 16 GB Modelle mit 14 Milliarden Parametern, mit 24 GB auch solche mit rund 32 Milliarden⁠48.

Wofür sich lokale KI lohnt

Der stärkste Grund ist der Datenschutz. Ollama schreibt in seiner FAQ, dass der Anbieter deine Prompts und Daten nicht sieht, solange du Modelle lokal ausführst⁠1. Verträge, Krankenakten oder Kundendaten verlassen den Rechner also nicht. Für Betriebe ist das oft die Voraussetzung, überhaupt mit einem LLM zu arbeiten; die Seite lokale KI im Unternehmen geht darauf ein.

Dazu kommt, dass lokal keine Kosten je Anfrage anfallen und kein Konto nötig ist. Du kannst hundert Texte am Stück zusammenfassen lassen, ohne an ein Tageslimit zu stoßen. Und du lernst, wie Modelle funktionieren: Du siehst, wie viel Speicher sie belegen, wie sich die Antworten mit der Quantisierung ändern und warum ein langer Kontext bremst.

Im Alltag sind es oft unspektakuläre Aufgaben, bei denen ein lokales Modell hilft: eine lange E-Mail kürzen, ein Protokoll in Stichpunkte bringen, einen englischen Fachtext grob übersetzen oder eine Formel für die Tabellenkalkulation erklären lassen. Für Sprachaufnahmen gibt es eigene lokale Modelle, die lokale Transkription beschreibt den Weg mit Whisper. Wer programmiert, kann ein Code-Modell im Editor einbinden und behält den Quelltext im Haus.

Weniger sinnvoll ist lokale KI, wenn du vor allem aktuelle Informationen aus dem Netz brauchst oder die stärksten Modelle für schwierige Aufgaben.

Welche Hardware du mindestens brauchst

LM Studio empfiehlt unter Windows mindestens 16 GB Arbeitsspeicher und eine Grafikkarte mit wenigstens 4 GB eigenem Grafikspeicher; der Prozessor muss den Befehlssatz AVX2 beherrschen⁠3. Ollama läuft ab Windows 10 22H2 und verlangt bei NVIDIA-Karten einen Treiber ab Version 551.61⁠2. Für die Installation selbst rechnet Ollama mit 4 GB Speicherplatz, die Modelle brauchen je nach Größe Dutzende bis Hunderte Gigabyte zusätzlich⁠2.

Bei der Grafikkarte zählt der VRAM, also der Speicher auf der Karte. Eine RTX 5060 hat 8 GB, eine RTX 5060 Ti gibt es mit 8 oder 16 GB, die RTX 5090 hat 32 GB⁠4. Für den Einstieg ist die Klasse um 16 GB ein guter Kompromiss, weil dort Modelle mit 8 und 14 Milliarden Parametern samt Kontext Platz finden. Wer eine Karte kaufen will, findet im Vergleich Grafikkarte für lokale KI die Klassen nach Speicher, für den ganzen Rechner gibt es KI-PC kaufen oder bauen.

Auf dem Notebook geht es auch. Die Laptop-Grafikchips von NVIDIA reichen von 8 GB bei der RTX 5050 bis 24 GB bei der RTX 5090 Laptop-GPU. Letztere arbeitet mit 95 bis 150 Watt, die Desktop-Karte RTX 5090 mit 575 Watt⁠45. Ohne eigene Grafikkarte läuft ein Modell auf dem Prozessor; das funktioniert für kleine Modelle, ist aber deutlich langsamer.

Macs mit Apple-Chip teilen sich einen gemeinsamen Arbeitsspeicher zwischen Prozessor und Grafik. Der aktuelle Mac mini mit M6 startet mit 16 GB und lässt sich auf 32 GB erweitern; Apple nennt dafür einen Preis ab 1.049 Euro (Stand 22.11.2026)⁠67. Lokale KI auf dem Mac rechnet durch, welche Modelle in so einen Speicher passen.

Zwei Hände setzen eine Grafikkarte in ein offenes PC-Gehäuse auf einer Werkbank, daneben liegen Schraubendreher und Schrauben
Der Grafikspeicher der Karte bestimmt, wie groß das Modell sein darf. Bild: KI-generiert

Drei Wege zur lokalen KI

Die Programme unterscheiden sich vor allem darin, wie viel du selbst einstellen willst. Für den Anfang reicht einer der drei Wege.

Drei Spalten für LM Studio, Ollama und llama.cpp oder ComfyUI, von links nach rechts mit steigendem Aufwand
  1. LM Studio Fenster und Chat
  2. Ollama Dienst mit Schnittstelle
  3. llama.cpp und ComfyUI volle Kontrolle
Drei Wege zur lokalen KI, sortiert nach Aufwand. Grafik: KI-Blog

Der bequemste Weg ist LM Studio. Es ist ein Programm mit Fenster, Modellsuche und Chat, ähnlich den bekannten Chat-Diensten. Du suchst ein Modell aus der Liste, LM Studio zeigt an, ob es in deinen Speicher passt, und lädt es herunter. Die Anleitung LM Studio führt durch die ersten Schritte.

Der zweite Weg ist Ollama. Es läuft im Hintergrund, du sprichst es über die Kommandozeile oder über eine eigene Oberfläche an. Ein Befehl wie "ollama run llama3.2" lädt das Modell und startet den Chat. Weil Ollama eine Schnittstelle für andere Programme anbietet, nutzen viele Werkzeuge es als Unterbau, etwa Open WebUI als Chatoberfläche im Browser. Die Einrichtung führt Ollama installieren Schritt für Schritt vor.

Der dritte Weg richtet sich an Leute, die tiefer einsteigen. Mit llama.cpp startest du Modelle im Format GGUF direkt und stellst jeden Parameter selbst ein. Für Bilder ist ComfyUI das verbreitete Werkzeug; laut Projektseite läuft es schon ab 4 GB Grafikspeicher und 8 GB Arbeitsspeicher⁠11. Die Anleitung ComfyUI installieren zeigt den Weg unter Windows.

Welche Modellgröße auf welchen Rechner passt

In der Ollama-Bibliothek ist Qwen3 mit 0,6 Milliarden Parametern nur 523 MB groß, die Fassung mit 4 Milliarden 2,5 GB, die mit 8 Milliarden 5,2 GB und die mit 14 Milliarden 9,3 GB⁠8. Die 32-Milliarden-Fassung kommt auf 20 GB und passt damit nur auf Karten mit 24 GB oder mehr⁠8. Llama 3.2 gibt es mit 1 und 3 Milliarden Parametern in 1,3 und 2,0 GB; Deutsch steht dort in der Liste der offiziell unterstützten Sprachen⁠9.

Diese Größen gelten für die übliche Quantisierung mit rund 4 Bit je Gewicht. Zur Dateigröße kommt im Betrieb der Kontextspeicher, der mit der Länge des Gesprächs wächst. Wie viel das genau ausmacht, rechnet der VRAM-Rechner für dein Modell aus. Eine Übersicht, welches Modell wofür taugt, gibt Welches lokale Modell?.

Als Faustregel für den Start: Auf 8 GB nimmst du ein Modell bis etwa 4 Milliarden Parameter, auf 16 GB eines mit 8 bis 14 Milliarden, auf 24 GB eines bis 32 Milliarden⁠48. Wer mehr will, landet bei mehreren Karten oder bei Rechnern mit großem gemeinsamem Speicher.

Kleine externe SSD mit Kabel an einem zugeklappten Notebook auf einem hellen Holztisch, daneben eine weiße Tasse und eine Brille
Modelle brauchen Platz: von 523 MB bis 20 GB je Datei. Bild: KI-generiert

Wie schnell lokale Modelle antworten

Die Geschwindigkeit misst man in Tokens pro Sekunde. Bei unserer Probemessung mit Llama 3.2 3B in Ollama erzeugte die RTX 4090 im Median 282,6 Tokens je Sekunde, die RTX 5060 Ti mit 16 GB 160,9⁠10. Beides ist schneller, als man mitlesen kann. Die erste Ausgabe kam auf beiden Karten nach rund 0,04 Sekunden⁠10.

Größere Modelle sind langsamer, weil für jedes Token mehr Gewichte aus dem Speicher gelesen werden. Muss ein Teil des Modells in den Arbeitsspeicher ausweichen, sinkt das Tempo stark. Wie stark das ins Gewicht fällt, messen wir auf zwei Karten mit 16 und 24 GB Grafikspeicher⁠4, der RTX 5060 Ti und der RTX 4090.

Wo Cloud-Dienste vorn bleiben

Die größten Modelle der Anbieter laufen auf Rechenzentren mit Hunderten Gigabyte Grafikspeicher. Auf einer einzelnen Spielegrafikkarte mit 32 GB ist dagegen bei Modellen um 32 Milliarden Parametern Schluss, wenn alles im Grafikspeicher bleiben soll⁠48. Bei schwierigen Aufgaben, langen Rechenwegen oder sehr langen Dokumenten liegen die großen Cloud-Modelle deshalb oft vorn.

Lokale Modelle kennen außerdem nur ihren Trainingsstand. Eine Websuche haben sie von Haus aus nicht, und neue Modellfassungen musst du selbst herunterladen. Dafür bleibt das einmal geladene Modell unverändert, bis du es austauschst. Was veröffentlichte Vergleiche über lokale Modelle und die Gratisfassungen von ChatGPT und Claude sagen, steht im Ratgeber lokal gegen Cloud.

Typische Stolpersteine beim Start

Der häufigste Fehler ist ein Modell, das knapp zu groß ist. Es startet trotzdem, Ollama legt dann aber einen Teil in den Arbeitsspeicher, und die Antworten kommen zäh. Der Befehl "ollama ps" zeigt in der Spalte Processor, ob das Modell zu 100 Prozent auf der Grafikkarte liegt oder geteilt ist, etwa "48%/52% CPU/GPU"⁠1. Hilft das kleinere Modell nicht, ist oft der Kontext zu lang eingestellt.

Der zweite Stolperstein ist das Laufwerk C:. Ollama speichert Modelle unter Windows im Benutzerordner, und nach ein paar Versuchen ist die Systemplatte voll. Über die Umgebungsvariable OLLAMA_MODELS legst du einen anderen Ordner fest⁠1. Rechnet die Grafikkarte gar nicht mit, prüf die Treiberversion; Ollama braucht bei NVIDIA mindestens 551.61⁠2.

Was das für dich heißt

Bevor du Hardware kaufst, probier aus, was dein Rechner heute schon schafft.

  1. Schau im Gerätemanager oder in den Systeminfos nach, wie viel Grafikspeicher deine Karte hat.
  2. Installier LM Studio und lade ein Modell mit 3 bis 4 Milliarden Parametern, das passt fast überall.
  3. Gib im VRAM-Rechner dein Wunschmodell ein, bevor du eine neue Karte bestellst.
  4. Gib sensible Dokumente wie Verträge oder Befunde einem lokalen Modell zum Zusammenfassen.

Häufige Fragen

Kann ich lokale KI ohne Grafikkarte nutzen?

Ja, Ollama und LM Studio rechnen dann auf dem Prozessor. Für Modelle mit 1 bis 3 Milliarden Parametern ist das brauchbar, größere antworten spürbar langsamer. Mit einer Grafikkarte ab 4 GB Grafikspeicher wird es deutlich angenehmer⁠3.

Wie viel Speicherplatz brauchen die Modelle?

Ein kleines Modell wie Llama 3.2 3B belegt 2,0 GB, Qwen3 14B 9,3 GB⁠89. Wer mehrere Modelle ausprobiert, ist mit Qwen3 in 8, 14 und 32 Milliarden Parametern schon bei rund 35 GB⁠8. Ollama lässt sich deshalb so einstellen, dass die Modelle auf einem anderen Laufwerk liegen⁠1.

Läuft lokale KI auch auf einem Notebook?

Ja, am besten mit einer NVIDIA-Laptop-GPU ab 8 GB Grafikspeicher oder auf einem Mac mit Apple-Chip⁠56. Im Akkubetrieb drosseln viele Notebooks die Grafik, für längere Sitzungen gehört das Netzteil dazu.

Brauche ich Englischkenntnisse?

Für die Bedienung kaum, die Antworten vieler Modelle sind auf Deutsch gut. Bei sehr kleinen Modellen leidet die Grammatik eher als bei größeren. Llama 3.2 führt Deutsch unter den offiziell unterstützten Sprachen⁠9.

Quellen

Stand:

  1. Ollama: FAQ: Datenschutz, Speicherort der Modelle, ollama ps, abgerufen am 22.11.2026. zurück
  2. Ollama: Windows: Systemvoraussetzungen, abgerufen am 22.11.2026. zurück
  3. LM Studio: System Requirements, abgerufen am 22.11.2026. zurück
  4. NVIDIA: GeForce-Grafikkarten im Vergleich: technische Daten, abgerufen am 22.11.2026. zurück
  5. NVIDIA: GeForce-Laptops im Vergleich: technische Daten, abgerufen am 22.11.2026. zurück
  6. Apple: Mac mini: Technische Daten, abgerufen am 22.11.2026. zurück
  7. Apple: Mac mini kaufen (Preise), Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  8. Ollama: Bibliothek: qwen3 (Größen der Modelle), abgerufen am 22.11.2026. zurück
  9. Ollama: Bibliothek: llama3.2 (Größen und Sprachen), abgerufen am 22.11.2026. zurück
  10. Eigene Messung: Probemessung Llama 3.2 3B Q4_K_M mit Ollama 0.40.0 auf RTX 4090 und RTX 5060 Ti, Treiber 621.35, drei Läufe, Median, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  11. Comfy-Org: ComfyUI auf GitHub (README), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog