Lokale KI
Ollama installieren
Kurzantwort
Unter Windows startest du OllamaSetup.exe, auf dem Mac ziehst du die App in den Programmordner, unter Linux genügt ein Installationsskript123. Danach lädt der Befehl "ollama run" mit einem Modellnamen das Modell herunter und öffnet einen Chat im Terminal7. Ob die Grafikkarte rechnet, zeigt "ollama ps" in der Spalte PROCESSOR5.

Ollama ist ein freies Programm unter MIT-Lizenz, das Sprachmodelle herunterlädt und auf deinem eigenen Rechner ausführt13. Es bringt eine Befehlszeile mit, unter Windows und macOS dazu ein kleines Chatfenster, und es stellt anderen Programmen eine Schnittstelle unter localhost:11434 bereit111. Auf unserem Testrechner mit RTX 4090 und RTX 5060 Ti läuft Ollama 0.40.0; die Versionsnummer, die Modellliste und die Angaben von ollama show unten stammen von dort12. Die Installationsschritte für Windows, Mac und Linux geben wir nach der offiziellen Dokumentation wieder, denn Ollama war auf dem Testrechner schon installiert und wir haben keinen Installer neu durchlaufen.
Was dein Rechner mitbringen sollte
Für Windows nennt Ollama Windows 10 in der Version 22H2 oder neuer, Home oder Pro1. Mit einer NVIDIA-Karte brauchst du laut Windows-Seite den Treiber 551.61 oder neuer; die allgemeine GPU-Seite nennt Rechenfähigkeit 5.0 und Treiber 550 als Untergrenze, für sehr alte Karten bis Rechenfähigkeit 6.2 den Treiber 57014. Radeon-Karten laufen unter Windows über ROCm v7 ab der RX 7600 oder über Vulkan, unter Linux ab der RX 68004. Ohne passende Grafikkarte rechnet Ollama auf dem Prozessor, was deutlich langsamer ist.
Auf dem Mac verlangt Ollama macOS 14 Sonoma oder neuer. Macs mit M-Chip nutzen die Grafikeinheit über Metal, ältere Intel-Macs rechnen nur auf dem Prozessor34. Plane Speicherplatz ein: Das Programm selbst belegt unter Windows mindestens 4 GB, jedes Modell je nach Größe zwischen einem und weit über hundert Gigabyte1.
Wie groß ein Modell sein darf, entscheidet vor allem der Grafikspeicher, den du für ein bestimmtes Modell mit dem VRAM-Rechner abschätzen kannst.
Installation unter Windows
- Lade auf ollama.com das Installationsprogramm OllamaSetup.exe herunter und starte es. Administratorrechte brauchst du nicht, Ollama installiert sich in dein Benutzerkonto1.
- Wer das Programm in einem anderen Ordner haben möchte, startet den Installer in PowerShell mit der Option /DIR, zum Beispiel OllamaSetup.exe /DIR="D:\Programme\Ollama"1.
- Nach der Installation sitzt Ollama als Symbol im Infobereich der Taskleiste. Modelle und Einstellungen landen im Ordner .ollama in deinem Benutzerverzeichnis1.
- Öffne PowerShell oder das Terminal und gib ollama --version ein. Bei uns erschien "ollama version is 0.40.0"12.
Ist dein Systemlaufwerk knapp, verlegst du die Modelle. Lege dazu eine Benutzer-Umgebungsvariable OLLAMA_MODELS an, die auf den neuen Ordner zeigt, beende Ollama über das Symbol in der Taskleiste und starte es neu1. Auf unserem Testrechner zeigt die Variable auf einen Ordner auf dem zweiten Laufwerk; dort liegen drei Modelle mit zusammen rund 26 GB12. Für den Betrieb als Windows-Dienst oder in eigenen Programmen bietet Ollama zusätzlich ein Zip-Archiv ohne Installer an1.
Installation auf dem Mac und unter Linux
Auf dem Mac öffnest du die Datei ollama.dmg und ziehst Ollama in den Ordner Programme. Beim ersten Start prüft die App, ob der Befehl ollama im Terminal erreichbar ist, und bietet an, dafür eine Verknüpfung in /usr/local/bin anzulegen3. Die Modelle liegen anschließend unter ~/.ollama3. Weil ein Mac mit M-Chip Arbeits- und Grafikspeicher teilt, rechnet man dort anders als bei einer Grafikkarte (lokale KI auf dem Mac).
Unter Linux reicht ein Befehl im Terminal: curl -fsSL https://ollama.com/install.sh | sh2. Die Dokumentation beschreibt dazu einen systemd-Dienst, der unter einem eigenen Benutzer ollama läuft. Den Zustand siehst du mit sudo systemctl status ollama, die Protokolle mit journalctl -e -u ollama2. Für ein Update führst du dasselbe Skript erneut aus2. Auf kleinen Rechnern wie dem Raspberry Pi läuft Ollama ebenfalls, allerdings nur mit kleinen Modellen (KI auf NAS und Raspberry Pi).
Das erste Modell laden
Ein einziger Befehl lädt ein Modell und öffnet den Chat: ollama run llama3.2:3b7. Fehlt das Modell, holt Ollama es zuerst aus seiner Bibliothek; Llama 3.2 mit drei Milliarden Parametern belegte bei uns 2,0 GB auf der Platte12. Danach tippst du deine Frage ein. Längere Texte über mehrere Zeilen setzt du zwischen dreifache Anführungszeichen """ am Anfang und am Ende7.
Für die Verwaltung genügen wenige Befehle7:
- ollama pull name lädt ein Modell, ohne den Chat zu öffnen.
- ollama ls zeigt alle Modelle auf der Platte mit Größe und Datum.
- ollama ps zeigt, welche Modelle gerade im Speicher liegen.
- ollama stop name entlädt ein Modell, ollama rm name löscht es.
- ollama show name nennt Architektur, Parameterzahl, Kontextlänge, Quantisierung und Lizenz.
Die Namen folgen dem Muster Modell:Größe, also etwa qwen3.5:9b oder gemma4:12b. Die Modelle sind meist auf vier Bit verkleinert, und Ollama kann jede Datei im Format GGUF nutzen9. Bei unserem Llama 3.2 meldet ollama show die Quantisierung Q4_K_M und eine maximale Kontextlänge von 131072 Token12.
Modelle außerhalb der Ollama-Bibliothek holst du direkt von Hugging Face: ollama run hf.co/nutzer/repository lädt dort eine GGUF-Datei, ohne Angabe die Stufe Q4_K_M, mit einem Zusatz wie :Q8_0 eine andere9.
Ohne Terminal geht es auch. Seit Juli 2025 enthält Ollama unter Windows und macOS ein Fenster, in dem du Modelle herunterlädst, mit ihnen chattest und Textdateien oder PDFs per Ziehen und Ablegen übergibst11.
Rechnet die Grafikkarte mit?
Starte ein Modell und gib in einem zweiten Terminal ollama ps ein. Die Spalte PROCESSOR zeigt, wo das Modell liegt: "100% GPU" heißt vollständig im Grafikspeicher, "100% CPU" vollständig im Arbeitsspeicher, ein Wert wie "48%/52% CPU/GPU" eine Aufteilung5. Sobald ein Teil im Arbeitsspeicher landet, sinkt das Tempo spürbar. Dann helfen ein kleineres Modell, eine stärkere Quantisierung oder ein kürzerer Kontext.
Mit zwei Grafikkarten bestimmst du über die Variable CUDA_VISIBLE_DEVICES, welche Karte Ollama sieht. Die Dokumentation empfiehlt dafür die UUID der Karte, die nvidia-smi -L ausgibt4. Wir betreiben so je Karte einen eigenen Ollama-Server auf eigenem Port. Dabei mussten wir zusätzlich OLLAMA_VULKAN=0 setzen, weil jede Instanz sonst die andere Karte über Vulkan mitbenutzen konnte412.
Zur Einordnung eine Probemessung vom 22.11.2026: Llama 3.2 3B in Q4_K_M erzeugte bei 8192 Token Kontext auf der RTX 4090 im Mittel 282,5 Token je Sekunde, auf der RTX 5060 Ti 160,6, jeweils über drei Läufe12. Die Einheit Tokens pro Sekunde zählt, wie viele Textbausteine ein Modell pro Sekunde erzeugt; für größere Modelle folgen die Werte im Praxistest mit der RTX 4090.
Kontextlänge einstellen
Das Kontextfenster legt fest, wie viel Text ein Modell auf einmal berücksichtigt. Ollama wählt den Standard nach dem Grafikspeicher: unter 24 GB sind es 4k Token, von 24 bis 48 GB 32k, ab 48 GB 256k (die Dokumentation rechnet in GiB)6. Auf unserer RTX 4090 startete Version 0.40.0 deshalb mit 32768 Token, die RTX 5060 Ti mit 16 GB fällt nach der Dokumentation in die kleinste Stufe6.
Ändern kannst du den Wert auf mehreren Wegen56:
- in den Einstellungen der App über einen Schieberegler,
- für den ganzen Server mit der Umgebungsvariable OLLAMA_CONTEXT_LENGTH, etwa mit dem Wert 8192,
- im laufenden Chat mit /set parameter num_ctx 8192,
- über die Schnittstelle mit der Option num_ctx.
Mehr Kontext braucht mehr Grafikspeicher. Ob die gewählte Länge angekommen ist, zeigt ollama ps in der Spalte CONTEXT6.
Antworten auf Deutsch
Die Befehle von Ollama sind englisch, die Sprache der Antworten hängt am Modell. Llama 3.2 unterstützt laut Modellkarte offiziell acht Sprachen, darunter Deutsch10. Schreibst du deine Frage auf Deutsch, antwortet ein solches Modell auf Deutsch; bei Modellen ohne diese Angabe lohnt ein kurzer Test, bevor du dich festlegst. Die Sprachangaben der verbreiteten Modellfamilien stehen im Vergleich der lokalen Modelle.
Andere Programme anbinden
Solange Ollama läuft, wartet unter http://localhost:11434 eine Schnittstelle auf Anfragen1. Eine Chatanfrage schickst du als POST an /api/chat mit dem Modellnamen und den Nachrichten im JSON-Format13. Für Programme, die eine API im Format von OpenAI erwarten, gibt es zusätzlich die Adresse http://localhost:11434/v1/ mit den Endpunkten für Chat, Textvervollständigung, Modellliste und Embeddings8. Viele dieser Programme verlangen einen Schlüssel; Ollama wertet ihn lokal nicht aus, eine beliebige Zeichenfolge genügt8.
Standardmäßig hört Ollama nur auf 127.0.0.1, also auf Anfragen vom eigenen Rechner. Mit OLLAMA_HOST=0.0.0.0:11434 erreichen auch andere Geräte im Netz den Server5. Öffne ihn nur in einem Netz, dem du vertraust. Ein Modell bleibt nach der letzten Anfrage fünf Minuten im Speicher; mit keep_alive in der Anfrage oder OLLAMA_KEEP_ALIVE für den Server änderst du das5. Deine Eingaben verlassen den Rechner bei lokalen Modellen nicht, Ollama schreibt dazu, man sehe Prompts und Daten im lokalen Betrieb nicht5.
Eine Chatoberfläche im Browser mit Benutzern und Dokumenten setzt du mit Open WebUI auf Ollama auf. Wer lieber alles in einem Fenster mit Mausbedienung hätte, greift eher zu LM Studio (Ollama oder LM Studio).

Was das für dich heißt
Mit einem kleinen Modell wie Llama 3.2 3B siehst du schnell, ob deine Grafikkarte mitrechnet.
- Leg OLLAMA_MODELS vor dem ersten großen Download auf ein Laufwerk mit viel Platz.
- Prüf nach jedem neuen Modell mit ollama ps, ob dort 100% GPU steht.
- Stell die Kontextlänge bewusst ein, statt dich auf den Standard zu verlassen.
- Öffne den Server mit OLLAMA_HOST nur in einem Netz, dem du vertraust.
Häufige Fragen
Kostet Ollama etwas?
Funktioniert Ollama ohne Internet?
Ja, sobald die Modelle heruntergeladen sind. Für ollama pull und ollama run mit einem neuen Modell braucht der Rechner eine Verbindung, danach läuft der Chat offline.
Wie entferne ich Ollama unter Linux wieder?
Dienst stoppen und deaktivieren, die Datei ollama.service löschen, dann Programm, Bibliotheken, den Benutzer ollama und den Ordner /usr/share/ollama entfernen2. Die Dokumentation listet alle Befehle der Reihe nach auf.
Quellen
Stand:
- Ollama: Installation unter Windows (Dokumentation), abgerufen am 22.11.2026. zurück
- Ollama: Installation unter Linux (Dokumentation), abgerufen am 22.11.2026. zurück
- Ollama: Installation unter macOS (Dokumentation), abgerufen am 22.11.2026. zurück
- Ollama: Hardware-Unterstützung für Grafikkarten, abgerufen am 22.11.2026. zurück
- Ollama: Häufige Fragen (FAQ), abgerufen am 22.11.2026. zurück
- Ollama: Kontextlänge (Dokumentation), abgerufen am 22.11.2026. zurück
- Ollama: CLI-Referenz, abgerufen am 22.11.2026. zurück
- Ollama: OpenAI-Kompatibilität, abgerufen am 22.11.2026. zurück
- Hugging Face: Ollama mit GGUF-Modellen vom Hub nutzen, abgerufen am 22.11.2026. zurück
- Meta auf Hugging Face: Llama 3.2 3B Instruct, Modellkarte, Stand 25.09.2024, abgerufen am 22.11.2026. zurück
- Ollama: Blogbeitrag zur neuen App für macOS und Windows, Stand 30.07.2025, abgerufen am 22.11.2026. zurück
- Eigene Messung: Eigene Installation Ollama 0.40.0 auf RTX 4090 und RTX 5060 Ti (Treiber 621.35), Ausgaben von ollama --version, ollama list und ollama show, Probemessung llama3.2:3b Q4_K_M mit drei Läufen, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
- Ollama: Quellcode auf GitHub (README, MIT-Lizenz), abgerufen am 22.11.2026. zurück




