Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI

Ollama installieren

Kurzantwort

Unter Windows startest du OllamaSetup.exe, auf dem Mac ziehst du die App in den Programmordner, unter Linux genügt ein Installationsskript⁠123. Danach lädt der Befehl "ollama run" mit einem Modellnamen das Modell herunter und öffnet einen Chat im Terminal⁠7. Ob die Grafikkarte rechnet, zeigt "ollama ps" in der Spalte PROCESSOR⁠5.

Autor
Veröffentlicht
Geprüft
Lesezeit
7 Minuten
Dünne, rechtwinklig abknickende Linien in Lachsrosa laufen auf dunkelblauem Grund in einem rechteckigen Block zusammen
Bild: KI-generiert

Ollama ist ein freies Programm unter MIT-Lizenz, das Sprachmodelle herunterlädt und auf deinem eigenen Rechner ausführt⁠13. Es bringt eine Befehlszeile mit, unter Windows und macOS dazu ein kleines Chatfenster, und es stellt anderen Programmen eine Schnittstelle unter localhost:11434 bereit⁠111. Auf unserem Testrechner mit RTX 4090 und RTX 5060 Ti läuft Ollama 0.40.0; die Versionsnummer, die Modellliste und die Angaben von ollama show unten stammen von dort⁠12. Die Installationsschritte für Windows, Mac und Linux geben wir nach der offiziellen Dokumentation wieder, denn Ollama war auf dem Testrechner schon installiert und wir haben keinen Installer neu durchlaufen.

Was dein Rechner mitbringen sollte

Für Windows nennt Ollama Windows 10 in der Version 22H2 oder neuer, Home oder Pro⁠1. Mit einer NVIDIA-Karte brauchst du laut Windows-Seite den Treiber 551.61 oder neuer; die allgemeine GPU-Seite nennt Rechenfähigkeit 5.0 und Treiber 550 als Untergrenze, für sehr alte Karten bis Rechenfähigkeit 6.2 den Treiber 570⁠14. Radeon-Karten laufen unter Windows über ROCm v7 ab der RX 7600 oder über Vulkan, unter Linux ab der RX 6800⁠4. Ohne passende Grafikkarte rechnet Ollama auf dem Prozessor, was deutlich langsamer ist.

Auf dem Mac verlangt Ollama macOS 14 Sonoma oder neuer. Macs mit M-Chip nutzen die Grafikeinheit über Metal, ältere Intel-Macs rechnen nur auf dem Prozessor⁠34. Plane Speicherplatz ein: Das Programm selbst belegt unter Windows mindestens 4 GB, jedes Modell je nach Größe zwischen einem und weit über hundert Gigabyte⁠1.

Wie groß ein Modell sein darf, entscheidet vor allem der Grafikspeicher, den du für ein bestimmtes Modell mit dem VRAM-Rechner abschätzen kannst.

Installation unter Windows

  1. Lade auf ollama.com das Installationsprogramm OllamaSetup.exe herunter und starte es. Administratorrechte brauchst du nicht, Ollama installiert sich in dein Benutzerkonto⁠1.
  2. Wer das Programm in einem anderen Ordner haben möchte, startet den Installer in PowerShell mit der Option /DIR, zum Beispiel OllamaSetup.exe /DIR="D:\Programme\Ollama"⁠1.
  3. Nach der Installation sitzt Ollama als Symbol im Infobereich der Taskleiste. Modelle und Einstellungen landen im Ordner .ollama in deinem Benutzerverzeichnis⁠1.
  4. Öffne PowerShell oder das Terminal und gib ollama --version ein. Bei uns erschien "ollama version is 0.40.0"⁠12.

Ist dein Systemlaufwerk knapp, verlegst du die Modelle. Lege dazu eine Benutzer-Umgebungsvariable OLLAMA_MODELS an, die auf den neuen Ordner zeigt, beende Ollama über das Symbol in der Taskleiste und starte es neu⁠1. Auf unserem Testrechner zeigt die Variable auf einen Ordner auf dem zweiten Laufwerk; dort liegen drei Modelle mit zusammen rund 26 GB⁠12. Für den Betrieb als Windows-Dienst oder in eigenen Programmen bietet Ollama zusätzlich ein Zip-Archiv ohne Installer an⁠1.

Installation auf dem Mac und unter Linux

Auf dem Mac öffnest du die Datei ollama.dmg und ziehst Ollama in den Ordner Programme. Beim ersten Start prüft die App, ob der Befehl ollama im Terminal erreichbar ist, und bietet an, dafür eine Verknüpfung in /usr/local/bin anzulegen⁠3. Die Modelle liegen anschließend unter ~/.ollama⁠3. Weil ein Mac mit M-Chip Arbeits- und Grafikspeicher teilt, rechnet man dort anders als bei einer Grafikkarte (lokale KI auf dem Mac).

Unter Linux reicht ein Befehl im Terminal: curl -fsSL https://ollama.com/install.sh | sh⁠2. Die Dokumentation beschreibt dazu einen systemd-Dienst, der unter einem eigenen Benutzer ollama läuft. Den Zustand siehst du mit sudo systemctl status ollama, die Protokolle mit journalctl -e -u ollama⁠2. Für ein Update führst du dasselbe Skript erneut aus⁠2. Auf kleinen Rechnern wie dem Raspberry Pi läuft Ollama ebenfalls, allerdings nur mit kleinen Modellen (KI auf NAS und Raspberry Pi).

Das erste Modell laden

Ein einziger Befehl lädt ein Modell und öffnet den Chat: ollama run llama3.2:3b⁠7. Fehlt das Modell, holt Ollama es zuerst aus seiner Bibliothek; Llama 3.2 mit drei Milliarden Parametern belegte bei uns 2,0 GB auf der Platte⁠12. Danach tippst du deine Frage ein. Längere Texte über mehrere Zeilen setzt du zwischen dreifache Anführungszeichen """ am Anfang und am Ende⁠7.

Für die Verwaltung genügen wenige Befehle⁠7:

  • ollama pull name lädt ein Modell, ohne den Chat zu öffnen.
  • ollama ls zeigt alle Modelle auf der Platte mit Größe und Datum.
  • ollama ps zeigt, welche Modelle gerade im Speicher liegen.
  • ollama stop name entlädt ein Modell, ollama rm name löscht es.
  • ollama show name nennt Architektur, Parameterzahl, Kontextlänge, Quantisierung und Lizenz.

Die Namen folgen dem Muster Modell:Größe, also etwa qwen3.5:9b oder gemma4:12b. Die Modelle sind meist auf vier Bit verkleinert, und Ollama kann jede Datei im Format GGUF nutzen⁠9. Bei unserem Llama 3.2 meldet ollama show die Quantisierung Q4_K_M und eine maximale Kontextlänge von 131072 Token⁠12.

Modelle außerhalb der Ollama-Bibliothek holst du direkt von Hugging Face: ollama run hf.co/nutzer/repository lädt dort eine GGUF-Datei, ohne Angabe die Stufe Q4_K_M, mit einem Zusatz wie :Q8_0 eine andere⁠9.

Ohne Terminal geht es auch. Seit Juli 2025 enthält Ollama unter Windows und macOS ein Fenster, in dem du Modelle herunterlädst, mit ihnen chattest und Textdateien oder PDFs per Ziehen und Ablegen übergibst⁠11.

Rechnet die Grafikkarte mit?

Starte ein Modell und gib in einem zweiten Terminal ollama ps ein. Die Spalte PROCESSOR zeigt, wo das Modell liegt: "100% GPU" heißt vollständig im Grafikspeicher, "100% CPU" vollständig im Arbeitsspeicher, ein Wert wie "48%/52% CPU/GPU" eine Aufteilung⁠5. Sobald ein Teil im Arbeitsspeicher landet, sinkt das Tempo spürbar. Dann helfen ein kleineres Modell, eine stärkere Quantisierung oder ein kürzerer Kontext.

Mit zwei Grafikkarten bestimmst du über die Variable CUDA_VISIBLE_DEVICES, welche Karte Ollama sieht. Die Dokumentation empfiehlt dafür die UUID der Karte, die nvidia-smi -L ausgibt⁠4. Wir betreiben so je Karte einen eigenen Ollama-Server auf eigenem Port. Dabei mussten wir zusätzlich OLLAMA_VULKAN=0 setzen, weil jede Instanz sonst die andere Karte über Vulkan mitbenutzen konnte⁠412.

Zur Einordnung eine Probemessung vom 22.11.2026: Llama 3.2 3B in Q4_K_M erzeugte bei 8192 Token Kontext auf der RTX 4090 im Mittel 282,5 Token je Sekunde, auf der RTX 5060 Ti 160,6, jeweils über drei Läufe⁠12. Die Einheit Tokens pro Sekunde zählt, wie viele Textbausteine ein Modell pro Sekunde erzeugt; für größere Modelle folgen die Werte im Praxistest mit der RTX 4090.

Kontextlänge einstellen

Das Kontextfenster legt fest, wie viel Text ein Modell auf einmal berücksichtigt. Ollama wählt den Standard nach dem Grafikspeicher: unter 24 GB sind es 4k Token, von 24 bis 48 GB 32k, ab 48 GB 256k (die Dokumentation rechnet in GiB)⁠6. Auf unserer RTX 4090 startete Version 0.40.0 deshalb mit 32768 Token, die RTX 5060 Ti mit 16 GB fällt nach der Dokumentation in die kleinste Stufe⁠6.

Ändern kannst du den Wert auf mehreren Wegen⁠56:

  • in den Einstellungen der App über einen Schieberegler,
  • für den ganzen Server mit der Umgebungsvariable OLLAMA_CONTEXT_LENGTH, etwa mit dem Wert 8192,
  • im laufenden Chat mit /set parameter num_ctx 8192,
  • über die Schnittstelle mit der Option num_ctx.

Mehr Kontext braucht mehr Grafikspeicher. Ob die gewählte Länge angekommen ist, zeigt ollama ps in der Spalte CONTEXT⁠6.

Antworten auf Deutsch

Die Befehle von Ollama sind englisch, die Sprache der Antworten hängt am Modell. Llama 3.2 unterstützt laut Modellkarte offiziell acht Sprachen, darunter Deutsch⁠10. Schreibst du deine Frage auf Deutsch, antwortet ein solches Modell auf Deutsch; bei Modellen ohne diese Angabe lohnt ein kurzer Test, bevor du dich festlegst. Die Sprachangaben der verbreiteten Modellfamilien stehen im Vergleich der lokalen Modelle.

Andere Programme anbinden

Solange Ollama läuft, wartet unter http://localhost:11434 eine Schnittstelle auf Anfragen⁠1. Eine Chatanfrage schickst du als POST an /api/chat mit dem Modellnamen und den Nachrichten im JSON-Format⁠13. Für Programme, die eine API im Format von OpenAI erwarten, gibt es zusätzlich die Adresse http://localhost:11434/v1/ mit den Endpunkten für Chat, Textvervollständigung, Modellliste und Embeddings⁠8. Viele dieser Programme verlangen einen Schlüssel; Ollama wertet ihn lokal nicht aus, eine beliebige Zeichenfolge genügt⁠8.

Standardmäßig hört Ollama nur auf 127.0.0.1, also auf Anfragen vom eigenen Rechner. Mit OLLAMA_HOST=0.0.0.0:11434 erreichen auch andere Geräte im Netz den Server⁠5. Öffne ihn nur in einem Netz, dem du vertraust. Ein Modell bleibt nach der letzten Anfrage fünf Minuten im Speicher; mit keep_alive in der Anfrage oder OLLAMA_KEEP_ALIVE für den Server änderst du das⁠5. Deine Eingaben verlassen den Rechner bei lokalen Modellen nicht, Ollama schreibt dazu, man sehe Prompts und Daten im lokalen Betrieb nicht⁠5.

Eine Chatoberfläche im Browser mit Benutzern und Dokumenten setzt du mit Open WebUI auf Ollama auf. Wer lieber alles in einem Fenster mit Mausbedienung hätte, greift eher zu LM Studio (Ollama oder LM Studio).

Kleiner Arbeitsplatz am Abend mit Desktop-Rechner unter dem Schreibtisch, seitlich stehendem Monitor und einem Netzwerk-Switch mit Kabeln im Regal
Mit der Schnittstelle auf Port 11434 nutzen auch andere Programme die lokalen Modelle. Bild: KI-generiert

Was das für dich heißt

Mit einem kleinen Modell wie Llama 3.2 3B siehst du schnell, ob deine Grafikkarte mitrechnet.

  1. Leg OLLAMA_MODELS vor dem ersten großen Download auf ein Laufwerk mit viel Platz.
  2. Prüf nach jedem neuen Modell mit ollama ps, ob dort 100% GPU steht.
  3. Stell die Kontextlänge bewusst ein, statt dich auf den Standard zu verlassen.
  4. Öffne den Server mit OLLAMA_HOST nur in einem Netz, dem du vertraust.

Häufige Fragen

Kostet Ollama etwas?

Für lokale Modelle nicht, das Programm steht unter MIT-Lizenz auf GitHub⁠13. Ein Konto und einen API-Schlüssel brauchst du nur für die Cloud-Modelle, die über ollama.com laufen⁠8.

Funktioniert Ollama ohne Internet?

Ja, sobald die Modelle heruntergeladen sind. Für ollama pull und ollama run mit einem neuen Modell braucht der Rechner eine Verbindung, danach läuft der Chat offline.

Wie entferne ich Ollama unter Linux wieder?

Dienst stoppen und deaktivieren, die Datei ollama.service löschen, dann Programm, Bibliotheken, den Benutzer ollama und den Ordner /usr/share/ollama entfernen⁠2. Die Dokumentation listet alle Befehle der Reihe nach auf.

Warum ist ein Modell plötzlich langsam?

Meist liegt ein Teil im Arbeitsspeicher, etwa weil der Kontext größer wurde oder ein zweites Modell geladen ist. ollama ps zeigt das in der Spalte PROCESSOR⁠5. Entlade nicht benötigte Modelle mit ollama stop⁠7.

Quellen

Stand:

  1. Ollama: Installation unter Windows (Dokumentation), abgerufen am 22.11.2026. zurück
  2. Ollama: Installation unter Linux (Dokumentation), abgerufen am 22.11.2026. zurück
  3. Ollama: Installation unter macOS (Dokumentation), abgerufen am 22.11.2026. zurück
  4. Ollama: Hardware-Unterstützung für Grafikkarten, abgerufen am 22.11.2026. zurück
  5. Ollama: Häufige Fragen (FAQ), abgerufen am 22.11.2026. zurück
  6. Ollama: Kontextlänge (Dokumentation), abgerufen am 22.11.2026. zurück
  7. Ollama: CLI-Referenz, abgerufen am 22.11.2026. zurück
  8. Ollama: OpenAI-Kompatibilität, abgerufen am 22.11.2026. zurück
  9. Hugging Face: Ollama mit GGUF-Modellen vom Hub nutzen, abgerufen am 22.11.2026. zurück
  10. Meta auf Hugging Face: Llama 3.2 3B Instruct, Modellkarte, Stand 25.09.2024, abgerufen am 22.11.2026. zurück
  11. Ollama: Blogbeitrag zur neuen App für macOS und Windows, Stand 30.07.2025, abgerufen am 22.11.2026. zurück
  12. Eigene Messung: Eigene Installation Ollama 0.40.0 auf RTX 4090 und RTX 5060 Ti (Treiber 621.35), Ausgaben von ollama --version, ollama list und ollama show, Probemessung llama3.2:3b Q4_K_M mit drei Läufen, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  13. Ollama: Quellcode auf GitHub (README, MIT-Lizenz), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog