Lokale KI
llama.cpp, GGUF und vLLM
Kurzantwort
llama.cpp ist das Rechenwerk, auf dem Ollama aufbaut und mit dem LM Studio GGUF-Dateien ausführt1012. Direkt genutzt, legst du jeden Parameter selbst fest, von der Aufteilung auf mehrere Grafikkarten bis zum Format des Kontextspeichers3. vLLM ist ein eigener Server unter Linux, gebaut für viele gleichzeitige Anfragen8.

Wer Ollama oder LM Studio eine Weile genutzt hat, stößt irgendwann an deren Voreinstellungen: Das Programm wählt Kontext, Speicheraufteilung und Parallelität selbst, und neue Modellarchitekturen kommen erst mit dem nächsten Update. Mit llama.cpp gehst du eine Ebene tiefer. Das Projekt unter MIT-Lizenz stellt Befehlszeilenwerkzeuge und einen Server bereit, der Anfragen im OpenAI-Format beantwortet1. Den Einstieg in lokale Modelle setzen wir hier voraus; wer neu ist, beginnt besser mit unserer Seite Lokale KI für Einsteiger. Llama.cpp haben wir noch nicht als eigenes Paket auf dem Testrechner installiert; Befehle und Standardwerte unten stammen aus der Dokumentation, Stand 22.11.2026.
Wann sich llama.cpp statt Ollama lohnt
Am Tempo liegt es selten. Ollama baut auf llama.cpp auf, LM Studio rechnet GGUF-Dateien ebenfalls damit1012. In unserer Probemessung auf der RTX 4090 erzeugten beide mit demselben Modell rund 282 Token je Sekunde; in der Laufzeit von LM Studio fanden wir dabei die Datei llama-server.exe, den Server von llama.cpp11. Unterschiede entstehen durch Einstellungen, und genau die bekommst du mit llama.cpp vollständig in die Hand.
Aus unserer Sicht lohnt der Schritt in drei Fällen. Erstens, wenn du ein Modell auf zwei Grafikkarten verteilen und die Anteile selbst bestimmen willst. Zweitens, wenn du den Kontextspeicher verkleinern möchtest, um längere Texte unterzubringen. Drittens, wenn ein neues Modell schon in llama.cpp läuft, in Ollama aber noch nicht. Das Projekt veröffentlicht laufend neue Fassungen; am 22.11.2026 war es die Version b126316. Für den bequemen Alltag mit Modellbibliothek bleiben Ollama oder LM Studio die einfachere Wahl.
Fertiges Paket oder selbst kompilieren
Den schnellsten Weg bieten fertige Pakete. Unter Windows lädst du auf der Release-Seite das Archiv für deine Karte, für NVIDIA etwa die Fassung mit CUDA 12.4 oder CUDA 13.5 für x64, und dazu das passende Archiv cudart mit den Laufzeitbibliotheken6. Beides entpackst du in denselben Ordner. Alternativ installiert ein Skript llama.cpp, unter Windows in PowerShell mit irm https://llama.app/install.ps1 | iex1.
Selbst kompilieren lohnt, wenn du für deine Karte optimieren oder eine Funktion aus dem aktuellen Entwicklungsstand nutzen willst. Unter Windows brauchst du dafür Visual Studio 2022 mit dem Paket "Desktop-Entwicklung mit C++", dazu CMake und Git, für NVIDIA außerdem das CUDA Toolkit2. Alle Befehle laufen in der Developer-Eingabeaufforderung von Visual Studio2:
- git clone https://github.com/ggml-org/llama.cpp und in den Ordner wechseln.
- cmake -B build -DGGML_CUDA=ON richtet den Bau mit CUDA ein.
- cmake --build ./build --config Release baut die Programme.
- Die fertigen Dateien liegen danach unter build\bin\Release, darunter llama-server und llama-quantize2.
Erkennt der Compiler deine Karte nicht, gibst du ihre Rechenfähigkeit ohne Punkt an, für die RTX 4090 mit 8.9 also -DCMAKE_CUDA_ARCHITECTURES="89"2. Mit -DGGML_NATIVE=OFF entsteht ein Paket, das auf allen CUDA-Karten läuft2. Für Radeon- und Intel-Grafik gibt es den Bau mit Vulkan (-DGGML_VULKAN=ON), auf dem Mac ist Metal ohne weitere Angabe eingeschaltet2.
GGUF-Dateien und ihre Quantisierung
GGUF ist das Dateiformat von llama.cpp. Eine GGUF-Datei enthält die Gewichte des Modells und einen festen Satz an Metadaten, etwa Architektur, Kontextlänge und Vorlage für den Chat, und lässt sich schnell laden5. Auf Hugging Face zeigt ein Betrachter diese Metadaten und die einzelnen Tensoren direkt auf der Modellseite an5.
Die Kürzel im Dateinamen nennen die Quantisierung. Bei den K-Verfahren liegen die Gewichte in Blöcken mit eigenem Maßstab: Q4_K kommt auf 4,5 Bit je Gewicht, Q5_K auf 5,5 Bit, Q6_K auf 6,5625 Bit5. Die IQ-Verfahren nutzen eine Wichtigkeitsmatrix und erreichen noch kleinere Dateien, IQ2_XXS etwa 2,06 Bit je Gewicht5.
Wie sich das auf die Dateigröße auswirkt, zeigt die Tabelle der Projektdokumentation für Llama 3.1 8B: rund 4,9 GB in Q4_K_M, 5,7 GB in Q5_K_M und 8,5 GB in Q8_0; die Dokumentation nennt 4,58, 5,33 und 7,95 GiB4. Als Ausgangspunkt eignet sich Q4_K_M; llama-server nimmt diese Stufe auch, wenn du ein Modell von Hugging Face ohne Angabe lädst3. Bleibt Grafikspeicher übrig, lohnt Q5_K_M oder Q6_K. Unter vier Bit greifst du besser zu einer IQ-Datei, die mit Wichtigkeitsmatrix erstellt wurde. Zahlen zu Qualität und Tempo der Stufen liefert der Praxistest Quantisierung.
Eine eigene GGUF-Datei erzeugst du in zwei Schritten4. Das Skript convert_hf_to_gguf.py wandelt ein Modell von Hugging Face in eine GGUF-Datei mit voller Genauigkeit um, zum Beispiel mit --outtype bf16. Danach verkleinert llama-quantize sie: llama-quantize modell-bf16.gguf modell-Q4_K_M.gguf Q4_K_M. Mit --imatrix übergibst du eine Wichtigkeitsmatrix, die den Qualitätsverlust verringert4.
llama-server starten
Der Server lädt ein Modell und beantwortet Anfragen über HTTP. Der einfachste Aufruf nennt nur die Datei: llama-server -m modell.gguf3. Mit -hf und einem Namen von Hugging Face, etwa -hf ggml-org/Qwen3.5-0.8B-GGUF, lädt der Server das Modell selbst herunter13. Ohne weitere Angabe hört er auf 127.0.0.1 und Port 99313. Unter derselben Adresse öffnet sich im Browser eine eigene Chatoberfläche, und /health meldet mit dem Code 200, dass das Modell geladen ist3.
Die wichtigsten Parameter mit ihren Standardwerten laut Dokumentation3:
- -c oder --ctx-size legt die Kontextlänge fest. Der Standard 0 übernimmt den Wert aus dem Modell.
- -ngl oder --n-gpu-layers bestimmt, wie viele Schichten auf die Grafikkarte kommen: eine Zahl, auto (Standard) oder all.
- -np oder --parallel setzt die Zahl gleichzeitiger Anfragen, Standard ist automatisch.
- -fa oder --flash-attn schaltet Flash Attention ein, aus oder auf auto (Standard).
- -ctk und -ctv wählen das Format des KV-Cache, Standard ist f16. Kleinere Formate sparen Speicher für lange Texte.
- -ts oder --tensor-split verteilt das Modell in festen Anteilen auf mehrere Karten, -sm wählt dafür die Art der Aufteilung, Standard ist layer.
- --host und --port ändern Adresse und Port, --api-key verlangt einen Schlüssel von jedem Programm.
- --metrics öffnet einen Endpunkt mit Messwerten im Format von Prometheus.
Ein Aufruf für unseren Testrechner sähe so aus: llama-server -m modell-Q4_K_M.gguf -c 16384 -ngl all -ts 24,16 --port 8080. Er lädt alle Schichten auf die Grafikkarten und teilt sie im Verhältnis der Speichergrößen von RTX 4090 und RTX 5060 Ti auf. Diesen Aufruf haben wir noch nicht selbst getestet; er folgt den Parametern der Dokumentation3. Der Speicherbedarf bei wachsender Kontextlänge ist Thema des Praxistests Kontextlänge.
Den Server an andere Programme anschließen
Weil llama-server Anfragen im Format von OpenAI beantwortet, lässt er sich überall eintragen, wo ein Programm eine solche Schnittstelle erwartet. Chatanfragen gehen an den Endpunkt /v1/chat/completions unter der Adresse, auf der der Server hört3. In einer Weboberfläche wie Open WebUI trägst du dafür die Basisadresse mit /v1 am Ende als neue Verbindung ein.
Für den Dauerbetrieb helfen zwei Funktionen. Der Endpunkt /health antwortet mit dem Code 503, solange das Modell noch lädt, und mit 200, sobald der Server bereit ist3. Ein Startskript kann so warten, bis der Server wirklich antwortet, bevor es andere Dienste startet. Den Schlüssel für --api-key musst du nicht in die Befehlszeile schreiben; mit --api-key-file liest der Server ihn aus einer Datei3. Das hält ihn aus dem Verlauf der Eingabeaufforderung heraus.
Für schnelle Versuche ohne Server gibt es das Gegenstück auf der Befehlszeile. Der Aufruf llama cli mit -hf und einem Modellnamen lädt das Modell von Hugging Face und öffnet einen Chat direkt im Terminal1. So prüfst du in einer Minute, ob eine neue GGUF-Datei überhaupt sinnvolle Antworten liefert, bevor du sie in den Server einbindest.
vLLM für Server mit vielen Anfragen
vLLM verfolgt ein anderes Ziel als llama.cpp. Der Server ist darauf ausgelegt, viele Anfragen gleichzeitig zu bedienen, und arbeitet vor allem mit Modellen in ihrem ursprünglichen Format von Hugging Face. Er läuft unter Linux; Windows unterstützt vLLM nicht direkt, als Umweg nennt die Dokumentation WSL8. Vorausgesetzt sind eine NVIDIA-Karte mit Rechenfähigkeit 7.5 oder höher und Python 3.11 bis 3.148. Installiert wird mit uv pip install vllm --torch-backend=auto; danach lädt der Befehl vllm download-kernels die Kernel nach, und zwar nach jeder Installation und jedem Update8.
Am bequemsten startet vLLM im Docker-Container. Die Dokumentation zeigt diesen Aufruf7:
docker run --runtime nvidia --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface --env "HF_TOKEN=$HF_TOKEN" -p 8000:8000 --ipc=host vllm/vllm-openai:latest --model Qwen/Qwen3-0.6B
Der Ordner .cache/huggingface wird eingebunden, damit Modelle nicht bei jedem Start neu geladen werden. Die Option --ipc=host oder alternativ --shm-size gibt dem Container Zugriff auf gemeinsamen Speicher, den PyTorch zwischen Prozessen nutzt, vor allem bei Rechnung auf mehreren Karten7. Der Server antwortet danach auf Port 8000 im OpenAI-Format.
GGUF-Dateien lädt vLLM zwar, die Unterstützung bezeichnet das Projekt aber als hochgradig experimentell und wenig optimiert; den Tokenizer solltest du dann vom Ausgangsmodell nehmen9. Für einen einzelnen Nutzer am Windows-PC ist vLLM deshalb selten die richtige Wahl. Interessant wird es für einen Linux-Server, auf den ein Team oder eine Anwendung mit vielen gleichzeitigen Anfragen zugreift.

Was das für dich heißt
Wenn dir die Voreinstellungen von Ollama oder LM Studio im Weg stehen, ist llama-server der nächste Schritt.
- Lade zuerst ein fertiges CUDA-Paket statt sofort zu kompilieren.
- Starte llama-server mit -c und -ngl all und prüfe im Browser, ob das Modell antwortet.
- Probiere bei langen Texten ein kleineres Format für den KV-Cache.
- Setze --api-key, bevor du den Server mit --host im Netz freigibst.
Häufige Fragen
Ist llama.cpp schneller als Ollama?
Bei gleichem Modell und gleichen Einstellungen kaum, denn Ollama baut auf llama.cpp auf10. Schneller wird es, wenn du mit llama.cpp Parameter setzt, die Ollama nicht anbietet, etwa eine gezielte Aufteilung auf zwei Karten.
Läuft vLLM unter Windows?
Nicht direkt. Die Dokumentation nennt Linux als Voraussetzung und WSL als Umweg8.
Kann llama-server mehrere Anfragen gleichzeitig beantworten?
Quellen
Stand:
- ggml-org: llama.cpp auf GitHub (README, MIT-Lizenz), abgerufen am 22.11.2026. zurück
- ggml-org: llama.cpp: Bauanleitung (build.md), abgerufen am 22.11.2026. zurück
- ggml-org: llama.cpp: llama-server (README), abgerufen am 22.11.2026. zurück
- ggml-org: llama.cpp: llama-quantize (README), abgerufen am 22.11.2026. zurück
- Hugging Face: GGUF auf dem Hub (Dokumentation), abgerufen am 22.11.2026. zurück
- ggml-org: llama.cpp: Releases auf GitHub, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
- vLLM: Betrieb mit Docker (Dokumentation), abgerufen am 22.11.2026. zurück
- vLLM: Installation für NVIDIA-Grafikkarten, abgerufen am 22.11.2026. zurück
- vLLM: GGUF in vLLM (Dokumentation), abgerufen am 22.11.2026. zurück
- Hugging Face: Ollama mit GGUF-Modellen vom Hub nutzen, abgerufen am 22.11.2026. zurück
- Eigene Messung: Eigene Installation LM Studio 0.4.28-2 mit Laufzeit llama.cpp CUDA 2.67.0 (enthält llama-server.exe) und Probemessung Ollama 0.40.0 und LM Studio auf RTX 4090, Llama 3.2 3B Q4_K_M, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
- LM Studio (Element Labs): Dokumentation der App: Überblick, abgerufen am 22.11.2026. zurück


