Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lokale KI

llama.cpp, GGUF und vLLM

Kurzantwort

llama.cpp ist das Rechenwerk, auf dem Ollama aufbaut und mit dem LM Studio GGUF-Dateien ausführt⁠1012. Direkt genutzt, legst du jeden Parameter selbst fest, von der Aufteilung auf mehrere Grafikkarten bis zum Format des Kontextspeichers⁠3. vLLM ist ein eigener Server unter Linux, gebaut für viele gleichzeitige Anfragen⁠8.

Autor
Veröffentlicht
Geprüft
Lesezeit
7 Minuten
Dünne, rechtwinklig abknickende Linien in Lachsrosa laufen auf dunkelblauem Grund in einem rechteckigen Block zusammen
Bild: KI-generiert

Wer Ollama oder LM Studio eine Weile genutzt hat, stößt irgendwann an deren Voreinstellungen: Das Programm wählt Kontext, Speicheraufteilung und Parallelität selbst, und neue Modellarchitekturen kommen erst mit dem nächsten Update. Mit llama.cpp gehst du eine Ebene tiefer. Das Projekt unter MIT-Lizenz stellt Befehlszeilenwerkzeuge und einen Server bereit, der Anfragen im OpenAI-Format beantwortet⁠1. Den Einstieg in lokale Modelle setzen wir hier voraus; wer neu ist, beginnt besser mit unserer Seite Lokale KI für Einsteiger. Llama.cpp haben wir noch nicht als eigenes Paket auf dem Testrechner installiert; Befehle und Standardwerte unten stammen aus der Dokumentation, Stand 22.11.2026.

Wann sich llama.cpp statt Ollama lohnt

Am Tempo liegt es selten. Ollama baut auf llama.cpp auf, LM Studio rechnet GGUF-Dateien ebenfalls damit⁠1012. In unserer Probemessung auf der RTX 4090 erzeugten beide mit demselben Modell rund 282 Token je Sekunde; in der Laufzeit von LM Studio fanden wir dabei die Datei llama-server.exe, den Server von llama.cpp⁠11. Unterschiede entstehen durch Einstellungen, und genau die bekommst du mit llama.cpp vollständig in die Hand.

Aus unserer Sicht lohnt der Schritt in drei Fällen. Erstens, wenn du ein Modell auf zwei Grafikkarten verteilen und die Anteile selbst bestimmen willst. Zweitens, wenn du den Kontextspeicher verkleinern möchtest, um längere Texte unterzubringen. Drittens, wenn ein neues Modell schon in llama.cpp läuft, in Ollama aber noch nicht. Das Projekt veröffentlicht laufend neue Fassungen; am 22.11.2026 war es die Version b12631⁠6. Für den bequemen Alltag mit Modellbibliothek bleiben Ollama oder LM Studio die einfachere Wahl.

Fertiges Paket oder selbst kompilieren

Den schnellsten Weg bieten fertige Pakete. Unter Windows lädst du auf der Release-Seite das Archiv für deine Karte, für NVIDIA etwa die Fassung mit CUDA 12.4 oder CUDA 13.5 für x64, und dazu das passende Archiv cudart mit den Laufzeitbibliotheken⁠6. Beides entpackst du in denselben Ordner. Alternativ installiert ein Skript llama.cpp, unter Windows in PowerShell mit irm https://llama.app/install.ps1 | iex⁠1.

Selbst kompilieren lohnt, wenn du für deine Karte optimieren oder eine Funktion aus dem aktuellen Entwicklungsstand nutzen willst. Unter Windows brauchst du dafür Visual Studio 2022 mit dem Paket "Desktop-Entwicklung mit C++", dazu CMake und Git, für NVIDIA außerdem das CUDA Toolkit⁠2. Alle Befehle laufen in der Developer-Eingabeaufforderung von Visual Studio⁠2:

  1. git clone https://github.com/ggml-org/llama.cpp und in den Ordner wechseln.
  2. cmake -B build -DGGML_CUDA=ON richtet den Bau mit CUDA ein.
  3. cmake --build ./build --config Release baut die Programme.
  4. Die fertigen Dateien liegen danach unter build\bin\Release, darunter llama-server und llama-quantize⁠2.

Erkennt der Compiler deine Karte nicht, gibst du ihre Rechenfähigkeit ohne Punkt an, für die RTX 4090 mit 8.9 also -DCMAKE_CUDA_ARCHITECTURES="89"⁠2. Mit -DGGML_NATIVE=OFF entsteht ein Paket, das auf allen CUDA-Karten läuft⁠2. Für Radeon- und Intel-Grafik gibt es den Bau mit Vulkan (-DGGML_VULKAN=ON), auf dem Mac ist Metal ohne weitere Angabe eingeschaltet⁠2.

GGUF-Dateien und ihre Quantisierung

GGUF ist das Dateiformat von llama.cpp. Eine GGUF-Datei enthält die Gewichte des Modells und einen festen Satz an Metadaten, etwa Architektur, Kontextlänge und Vorlage für den Chat, und lässt sich schnell laden⁠5. Auf Hugging Face zeigt ein Betrachter diese Metadaten und die einzelnen Tensoren direkt auf der Modellseite an⁠5.

Die Kürzel im Dateinamen nennen die Quantisierung. Bei den K-Verfahren liegen die Gewichte in Blöcken mit eigenem Maßstab: Q4_K kommt auf 4,5 Bit je Gewicht, Q5_K auf 5,5 Bit, Q6_K auf 6,5625 Bit⁠5. Die IQ-Verfahren nutzen eine Wichtigkeitsmatrix und erreichen noch kleinere Dateien, IQ2_XXS etwa 2,06 Bit je Gewicht⁠5.

Wie sich das auf die Dateigröße auswirkt, zeigt die Tabelle der Projektdokumentation für Llama 3.1 8B: rund 4,9 GB in Q4_K_M, 5,7 GB in Q5_K_M und 8,5 GB in Q8_0; die Dokumentation nennt 4,58, 5,33 und 7,95 GiB⁠4. Als Ausgangspunkt eignet sich Q4_K_M; llama-server nimmt diese Stufe auch, wenn du ein Modell von Hugging Face ohne Angabe lädst⁠3. Bleibt Grafikspeicher übrig, lohnt Q5_K_M oder Q6_K. Unter vier Bit greifst du besser zu einer IQ-Datei, die mit Wichtigkeitsmatrix erstellt wurde. Zahlen zu Qualität und Tempo der Stufen liefert der Praxistest Quantisierung.

Eine eigene GGUF-Datei erzeugst du in zwei Schritten⁠4. Das Skript convert_hf_to_gguf.py wandelt ein Modell von Hugging Face in eine GGUF-Datei mit voller Genauigkeit um, zum Beispiel mit --outtype bf16. Danach verkleinert llama-quantize sie: llama-quantize modell-bf16.gguf modell-Q4_K_M.gguf Q4_K_M. Mit --imatrix übergibst du eine Wichtigkeitsmatrix, die den Qualitätsverlust verringert⁠4.

llama-server starten

Der Server lädt ein Modell und beantwortet Anfragen über HTTP. Der einfachste Aufruf nennt nur die Datei: llama-server -m modell.gguf⁠3. Mit -hf und einem Namen von Hugging Face, etwa -hf ggml-org/Qwen3.5-0.8B-GGUF, lädt der Server das Modell selbst herunter⁠13. Ohne weitere Angabe hört er auf 127.0.0.1 und Port 9931⁠3. Unter derselben Adresse öffnet sich im Browser eine eigene Chatoberfläche, und /health meldet mit dem Code 200, dass das Modell geladen ist⁠3.

Die wichtigsten Parameter mit ihren Standardwerten laut Dokumentation⁠3:

  • -c oder --ctx-size legt die Kontextlänge fest. Der Standard 0 übernimmt den Wert aus dem Modell.
  • -ngl oder --n-gpu-layers bestimmt, wie viele Schichten auf die Grafikkarte kommen: eine Zahl, auto (Standard) oder all.
  • -np oder --parallel setzt die Zahl gleichzeitiger Anfragen, Standard ist automatisch.
  • -fa oder --flash-attn schaltet Flash Attention ein, aus oder auf auto (Standard).
  • -ctk und -ctv wählen das Format des KV-Cache, Standard ist f16. Kleinere Formate sparen Speicher für lange Texte.
  • -ts oder --tensor-split verteilt das Modell in festen Anteilen auf mehrere Karten, -sm wählt dafür die Art der Aufteilung, Standard ist layer.
  • --host und --port ändern Adresse und Port, --api-key verlangt einen Schlüssel von jedem Programm.
  • --metrics öffnet einen Endpunkt mit Messwerten im Format von Prometheus.

Ein Aufruf für unseren Testrechner sähe so aus: llama-server -m modell-Q4_K_M.gguf -c 16384 -ngl all -ts 24,16 --port 8080. Er lädt alle Schichten auf die Grafikkarten und teilt sie im Verhältnis der Speichergrößen von RTX 4090 und RTX 5060 Ti auf. Diesen Aufruf haben wir noch nicht selbst getestet; er folgt den Parametern der Dokumentation⁠3. Der Speicherbedarf bei wachsender Kontextlänge ist Thema des Praxistests Kontextlänge.

Den Server an andere Programme anschließen

Weil llama-server Anfragen im Format von OpenAI beantwortet, lässt er sich überall eintragen, wo ein Programm eine solche Schnittstelle erwartet. Chatanfragen gehen an den Endpunkt /v1/chat/completions unter der Adresse, auf der der Server hört⁠3. In einer Weboberfläche wie Open WebUI trägst du dafür die Basisadresse mit /v1 am Ende als neue Verbindung ein.

Für den Dauerbetrieb helfen zwei Funktionen. Der Endpunkt /health antwortet mit dem Code 503, solange das Modell noch lädt, und mit 200, sobald der Server bereit ist⁠3. Ein Startskript kann so warten, bis der Server wirklich antwortet, bevor es andere Dienste startet. Den Schlüssel für --api-key musst du nicht in die Befehlszeile schreiben; mit --api-key-file liest der Server ihn aus einer Datei⁠3. Das hält ihn aus dem Verlauf der Eingabeaufforderung heraus.

Für schnelle Versuche ohne Server gibt es das Gegenstück auf der Befehlszeile. Der Aufruf llama cli mit -hf und einem Modellnamen lädt das Modell von Hugging Face und öffnet einen Chat direkt im Terminal⁠1. So prüfst du in einer Minute, ob eine neue GGUF-Datei überhaupt sinnvolle Antworten liefert, bevor du sie in den Server einbindest.

vLLM für Server mit vielen Anfragen

vLLM verfolgt ein anderes Ziel als llama.cpp. Der Server ist darauf ausgelegt, viele Anfragen gleichzeitig zu bedienen, und arbeitet vor allem mit Modellen in ihrem ursprünglichen Format von Hugging Face. Er läuft unter Linux; Windows unterstützt vLLM nicht direkt, als Umweg nennt die Dokumentation WSL⁠8. Vorausgesetzt sind eine NVIDIA-Karte mit Rechenfähigkeit 7.5 oder höher und Python 3.11 bis 3.14⁠8. Installiert wird mit uv pip install vllm --torch-backend=auto; danach lädt der Befehl vllm download-kernels die Kernel nach, und zwar nach jeder Installation und jedem Update⁠8.

Am bequemsten startet vLLM im Docker-Container. Die Dokumentation zeigt diesen Aufruf⁠7:

docker run --runtime nvidia --gpus all -v ~/.cache/huggingface:/root/.cache/huggingface --env "HF_TOKEN=$HF_TOKEN" -p 8000:8000 --ipc=host vllm/vllm-openai:latest --model Qwen/Qwen3-0.6B

Der Ordner .cache/huggingface wird eingebunden, damit Modelle nicht bei jedem Start neu geladen werden. Die Option --ipc=host oder alternativ --shm-size gibt dem Container Zugriff auf gemeinsamen Speicher, den PyTorch zwischen Prozessen nutzt, vor allem bei Rechnung auf mehreren Karten⁠7. Der Server antwortet danach auf Port 8000 im OpenAI-Format.

GGUF-Dateien lädt vLLM zwar, die Unterstützung bezeichnet das Projekt aber als hochgradig experimentell und wenig optimiert; den Tokenizer solltest du dann vom Ausgangsmodell nehmen⁠9. Für einen einzelnen Nutzer am Windows-PC ist vLLM deshalb selten die richtige Wahl. Interessant wird es für einen Linux-Server, auf den ein Team oder eine Anwendung mit vielen gleichzeitigen Anfragen zugreift.

Kleiner Serverschrank in einem aufgeräumten Technikraum mit zwei Servern, gebündelten Netzwerkkabeln und Morgenlicht aus einem hohen Fenster
vLLM ist für Server gebaut, auf die viele Nutzer gleichzeitig zugreifen. Bild: KI-generiert

Was das für dich heißt

Wenn dir die Voreinstellungen von Ollama oder LM Studio im Weg stehen, ist llama-server der nächste Schritt.

  1. Lade zuerst ein fertiges CUDA-Paket statt sofort zu kompilieren.
  2. Starte llama-server mit -c und -ngl all und prüfe im Browser, ob das Modell antwortet.
  3. Probiere bei langen Texten ein kleineres Format für den KV-Cache.
  4. Setze --api-key, bevor du den Server mit --host im Netz freigibst.

Häufige Fragen

Ist llama.cpp schneller als Ollama?

Bei gleichem Modell und gleichen Einstellungen kaum, denn Ollama baut auf llama.cpp auf⁠10. Schneller wird es, wenn du mit llama.cpp Parameter setzt, die Ollama nicht anbietet, etwa eine gezielte Aufteilung auf zwei Karten.

Läuft vLLM unter Windows?

Nicht direkt. Die Dokumentation nennt Linux als Voraussetzung und WSL als Umweg⁠8.

Kann llama-server mehrere Anfragen gleichzeitig beantworten?

Ja. Die Zahl der parallelen Plätze setzt -np, ohne Angabe wählt der Server sie selbst⁠3. Standardmäßig teilen sich die Plätze einen gemeinsamen Speicher für den Kontext, solange der Server die Zahl der Plätze selbst wählt⁠3.

Welche Quantisierung soll ich nehmen?

Q4_K_M als Ausgangspunkt, bei freiem Grafikspeicher Q5_K_M oder Q6_K⁠34. Für Stufen unter vier Bit eignen sich IQ-Dateien mit Wichtigkeitsmatrix⁠5.

Quellen

Stand:

  1. ggml-org: llama.cpp auf GitHub (README, MIT-Lizenz), abgerufen am 22.11.2026. zurück
  2. ggml-org: llama.cpp: Bauanleitung (build.md), abgerufen am 22.11.2026. zurück
  3. ggml-org: llama.cpp: llama-server (README), abgerufen am 22.11.2026. zurück
  4. ggml-org: llama.cpp: llama-quantize (README), abgerufen am 22.11.2026. zurück
  5. Hugging Face: GGUF auf dem Hub (Dokumentation), abgerufen am 22.11.2026. zurück
  6. ggml-org: llama.cpp: Releases auf GitHub, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  7. vLLM: Betrieb mit Docker (Dokumentation), abgerufen am 22.11.2026. zurück
  8. vLLM: Installation für NVIDIA-Grafikkarten, abgerufen am 22.11.2026. zurück
  9. vLLM: GGUF in vLLM (Dokumentation), abgerufen am 22.11.2026. zurück
  10. Hugging Face: Ollama mit GGUF-Modellen vom Hub nutzen, abgerufen am 22.11.2026. zurück
  11. Eigene Messung: Eigene Installation LM Studio 0.4.28-2 mit Laufzeit llama.cpp CUDA 2.67.0 (enthält llama-server.exe) und Probemessung Ollama 0.40.0 und LM Studio auf RTX 4090, Llama 3.2 3B Q4_K_M, Stand 22.11.2026, abgerufen am 22.11.2026. zurück
  12. LM Studio (Element Labs): Dokumentation der App: Überblick, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog