Lexikon · G
GGUF
Kurzantwort
In einer GGUF-Datei stecken die Gewichte eines Sprachmodells und seine Beschreibung zusammen, gespeichert in einem binären Format. Es stammt aus dem Projekt GGML rund um llama.cpp und ist auf schnelles Laden für die Ausgabe ausgelegt1. Ollama, LM Studio und andere lokale Werkzeuge lesen GGUF-Dateien2.

Hermes-2-Pro-Llama-3-8B-F16.gguf: Dieser Dateiname aus der GGUF-Beschreibung verrät schon, was drinsteckt1. Vorn steht der Name des Modells, dann die Größe mit 8 Milliarden Parametern, am Ende die Kodierung der Gewichte, hier 16-Bit-Gleitkommazahlen. Die Spezifikation legt diese Reihenfolge fest: Grundname, Größe, Feinabstimmung, Version, Kodierung, Art und bei aufgeteilten Modellen die Teilnummer1.
Beim zweiten Beispiel der Spezifikation, Mixtral-8x7B-v0.1-KQ2.gguf, steht 8x7B für acht Experten mit je 7 Milliarden Parametern, wie sie ein Mixture-of-Experts-Modell nutzt, und v0.1 für die Version1. Die Angabe zur Art kennzeichnet Sonderfälle: LoRA steht für einen LoRA-Adapter, vocab für eine Datei nur mit Wortschatz und Metadaten1. Sehr große Modelle werden in mehrere Dateien geteilt, deren Namen auf Teilnummer und Gesamtzahl enden, verbunden durch "of"1. Ein vorangestelltes mmproj schließlich markiert eine Zusatzdatei mit dem Bild- oder Audioteil, die zusammen mit dem Sprachmodell geladen wird1.
Aufbau einer GGUF-Datei
Jede Datei beginnt mit den vier Bytes "GGUF"1. Danach folgen die Metadaten als Paare aus Schlüssel und Wert und schließlich die Tensoren mit den eigentlichen Gewichten. Mit diesem Schlüssel-Wert-Aufbau unterscheidet sich GGUF von seinem Vorgänger GGJT; davor gab es GGML und GGMF1.
Weil alles in einer Datei liegt, lässt sich ein Modell einfach weitergeben. Die Werkzeuge können die Datei per mmap in den Speicher abbilden und laden sie dadurch schnell1. Formate wie safetensors speichern nur die Tensoren; GGUF bringt die Beschreibung des Modells gleich mit2. Auf Hugging Face kannst du die Metadaten und die Liste der Tensoren einer GGUF-Datei direkt im Browser ansehen2.
Die Kürzel für die Bitbreite
Dasselbe Modell gibt es als GGUF meist in mehreren Bitbreiten, denn die Gewichte werden für die Datei quantisiert. Welche Stufe gewählt wurde, steht im Namen:
- Q8_0 speichert jede Zahl mit 8 Bit in Blöcken zu 32 Gewichten und gilt bei Hugging Face als ältere Methode2.
- Die K-Stufen arbeiten mit Superblöcken: Q6_K kommt auf 6,5625 Bit je Gewicht, Q5_K auf 5,5 und Q4_K auf 4,5 Bit2.
- Q3_K und Q2_K gehen auf 3,4375 und 2,625 Bit herunter2.
- Kürzel mit IQ, etwa IQ4_XS mit 4,25 Bit, berechnen die Gewichte zusätzlich mit einer Wichtigkeitsmatrix2.
Hängt am Kürzel noch ein Buchstabe wie bei Q4_K_M, ist es eine Variante der Stufe. In der Beispieltabelle von llama.cpp kommt Llama 3.1 8B in Q4_K_M auf durchschnittlich 4,89 Bit je Gewicht, also etwas mehr als die 4,5 Bit von Q4_K23. Je kleiner die Zahl im Kürzel, desto weniger VRAM braucht die Datei.
Woher die Dateien kommen
Modelle entstehen meist in Frameworks wie PyTorch und werden anschließend nach GGUF umgewandelt2. Das Werkzeug gguf-my-repo auf Hugging Face übernimmt Umwandlung und Quantisierung im Browser2. Wer selbst umwandeln oder die Datei mit eigenen Einstellungen starten will, arbeitet mit llama.cpp auf der Kommandozeile.
Häufige Fragen
Kann ich eine GGUF-Datei in Ollama oder LM Studio öffnen?
Ja. Hugging Face führt beide Programme unter den Werkzeugen, die GGUF lesen2.
Welche Stufe soll ich herunterladen?
Die größte, die samt Kontext in deinen Grafikspeicher passt. Unsere Probemessungen liefen mit Q4_K_M4; ob dir eine kleinere Stufe reicht, zeigt nur ein Test mit deinen eigenen Aufgaben.
Ist GGUF dasselbe wie safetensors?
Nein. safetensors enthält nur die Tensoren, GGUF zusätzlich einen festgelegten Satz an Metadaten zum Modell2.
Quellen
Stand:
- ggml-org: GGUF: Spezifikation des Dateiformats, abgerufen am 22.11.2026. zurück
- Hugging Face: Hub-Dokumentation: GGUF und Quantisierungstypen, abgerufen am 22.11.2026. zurück
- ggml-org: llama.cpp: quantize, Beispieltabelle für Llama 3.1 8B, abgerufen am 22.11.2026. zurück
- Eigene Messung: Probemessung L1: Llama 3.2 3B in Q4_K_M mit Ollama 0.40.0 und LM Studio 0.4.28-2 auf RTX 4090 und RTX 5060 Ti, Stand 22.11.2026, abgerufen am 22.11.2026. zurück




