Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · G

GGUF

Kurzantwort

In einer GGUF-Datei stecken die Gewichte eines Sprachmodells und seine Beschreibung zusammen, gespeichert in einem binären Format. Es stammt aus dem Projekt GGML rund um llama.cpp und ist auf schnelles Laden für die Ausgabe ausgelegt⁠1. Ollama, LM Studio und andere lokale Werkzeuge lesen GGUF-Dateien⁠2.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Pappkasten von oben mit bunten Disketten, die aufrecht in einer Reihe stehen, eine ist halb herausgezogen
Früher passte ein Programm auf eine Diskette, heute liegt ein ganzes Modell in einer Datei. Bild: KI-generiert

Hermes-2-Pro-Llama-3-8B-F16.gguf: Dieser Dateiname aus der GGUF-Beschreibung verrät schon, was drinsteckt⁠1. Vorn steht der Name des Modells, dann die Größe mit 8 Milliarden Parametern, am Ende die Kodierung der Gewichte, hier 16-Bit-Gleitkommazahlen. Die Spezifikation legt diese Reihenfolge fest: Grundname, Größe, Feinabstimmung, Version, Kodierung, Art und bei aufgeteilten Modellen die Teilnummer⁠1.

Beim zweiten Beispiel der Spezifikation, Mixtral-8x7B-v0.1-KQ2.gguf, steht 8x7B für acht Experten mit je 7 Milliarden Parametern, wie sie ein Mixture-of-Experts-Modell nutzt, und v0.1 für die Version⁠1. Die Angabe zur Art kennzeichnet Sonderfälle: LoRA steht für einen LoRA-Adapter, vocab für eine Datei nur mit Wortschatz und Metadaten⁠1. Sehr große Modelle werden in mehrere Dateien geteilt, deren Namen auf Teilnummer und Gesamtzahl enden, verbunden durch "of"⁠1. Ein vorangestelltes mmproj schließlich markiert eine Zusatzdatei mit dem Bild- oder Audioteil, die zusammen mit dem Sprachmodell geladen wird⁠1.

Aufbau einer GGUF-Datei

Jede Datei beginnt mit den vier Bytes "GGUF"⁠1. Danach folgen die Metadaten als Paare aus Schlüssel und Wert und schließlich die Tensoren mit den eigentlichen Gewichten. Mit diesem Schlüssel-Wert-Aufbau unterscheidet sich GGUF von seinem Vorgänger GGJT; davor gab es GGML und GGMF⁠1.

Weil alles in einer Datei liegt, lässt sich ein Modell einfach weitergeben. Die Werkzeuge können die Datei per mmap in den Speicher abbilden und laden sie dadurch schnell⁠1. Formate wie safetensors speichern nur die Tensoren; GGUF bringt die Beschreibung des Modells gleich mit⁠2. Auf Hugging Face kannst du die Metadaten und die Liste der Tensoren einer GGUF-Datei direkt im Browser ansehen⁠2.

Die Kürzel für die Bitbreite

Dasselbe Modell gibt es als GGUF meist in mehreren Bitbreiten, denn die Gewichte werden für die Datei quantisiert. Welche Stufe gewählt wurde, steht im Namen:

  • Q8_0 speichert jede Zahl mit 8 Bit in Blöcken zu 32 Gewichten und gilt bei Hugging Face als ältere Methode⁠2.
  • Die K-Stufen arbeiten mit Superblöcken: Q6_K kommt auf 6,5625 Bit je Gewicht, Q5_K auf 5,5 und Q4_K auf 4,5 Bit⁠2.
  • Q3_K und Q2_K gehen auf 3,4375 und 2,625 Bit herunter⁠2.
  • Kürzel mit IQ, etwa IQ4_XS mit 4,25 Bit, berechnen die Gewichte zusätzlich mit einer Wichtigkeitsmatrix⁠2.

Hängt am Kürzel noch ein Buchstabe wie bei Q4_K_M, ist es eine Variante der Stufe. In der Beispieltabelle von llama.cpp kommt Llama 3.1 8B in Q4_K_M auf durchschnittlich 4,89 Bit je Gewicht, also etwas mehr als die 4,5 Bit von Q4_K⁠23. Je kleiner die Zahl im Kürzel, desto weniger VRAM braucht die Datei.

Woher die Dateien kommen

Modelle entstehen meist in Frameworks wie PyTorch und werden anschließend nach GGUF umgewandelt⁠2. Das Werkzeug gguf-my-repo auf Hugging Face übernimmt Umwandlung und Quantisierung im Browser⁠2. Wer selbst umwandeln oder die Datei mit eigenen Einstellungen starten will, arbeitet mit llama.cpp auf der Kommandozeile.

Häufige Fragen

Kann ich eine GGUF-Datei in Ollama oder LM Studio öffnen?

Ja. Hugging Face führt beide Programme unter den Werkzeugen, die GGUF lesen⁠2.

Welche Stufe soll ich herunterladen?

Die größte, die samt Kontext in deinen Grafikspeicher passt. Unsere Probemessungen liefen mit Q4_K_M⁠4; ob dir eine kleinere Stufe reicht, zeigt nur ein Test mit deinen eigenen Aufgaben.

Ist GGUF dasselbe wie safetensors?

Nein. safetensors enthält nur die Tensoren, GGUF zusätzlich einen festgelegten Satz an Metadaten zum Modell⁠2.

Quellen

Stand:

  1. ggml-org: GGUF: Spezifikation des Dateiformats, abgerufen am 22.11.2026. zurück
  2. Hugging Face: Hub-Dokumentation: GGUF und Quantisierungstypen, abgerufen am 22.11.2026. zurück
  3. ggml-org: llama.cpp: quantize, Beispieltabelle für Llama 3.1 8B, abgerufen am 22.11.2026. zurück
  4. Eigene Messung: Probemessung L1: Llama 3.2 3B in Q4_K_M mit Ollama 0.40.0 und LM Studio 0.4.28-2 auf RTX 4090 und RTX 5060 Ti, Stand 22.11.2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert