Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · D

Destillation

Kurzantwort

Ein kleines Schülermodell wird darauf trainiert, die Ausgaben eines großen Lehrermodells nachzuahmen; dieses Verfahren heißt Destillation⁠12. Das Ergebnis braucht weniger Speicher und Rechenzeit und behält trotzdem einen großen Teil der Leistung⁠3.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Glaskolben einer kleinen Laborbrennerei auf dunkler Werkbank, klare Flüssigkeit im runden Kolben, Tropfen laufen durch ein dünnes Glasrohr in ein Auffanggefäß
Aus viel Ausgangsmaterial wird etwas Kleineres, Konzentriertes: daher der Name. Bild: KI-generiert

Ein Bild zeigt ein Auto. Ein gut trainiertes Modell sagt "Auto" mit hoher Wahrscheinlichkeit, hält aber "Lastwagen" für viel wahrscheinlicher als "Karotte". Diese Abstufung unter den falschen Antworten verrät, was das Modell über Ähnlichkeiten gelernt hat. Geoffrey Hinton, Oriol Vinyals und Jeff Dean machten sich das 2015 zunutze: Ihr kleines Modell lernte aus der ganzen Wahrscheinlichkeitsverteilung eines großen⁠1.

So läuft das Training ab

Fachlich bedeutet Destillation, ein Lehrermodell in ein kleineres Schülermodell zu verkleinern, das dessen Vorhersagen möglichst genau nachbilden soll⁠2. Am Anfang steht ein großes, aufwendiges Modell oder eine Gruppe mehrerer Modelle, das Lehrermodell. Es bewertet einen Satz von Trainingsbeispielen. Dabei wird seine Ausgabe mit einer erhöhten Temperature weicher gemacht, sodass auch die kleinen Wahrscheinlichkeiten sichtbar werden. Hinton, Vinyals und Dean nennen das weiche Ziele⁠1.

Das kleinere Schülermodell wird dann auf zwei Dinge gleichzeitig trainiert: möglichst nah an die weichen Ziele des Lehrers heranzukommen und, mit geringerem Gewicht, die richtigen Antworten zu treffen. Nach dem Training läuft der Schüler wieder mit normaler Temperature⁠1. Bei der Spracherkennung schnitt eine Temperature von 2 am besten ab⁠1.

Wie gut das funktioniert, zeigte das Team an einem Spracherkennungssystem. Ein einzelnes Modell kam auf eine Wortfehlerrate von 10,9 Prozent, eine Gruppe aus zehn Modellen auf 10,7 Prozent. Das destillierte Einzelmodell erreichte ebenfalls 10,7 Prozent, mit dem Rechenaufwand eines einzigen Modells⁠1.

Wofür Destillation genutzt wird

Ein frühes Beispiel bei Sprachmodellen ist DistilBERT. Die Fassung von 2019 ist 40 Prozent kleiner als das Ausgangsmodell BERT, arbeitet 60 Prozent schneller und behält 97 Prozent seiner Leistung beim Sprachverständnis⁠3.

Bei großen Sprachmodellen geht es heute oft darum, die Fähigkeiten eines riesigen Modells in eine Größe zu bringen, die auf normaler Hardware läuft. DeepSeek schreibt in seiner Arbeit zu R1, dass sich die Denkmuster großer Modelle nutzen lassen, um kleinere anzuleiten⁠5. Das Unternehmen hat sechs destillierte Modelle von 1,5 bis 70 Milliarden Parametern veröffentlicht, aufgebaut auf Modellen der Reihen Qwen2.5 und Llama 3⁠4. Solche Modelle sind ein typischer Weg zu einem Small Language Model.

Bei der Destillation entsteht ein neues, kleineres Modell mit eigenen Gewichten. Quantisierung verkleinert dagegen ein vorhandenes Modell, indem sie seine Gewichte mit weniger Bits speichert. Beide Verfahren lassen sich kombinieren.

Streit um Rechte

Technisch genügt für eine einfache Form der Destillation, viele Antworten eines Modells einzusammeln und ein anderes damit zu trainieren. Das geht auch mit Modellen, deren Gewichte geheim sind, über ihre Programmierschnittstelle. Genau das untersagt zum Beispiel OpenAI in seinen Nutzungsbedingungen für den Europäischen Wirtschaftsraum, die Schweiz und das Vereinigte Königreich (Stand 16.01.2026): Ausgaben dürfen nicht dazu dienen, Modelle zu entwickeln, die mit OpenAI konkurrieren⁠7. Eine weitere Fassung der Bedingungen, gültig seit 01.01.2026, enthält dieselbe Regel⁠6.

Es gibt auch den umgekehrten Fall: DeepSeek stellt R1 unter die MIT-Lizenz und nennt Destillation zum Training anderer Sprachmodelle als erlaubte Nutzung; die destillierten Modelle übernehmen die Lizenzen ihrer Ausgangsmodelle⁠4. Ob Modellausgaben selbst urheberrechtlich geschützt sind, ist eine eigene Frage. Wer ein eigenes Modell mit fremden Ausgaben trainieren will, sollte die Bedingungen des jeweiligen Anbieters vorher genau lesen; bei Modellen mit offenen Gewichten steht die Erlaubnis in der Lizenz.

Häufige Fragen

Ist ein destilliertes Modell genauso gut wie das Original?

Meist erreicht es einen großen Teil, aber nicht die volle Leistung des Lehrers. Wie viel verloren geht, hängt von Aufgabe, Größenunterschied und Trainingsdaten ab.

Hat Destillation bei KI etwas mit Alkohol zu tun?

Nur im Bild. Wie beim Brennen wird aus viel Ausgangsmaterial ein konzentriertes Ergebnis gewonnen; das Verfahren selbst ist reines Training von Modellen.

Quellen

Stand:

  1. arXiv (Hinton, Vinyals, Dean): Distilling the Knowledge in a Neural Network, Stand 09.03.2015, abgerufen am 22.11.2026. zurück
  2. Google for Developers: Machine Learning Glossary, abgerufen am 22.11.2026. zurück
  3. arXiv (Sanh u. a.): DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, Stand 02.10.2019, abgerufen am 22.11.2026. zurück
  4. Hugging Face (DeepSeek): DeepSeek-R1 (Modellkarte), abgerufen am 22.11.2026. zurück
  5. arXiv (DeepSeek-AI): DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, Stand 22.01.2025, abgerufen am 22.11.2026. zurück
  6. OpenAI: Terms of Use, Stand 01.01.2026, abgerufen am 22.11.2026. zurück
  7. OpenAI: Terms of Use (EEA, Schweiz, Vereinigtes Königreich), Stand 16.01.2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog