Lexikon · R
RLHF
Kurzantwort
Bei RLHF (Reinforcement Learning from Human Feedback) bringen Menschen mehrere Antworten eines Sprachmodells auf dieselbe Anfrage in eine Rangfolge. Aus diesen Vergleichen entsteht ein Belohnungsmodell, und das Sprachmodell wird anschließend so nachtrainiert, dass es Antworten liefert, die dieses Modell hoch bewertet12.

Ein Sprachmodell mit 1,3 Milliarden Parametern gegen eines mit 175 Milliarden: In einem Vergleich, den OpenAI 2022 veröffentlichte, bevorzugten die Bewerter die Antworten des kleinen Modells1. Es hieß InstructGPT und war zusätzlich mit menschlichem Feedback nachtrainiert worden1. Dieser Schritt gehört zum Weg vom reinen Textvervollständiger zum Assistenten, den unser Beitrag So funktioniert ChatGPT nachzeichnet.
Die drei Schritte
- Menschen schreiben Musterantworten auf typische Anfragen, und das vortrainierte Sprachmodell wird damit per überwachtem Lernen nachtrainiert1.
- Das Modell erzeugt zu einer Anfrage mehrere Antworten. Bewerterinnen und Bewerter bringen sie in eine Rangfolge. Aus vielen solchen Ranglisten lernt ein eigenes Belohnungsmodell vorherzusagen, welche Antwort Menschen besser finden würden, und gibt dafür eine Zahl aus12.
- Das Sprachmodell wird mit bestärkendem Lernen so angepasst, dass seine Antworten hohe Werte im Belohnungsmodell erreichen. Verbreitet ist dafür der Algorithmus Proximal Policy Optimization, kurz PPO2.
Warum Ranglisten statt Noten
Sollte jede Person eine Antwort auf einer Skala von eins bis zehn benoten, würde jede die Skala anders auslegen. Die Werte wären nicht vergleichbar und verrauscht. Vergleiche zwischen zwei oder mehr Antworten liefern laut der Übersicht von Hugging Face einen deutlich stabileren Datensatz2.
Die Idee, aus Vorlieben statt aus festen Zielvorgaben zu lernen, ist älter als die Chatbots. In einer Arbeit von 2017 lernten Programme Atari-Spiele und simulierte Roboterbewegungen aus Urteilen von Laien, die jeweils zwei kurze Ausschnitte verglichen. Rückmeldung war für weniger als ein Prozent der Aktionen nötig, und für neue, komplizierte Bewegungsabläufe reichte etwa eine Stunde menschlicher Zeit3.
Die Bremse im Training
Würde das Sprachmodell nur auf möglichst hohe Belohnung getrimmt, fände es Formulierungen, die das Belohnungsmodell überlisten, und schriebe am Ende Kauderwelsch. Deshalb fließt in die Belohnung eine Strafe ein, die misst, wie weit sich das Modell von seinem Ausgangszustand entfernt hat. Fachleute nennen das Maß KL-Divergenz2.
Schwächen und neuere Verfahren
RLHF soll ein Modell an menschliche Absichten und Werte anpassen; wie gut das gelingt, untersucht die Forschung zum Alignment. Die Bewertungen spiegeln die Vorlieben der Menschen, die bewerten, und die Anleitung, die sie dafür bekommen. Halten die Bewerter ausführliche Antworten grundsätzlich für hilfreicher, lernt das Modell, lang zu schreiben, auch dort, wo eine knappe Auskunft besser wäre. Wer die Bewertungsregeln formuliert, prägt also mit, wie sich der fertige Assistent verhält. Aufwendig ist das Verfahren obendrein, weil neben dem Sprachmodell ein Belohnungsmodell und ein eigener Lauf mit bestärkendem Lernen nötig sind.
2023 stellten Rafael Rafailov und Kollegen mit Direct Preference Optimization (DPO) eine kürzere Variante vor. Sie braucht kein separates Belohnungsmodell, zieht während des Trainings keine Stichproben aus dem Modell und löst dieselbe Aufgabe mit einer einfachen Klassifikations-Verlustfunktion4. Die Vergleichsdaten aus menschlichen Urteilen braucht auch DPO.
Häufige Fragen
Wer bewertet die Antworten bei RLHF?
Bei InstructGPT schrieben und ordneten sogenannte Labeler die Antworten1.
Ist RLHF dasselbe wie Daumen hoch und runter im Chat?
Solche Rückmeldungen können in spätere Trainingsrunden einfließen. OpenAI etwa schreibt für die Privattarife, dass das ganze Gespräch zu einer abgegebenen Bewertung für das Training genutzt werden kann, selbst wenn man dem Training sonst widersprochen hat5. RLHF im engeren Sinn arbeitet mit gezielt erhobenen Ranglisten.
Quellen
Stand:
- arXiv (Ouyang u. a.): Training language models to follow instructions with human feedback, Stand 04.03.2022, abgerufen am 22.11.2026. zurück
- Hugging Face (Lambert u. a.): Illustrating Reinforcement Learning from Human Feedback (RLHF), Stand 09.12.2022, abgerufen am 22.11.2026. zurück
- arXiv (Christiano u. a.): Deep reinforcement learning from human preferences, Stand 12.06.2017, abgerufen am 22.11.2026. zurück
- arXiv (Rafailov u. a.): Direct Preference Optimization: Your Language Model is Secretly a Reward Model, Stand 29.05.2023, abgerufen am 22.11.2026. zurück
- OpenAI Help Center: How your data is used to improve model performance, Stand 11/2026, abgerufen am 22.11.2026. zurück




