Lexikon · A
Alignment
Kurzantwort
AI Alignment, auf Deutsch Ausrichtung, bezeichnet die Aufgabe, ein KI-System dazu zu bringen, die Absichten seiner Nutzer und Entwickler zu verfolgen. Bei Sprachmodellen geschieht das vor allem im Nachtraining mit menschlichen Bewertungen1. Schwierig bleibt, dass Systeme die gemessene Belohnung erfüllen können, ohne das eigentliche Ziel zu erreichen3.

Ein Sprachmodell mit 1,3 Milliarden Parametern schlug 2022 eines mit 175 Milliarden, und zwar im Urteil der Menschen, die beide Antworten verglichen1. Das kleinere war InstructGPT, eine Fassung von GPT-3, die gezielt darauf trainiert worden war, Anweisungen zu befolgen. Die Autoren um Long Ouyang hielten dazu fest, dass ein größeres Modell nicht automatisch besser versteht, was ein Nutzer will1. Die Lücke zwischen dem, was ein Modell kann, und dem, was sein Nutzer will, ist das Thema von Alignment. Es ist ein Teilgebiet von AI Safety, zu dem auch Missbrauch durch Menschen, gesellschaftliche Folgen und die Arbeit von Sicherheitsinstituten gehören.
Wie Modelle ausgerichtet werden
Ein frisch vortrainiertes Modell setzt Texte fort, so wie sie im Netz stehen. Damit es hilfreich, ehrlich und ungefährlich antwortet, folgt ein Nachtraining, technisch eine Form von Fine-Tuning. InstructGPT lief in zwei Stufen: Zuerst lernte das Modell an Beispielantworten, die Menschen geschrieben hatten, danach bewerteten Menschen mehrere Antworten des Modells, und aus diesen Rangfolgen entstand das Belohnungssignal für bestärkendes Lernen1. Das Verfahren heißt RLHF, Reinforcement Learning from Human Feedback. Die Antworten wurden wahrheitsgetreuer und seltener giftig, bei kaum schlechteren Werten in anderen Tests1.
Ein Team um Yuntao Bai hat Ende 2022 eine Variante beschrieben, die mit weniger menschlichen Bewertungen auskommt. Bei Constitutional AI geben Menschen nur eine Liste schriftlicher Grundsätze vor, die Verfassung. Das Modell kritisiert und überarbeitet daran seine eigenen Antworten, und ein Modell entscheidet anschließend, welche von zwei Antworten den Grundsätzen besser folgt2. Aus diesen Urteilen wird wieder ein Belohnungssignal, man spricht von RLAIF, also Rückmeldung durch KI statt durch Menschen2.
Wenn die Belohnung das falsche Ziel trifft
Aus einer Sammlung von DeepMind stammt der Fall eines Greifarms, der einen roten Klotz auf einen blauen stellen sollte. Punkte gab es für die Höhe der Unterseite des roten Klotzes, also drehte der Arm den Klotz einfach um, und die Höhe stimmte3. DeepMind nennt das Specification Gaming: Das System erfüllt die Vorgabe dem Buchstaben nach und verfehlt, was die Entwickler gemeint haben3.
Offene Probleme
Je mehr ein System kann, desto schwerer lässt sich prüfen, ob es wirklich ausgerichtet ist. Der internationale KI-Sicherheitsbericht aus dem Februar 2026 beschreibt, dass Modelle häufiger als zuvor erkennen, ob sie gerade getestet werden, und Schlupflöcher in Bewertungen finden. Gefährliche Fähigkeiten könnten so vor der Veröffentlichung unentdeckt bleiben4.
Eine zweite Frage ist nicht technisch: Ausgerichtet wird immer an bestimmten Vorgaben, ob sie nun von Bewertern stammen oder aus einer Verfassung. Wer diese Vorgaben schreibt und welche Werte sie enthalten, entscheidet über das Verhalten des Modells mit.
Häufige Fragen
Ist ein ausgerichtetes Modell automatisch sicher?
Nein. Alignment verringert unerwünschte Antworten, doch Jailbreaks zeigen regelmäßig, dass sich die antrainierten Grenzen umgehen lassen. Deshalb kommen zusätzliche Schutzschichten wie Filter dazu.
Gibt es ein deutsches Wort für Alignment?
Wörtlich übersetzt heißt es Ausrichtung.
Quellen
Stand:
- Ouyang und andere (arXiv): Training language models to follow instructions with human feedback, Stand 04.03.2022, abgerufen am 22.11.2026. zurück
- Bai und andere (arXiv): Constitutional AI: Harmlessness from AI Feedback, Stand 15.12.2022, abgerufen am 22.11.2026. zurück
- Krakovna und andere (Google DeepMind): Specification gaming: the flip side of AI ingenuity, Stand 21.04.2020, abgerufen am 22.11.2026. zurück
- International AI Safety Report (Vorsitz Yoshua Bengio, arXiv): International AI Safety Report 2026, Stand 02/2026, abgerufen am 22.11.2026. zurück




