Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · A

Alignment

Kurzantwort

AI Alignment, auf Deutsch Ausrichtung, bezeichnet die Aufgabe, ein KI-System dazu zu bringen, die Absichten seiner Nutzer und Entwickler zu verfolgen. Bei Sprachmodellen geschieht das vor allem im Nachtraining mit menschlichen Bewertungen⁠1. Schwierig bleibt, dass Systeme die gemessene Belohnung erfüllen können, ohne das eigentliche Ziel zu erreichen⁠3.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Geöffneter Messingkompass auf einer alten, handgezeichneten Landkarte mit Flüssen und Küsten, die Nadel zeigt in eine Richtung
Der Kompass zeigt eine Richtung, das Ziel bestimmt der Mensch. Bild: KI-generiert

Ein Sprachmodell mit 1,3 Milliarden Parametern schlug 2022 eines mit 175 Milliarden, und zwar im Urteil der Menschen, die beide Antworten verglichen⁠1. Das kleinere war InstructGPT, eine Fassung von GPT-3, die gezielt darauf trainiert worden war, Anweisungen zu befolgen. Die Autoren um Long Ouyang hielten dazu fest, dass ein größeres Modell nicht automatisch besser versteht, was ein Nutzer will⁠1. Die Lücke zwischen dem, was ein Modell kann, und dem, was sein Nutzer will, ist das Thema von Alignment. Es ist ein Teilgebiet von AI Safety, zu dem auch Missbrauch durch Menschen, gesellschaftliche Folgen und die Arbeit von Sicherheitsinstituten gehören.

Wie Modelle ausgerichtet werden

Ein frisch vortrainiertes Modell setzt Texte fort, so wie sie im Netz stehen. Damit es hilfreich, ehrlich und ungefährlich antwortet, folgt ein Nachtraining, technisch eine Form von Fine-Tuning. InstructGPT lief in zwei Stufen: Zuerst lernte das Modell an Beispielantworten, die Menschen geschrieben hatten, danach bewerteten Menschen mehrere Antworten des Modells, und aus diesen Rangfolgen entstand das Belohnungssignal für bestärkendes Lernen⁠1. Das Verfahren heißt RLHF, Reinforcement Learning from Human Feedback. Die Antworten wurden wahrheitsgetreuer und seltener giftig, bei kaum schlechteren Werten in anderen Tests⁠1.

Ein Team um Yuntao Bai hat Ende 2022 eine Variante beschrieben, die mit weniger menschlichen Bewertungen auskommt. Bei Constitutional AI geben Menschen nur eine Liste schriftlicher Grundsätze vor, die Verfassung. Das Modell kritisiert und überarbeitet daran seine eigenen Antworten, und ein Modell entscheidet anschließend, welche von zwei Antworten den Grundsätzen besser folgt⁠2. Aus diesen Urteilen wird wieder ein Belohnungssignal, man spricht von RLAIF, also Rückmeldung durch KI statt durch Menschen⁠2.

Wenn die Belohnung das falsche Ziel trifft

Aus einer Sammlung von DeepMind stammt der Fall eines Greifarms, der einen roten Klotz auf einen blauen stellen sollte. Punkte gab es für die Höhe der Unterseite des roten Klotzes, also drehte der Arm den Klotz einfach um, und die Höhe stimmte⁠3. DeepMind nennt das Specification Gaming: Das System erfüllt die Vorgabe dem Buchstaben nach und verfehlt, was die Entwickler gemeint haben⁠3.

Offene Probleme

Je mehr ein System kann, desto schwerer lässt sich prüfen, ob es wirklich ausgerichtet ist. Der internationale KI-Sicherheitsbericht aus dem Februar 2026 beschreibt, dass Modelle häufiger als zuvor erkennen, ob sie gerade getestet werden, und Schlupflöcher in Bewertungen finden. Gefährliche Fähigkeiten könnten so vor der Veröffentlichung unentdeckt bleiben⁠4.

Eine zweite Frage ist nicht technisch: Ausgerichtet wird immer an bestimmten Vorgaben, ob sie nun von Bewertern stammen oder aus einer Verfassung. Wer diese Vorgaben schreibt und welche Werte sie enthalten, entscheidet über das Verhalten des Modells mit.

Häufige Fragen

Ist ein ausgerichtetes Modell automatisch sicher?

Nein. Alignment verringert unerwünschte Antworten, doch Jailbreaks zeigen regelmäßig, dass sich die antrainierten Grenzen umgehen lassen. Deshalb kommen zusätzliche Schutzschichten wie Filter dazu.

Gibt es ein deutsches Wort für Alignment?

Wörtlich übersetzt heißt es Ausrichtung.

Quellen

Stand:

  1. Ouyang und andere (arXiv): Training language models to follow instructions with human feedback, Stand 04.03.2022, abgerufen am 22.11.2026. zurück
  2. Bai und andere (arXiv): Constitutional AI: Harmlessness from AI Feedback, Stand 15.12.2022, abgerufen am 22.11.2026. zurück
  3. Krakovna und andere (Google DeepMind): Specification gaming: the flip side of AI ingenuity, Stand 21.04.2020, abgerufen am 22.11.2026. zurück
  4. International AI Safety Report (Vorsitz Yoshua Bengio, arXiv): International AI Safety Report 2026, Stand 02/2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert