Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · J

Jailbreak

Kurzantwort

Beim Jailbreak wird ein Chatbot mit geschickt formulierten Eingaben dazu gebracht, seine antrainierten Sicherheitsregeln zu missachten und etwa Inhalte zu erzeugen, die er sonst ablehnt⁠12. Möglich ist das, weil das Ziel, hilfreich zu sein, und das Ziel, Schaden zu vermeiden, im Modell gegeneinander arbeiten⁠3. Hersteller schließen bekannte Lücken laufend, doch Forscher finden immer wieder neue⁠5.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Geöffnetes Vorhängeschloss aus Messing auf dunkelgrauer Fläche, daneben eine einzelne Büroklammer aus Stahl, hartes Licht von oben
Ein offenes Schloss: Schutzregeln halten nicht jeder Eingabe stand. Bild: KI-generiert

Das Wort kommt aus der Smartphone-Welt, wo ein Jailbreak die Sperren des Herstellers auf einem Gerät aufhebt. Bei Sprachmodellen ist das Gefängnis eine Sammlung von Schutzregeln, die das Modell beim Nachtraining gelernt hat: keine Anleitungen für Straftaten, keine Hetze, keine gefälschten Bilder echter Politiker. Ein Jailbreak ist jede Eingabe, die diese Regeln aushebelt. Das BSI nennt in seiner Übersicht über Chancen und Risiken generativer Modelle als typische Mittel, ein angeblich harmloses Szenario vorzutäuschen oder das Modell aus seiner vorgesehenen Rolle zu locken⁠1.

Warum Schutzregeln sich umgehen lassen

Alexander Wei, Nika Haghtalab und Jacob Steinhardt haben 2023 zwei Gründe herausgearbeitet⁠3. Der erste sind konkurrierende Ziele: Ein Modell soll hilfsbereit sein und zugleich gefährliche Bitten ablehnen, und eine geschickte Eingabe spielt das eine gegen das andere aus. Der zweite ist eine Lücke in der Verallgemeinerung. Das Sicherheitstraining deckt nicht alle Bereiche ab, in denen das Modell etwas kann, und wer eine Bitte in so einen Bereich verlagert, trifft auf ein ungeschütztes Modell⁠3. Die Autoren folgern, dass größere Modelle allein das Problem nicht lösen und die Schutzmechanismen so ausgefeilt sein müssen wie das Modell selbst⁠3.

Jailbreaks müssen nicht von Hand gebaut werden. Eine Gruppe um Andy Zou zeigte im selben Jahr ein Verfahren, das automatisch Zeichenfolgen erzeugt, die an eine Anfrage gehängt werden. Sie wurden an offenen Modellen berechnet und wirkten trotzdem auch bei geschlossenen Chatbots großer Anbieter⁠4.

Folgen für Anbieter und Nutzer

Ein gelungener Jailbreak kann laut BSI dazu führen, dass ein Sprachmodell Falschnachrichten, diskriminierende Inhalte oder Anleitungen zu Straftaten erzeugt; bei Bildgeneratoren entstehen Bilder, die gesperrt sein sollten⁠1. Der International AI Safety Report 2026 erwähnt eine Sammelaktion, bei der über 60.000 erfolgreiche Angriffe auf aktuelle Modelle zusammenkamen, die gegen die Nutzungsregeln der Hersteller verstießen⁠5.

Für die Hersteller entsteht daraus ein Wettlauf. Sie trainieren ihre Modelle gezielt mit bekannten Angriffen, was der Bericht als Katz-und-Maus-Spiel beschreibt: Entwickler reagieren auf neu entdeckte Lücken, Angreifer suchen die nächsten⁠5. Viele aktuelle Modelle widerstehen den bekannten Methoden inzwischen, neue Techniken tauchen dennoch weiter auf⁠5. Bei Modellen mit offenen Gewichten stellt sich die Frage anders: Wer die Gewichte herunterlädt, kann eingebaute Sicherungen nach dem Bericht leichter entfernen, und eine veröffentlichte Fassung lässt sich nicht zurückrufen⁠5. Bei Diensten im Netz setzen Anbieter zusätzlich auf Guardrails außerhalb des Modells und auf Red Teaming vor der Veröffentlichung.

Jailbreak oder Prompt Injection?

Die Begriffe werden oft durcheinander verwendet. Das BSI trennt sie danach, was ausgehebelt wird: Der Jailbreak verändert das im Training erlernte Verhalten, die Prompt Injection setzt die Vorgaben im System-Prompt außer Kraft⁠2. Die beiden Ziele hängen eng zusammen, weil das Sicherheitsverhalten aus dem Nachtraining stammt, etwa aus RLHF, und der System-Prompt erst beim Einsatz dazukommt.

Häufige Fragen

Gibt es Jailbreaks auch bei Bildgeneratoren?

Ja. Das BSI beschreibt Fälle, in denen ein Bildgenerator eine gesperrte Darstellung doch erzeugt, weil die Anfrage eine erfundene Begründung liefert⁠1. Auch Videogeneratoren lassen sich laut BSI auf diese Weise zu unerwünschten Inhalten bringen⁠1.

Warum lehnt ein Chatbot manchmal harmlose Fragen ab?

Die Schutzregeln sind auf Vorsicht ausgelegt und erkennen den Zusammenhang nicht immer richtig. Eine genauere Frage mit Hintergrund kann helfen; einen Jailbreak braucht es dafür nicht.

Quellen

Stand:

  1. Bundesamt für Sicherheit in der Informationstechnik (BSI): Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Stand 17.01.2025, abgerufen am 22.11.2026. zurück
  2. Bundesamt für Sicherheit in der Informationstechnik (BSI): Evasion-Attacks auf LLMs: Gegenmaßnahmen in der Praxis, Version 1.0, Stand 15.01.2026, abgerufen am 22.11.2026. zurück
  3. Wei, Haghtalab, Steinhardt (arXiv): Jailbroken: How Does LLM Safety Training Fail?, Stand 05.07.2023, abgerufen am 22.11.2026. zurück
  4. Zou, Wang, Carlini, Nasr, Kolter, Fredrikson (arXiv): Universal and Transferable Adversarial Attacks on Aligned Language Models, Stand 20.12.2023, abgerufen am 22.11.2026. zurück
  5. International AI Safety Report (Vorsitz Yoshua Bengio, arXiv): International AI Safety Report 2026, Stand 02/2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert