Lexikon · J
Jailbreak
Kurzantwort
Beim Jailbreak wird ein Chatbot mit geschickt formulierten Eingaben dazu gebracht, seine antrainierten Sicherheitsregeln zu missachten und etwa Inhalte zu erzeugen, die er sonst ablehnt12. Möglich ist das, weil das Ziel, hilfreich zu sein, und das Ziel, Schaden zu vermeiden, im Modell gegeneinander arbeiten3. Hersteller schließen bekannte Lücken laufend, doch Forscher finden immer wieder neue5.

Das Wort kommt aus der Smartphone-Welt, wo ein Jailbreak die Sperren des Herstellers auf einem Gerät aufhebt. Bei Sprachmodellen ist das Gefängnis eine Sammlung von Schutzregeln, die das Modell beim Nachtraining gelernt hat: keine Anleitungen für Straftaten, keine Hetze, keine gefälschten Bilder echter Politiker. Ein Jailbreak ist jede Eingabe, die diese Regeln aushebelt. Das BSI nennt in seiner Übersicht über Chancen und Risiken generativer Modelle als typische Mittel, ein angeblich harmloses Szenario vorzutäuschen oder das Modell aus seiner vorgesehenen Rolle zu locken1.
Warum Schutzregeln sich umgehen lassen
Alexander Wei, Nika Haghtalab und Jacob Steinhardt haben 2023 zwei Gründe herausgearbeitet3. Der erste sind konkurrierende Ziele: Ein Modell soll hilfsbereit sein und zugleich gefährliche Bitten ablehnen, und eine geschickte Eingabe spielt das eine gegen das andere aus. Der zweite ist eine Lücke in der Verallgemeinerung. Das Sicherheitstraining deckt nicht alle Bereiche ab, in denen das Modell etwas kann, und wer eine Bitte in so einen Bereich verlagert, trifft auf ein ungeschütztes Modell3. Die Autoren folgern, dass größere Modelle allein das Problem nicht lösen und die Schutzmechanismen so ausgefeilt sein müssen wie das Modell selbst3.
Jailbreaks müssen nicht von Hand gebaut werden. Eine Gruppe um Andy Zou zeigte im selben Jahr ein Verfahren, das automatisch Zeichenfolgen erzeugt, die an eine Anfrage gehängt werden. Sie wurden an offenen Modellen berechnet und wirkten trotzdem auch bei geschlossenen Chatbots großer Anbieter4.
Folgen für Anbieter und Nutzer
Ein gelungener Jailbreak kann laut BSI dazu führen, dass ein Sprachmodell Falschnachrichten, diskriminierende Inhalte oder Anleitungen zu Straftaten erzeugt; bei Bildgeneratoren entstehen Bilder, die gesperrt sein sollten1. Der International AI Safety Report 2026 erwähnt eine Sammelaktion, bei der über 60.000 erfolgreiche Angriffe auf aktuelle Modelle zusammenkamen, die gegen die Nutzungsregeln der Hersteller verstießen5.
Für die Hersteller entsteht daraus ein Wettlauf. Sie trainieren ihre Modelle gezielt mit bekannten Angriffen, was der Bericht als Katz-und-Maus-Spiel beschreibt: Entwickler reagieren auf neu entdeckte Lücken, Angreifer suchen die nächsten5. Viele aktuelle Modelle widerstehen den bekannten Methoden inzwischen, neue Techniken tauchen dennoch weiter auf5. Bei Modellen mit offenen Gewichten stellt sich die Frage anders: Wer die Gewichte herunterlädt, kann eingebaute Sicherungen nach dem Bericht leichter entfernen, und eine veröffentlichte Fassung lässt sich nicht zurückrufen5. Bei Diensten im Netz setzen Anbieter zusätzlich auf Guardrails außerhalb des Modells und auf Red Teaming vor der Veröffentlichung.
Jailbreak oder Prompt Injection?
Die Begriffe werden oft durcheinander verwendet. Das BSI trennt sie danach, was ausgehebelt wird: Der Jailbreak verändert das im Training erlernte Verhalten, die Prompt Injection setzt die Vorgaben im System-Prompt außer Kraft2. Die beiden Ziele hängen eng zusammen, weil das Sicherheitsverhalten aus dem Nachtraining stammt, etwa aus RLHF, und der System-Prompt erst beim Einsatz dazukommt.
Häufige Fragen
Gibt es Jailbreaks auch bei Bildgeneratoren?
Warum lehnt ein Chatbot manchmal harmlose Fragen ab?
Die Schutzregeln sind auf Vorsicht ausgelegt und erkennen den Zusammenhang nicht immer richtig. Eine genauere Frage mit Hintergrund kann helfen; einen Jailbreak braucht es dafür nicht.
Quellen
Stand:
- Bundesamt für Sicherheit in der Informationstechnik (BSI): Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0, Stand 17.01.2025, abgerufen am 22.11.2026. zurück
- Bundesamt für Sicherheit in der Informationstechnik (BSI): Evasion-Attacks auf LLMs: Gegenmaßnahmen in der Praxis, Version 1.0, Stand 15.01.2026, abgerufen am 22.11.2026. zurück
- Wei, Haghtalab, Steinhardt (arXiv): Jailbroken: How Does LLM Safety Training Fail?, Stand 05.07.2023, abgerufen am 22.11.2026. zurück
- Zou, Wang, Carlini, Nasr, Kolter, Fredrikson (arXiv): Universal and Transferable Adversarial Attacks on Aligned Language Models, Stand 20.12.2023, abgerufen am 22.11.2026. zurück
- International AI Safety Report (Vorsitz Yoshua Bengio, arXiv): International AI Safety Report 2026, Stand 02/2026, abgerufen am 22.11.2026. zurück





