Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · A

Adversarial Examples

Kurzantwort

Schon kaum sichtbare, gezielt berechnete Änderungen an einer Eingabe können ein KI-Modell zu einer falschen Erkennung bringen, während ein Mensch keinen Unterschied bemerkt; solche Eingaben heißen Adversarial Examples. Bekannt wurden sie 2013 durch eine Arbeit über Bildklassifikatoren⁠1. Die KI-Verordnung zählt sie zu den Angriffen, gegen die Hochrisiko-Systeme gewappnet sein müssen⁠4.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Rote achteckige Verkehrstafel an einem grauen Metallmast an einer ruhigen Kreuzung, darauf einige kleine schwarze und weiße Klebestreifen in unregelmäßigem Muster
Ein paar Klebestreifen reichen, damit eine Bilderkennung danebenliegt. Bild: KI-generiert

Ein paar schwarze und weiße Klebestreifen auf einem Stoppschild genügten 2017 einer Forschergruppe, um ein Programm zur Verkehrszeichenerkennung zu täuschen. Im Labor ordnete das Programm das präparierte Schild auf allen Aufnahmen falsch ein, bei Videobildern aus einem fahrenden Auto in 84,8 Prozent der Fälle⁠3. Für Menschen blieb es ein gewöhnliches Stoppschild mit etwas Klebeband. Solche gezielt manipulierten Eingaben heißen Adversarial Examples, auf Deutsch etwa feindselige oder gegnerische Beispiele.

Wie die Täuschung entdeckt wurde

Christian Szegedy und sechs Mitautoren beschrieben das Phänomen Ende 2013. Sie fanden, dass eine winzige, für das Auge kaum wahrnehmbare Veränderung an einem Bild ein neuronales Netz zu einer falschen Einordnung bringen kann, wenn man die Veränderung gezielt so berechnet, dass der Fehler des Netzes möglichst groß wird⁠1. Überraschend war ein zweiter Befund: Dieselbe Veränderung täuschte oft auch ein anderes Netz, das mit einem anderen Teil der Daten trainiert worden war, die Schwäche steckte also nicht nur in einem einzelnen Modell⁠1.

Ein Jahr später lieferten Ian Goodfellow, Jonathon Shlens und Christian Szegedy eine Erklärung. Die Anfälligkeit komme vor allem daher, dass sich die Netze in hohem Maß linear verhalten, und daraus ergebe sich ein einfaches, schnelles Verfahren, solche Beispiele zu erzeugen⁠2. Sie nutzten die erzeugten Beispiele auch im Training und senkten so die Fehlerrate eines Netzes auf einem Standarddatensatz handgeschriebener Ziffern⁠2. Diesen Ansatz nennt man adversariales Training. Auch das BSI, die Cybersicherheitsbehörde des Bundes, hält ihn in seinem Grundlagenpapier zu Angriffen auf Deep Learning für die am besten umsetzbare Abwehr und rät dazu bei allen Modellen, die Eingaben von außen verarbeiten⁠6. Als zweite Verteidigungslinie empfiehlt es Verfahren, die verdächtige Eingaben im Betrieb erkennen⁠6.

Wo das zum Problem wird

Für die Bilderkennung im Fotoalbum ist eine falsch erkannte Katze ärgerlich, aber folgenlos. Ernst wird es, wo eine Erkennung über Sicherheit, Zugang oder Geld entscheidet: beim Erkennen von Verkehrszeichen, bei der Gesichtserkennung an einer Tür, bei der Prüfung von Ausweisen. Das Stoppschild-Experiment hat gezeigt, dass solche Angriffe auch außerhalb des Rechners unter wechselndem Blickwinkel funktionieren können⁠3.

Die KI-Verordnung nennt das Problem ausdrücklich. Hochrisiko-KI-Systeme müssen widerstandsfähig gegen Versuche Unbefugter sein, Schwachstellen auszunutzen, und die technischen Lösungen sollen unter anderem Eingabedaten abwehren, die das Modell zu Fehlern verleiten sollen; der Text nennt dafür die englischen Begriffe "adversarial examples" und "model evasions"⁠4.

Verwandte Angriffe auf Sprachmodelle

Bei Sprachmodellen spricht das BSI allgemein von Evasion-Attacks, also Angriffen, die das Modell während des Betriebs manipulieren. Je nach Zusammenhang heißen sie auch Prompt Injection, Jailbreak oder adversarialer Angriff⁠5. Das Prinzip ist verwandt: Eine gezielt gebaute Eingabe nutzt aus, dass das Modell anders entscheidet als ein Mensch.

Häufige Fragen

Lassen sich Adversarial Examples vollständig verhindern?

Bisher nicht. Adversariales Training und andere Verfahren machen Modelle robuster, doch das BSI weist darauf hin, dass manche Abwehr durch neuere Angriffe wieder gebrochen wird⁠6. Wo viel auf dem Spiel steht, gehören deshalb weitere Prüfungen dazu, zum Beispiel ein zweiter Sensor oder ein Mensch, der Grenzfälle bestätigt.

Gibt es Adversarial Examples nur bei Bildern?

Nein. Das Prinzip gilt für alle Arten von Eingaben, die ein Modell auswertet, auch für Ton und Text. Das BSI behandelt Prompt Injections und Jailbreaks bei Sprachmodellen als Spielarten derselben Angriffsklasse⁠5.

Quellen

Stand:

  1. Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow, Fergus (arXiv): Intriguing properties of neural networks, Stand 19.02.2014, abgerufen am 22.11.2026. zurück
  2. Goodfellow, Shlens, Szegedy (arXiv): Explaining and Harnessing Adversarial Examples, Stand 20.03.2015, abgerufen am 22.11.2026. zurück
  3. Eykholt und andere (arXiv): Robust Physical-World Attacks on Deep Learning Models, Stand 10.04.2018, abgerufen am 22.11.2026. zurück
  4. EUR-Lex: Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026, Artikel 15 Absatz 5, Stand 27.07.2026, abgerufen am 22.11.2026. zurück
  5. Bundesamt für Sicherheit in der Informationstechnik (BSI): Evasion-Attacks auf LLMs: Gegenmaßnahmen in der Praxis, Version 1.0, Stand 15.01.2026, abgerufen am 22.11.2026. zurück
  6. Bundesamt für Sicherheit in der Informationstechnik (BSI): Security of AI-Systems: Fundamentals, Adversarial Deep Learning, Version 0.9, Stand 14.06.2022, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert