Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Grundlagen

Erklärbare KI

Kurzantwort

Erklärbare künstliche Intelligenz, kurz XAI, umfasst Verfahren, die das Verhalten eines KI-Modells nachvollziehbar machen sollen⁠8. Bei tiefen neuronalen Netzen entstehen solche Erklärungen meist nachträglich, etwa als Gewichtung der Eingabemerkmale mit SHAP oder LIME⁠134. Das BSI warnt, dass verschiedene Verfahren sich widersprechen und manipuliert werden können⁠2.

Autor
Veröffentlicht
Geprüft
Lesezeit
7 Minuten
Freiliegendes Uhrwerk mit Messingzahnrädern auf grünem Samt, daneben liegt eine Lupe aus Messing
Erklärbare KI will zeigen, was im Inneren eines Modells passiert. Bild: KI-generiert

Ein Kreditantrag wird abgelehnt, eine Bewerbung aussortiert, eine Netzwerkverbindung als Angriff gemeldet, und die Entscheidung hat ein KI-Modell getroffen. Erklärbare KI soll in solchen Fällen sichtbar machen, welche Angaben das Ergebnis getragen haben. Die Plattform Lernende Systeme beschreibt das Ziel so: Erklärbarkeit soll das Verhalten eines KI-Modells nachvollziehbar machen und zeigen, wie Ergebnisse, Vorhersagen oder Einstufungen zustande kommen⁠8. Bei einfachen Modellen gelingt das direkt. Bei großen neuronalen Netzen bleibt jede Erklärung eine Annäherung von außen, mit eigenen Fehlern.

Warum große Modelle schwer zu erklären sind

Das BSI unterscheidet zwei Arten von Modellen⁠1. Manche sind von sich aus erklärbar, etwa eine lineare Regression oder ein Entscheidungsbaum. Ihre Entscheidungsfunktion ist so einfach, dass man sie lesen kann: Ein Baum zeigt Schritt für Schritt, welche Schwelle bei welchem Merkmal den Ausschlag gab. Bei tiefen neuronalen Netzen ist das anders. Das BSI nennt sie funktionale Blackboxen, weil sich ihre Funktionsweise selbst bei vollem Zugriff auf das System nicht erfassen lässt⁠1.

Der Grund liegt in der Bauweise. Ein neuronales Netz verteilt sein Wissen auf Millionen oder Milliarden von Gewichten, die über viele Schichten zusammenwirken. Keine einzelne Zahl steht für eine Regel wie "Einkommen unter einem Grenzwert führt zur Ablehnung". Die Regel, falls es eine gibt, ergibt sich erst aus dem Zusammenwirken unzähliger Werte, darum spricht man bei solchen Modellen von einer Black Box.

Für die Erklärung solcher Modelle setzt die Forschung auf nachträgliche Verfahren, englisch post hoc: Eine eigene Methode untersucht das fertige Modell von außen und liefert eine Annäherung an die Gründe für eine Vorhersage⁠1.

Verfahren im Überblick

Nach dem BSI lassen sich die Verfahren nach zwei Merkmalen ordnen⁠1. Lokale Verfahren erklären eine einzelne Vorhersage, globale beschreiben das Verhalten des ganzen Modells. Modellspezifische Verfahren funktionieren nur bei einer bestimmten Bauart, modellagnostische bei beliebigen Modellen. Dazu kommt die Art der Daten: Für Bilder gibt es andere Verfahren als für Texte oder Zahlen⁠1.

Eine große Gruppe bilden die Verfahren der Merkmalswichtigkeit. Sie berechnen für jedes Eingabemerkmal, wie stark es zu einer Vorhersage beigetragen hat und in welche Richtung.

  • SHAP stellten Scott Lundberg und Su-In Lee im Mai 2017 vor⁠4. Das Verfahren weist jedem Merkmal für eine bestimmte Vorhersage einen Wichtigkeitswert zu und stützt sich auf die Shapley-Werte aus der Spieltheorie. Die Autoren zeigten, dass ihr Ansatz sechs ältere Erklärungsmethoden unter einem Dach vereint⁠4.
  • LIME von Marco Tulio Ribeiro, Sameer Singh und Carlos Guestrin aus dem Februar 2016 baut um eine einzelne Vorhersage herum ein einfaches, lesbares Ersatzmodell, das das große Modell in dieser Umgebung nachahmt⁠3. Getestet wurde es an Text- und Bildklassifikation⁠3.
  • Salienzkarten markieren bei Bildern die Bildpunkte, die für die Einstufung besonders wichtig waren, meist als farbige Wärmekarte über dem Foto.
  • Kontrafaktische Erklärungen suchen die kleinste Änderung an der Eingabe, mit der das Modell anders entschieden hätte⁠1. Sie beantworten die Frage, die Betroffene meist stellen: Was hätte anders sein müssen?

Ein Beispiel aus der Netzwerksicherheit stammt aus demselben Papier. Ein KI-gestütztes System zur Angriffserkennung meldet ein verdächtiges Datenpaket, und eine lokale SHAP-Erklärung zeigt für vier Merkmale, welches am stärksten für die Meldung sprach und welche dagegen wirkten⁠1. Erst eine solche Erklärung versetzt Fachleute nach Ansicht des BSI in die Lage, die Grundlage der Entscheidung nachzuvollziehen und zu entscheiden, ob sie dem Alarm folgen⁠1.

Zerlegte weiße Lilie auf einer weißen Platte, Blütenblätter, Staubblätter und Stiel liegen ordentlich in Reihen neben einer Pinzette
Merkmalswichtigkeit zerlegt eine Entscheidung in ihre Bestandteile. Bild: KI-generiert

Ein Beispiel: die abgelehnte Kreditanfrage

Ausgedachtes Beispiel einer abgelehnten Kreditanfrage: Balken zeigen, dass laufende Kredite am stärksten zur Ablehnung beitrugen, daneben die Bedingung, unter der der Antrag bewilligt worden wäre
  1. Balken nach links spricht für Ablehnung
  2. Balken nach rechts spricht für Zusage
  3. Kasten kleinste Änderung mit anderem Ergebnis
Zwei Arten, dieselbe Entscheidung zu erklären: Merkmalswichtigkeit und Gegenbeispiel. Grafik: KI-Blog

Wie eine Erklärung aussieht, lässt sich an einem ausgedachten Fall zeigen, angenommen ein Modell hat einen Kreditantrag abgelehnt. Eine SHAP-Erklärung ordnet jedem Merkmal einen Balken zu. Die laufenden Kredite drücken das Ergebnis am stärksten in Richtung Ablehnung, die kurze Beschäftigungsdauer ebenfalls. Das regelmäßige Einkommen spricht für eine Zusage, reicht aber nicht aus. Wohnort und Alter haben in diesem Beispiel kaum Gewicht.

Eine kontrafaktische Erklärung formuliert dasselbe als Bedingung: Mit einem laufenden Kredit weniger, angenommen etwa 200 Euro geringerer monatlicher Belastung, wäre der Antrag bewilligt worden. Für die betroffene Person ist das oft verständlicher als eine Liste von Balken. Beide Erklärungen sagen etwas darüber, wie das Modell reagiert. Ob seine Gründe fair oder sachlich richtig sind, beantworten sie nicht. Fällt in der Erklärung etwa auf, dass der Wohnort viel Gewicht hat, kann das auf eine versteckte Benachteiligung hindeuten, und genau solchen Spuren geht man nach, wenn Diskriminierung durch KI vermutet wird.

Grenzen der Erklärungen

In einem Whitepaper vom November 2024 hat das BSI die Schwächen nachträglicher Erklärungen zusammengefasst⁠2. Als erstes Problem nennt es das Uneinigkeitsproblem: Verschiedene Methoden berechnen für dieselbe Vorhersage unterschiedliche, teils widersprüchliche Erklärungen, und dieser Widerspruch lässt sich in der Regel nicht einfach auflösen⁠2. Hinzu kommt die Gefahr der Manipulation. Viele Verfahren lassen sich so angreifen, dass die Erklärung den tatsächlichen Entscheidungsweg nicht mehr abbildet; Prüfstellen und Verbraucher könnten so über das wahre Verhalten eines Produkts getäuscht werden⁠2. Das BSI folgert, dass nachträgliche Erklärungen derzeit keinen sicheren Einsatz in Bewertungsverfahren für KI-Produkte erlauben, und schlägt stattdessen etwa Prüfungen mit vollem Einblick in das Modell vor⁠2.

Eine Studie aus dem Oktober 2018 hat Salienzkarten einem Plausibilitätstest unterzogen⁠5. Einige Verfahren lieferten Karten, die gar nicht vom trainierten Modell oder von den Daten abhingen; die Autoren verglichen sie mit einer einfachen Kantenerkennung, die weder Modell noch Training braucht⁠5. Solche Karten sehen überzeugend aus und erklären trotzdem nichts über das Modell.

Im August 2026 legte das BSI ein zweites Papier vor, diesmal zur Cybersicherheit⁠1. Es beschreibt neben Chancen auch, wie Erklärungen Angreifern helfen. Wer viele Erklärungen eines Modells sammelt, kann dessen Entscheidungsgrenzen leichter nachbauen, ein sogenannter Modelldiebstahl braucht dann weniger Abfragen⁠1. Kontrafaktische Verfahren lassen sich missbrauchen, um Schadsoftware gezielt so zu verändern, dass ein KI-gestützter Virenscanner sie nicht mehr erkennt⁠1. Verwandt damit sind gezielt manipulierte Eingaben, sogenannte Adversarial Examples. Betriebe sollten Erklärungen deshalb nicht ungeprüft nach außen geben und sie in ihre KI-Sicherheit einbeziehen.

Schmaler Lichtkegel einer Taschenlampe beleuchtet nur einen kleinen Fleck einer großen dunklen Steinwand
Eine Erklärung zeigt immer nur einen Ausschnitt. Bild: KI-generiert

Was der AI Act verlangt

Die europäische KI-Verordnung schreibt kein bestimmtes Erklärverfahren vor, stellt aber Anforderungen an Transparenz und Aufsicht bei Hochrisiko-KI. Nach Artikel 13 Absatz 1 müssen Hochrisiko-Systeme so gebaut sein, dass ihr Betrieb hinreichend transparent ist, damit die Betreiber die Ausgaben angemessen interpretieren und verwenden können⁠7. Die Betriebsanleitung muss unter anderem Merkmale, Fähigkeiten und Leistungsgrenzen des Systems nennen⁠7. Artikel 14 Absatz 4 verlangt, dass die Menschen, die ein solches System beaufsichtigen, seine Ausgaben richtig interpretieren können, wobei vorhandene Interpretationswerkzeuge und Methoden zu berücksichtigen sind⁠7.

Für Betroffene gibt es Artikel 86. Wer von einer Entscheidung betroffen ist, die ein Betreiber auf Grundlage eines Hochrisiko-Systems aus Anhang III getroffen hat, kann von ihm eine klare und aussagekräftige Erläuterung verlangen⁠7. Voraussetzung ist, dass die Entscheidung rechtliche Wirkung hat oder die Person in ähnlicher Weise erheblich beeinträchtigt, nach ihrer Ansicht an Gesundheit, Sicherheit oder Grundrechten⁠7. Sie soll die Rolle des KI-Systems im Entscheidungsprozess und die wichtigsten Elemente der Entscheidung umfassen⁠7. Ausgenommen sind Systeme aus Nummer 2 des Anhangs⁠7.

Die Anforderungen aus den Artikeln 13 und 14 hat der Digital-Omnibus zeitlich verschoben. Nach dem geänderten Artikel 113 gelten die Anforderungen an Hochrisiko-Systeme (Kapitel III Abschnitte 1 bis 3) ab dem 02.12.2027 für Systeme nach Anhang III und ab dem 02.08.2028 für Systeme nach Anhang I⁠7. Ob ein System überhaupt hochriskant ist, ergibt sich aus den Risikoklassen des AI Act; weitere Termine enthält der Zeitplan des AI Act. Ob ein bestimmtes System darunter fällt, klärt im Zweifel eine Anwältin oder ein Anwalt.

Wann ein einfaches Modell die bessere Wahl ist

Aus den Grenzen der nachträglichen Erklärungen zieht die Informatikerin Cynthia Rudin eine klare Folgerung. In einem Aufsatz vom November 2018 rät sie, für folgenschwere Entscheidungen von vornherein Modelle zu bauen, die selbst verständlich sind, statt Black Boxes nachträglich zu erklären⁠6. Das Erklären von Black Boxes könne schlechte Praktiken festigen und der Gesellschaft schaden⁠6. Als Einsatzfelder nennt sie Strafjustiz, Medizin und Bilderkennung⁠6.

Für Betriebe ergibt sich daraus eine einfache Prüffrage. Muss eine Entscheidung gegenüber Kunden, Bewerbern oder einer Behörde begründet werden, lohnt zuerst der Versuch mit einem von sich aus erklärbaren Modell, etwa einem Entscheidungsbaum. Bei Tabellendaten liegen solche Verfahren in der Genauigkeit oft nah an tiefen Netzen oder sogar vorn, wie ein Vergleich von Baumverfahren und Deep Learning zeigt. Erst wenn ein einfaches Modell die Aufgabe nicht löst, kommt ein neuronales Netz mit nachträglicher Erklärung in Frage, und dann mit dem Wissen, dass diese Erklärung eine Annäherung ist.

Was das für dich heißt

Eine Erklärung zeigt, worauf ein Modell reagiert hat, und ersetzt keine Prüfung, ob die Entscheidung richtig war.

  1. Frag bei folgenreichen KI-Entscheidungen nach den wichtigsten Gründen und nach der Rolle des Systems.
  2. Prüf im Betrieb zuerst, ob ein einfaches, lesbares Modell die Aufgabe löst.
  3. Vergleich bei wichtigen Fällen mehrere Erklärverfahren, statt einem einzigen zu trauen.
  4. Halte in der Dokumentation fest, welches Erklärverfahren ihr nutzt und wo seine Grenzen liegen.

Häufige Fragen

Was ist Explainable AI?

Explainable AI, deutsch erklärbare KI, bezeichnet Verfahren, die nachvollziehbar machen sollen, wie ein KI-Modell zu einem Ergebnis kommt. Dazu gehören von sich aus lesbare Modelle und nachträgliche Erklärungen für komplexe Netze.

Was ist der Unterschied zwischen SHAP und LIME?

Beide erklären einzelne Vorhersagen über die Wichtigkeit von Merkmalen. SHAP stützt sich auf Shapley-Werte aus der Spieltheorie, LIME baut um die Vorhersage herum ein einfaches Ersatzmodell, das das große Modell lokal nachahmt.

Kann man ChatGPT erklärbar machen?

Nur sehr eingeschränkt. Große Sprachmodelle können zwar eine Begründung formulieren, diese Begründung ist aber selbst erzeugter Text und muss nicht dem tatsächlichen Rechenweg entsprechen. In einem Test von Anthropic erwähnte Claude 3.7 Sonnet einen Hinweis, den es für seine Antwort genutzt hatte, nur in 25 Prozent der Fälle⁠9.

Habe ich ein Recht auf Erklärung einer KI-Entscheidung?

Die KI-Verordnung gibt Betroffenen bei bestimmten Hochrisiko-Systemen ein Recht auf Erläuterung durch den Betreiber. Daneben können andere Gesetze, etwa der Datenschutz, eigene Auskunftsrechte vorsehen; im Einzelfall hilft eine Beratungsstelle oder eine Anwältin.

Quellen

Stand:

  1. Bundesamt für Sicherheit in der Informationstechnik: Erklärbare künstliche Intelligenz (XAI): Chancen und Risiken für die Cybersicherheit, Version 1.0, Stand 07.08.2026, abgerufen am 22.11.2026. zurück
  2. Bundesamt für Sicherheit in der Informationstechnik: Erklärbarkeit von KI im adversarialen Kontext, Stand 28.11.2024, abgerufen am 22.11.2026. zurück
  3. arXiv (Ribeiro, Singh, Guestrin): "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Stand 16.02.2016, abgerufen am 22.11.2026. zurück
  4. arXiv (Lundberg, Lee): A Unified Approach to Interpreting Model Predictions, Stand 22.05.2017, abgerufen am 22.11.2026. zurück
  5. arXiv (Adebayo u. a.): Sanity Checks for Saliency Maps, Stand 08.10.2018, abgerufen am 22.11.2026. zurück
  6. arXiv (Rudin): Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead, Stand 26.11.2018, abgerufen am 22.11.2026. zurück
  7. EUR-Lex: Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung, Artikel 13, 14, 86 und 113, Stand 27.07.2026, abgerufen am 22.11.2026. zurück
  8. Plattform Lernende Systeme: Glossar: Erklärbarkeit, abgerufen am 22.11.2026. zurück
  9. Anthropic: Reasoning models don't always say what they think, Stand 03.04.2025, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog