Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · B

Black Box

Kurzantwort

Sieht man bei einem KI-Modell nur Eingabe und Ausgabe und kann nicht nachvollziehen, wie die Antwort zustande kommt, spricht man von einer Black Box⁠3. Bei tiefen neuronalen Netzen liegt das an der riesigen Zahl gelernter Gewichte, aus denen sich keine lesbaren Regeln ablesen lassen⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Ein mattschwarzer Würfel steht auf einem weißen Tisch, an zwei gegenüberliegenden Seiten führen dicke Kabel hinein
Sichtbar sind nur die Leitungen hinein und heraus. Bild: KI-generiert

Marco Tulio Ribeiro, Sameer Singh und Carlos Guestrin haben 2016 mit Absicht ein schlechtes Bilderkennungsmodell gebaut. Es sollte Wölfe von Huskys unterscheiden. Von den 20 Trainingsbildern zeigten alle Wolfsbilder Schnee im Hintergrund, die Huskybilder nicht⁠2. Das Modell lernte daraufhin vor allem, Schnee zu erkennen: Auf weiteren Bildern sagte es "Wolf", sobald Schnee oder ein heller Hintergrund zu sehen war, gleich welches Tier davorstand⁠2. Von 27 Testpersonen vertrauten 10 dem Modell, bevor sie eine Erklärung sahen; danach waren es noch 3⁠2. Schnee als mögliches Merkmal nannten vor der Erklärung 12 der Befragten, danach 25⁠2.

Warum Modelle undurchsichtig sind

Ein Programm mit Wenn-dann-Regeln lässt sich Zeile für Zeile lesen. Ein trainiertes neuronales Netz besteht aus sehr vielen Gewichten, die beim Training eingestellt wurden. Für sich bedeutet ein einzelnes Gewicht nichts, erst viele zusammen ergeben eine Entscheidung. Die Plattform Lernende Systeme nennt rein statistisch aufgebaute Modelle des maschinellen Lernens Black-Box-Modelle und stellt ihnen White-Box-Modelle gegenüber, die auf analytischen oder physikalischen Beschreibungen beruhen; Mischformen heißen Grey-Box-Modelle⁠1.

Selbst die Hersteller blicken nur mühsam hinein. Anthropic schrieb im Mai 2024, man behandle KI-Modelle meist als Black Box: Man sehe, was hineingeht und herauskommt, aber nicht, warum eine bestimmte Antwort entsteht⁠3. In derselben Veröffentlichung beschrieb das Unternehmen, wie es Millionen von Merkmalen aus einer mittleren Schicht seines Modells Claude 3 Sonnet herausgelöst hatte, darunter eines, das auf die Golden Gate Bridge reagiert⁠3. Verstärkten die Forschenden dieses Merkmal künstlich, antwortete das Modell auf die Frage nach seiner Gestalt, es sei die Brücke selbst⁠3. Einzelne Teile des Innenlebens lassen sich also finden und gezielt verändern, auch wenn das Gesamtbild weiter schwer zu überblicken ist.

Welche Folgen das hat

Das Wolf-Beispiel zeigt die erste Folge: Ein Modell kann aus zufälligen Eigenheiten der Daten lernen, und niemand bemerkt es, solange die Ergebnisse stimmen. Ähnlich schwer zu finden sind Verzerrungen, durch die ein Modell bestimmte Gruppen benachteiligt, der sogenannte KI-Bias, aus dem Diskriminierung durch KI werden kann.

Besonders heikel wird es, wenn Modelle über Menschen entscheiden. Cynthia Rudin kritisiert, dass Black-Box-Modelle in der Medizin und der Strafjustiz für folgenreiche Entscheidungen eingesetzt werden⁠4. Nachträgliche Erklärungen, wie sie Verfahren der erklärbaren KI liefern, hält sie in solchen Fällen für riskant und fordert Modelle, die von vornherein interpretierbar sind⁠4. Wer Black Boxes nur nachträglich erklärt, verfestige schlechte Praktiken und könne im schlimmsten Fall großen Schaden anrichten, schreibt sie⁠4.

Auch das Recht reagiert. Für Hochrisiko-KI, die strengste erlaubte Stufe unter den Risikoklassen des AI Act, schreibt die KI-Verordnung in Artikel 13 Absatz 1 vor, dass diese Systeme so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist und Betreiber ihre Ausgaben angemessen interpretieren und verwenden können⁠5. Für Anhang-III-Systeme gelten diese Anforderungen ab dem 02.12.2027, für Systeme aus Anhang I ab dem 02.08.2028⁠6.

Häufige Fragen

Ist jede KI eine Black Box?

Nein. Entscheidungsbäume oder einfache lineare Modelle mit wenigen Merkmalen lassen sich gut nachvollziehen. Rudin nennt Beispiele aus Strafjustiz, Medizin und Bilderkennung, in denen interpretierbare Modelle Black-Box-Modelle ersetzen könnten⁠4.

Kann ich eine Erklärung verlangen, wenn eine KI über mich entscheidet?

Unter bestimmten Voraussetzungen ja, bei Hochrisiko-Systemen nach Anhang III der KI-Verordnung ohne die Systeme aus Nummer 2 des Anhangs. Hat ein Betreiber auf Grundlage eines solchen Systems eine Entscheidung getroffen, die rechtliche Auswirkungen hat oder dich in ähnlicher Art erheblich beeinträchtigt, und siehst du dadurch Gesundheit, Sicherheit oder Grundrechte beeinträchtigt, kannst du nach Artikel 86 eine klare und aussagekräftige Erläuterung zur Rolle des Systems und zu den wichtigsten Elementen der Entscheidung verlangen⁠5. Die Anforderungen an Hochrisiko-Systeme nach Anhang III gelten ab dem 02.12.2027⁠6.

Woher kommt der Begriff Black Box?

Aus der Technik: Gemeint ist ein Gerät, dessen Innenleben man nicht kennt und das man nur über seine Eingaben und Ausgaben beschreibt. Der Flugschreiber im Flugzeug trägt denselben Namen, hat mit dem KI-Begriff aber nur das Wort gemeinsam.

Quellen

Stand:

  1. Plattform Lernende Systeme: Glossar: Black Box-, White Box-, Grey Box-Modelle, abgerufen am 22.11.2026. zurück
  2. arXiv (Ribeiro, Singh, Guestrin): "Why Should I Trust You?": Explaining the Predictions of Any Classifier, Abschnitt 6.4, Stand 16.02.2016, abgerufen am 22.11.2026. zurück
  3. Anthropic: Mapping the Mind of a Large Language Model, Stand 21.05.2024, abgerufen am 22.11.2026. zurück
  4. arXiv (Rudin): Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead, Stand 22.09.2019, abgerufen am 22.11.2026. zurück
  5. EUR-Lex: Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026, Artikel 13 und 86, Stand 27.07.2026, abgerufen am 22.11.2026. zurück
  6. EUR-Lex: Verordnung (EU) 2024/1689 (KI-Verordnung), konsolidierte Fassung vom 27.07.2026, Artikel 113, Stand 27.07.2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert