Erklärbarkeit klingt nach einer Eigenschaft, die ein System hat oder nicht hat. Tatsächlich ist sie ein nachträglich hergestelltes Hilfskonstrukt – nützlich, aber missverständlich.

Das Problem

Ein Netz mit Millionen Parametern trifft eine Entscheidung, ohne dass irgendwo eine Regel steht, die man nachlesen könnte. Die Frage „warum?“ hat schlicht keine im System hinterlegte Antwort.

Was die Verfahren tun

  1. Eingaben systematisch verändern

    Das Verfahren variiert einzelne Merkmale und beobachtet, wie sich das Ergebnis verschiebt.

  2. Einfluss schätzen

    Aus den Verschiebungen wird abgeleitet, welche Merkmale das Ergebnis am stärksten getragen haben.

  3. Als Erklärung darstellen

    Herauskommt eine Gewichtung: Merkmal A trug soundso stark bei, Merkmal B wirkte dagegen.

Was dabei nicht passiert

Niemand liest den Rechenweg aus. Die Erklärung ist eine Näherung an das beobachtete Verhalten. Zwei Verfahren können für denselben Fall unterschiedliche Erklärungen liefern – beide „richtig“ im Sinne ihrer Methode.

Die unbequeme Alternative

Wenn Nachvollziehbarkeit rechtlich gefordert ist, lohnt die Frage, ob es das komplexe Modell überhaupt braucht.

Erreicht ein Entscheidungsbaum 95 Prozent der Genauigkeit eines neuronalen Netzes und bleibt dabei nachlesbar, ist er im regulierten Umfeld die bessere Lösung. Diese Option wird selten angeboten – sie ist weniger beeindruckend und schneller fertig.

Was für Anwender zählt

  • Kann die aufsichtführende Person die Ausgabe einordnen?
  • Hat sie die Befugnis und die Zeit, zu widersprechen?
  • Wird dokumentiert, wenn widersprochen wurde – und warum?
  • Gibt es einen Weg für Betroffene, eine Überprüfung zu verlangen?
Weiterlesen Kurzdefinition Human in the Loop Verantwortung bei KI-Entscheidungen