Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Gesellschaft

Wenn KI benachteiligt

Kurzantwort

KI benachteiligt Menschen, wenn ihre Trainingsdaten alte Ungleichheiten enthalten oder scheinbar neutrale Merkmale für Geschlecht und Herkunft stehen. Belegt ist das etwa bei einem Bewerbungsprogramm von Amazon, bei Gesichtserkennung und bei einem Risikomodell der niederländischen Steuerbehörde⁠134. Das AGG und die KI-Verordnung setzen Grenzen, Betroffene können die Benachteiligung aber oft schwer nachweisen⁠9.

Autor
Veröffentlicht
Geprüft
Lesezeit
7 Minuten
Alte Balkenwaage auf dunklem Holztisch, die linke Schale mit kleinen Messinggewichten beladen, die rechte fast leer und hoch erhoben
Eine Waage, die schief steht, wirkt neutral, solange niemand nachmisst. Bild: KI-generiert

Ein Programm sortiert Lebensläufe, ein anderes berechnet die Kreditwürdigkeit, ein drittes vergleicht Gesichter. Keines davon hat Vorurteile im menschlichen Sinn. Trotzdem können solche Systeme Frauen, Menschen mit dunkler Hautfarbe oder mit einer zweiten Staatsangehörigkeit schlechter stellen, und mehrere Fälle sind gut dokumentiert. Zeigt ein System solche Verzerrungen, sprechen Fachleute von KI-Bias.

Belegte Fälle

Bewerbung: ein Bewertungsprogramm, das Frauen abwertete

Amazon begann 2014, ein Programm zu entwickeln, das Lebensläufe mit einem bis fünf Sternen bewertete⁠3. Trainiert wurde es mit den Bewerbungen, die das Unternehmen über rund zehn Jahre erhalten hatte, und die kamen überwiegend von Männern⁠3. Das System lernte daraus, Lebensläufe mit dem Wort "women's" abzuwerten, und ebenso die Namen bestimmter Frauenhochschulen⁠3. Amazon entfernte diese Begriffe, verlor aber das Vertrauen, dass das Programm an anderer Stelle neutral urteilte, und gab das Projekt auf⁠3. Für Betriebe, die heute KI bei der Personalauswahl einsetzen, zeigt der Fall: Wer mit alten Entscheidungen trainiert, übernimmt deren Muster.

Gesichtserkennung: ungleiche Fehlerquoten

Die Forscherinnen Joy Buolamwini und Timnit Gebru testeten 2018 drei kommerzielle Systeme, die aus einem Foto das Geschlecht bestimmen sollten. Bei Frauen mit dunkler Haut lag die Fehlerquote bei bis zu 34,7 Prozent, bei Männern mit heller Haut höchstens bei 0,8 Prozent⁠1. In zwei verbreiteten Testsammlungen stammten 79,6 und 86,2 Prozent der Bilder von Menschen mit heller Haut⁠1.

Das US-Normeninstitut NIST prüfte im Dezember 2019 insgesamt 189 Algorithmen von 99 Entwicklern mit 18,27 Millionen Bildern. Beim Abgleich zweier Fotos lagen die Falsch-Treffer-Raten für asiatische und afroamerikanische Gesichter je nach Algorithmus um das Zehn- bis Hundertfache über denen für weiße Gesichter⁠2. Die Unterschiede zwischen den Produkten waren groß, und die gerechtesten Algorithmen gehörten meist zu den genauesten⁠2. Solche Unterschiede wiegen besonders schwer, wenn Polizei oder Handel Gesichtserkennung einsetzen.

Sozialleistungen: der Fall der niederländischen Steuerbehörde

Die niederländische Datenschutzbehörde verhängte am 07.12.2021 ein Bußgeld von 2,75 Millionen Euro gegen die Steuerverwaltung⁠4. Diese hatte jahrelang die Staatsangehörigkeit von Menschen verarbeitet, die Zuschüsse zur Kinderbetreuung beantragten, unter anderem als Merkmal in einem System, das Anträge automatisch als riskant einstufte⁠4. Für den Anspruch zählte aber nur der rechtmäßige Aufenthalt, nicht die Staatsangehörigkeit. Die Behörde wertete die Verarbeitung deshalb als diskriminierend⁠4. Im Mai 2018 waren noch rund 1,4 Millionen Menschen in den Systemen als Doppelstaatler erfasst, obwohl diese Angaben schon im Januar 2014 hätten gelöscht werden müssen⁠4.

Kredit: wenn der Score entscheidet

Auch Bonitätswerte entstehen mit statistischen Verfahren, die das künftige Verhalten einer Person aus Daten über andere vorhersagen. Der Europäische Gerichtshof hat am 07.12.2023 entschieden, dass ein solches Scoring der SCHUFA eine grundsätzlich verbotene automatisierte Entscheidung im Einzelfall nach der Datenschutz-Grundverordnung sein kann, wenn Banken dem Wert eine maßgebliche Rolle bei der Kreditvergabe beimessen (Rechtssache C-634/21)⁠5. Ob eine Ausnahme im deutschen Bundesdatenschutzgesetz greift, musste das vorlegende Verwaltungsgericht prüfen⁠5. Das Urteil betrifft die Transparenz und Zulässigkeit von Scores; einen Diskriminierungsfall hat der Gerichtshof dort nicht festgestellt.

Ein hoher Stapel schlichter Kraftpapier-Mappen neben einem deutlich niedrigeren, eine einzelne Mappe liegt abseits am Tischrand
Wer aussortiert wird, erfährt selten, warum. Bild: KI-generiert

Woher die Verzerrung kommt

In allen Fällen lernt ein System aus Beispielen der Vergangenheit. Enthalten die Trainingsdaten weniger Frauen, weniger dunkle Gesichter oder Entscheidungen, die selbst schon ungerecht waren, übernimmt das Modell diese Schieflage. Das Rechtsgutachten "Automatisch benachteiligt", das die Antidiskriminierungsstelle des Bundes im April 2023 veröffentlichte, nennt das Diskriminierung durch Statistik: Einzelnen Menschen werden Merkmale zugeschrieben, die auf Durchschnittswerten einer Gruppe beruhen, ohne dass jemand nach Ursachen fragt⁠9. So können alte Ungleichheiten fortbestehen und neue entstehen⁠9.

Ein zweiter Mechanismus sind Stellvertretermerkmale. Wer Geschlecht oder Herkunft aus den Daten streicht, hat das Problem nicht gelöst, wenn Wohnort, Vorname oder ein bestimmter Studiengang dieselbe Information tragen. Das Amazon-Programm griff auf Wörter und Hochschulnamen zurück, die mit dem Geschlecht zusammenhingen⁠3. Das Gutachten führt diese Proxy-Diskriminierung ausdrücklich als eigene Form⁠9.

Hinzu kommt die Undurchsichtigkeit. Nach dem Gutachten ist algorithmischen Entscheidungssystemen Intransparenz eingebaut, und Betroffene können von einer Entscheidung kaum darauf schließen, ob und wie ein System beteiligt war⁠9. Verfahren der Explainable AI sollen hier Einblick verschaffen.

Was das AGG schützt und wo es hakt

Das Allgemeine Gleichbehandlungsgesetz will Benachteiligungen wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität verhindern⁠6. Für KI ist vor allem die mittelbare Benachteiligung wichtig: Sie liegt vor, wenn dem Anschein nach neutrale Kriterien oder Verfahren Menschen wegen eines dieser Merkmale besonders benachteiligen können, es sei denn, sie sind durch ein rechtmäßiges Ziel sachlich gerechtfertigt und angemessen⁠7. Ein Algorithmus, der Bewerbungen nach scheinbar neutralen Merkmalen filtert, kann genau darunter fallen.

Bei der Beweislast hilft das Gesetz Betroffenen ein Stück weit. Wer Indizien beweist, die eine Benachteiligung vermuten lassen, verschiebt die Last auf die Gegenseite, die dann zeigen muss, dass kein Verstoß vorlag⁠8. Das Problem beginnt früher: Ohne Einblick in das System fehlen oft schon die Indizien. Das Gutachten kommt zu dem Schluss, das AGG sei den Herausforderungen durch algorithmische Systeme in seiner jetzigen Form nur bedingt gewachsen⁠9. Es fehlten unter anderem Auskunfts- und Offenlegungspflichten, die Einblick in Funktionsweise und Daten eines Systems geben⁠9. Vorgeschlagen werden etwa ein Verbandsklagerecht, eine Schlichtungsstelle bei der Antidiskriminierungsstelle und eine Ausweitung des Gesetzes auf die Entwickler solcher Systeme⁠9. Eine Reform liegt im Bundestag: Der Regierungsentwurf (Drucksache 21/6178) sieht unter anderem eine Schlichtungsstelle bei der Antidiskriminierungsstelle vor und will die Frist für Ansprüche von zwei auf vier Monate verlängern⁠1415. Die Anhörung im Rechtsausschuss war am 05.10.2026, ein Beschluss ist nicht verzeichnet⁠14. Bis dahin gilt: Wer im Arbeitsleben benachteiligt wurde, muss Ansprüche auf Entschädigung oder Schadensersatz innerhalb von zwei Monaten schriftlich geltend machen⁠10. Daneben gelten für Beschäftigte die Regeln des Arbeitsrechts beim Einsatz von KI.

Was die KI-Verordnung verlangt

Die KI-Verordnung (Verordnung (EU) 2024/1689) stuft mehrere der beschriebenen Einsatzfelder als hochriskant ein. Dazu gehören Systeme, die Bewerbungen sichten, filtern oder Bewerber bewerten, Systeme für Entscheidungen über Beförderung und Kündigung und Systeme zur Prüfung der Kreditwürdigkeit natürlicher Personen⁠11. Für solche Hochrisiko-KI verlangt Artikel 10, die Trainings-, Validierungs- und Testdaten auf mögliche Verzerrungen zu untersuchen, die zu einer verbotenen Diskriminierung führen könnten, und Maßnahmen zu treffen, um sie zu erkennen, zu verhindern und abzuschwächen⁠11.

Öffentliche Stellen und private Anbieter öffentlicher Dienste müssen vor dem Einsatz eine Grundrechte-Folgenabschätzung durchführen, ebenso Betreiber von Systemen, die die Kreditwürdigkeit prüfen oder bei Lebens- und Krankenversicherungen Risiko und Preis berechnen (Artikel 27)⁠11. Wer von einer Entscheidung auf Grundlage eines solchen Systems erheblich betroffen ist, kann nach Artikel 86 eine klare und aussagekräftige Erläuterung verlangen, welche Rolle das System spielte⁠11. Diese Pflichten gelten für Systeme nach Anhang III ab dem 02.12.2027⁠12. Ob ein System in diese Risikoklasse des AI Act fällt, hängt von seinem bestimmungsgemäßen Zweck ab⁠11.

Wie Prüfungen auf Benachteiligung funktionieren

Ob ein System eine Gruppe schlechter behandelt, zeigt die Gesamttrefferquote nicht. Prüfende teilen die Ergebnisse deshalb nach Gruppen auf, also nach Geschlecht, Alter oder Hautfarbe, und vergleichen Fehlerquoten getrennt. Genau so kamen die Unterschiede in der Studie von Buolamwini und Gebru und in den Tests des NIST ans Licht⁠12. Ein zweites Werkzeug sind Testfälle, die sich nur in einem geschützten Merkmal unterscheiden, etwa zwei gleiche Lebensläufe mit einem männlichen und einem weiblichen Vornamen.

Am Ende steht eine Wertentscheidung. Für Fairness gibt es mehrere mathematische Definitionen, etwa gleiche Fehlerquoten für alle Gruppen oder gleich gut kalibrierte Risikowerte. Jon Kleinberg und Kollegen haben 2016 gezeigt, dass sich drei verbreitete Fairnessbedingungen außer in eng begrenzten Sonderfällen nicht gleichzeitig erfüllen lassen⁠13. Welche Bedingung gelten soll, entscheidet keine Software. Es ist eine Frage der KI-Ethik, und die Organisation, die das System einsetzt, muss sie festlegen und ihre Wahl begründen können.

Holzklötze in vier gedeckten Farben, nach Farben in vier Gruppen sortiert, daneben ein aufgeklappter gelber Zollstock auf hellem Birkentisch
Unterschiede zeigen sich erst, wenn man nach Gruppen getrennt misst. Bild: KI-generiert

Was Betroffene tun können

Wer vermutet, von einem automatisierten System benachteiligt worden zu sein, sollte zuerst Unterlagen sichern: Absage, Bescheid, Datum, die Angaben, die gemacht wurden. Bei Krediten hilft das SCHUFA-Urteil, weil es die Rolle des Scores bei der Entscheidung zur Prüfsache macht⁠5. Erste Anlaufstellen sind die Antidiskriminierungsstelle des Bundes und Beratungsstellen vor Ort. Im Einzelfall klärt eine Anwältin oder ein Anwalt, ob Ansprüche bestehen und welche Fristen laufen.

Was das für dich heißt

Eine automatische Absage kannst du hinterfragen, und mit gesicherten Unterlagen stehen deine Chancen besser.

  1. Heb Absagen, Bescheide und deine Angaben mit Datum auf, wenn du eine Benachteiligung vermutest.
  2. Frag bei Krediten nach, welche Rolle ein Score bei der Entscheidung gespielt hat.
  3. Wende dich an die Antidiskriminierungsstelle des Bundes, wenn du Rat brauchst.
  4. Achte im Job auf die Frist für Ansprüche nach dem AGG: Sie beträgt derzeit zwei Monate, ein Gesetzentwurf will sie auf vier verlängern.

Häufige Fragen

Welche Beispiele für KI-Diskriminierung gibt es?

Bekannt sind ein Bewerbungsprogramm von Amazon, das Frauen abwertete, Gesichtserkennung mit höheren Fehlerquoten bei dunkler Haut und ein Risikomodell der niederländischen Steuerbehörde, das die Staatsangehörigkeit nutzte.

Warum diskriminiert KI Frauen?

Im bekanntesten Fall, dem Bewerbungsprogramm von Amazon, stammten die Trainingsdaten überwiegend von Männern. Das System hielt dieses Muster für eine Regel und wertete Lebensläufe mit dem Wort "women's" ab.

Ist KI bei der Personalauswahl erlaubt?

Ja, sie gilt aber nach der KI-Verordnung als hochriskant, mit Pflichten ab dem 02.12.2027. Benachteiligungen wegen Geschlecht, Herkunft oder Alter verbietet das AGG schon heute, auch wenn ein Programm sie verursacht.

Kann ich eine Erklärung verlangen, wenn ein Algorithmus mich abgelehnt hat?

Für Hochrisiko-Systeme sieht die KI-Verordnung ab dem 02.12.2027 ein Recht auf Erläuterung vor. Bei Krediten hat der Europäische Gerichtshof schon 2023 die Rechte gegenüber automatisierten Scores gestärkt.

Quellen

Stand:

  1. Proceedings of Machine Learning Research: Buolamwini, Gebru: Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, Stand 2018, abgerufen am 22.11.2026. zurück
  2. National Institute of Standards and Technology (NIST): NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, Stand 19.12.2019, abgerufen am 22.11.2026. zurück
  3. MIT Technology Review: Amazon ditched AI recruitment software because it was biased against women, Stand 10.10.2018, abgerufen am 22.11.2026. zurück
  4. Autoriteit Persoonsgegevens: Tax Administration fined for discriminatory and unlawful data processing, Stand 07.12.2021, abgerufen am 22.11.2026. zurück
  5. Gerichtshof der Europäischen Union: Pressemitteilung Nr. 186/23 zu den Rechtssachen C-634/21 und C-26/22, C-64/22 (SCHUFA), Stand 07.12.2023, abgerufen am 22.11.2026. zurück
  6. Bundesministerium der Justiz (gesetze-im-internet.de): Allgemeines Gleichbehandlungsgesetz, § 1 Ziel des Gesetzes, abgerufen am 22.11.2026. zurück
  7. Bundesministerium der Justiz (gesetze-im-internet.de): Allgemeines Gleichbehandlungsgesetz, § 3 Begriffsbestimmungen, abgerufen am 22.11.2026. zurück
  8. Bundesministerium der Justiz (gesetze-im-internet.de): Allgemeines Gleichbehandlungsgesetz, § 22 Beweislast, abgerufen am 22.11.2026. zurück
  9. Antidiskriminierungsstelle des Bundes: Spiecker gen. Döhmann, Towfigh: Automatisch benachteiligt. Das AGG und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme, Stand 04/2023, abgerufen am 22.11.2026. zurück
  10. Bundesministerium der Justiz (gesetze-im-internet.de): Allgemeines Gleichbehandlungsgesetz, § 15 Entschädigung und Schadensersatz, abgerufen am 22.11.2026. zurück
  11. EUR-Lex: Verordnung (EU) 2024/1689 über künstliche Intelligenz, ABl. L vom 12.07.2024, Artikel 10, 27, 86 und Anhang III, Stand 12.07.2024, abgerufen am 22.11.2026. zurück
  12. Bundesnetzagentur: Ziele, Zielgruppe, Zeitplan der KI-Verordnung, Stand 2026, abgerufen am 22.11.2026. zurück
  13. arXiv: Kleinberg, Mullainathan, Raghavan: Inherent Trade-Offs in the Fair Determination of Risk Scores, Stand 17.11.2016, abgerufen am 22.11.2026. zurück
  14. Deutscher Bundestag: Gesetzentwurf zur Änderung des Allgemeinen Gleichbehandlungsgesetzes (Drucksache 21/6178), Textarchiv, Stand 2026, abgerufen am 22.11.2026. zurück
  15. Deutscher Bundestag: hib 441/2026: Gesetzentwurf zum Allgemeinen Gleichbehandlungsgesetz, Stand 01.06.2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert