Lexikon · A
AI Safety
Kurzantwort
Wie sich Schäden durch KI-Systeme vermeiden lassen, ob durch Fehlverhalten der Technik, durch Missbrauch oder durch Folgen für die Gesellschaft, untersucht das Forschungsfeld AI Safety. Der International AI Safety Report ordnet die Risiken allgemein einsetzbarer KI in genau diese drei Gruppen2. In Großbritannien und der EU bewerten staatliche Stellen besonders leistungsfähige Modelle inzwischen selbst45.

Im Deutschen heißen Safety und Security beide Sicherheit, im Englischen trennen sie zwei Blickwinkel. Security schützt ein System vor Angreifern, Safety schützt Menschen und Umwelt vor den Folgen des Systems. Großbritannien hat sein AI Safety Institute am 14.02.2025 in AI Security Institute umbenannt3, das Forschungsfeld trägt den alten Namen weiter.
Fünf Fragen aus der Forschung
Früh geordnet hat die Fragen ein Aufsatz von 2016: "Concrete Problems in AI Safety" von Dario Amodei, Chris Olah und vier weiteren Autoren1. Sie beschrieben Unfälle, also schädliches Verhalten, das niemand beabsichtigt hat, und führten es auf Fehler im Entwurf zurück. Fünf Forschungsfragen leiteten sie daraus ab1:
- Nebenwirkungen vermeiden, wenn ein System sein Ziel verfolgt,
- verhindern, dass es seine Belohnung austrickst,
- Aufsicht ermöglichen, wenn eine Prüfung jedes Schrittes zu teuer ist,
- gefahrlos Neues ausprobieren lassen,
- verlässlich bleiben, wenn die Eingaben anders aussehen als im Training.
Der zweite Punkt ist eng verwandt mit dem Teilgebiet Alignment, das sich damit befasst, Systeme an den Absichten der Menschen auszurichten.
Welche Risiken das Feld heute untersucht
Den International AI Safety Report, dessen zweite Ausgabe im Februar 2026 erschien, haben über 100 Fachleute mitgeschrieben; 29 Staaten, die UN, die OECD und die EU haben Vertreter in den Beirat entsandt2. Er teilt die Risiken in drei Gruppen2:
- Missbrauch, etwa für Betrug, Manipulation, Cyberangriffe oder Hilfe bei biologischen und chemischen Waffen,
- Fehlfunktionen, von erfundenen Fakten bis zu Szenarien, in denen niemand das System mehr kontrolliert,
- systemische Risiken wie Folgen für den Arbeitsmarkt und für die Fähigkeit von Menschen, selbst zu urteilen.
Zum Kontrollverlust hält der Bericht fest, dass heutige Systeme die dafür nötigen Fähigkeiten nicht haben, in einzelnen Bereichen wie dem selbstständigen Arbeiten aber besser werden2. Als Werkzeuge nennt er unter anderem Bedrohungsmodelle, Prüfungen gefährlicher Fähigkeiten, Red Teaming und Meldungen von Vorfällen2. Einige Entwickler regeln ihren Umgang mit solchen Risiken selbst: 2025 haben zwölf Unternehmen sogenannte Frontier AI Safety Frameworks veröffentlicht oder überarbeitet, also Pläne dafür, wie sie mit Risiken umgehen wollen, wenn ihre Modelle leistungsfähiger werden2. Verpflichtend ist davon wenig; erst einzelne Regelwerke machen solche Praktiken zur gesetzlichen Pflicht2.
Institute und Behörden
Das britische AI Security Institute gehört zum Wissenschaftsministerium und will Regierungen ein wissenschaftliches Verständnis der Risiken fortgeschrittener KI verschaffen4. Es führt auch das Sekretariat dieses Berichts2. In der EU ist bei der Kommission ihr Büro für Künstliche Intelligenz (AI Office) zuständig. Es entwickelt Methoden, um Modelle mit allgemeinem Verwendungszweck zu bewerten, stuft solche Modelle mit systemischem Risiko ein und kann die Regeln für sie durchsetzen, bis hin zu Bußgeldern5. In Deutschland eröffnete am 31.08.2026 das AI Safety und Security Institute Deutschland (AISI Deutschland), das Bundesdigitalministerium und Bundesinnenministerium gemeinsam aufbauen; es untersucht Cybersicherheit, neue KI-Modelle und deren Auswirkungen, berät die Bundesregierung und ist keine Regulierungsbehörde6.
Betriebe, die KI einsetzen, beschäftigt eher der Schutz von Daten, Zugängen und Anwendungen vor Angriffen; diese IT-Sicherheit ist Thema von KI-Sicherheit im Unternehmen.
Häufige Fragen
Geht es bei AI Safety um Szenarien wie in Science-Fiction-Filmen?
Solche Szenarien sind ein Thema unter vielen. Der International AI Safety Report führt den Kontrollverlust als eine von zwei Arten von Fehlfunktionen auf, neben mangelnder Zuverlässigkeit; weitere Kapitel behandeln Missbrauch und Folgen für die Gesellschaft2.
Gibt es in Deutschland ein eigenes AI Safety Institute?
Quellen
Stand:
- Amodei, Olah, Steinhardt, Christiano, Schulman, Mané (arXiv): Concrete Problems in AI Safety, Stand 25.07.2016, abgerufen am 22.11.2026. zurück
- International AI Safety Report (Vorsitz Yoshua Bengio, arXiv): International AI Safety Report 2026, Stand 02/2026, abgerufen am 22.11.2026. zurück
- GOV.UK: Tackling AI security risks to unleash growth and deliver Plan for Change, Stand 14.02.2025, abgerufen am 22.11.2026. zurück
- AI Security Institute: About the AI Security Institute (Startseite), abgerufen am 22.11.2026. zurück
- Europäische Kommission: European AI Office, Stand 29.10.2026, abgerufen am 22.11.2026. zurück
- Bundesregierung: KI-Sicherheitsinstitut eröffnet, Stand 31.08.2026, abgerufen am 22.11.2026. zurück
- Bundesgesetzblatt: Gesetz zur Durchführung der Verordnung über künstliche Intelligenz, BGBl. 2026 I Nr. 223, Stand 28.07.2026, abgerufen am 22.11.2026. zurück




