Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · A

AI Safety

Kurzantwort

Wie sich Schäden durch KI-Systeme vermeiden lassen, ob durch Fehlverhalten der Technik, durch Missbrauch oder durch Folgen für die Gesellschaft, untersucht das Forschungsfeld AI Safety. Der International AI Safety Report ordnet die Risiken allgemein einsetzbarer KI in genau diese drei Gruppen⁠2. In Großbritannien und der EU bewerten staatliche Stellen besonders leistungsfähige Modelle inzwischen selbst⁠45.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Grauer Sicherheitsgurt, schräg über einen leeren Fahrersitz aus Leder gespannt, das Metallschloss ist eingerastet, weiches Tageslicht durch das Seitenfenster
Der Gurt schützt vor den Folgen, wenn etwas schiefgeht. Bild: KI-generiert

Im Deutschen heißen Safety und Security beide Sicherheit, im Englischen trennen sie zwei Blickwinkel. Security schützt ein System vor Angreifern, Safety schützt Menschen und Umwelt vor den Folgen des Systems. Großbritannien hat sein AI Safety Institute am 14.02.2025 in AI Security Institute umbenannt⁠3, das Forschungsfeld trägt den alten Namen weiter.

Fünf Fragen aus der Forschung

Früh geordnet hat die Fragen ein Aufsatz von 2016: "Concrete Problems in AI Safety" von Dario Amodei, Chris Olah und vier weiteren Autoren⁠1. Sie beschrieben Unfälle, also schädliches Verhalten, das niemand beabsichtigt hat, und führten es auf Fehler im Entwurf zurück. Fünf Forschungsfragen leiteten sie daraus ab⁠1:

  • Nebenwirkungen vermeiden, wenn ein System sein Ziel verfolgt,
  • verhindern, dass es seine Belohnung austrickst,
  • Aufsicht ermöglichen, wenn eine Prüfung jedes Schrittes zu teuer ist,
  • gefahrlos Neues ausprobieren lassen,
  • verlässlich bleiben, wenn die Eingaben anders aussehen als im Training.

Der zweite Punkt ist eng verwandt mit dem Teilgebiet Alignment, das sich damit befasst, Systeme an den Absichten der Menschen auszurichten.

Welche Risiken das Feld heute untersucht

Den International AI Safety Report, dessen zweite Ausgabe im Februar 2026 erschien, haben über 100 Fachleute mitgeschrieben; 29 Staaten, die UN, die OECD und die EU haben Vertreter in den Beirat entsandt⁠2. Er teilt die Risiken in drei Gruppen⁠2:

  • Missbrauch, etwa für Betrug, Manipulation, Cyberangriffe oder Hilfe bei biologischen und chemischen Waffen,
  • Fehlfunktionen, von erfundenen Fakten bis zu Szenarien, in denen niemand das System mehr kontrolliert,
  • systemische Risiken wie Folgen für den Arbeitsmarkt und für die Fähigkeit von Menschen, selbst zu urteilen.

Zum Kontrollverlust hält der Bericht fest, dass heutige Systeme die dafür nötigen Fähigkeiten nicht haben, in einzelnen Bereichen wie dem selbstständigen Arbeiten aber besser werden⁠2. Als Werkzeuge nennt er unter anderem Bedrohungsmodelle, Prüfungen gefährlicher Fähigkeiten, Red Teaming und Meldungen von Vorfällen⁠2. Einige Entwickler regeln ihren Umgang mit solchen Risiken selbst: 2025 haben zwölf Unternehmen sogenannte Frontier AI Safety Frameworks veröffentlicht oder überarbeitet, also Pläne dafür, wie sie mit Risiken umgehen wollen, wenn ihre Modelle leistungsfähiger werden⁠2. Verpflichtend ist davon wenig; erst einzelne Regelwerke machen solche Praktiken zur gesetzlichen Pflicht⁠2.

Institute und Behörden

Das britische AI Security Institute gehört zum Wissenschaftsministerium und will Regierungen ein wissenschaftliches Verständnis der Risiken fortgeschrittener KI verschaffen⁠4. Es führt auch das Sekretariat dieses Berichts⁠2. In der EU ist bei der Kommission ihr Büro für Künstliche Intelligenz (AI Office) zuständig. Es entwickelt Methoden, um Modelle mit allgemeinem Verwendungszweck zu bewerten, stuft solche Modelle mit systemischem Risiko ein und kann die Regeln für sie durchsetzen, bis hin zu Bußgeldern⁠5. In Deutschland eröffnete am 31.08.2026 das AI Safety und Security Institute Deutschland (AISI Deutschland), das Bundesdigitalministerium und Bundesinnenministerium gemeinsam aufbauen; es untersucht Cybersicherheit, neue KI-Modelle und deren Auswirkungen, berät die Bundesregierung und ist keine Regulierungsbehörde⁠6.

Betriebe, die KI einsetzen, beschäftigt eher der Schutz von Daten, Zugängen und Anwendungen vor Angriffen; diese IT-Sicherheit ist Thema von KI-Sicherheit im Unternehmen.

Häufige Fragen

Geht es bei AI Safety um Szenarien wie in Science-Fiction-Filmen?

Solche Szenarien sind ein Thema unter vielen. Der International AI Safety Report führt den Kontrollverlust als eine von zwei Arten von Fehlfunktionen auf, neben mangelnder Zuverlässigkeit; weitere Kapitel behandeln Missbrauch und Folgen für die Gesellschaft⁠2.

Gibt es in Deutschland ein eigenes AI Safety Institute?

Ja, seit dem 31.08.2026 gibt es das AI Safety und Security Institute Deutschland, kurz AISI Deutschland. Es ist ein Kompetenzzentrum der Bundesregierung und keine Regulierungsbehörde⁠6. Die Marktaufsicht nach der KI-Verordnung liegt grundsätzlich bei der Bundesnetzagentur⁠7.

Quellen

Stand:

  1. Amodei, Olah, Steinhardt, Christiano, Schulman, Mané (arXiv): Concrete Problems in AI Safety, Stand 25.07.2016, abgerufen am 22.11.2026. zurück
  2. International AI Safety Report (Vorsitz Yoshua Bengio, arXiv): International AI Safety Report 2026, Stand 02/2026, abgerufen am 22.11.2026. zurück
  3. GOV.UK: Tackling AI security risks to unleash growth and deliver Plan for Change, Stand 14.02.2025, abgerufen am 22.11.2026. zurück
  4. AI Security Institute: About the AI Security Institute (Startseite), abgerufen am 22.11.2026. zurück
  5. Europäische Kommission: European AI Office, Stand 29.10.2026, abgerufen am 22.11.2026. zurück
  6. Bundesregierung: KI-Sicherheitsinstitut eröffnet, Stand 31.08.2026, abgerufen am 22.11.2026. zurück
  7. Bundesgesetzblatt: Gesetz zur Durchführung der Verordnung über künstliche Intelligenz, BGBl. 2026 I Nr. 223, Stand 28.07.2026, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert