Was ist Prompt Injection?

Kurz-Fakten

• Ein Sprachmodell unterscheidet nicht zuverlässig zwischen Daten und Anweisungen
• Besonders betroffen sind Agenten, die Dokumente oder Webseiten lesen und danach handeln
• Eine vollständige technische Lösung gibt es bislang nicht
• Wirksam sind Rechtebegrenzung, Bestätigung vor kritischen Aktionen und Protokollierung

Bedeutung in der Praxis

Weil es keine saubere Lösung gibt, verschiebt sich die Frage von der Abwehr zur Schadensbegrenzung. Die belastbare Regel lautet: Ein System, das fremde Inhalte liest, darf keine unumkehrbaren Aktionen ohne menschliche Freigabe ausführen.

Verwandte Begriffe

• KI-Agent Ein KI-Agent ist ein System, das ein Ziel nicht nur beschreibt, sondern in Schritte…
• MCP MCP ist ein offener Standard dafür, wie Sprachmodelle auf externe Werkzeuge und…
• Guardrails Guardrails sind Regeln und Prüfungen, die Ein- und Ausgaben eines KI-Systems begrenzen –…
• Red Teaming Red Teaming bezeichnet das gezielte Prüfen eines KI-Systems durch den Versuch, es zu…