Was ist Guardrails?

Kurz-Fakten

• Es gibt Prüfungen vor der Verarbeitung und nach der Antworterzeugung
• Sie greifen unabhängig davon, ob das Modell gewechselt wird
• Zu enge Regeln machen ein System unbrauchbar, zu weite wirkungslos
• Jede Sperre gehört mit Testfällen belegt, sonst ist sie eine Behauptung

Bedeutung in der Praxis

In Angeboten sind Guardrails der Teil, der am ehesten fehlt und am wenigsten sichtbar ist. Die konkrete Nachfrage lautet: Welche Fälle werden abgefangen, wie wird das geprüft, und was sieht der Nutzer stattdessen?

Verwandte Begriffe

• Halluzination Als Halluzination bezeichnet man eine Antwort eines Sprachmodells, die plausibel…
• KI-Agent Ein KI-Agent ist ein System, das ein Ziel nicht nur beschreibt, sondern in Schritte…
• Prompt Injection Prompt Injection bezeichnet das Einschleusen von Anweisungen in Inhalte, die ein…