Der Begriff Halluzination legt nahe, dass etwas schiefgegangen ist. Tatsächlich beschreibt er das System bei bestimmungsgemäßem Betrieb.

Was ein Sprachmodell tut

Es sagt voraus, welcher Textbaustein als nächstes am wahrscheinlichsten folgt – auf Grundlage von Mustern aus sehr großen Textmengen. Es gibt keinen Abgleich mit einer Wissensdatenbank, keine Prüfung, kein Nachschlagen.

Daraus folgt: Ein Modell kann nicht zwischen einer Angabe unterscheiden, die es gelernt hat, und einer, die sprachlich gut passt. Beides fühlt sich für das System gleich an.

Wo es im Betrieb gefährlich wird

Zahlen und Fristen. Preise, Lieferzeiten, Kündigungsfristen – eine erfundene Angabe gegenüber Kunden kann bindend wirken.
Rechtliche Auskünfte. Paragrafen werden besonders zuverlässig falsch wiedergegeben, weil das Muster stimmt und die Zahl nicht.
Quellenangaben. Modelle erfinden Fundstellen, die es nicht gibt – Titel, Autor und Jahr sehen vollständig plausibel aus.

Was tatsächlich hilft

🗂️Anbindung an eigene Dokumente

Das System sucht zuerst in einem geprüften Bestand und formuliert aus dem Gefundenen. Die Aufgabe verschiebt sich vom Erinnern zum Zusammenfassen – darin sind Modelle deutlich verlässlicher.

🔗Quellen mitgeben

Jede Antwort mit Verweis auf die Fundstelle. Das macht Prüfung möglich und verändert nebenbei das Verhalten der Nutzer.

🚧Grenzen einbauen

Ein System, das bei fehlender Grundlage „dazu liegt mir nichts vor“ sagt, ist besser als eines, das immer etwas sagt. Das ist Konfigurationsarbeit, keine Modellfrage.

Was niemand versprechen kann

Vollständige Faktentreue. Wer sie zusagt, hat entweder die Technik nicht verstanden oder rechnet damit, dass der Kunde es nicht prüft.

Die belastbare Zusage lautet anders: Das Risiko wird durch Anbindung und Quellenausgabe gesenkt, es wird laufend überwacht, und für kritische Auskünfte bleibt ein Mensch in der Verantwortung.
Weiterlesen Kurzdefinition RAG-Systeme Temperature