Was ist RAG?

Kurz-Fakten

• Ablauf: Frage in Vektor umwandeln, passende Abschnitte suchen, mit der Frage an das Modell geben
• Quellenangaben zu jeder Antwort machen die Prüfung erst möglich
• Berechtigungen müssen mit abgebildet werden – sonst zitiert das System Gehaltslisten
• Bei geänderten Dokumenten muss der Bestand neu aufbereitet werden

Bedeutung in der Praxis

RAG ist der eigentliche Kern der meisten betrieblichen KI-Projekte, auch wenn nach außen von einem Chatbot die Rede ist. Der Aufwand liegt nicht im Modell, sondern in der Aufbereitung der Dokumente – und genau dieser Posten wird in Angeboten regelmäßig zu niedrig angesetzt.

Ein Anbieter, der zusagt, das System werde danach keine falschen Angaben mehr machen, verspricht etwas technisch nicht Einlösbares.

Verwandte Begriffe

• Embedding Ein Embedding ist die Darstellung eines Textabschnitts als Zahlenreihe, in der…
• Vektordatenbank Eine Vektordatenbank speichert Texte zusammen mit ihren Embeddings und findet zu einer…
• Chunking Chunking ist das Zerlegen von Dokumenten in Abschnitte, die einzeln durchsuchbar und…
• Halluzination Als Halluzination bezeichnet man eine Antwort eines Sprachmodells, die plausibel…