Wenn ein Unternehmen von einem Chatbot spricht, meint es fast immer ein RAG-System. Der Chat ist die Oberfläche; die Arbeit liegt darunter.
Der Ablauf
- Zerlegen
Dokumente werden in Abschnitte geschnitten – meist einige hundert Wörter, mit Überlappung, möglichst an Überschriften statt nach Zeichenzahl.
- Einbetten
Jeder Abschnitt wird als Zahlenreihe gespeichert, in der inhaltliche Ähnlichkeit als Nähe abgebildet ist.
- Suchen
Zur Frage werden die inhaltlich nächsten Abschnitte gesucht – Bedeutungsähnlichkeit, nicht Wortübereinstimmung.
- Formulieren
Die gefundenen Abschnitte gehen zusammen mit der Frage an das Modell, das daraus die Antwort baut – samt Fundstelle.
Wo der Aufwand tatsächlich anfällt
Bei gepflegten Beständen ist die Aufbereitung überschaubar. Bei über Jahre gewachsenen Ablagen mit vier Versionen desselben Dokuments wird sie zur eigenen Aufgabe – und ist dann der größte Posten im Projekt.
Die drei Fehler, die wirklich schaden
Ein Assistent, der Gehaltslisten aus dem Dokumentenbestand zitiert, weil niemand die Zugriffsrechte übernommen hat, ist kein hypothetischer Fall. Die Prüfung muss bei der Suche greifen, nicht danach.
Das System antwortet weiter – nur eben nach der alten Preisliste. Ohne automatischen Abgleich und ohne Standdatum in der Antwort fällt das erst dem Kunden auf.
Ein Abschnitt, der mitten in einer Tabelle endet, liefert eine halbe Antwort. Wenn ein System die richtige Stelle nicht findet, liegt es öfter am Zuschnitt als am Modell.
Was in den Vertrag gehört
- Wem gehören die aufbereiteten Daten nach Projektende?
- Lassen sich Embeddings und Konfiguration exportieren?
- Wie oft und durch wen wird der Bestand abgeglichen?
- Wer prüft in welchem Turnus stichprobenartig die Antwortqualität?
Der erste Punkt ist der wertvollste: Die Aufbereitung des Dokumentenbestands ist meist der größte Aufwand und lässt sich auf andere Systeme übertragen – wenn man sie herausbekommt.