Das Grundprinzip in zwei Schritten
Ein Sprachmodell allein kennt nur das, was es bei seiner Entstehung gelernt hat – Ihre Preisliste oder Ihre Kundenverträge gehören nicht dazu. RAG schaltet deshalb einen Suchschritt davor. Auf eine Frage hin werden zuerst die passendsten Textabschnitte aus Ihren Quellen herausgesucht. Im zweiten Schritt formuliert das Modell eine Antwort, die sich auf genau diese Abschnitte stützen soll.
Wie die Suche funktioniert
Dokumente werden vorab in kleinere Abschnitte zerlegt. Jeder Abschnitt bekommt eine mathematische Beschreibung seiner Bedeutung, oft Embedding genannt. Eine Frage wird genauso beschrieben, und das System sucht die Abschnitte mit der ähnlichsten Bedeutung. Deshalb findet RAG auch Stellen, in denen andere Wörter verwendet werden als in der Frage. Häufig wird das mit klassischer Wortsuche kombiniert.
Warum RAG Quellenangaben ermöglicht
Weil die Antwort auf konkret abgerufenen Abschnitten beruht, lässt sich mitliefern, aus welchem Dokument sie stammen. Für den Einsatz im Betrieb ist das zentral: Wer eine Antwort zur Kündigungsfrist erhält, kann mit einem Klick prüfen, ob sie im Vertrag tatsächlich so steht. Ein gut gebautes System sollte außerdem sagen, wenn es keine passende Quelle findet, statt eine Antwort zu erfinden.
Wo RAG an Grenzen stößt
Die Qualität hängt stark von der Suche ab. Findet sie den falschen Abschnitt, ist auch die Antwort falsch – nur eben gut formuliert. Widersprüchliche oder veraltete Dokumente führen zu widersprüchlichen Antworten. Fragen, die Informationen aus vielen Dokumenten zusammenrechnen müssen, etwa Summen über alle Aufträge eines Jahres, sind für RAG schwierig; dafür eignen sich Abfragen direkt im Fachsystem besser.
Woran man ein verlässliches RAG-System erkennt
Verlässlich ist ein System dann, wenn es an realen Fragen aus dem Betrieb geprüft wurde, deren richtige Antworten bekannt sind. Wichtig sind dabei vor allem drei Punkte: Gibt es zu jeder Antwort eine Quelle? Sagt das System ehrlich, wenn es etwas nicht weiß? Und beachtet es Berechtigungen, sodass niemand über eine Frage an Inhalte kommt, die er sonst nicht sehen dürfte?