Der Wunsch ist immer derselbe: ein Assistent, der Fragen zu internen Unterlagen beantwortet. Zur Gewährleistung, zum Urlaubsanspruch, zum Vorgehen bei einer Reklamation. Technisch heißt das Verfahren Retrieval-Augmented Generation, kurz RAG. Es ist weniger magisch, als der Name klingt – und genau deshalb beherrschbar.
01Wie RAG funktioniert
- Dokumente werden in sinnvolle Abschnitte zerlegt und mit Metadaten versehen.
- Jeder Abschnitt wird in einen Vektor übersetzt, der seine Bedeutung abbildet.
- Zur Frage eines Nutzers werden die passendsten Abschnitte gesucht – gefiltert nach dessen Rechten.
- Diese Abschnitte gehen gemeinsam mit der Frage an das Sprachmodell.
- Die Antwort entsteht ausschließlich aus dem mitgelieferten Kontext und nennt die Quelle.
02Dokumente richtig aufbereiten
Ein Handbuch stur alle 500 Zeichen zu zerschneiden zerstört genau die Struktur, die eine gute Antwort ausmacht. Sinnvolle Abschnitte orientieren sich an Überschriften, Paragrafen oder Tabellenzeilen und behalten ihren Kontext.
| Dokumenttyp | Sinnvolle Einheit | Wichtige Metadaten |
|---|---|---|
| Handbuch | Unterkapitel | Version, Produkt, Gültig ab |
| Vertrag | Paragraf | Vertragspartner, Laufzeit, Vertraulichkeit |
| Protokoll | Tagesordnungspunkt | Datum, Teilnehmerkreis, Gremium |
| FAQ | Frage-Antwort-Paar | Zielgruppe, Sprache |
| Tabelle | Zeile mit Kopfzeile | Quelle, Stand |
03Qualität messbar machen
Ohne Testfragen ist jede Aussage über Antwortqualität ein Gefühl. Legen Sie ein Evaluations-Set aus 50 bis 150 realen Fragen mit geprüften Antworten an – inklusive der Fragen, die das System bewusst nicht beantworten soll.
- Trefferquote der Suche: Ist der richtige Abschnitt überhaupt unter den gelieferten Ergebnissen?
- Belegtreue: Steht die Antwort tatsächlich im zitierten Abschnitt?
- Verweigerungsverhalten: Sagt das System „weiß ich nicht“, wenn nichts Passendes gefunden wurde?
- Aktualität: Wird die gültige Fassung eines Dokuments bevorzugt?
04Betrieb und Pflege
Wissen veraltet. Ein RAG-System braucht deshalb einen definierten Weg, wie neue Dokumentversionen einfließen und alte ausgesteuert werden. In der Praxis bewährt sich ein nächtlicher Abgleich mit der Dokumentenablage plus die Möglichkeit, ein Dokument sofort zu sperren.
Häufige Fragen
- Muss ein Modell auf unsere Daten trainiert werden?
- In der Regel nein. Retrieval-Augmented Generation liefert die relevanten Dokumentausschnitte zur Laufzeit mit. Das ist günstiger, sofort aktualisierbar und erlaubt Quellenangaben – ein trainiertes Modell kann keine Quelle nennen.
- Wie verhindern wir, dass Mitarbeiter Dokumente sehen, für die sie keine Rechte haben?
- Die Zugriffsrechte müssen bei der Suche greifen, nicht erst in der Antwort. Jeder Ausschnitt trägt seine Berechtigung als Metadatum, und die Suche filtert vor dem Modellaufruf. Alles andere ist ein Datenleck mit Komfortfunktion.
Aus dem Ratgeber in Ihren Betrieb
Wir prüfen Ihre Prozesse, schätzen Aufwand und Wirkung realistisch ein und bauen den ersten Anwendungsfall bis zur Produktionsreife.