Suche und Antwort getrennt betrachten
Bei Retrieval-Augmented Generation, kurz RAG, sucht eine Anwendung passende Informationen und stellt sie einem Sprachmodell zur Verfügung. Das Modell formuliert daraus eine Antwort. Fehler können in beiden Schritten entstehen: Die Suche findet eine falsche Anleitung, oder die Antwort lässt einen wichtigen Hinweis aus. Deshalb sollte ein Test sowohl die Fundstellen als auch die fertige Formulierung betrachten.
Eine kleine verlässliche Sammlung aufbauen
Unser Vorschlag für den Einstieg ist ein einzelner klar abgegrenzter Wissensbereich. Sortieren Sie darin veraltete Versionen aus und benennen Sie Verantwortliche. Beginnen Sie beispielsweise mit den freigegebenen Anleitungen für eine Produktgruppe. Diese Begrenzung macht Probleme sichtbar, bevor sie sich über die gesamte Ablage verteilen. Auch die Mitarbeiterfragen sollten aus diesem konkreten Bereich stammen.
Die Antwort muss überprüfbar bleiben
Lassen Sie sich die zugrunde liegende Fundstelle anzeigen und vergleichen Sie sie mit dem Original. Eine Antwort sollte auch benennen können, dass Informationen fehlen oder sich widersprechen. Für die Abnahme empfiehlt sich eine Liste typischer Fragen mit bekannten richtigen Quellen. Ergänzen Sie bewusst Fragen, die der Bestand nicht beantworten kann. So prüfen Sie auch, ob der Assistent seine Grenzen ausreichend deutlich macht.
Nächster Schritt
Stellen Sie zwanzig relevante Dokumente und zehn typische Fragen zusammen. Prüfen Sie zuerst, ob die richtigen Stellen auffindbar sind, bevor Sie über einen unternehmensweiten Einsatz entscheiden.
Fachliche Einordnung: AWS: Retrieval-Augmented Generation