Retrieval Augmented Generation (RAG): Was ist RAG?

Retrieval Augmented Generation (RAG) ist ein Verfahren, bei dem ein Sprachmodell vor seiner Antwort passende Textstellen aus Ihren Unterlagen sucht und seine Antwort darauf stützt. So kann es Fragen zu Wissen beantworten, das es im Training nie gesehen hat.

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Ihre Preisliste, Ihr Handbuch oder Ihre internen Abläufe gehören nicht dazu. RAG ist der übliche Weg, einem Modell dieses Wissen zur Verfügung zu stellen, ohne es neu zu trainieren. Fast jeder Chatbot, der Fragen zu einem bestimmten Unternehmen beantwortet, arbeitet nach diesem Prinzip.

Woher der Begriff stammt

Der Name kommt aus einer Studie von Patrick Lewis und Kollegen aus dem Jahr 2020, entstanden unter anderem bei Facebook AI Research. Sie verbanden ein Sprachmodell mit einem durchsuchbaren Verzeichnis der Wikipedia. Das Modell holte sich vor jeder Antwort passende Abschnitte und nutzte sie beim Formulieren.

Die Forschenden sprachen von zwei Arten Gedächtnis: dem im Modell gespeicherten Wissen und dem externen, durchsuchbaren Wissen. Der Name beschreibt den Ablauf: Retrieval heißt Abrufen, Augmented heißt angereichert, Generation heißt Erzeugung.

Was RAG genau tut

Ein RAG-System arbeitet in zwei Phasen.

Vorbereitung: Ihre Unterlagen werden in kleinere Abschnitte zerlegt, siehe Chunking. Jeder Abschnitt wird in ein Embedding umgewandelt, eine Zahlenreihe, die seine Bedeutung abbildet. Diese Zahlenreihen kommen in eine Vektordatenbank.

Bei jeder Frage:

Die Frage wird ebenfalls in ein Embedding umgewandelt.
Das System sucht die Abschnitte, deren Bedeutung der Frage am nächsten liegt.
Diese Abschnitte werden zusammen mit der Frage an das Sprachmodell geschickt.
Das Modell formuliert die Antwort auf Grundlage der gefundenen Abschnitte.

Gute Systeme ergänzen die Bedeutungssuche um eine klassische Stichwortsuche, siehe Hybride Suche, und sortieren die Treffer danach noch einmal, siehe Reranking. Anthropic berichtet, dass sich mit solchen Verbesserungen die Zahl fehlgeschlagener Suchen in ihren Tests um 67 Prozent verringern ließ.

Abgrenzung zu ähnlichen Begriffen

Fine-Tuning: Beim Fine-Tuning wird das Modell selbst weiter trainiert. Bei RAG bleibt das Modell unverändert, es bekommt die Informationen bei jeder Anfrage neu mitgeliefert.

Großes Kontextfenster: Moderne Modelle können sehr viel Text auf einmal lesen. Bei kleinen Wissensbeständen kann man deshalb auf RAG verzichten und alles mitschicken. Bei großen Beständen bleibt RAG nötig, weil nicht alles hineinpasst und jede Anfrage sonst teuer wird.

GraphRAG: Eine Weiterentwicklung, die Zusammenhänge zwischen Begriffen und Dokumenten als Netz abbildet. Sie hilft bei Fragen, die einen Überblick über viele Dokumente verlangen.

Was das für Ihr Unternehmen bedeutet

RAG macht vorhandenes Wissen nutzbar, ohne dass jemand suchen muss. Typische Einsätze:

Ein Chatbot auf der Website beantwortet Fragen zu Produkten und Leistungen.
Mitarbeitende fragen ein internes System nach Abläufen, Richtlinien oder Handbüchern.
Der Kundendienst bekommt Antwortvorschläge aus früheren Fällen und Dokumentationen.

Die Qualität hängt stark von Ihren Unterlagen ab. Veraltete, widersprüchliche oder schlecht gegliederte Dokumente führen zu schlechten Antworten. Wie wir Chatbots mit Ihrem Wissen aufbauen, zeigen wir auf der Seite zu KI-Chatbots.

Grenzen dessen, was man sicher weiß

Wie gut ein RAG-System arbeitet, hängt von vielen Stellschrauben ab: Größe der Abschnitte, Embedding-Modell, Suchverfahren, Anweisungen an das Sprachmodell. Allgemeingültige beste Einstellungen gibt es nicht. Zahlen aus Studien beziehen sich auf deren Testdaten.

Auch die Rolle von RAG verändert sich. Mit wachsenden Kontextfenstern und Agenten, die selbstständig suchen, verschwimmen die Grenzen zwischen RAG und anderen Ansätzen. Das Grundprinzip, passende Informationen vor der Antwort zu holen, bleibt aber wichtig.

Häufig gestellte Fragen

Brauche ich RAG oder Fine-Tuning?

Für Wissen, das sich ändert, etwa Preise, Produkte oder Handbücher, ist RAG meist die bessere Wahl, weil Sie nur die Unterlagen aktualisieren. Fine-Tuning passt eher, wenn sich das Verhalten des Modells ändern soll, etwa Stil oder Format. Beides lässt sich verbinden.

Brauche ich RAG auch bei wenigen Dokumenten?

Nicht unbedingt. Anthropic schreibt, dass man bei einer Wissensbasis unter 200.000 Tokens, grob einige hundert Seiten, oft einfach alles in die Anfrage packen kann. Mit Prompt Caching wird das schneller und günstiger. RAG lohnt sich vor allem bei größeren Beständen.

Verhindert RAG falsche Antworten?

Es verringert sie, verhindert sie aber nicht. Findet die Suche die falsche Textstelle oder gar keine, kann das Modell trotzdem eine falsche Antwort geben. Gute RAG-Systeme zeigen deshalb die Quellen an, damit Sie nachprüfen können.