GraphRAG: Was ist GraphRAG?

GraphRAG ist eine Erweiterung von Retrieval Augmented Generation, bei der eine KI aus Ihren Dokumenten zuerst ein Netz aus Personen, Firmen, Themen und ihren Beziehungen baut und dieses Netz bei Fragen mit auswertet.

Normale Wissens-Chatbots sind gut darin, eine bestimmte Stelle in Ihren Unterlagen zu finden. Schwer tun sie sich mit Fragen wie „Welche Probleme melden unsere Kunden am häufigsten?“ oder „Welche Lieferanten hängen mit welchen Projekten zusammen?“. Für solche Fragen wurde GraphRAG entwickelt.

Woher der Begriff stammt

GraphRAG stammt von Microsoft Research. Das Team stellte das Verfahren im Februar 2024 in einem Blogbeitrag vor und veröffentlichte im April 2024 eine wissenschaftliche Arbeit dazu. Die Software wurde frei verfügbar gemacht.

Der Name verbindet zwei Begriffe. Ein Graph ist in der Informatik ein Netz aus Punkten und Verbindungen, etwa „Firma A liefert an Firma B“. RAG steht für Retrieval Augmented Generation, also das Verfahren, bei dem eine KI vor der Antwort passende Textstellen sucht.

Was GraphRAG genau tut

GraphRAG arbeitet in zwei Phasen.

Vorbereitung: Ein Sprachmodell liest alle Dokumente und erkennt darin Personen, Firmen, Orte, Themen und ihre Beziehungen. Daraus entsteht ein Wissensnetz. Dieses Netz wird in Gruppen eng verbundener Punkte aufgeteilt. Für jede Gruppe schreibt das Modell vorab eine Zusammenfassung.

Beantwortung: Bei einer Frage nutzt das System das Netz und die Zusammenfassungen, um die Antwort zu formulieren. So kann es Zusammenhänge herstellen, die in keinem einzelnen Dokument stehen.

Microsoft beschreibt zwei Schwächen von normalem RAG, die GraphRAG lösen soll. Erstens fällt es normalem RAG schwer, Informationen aus verschiedenen Stellen zu verbinden. Zweitens scheitert es oft an Fragen, die einen Überblick über eine ganze Sammlung verlangen, etwa nach den wichtigsten Themen.

Abgrenzung zu ähnlichen Begriffen

Normales RAG: Es zerlegt Dokumente in Abschnitte und sucht bei jeder Frage die ähnlichsten heraus. Das ist schnell, günstig und für die meisten Fragen ausreichend. GraphRAG baut zusätzlich ein Netz auf, ist dafür aber deutlich aufwendiger.

Wissensgraph: Ein Wissensgraph ist das Netz selbst. Es gibt Wissensgraphen auch ohne KI, etwa in Datenbanken. GraphRAG ist ein Verfahren, das einen Wissensgraphen automatisch erzeugt und für Antworten nutzt.

Vektordatenbank: Sie speichert Embeddings für die Suche nach Bedeutung. GraphRAG kann eine Vektordatenbank zusätzlich nutzen, setzt aber vor allem auf die Struktur des Netzes.

Was das für Ihr Unternehmen bedeutet

Für die meisten kleinen und mittleren Unternehmen ist GraphRAG nicht der erste Schritt. Ein gut gebauter Chatbot mit normalem RAG, sauberem Chunking und guter Suche beantwortet die meisten Alltagsfragen.

GraphRAG kann sich lohnen, wenn Sie große Textmengen auswerten wollen, bei denen es um Muster und Zusammenhänge geht. Beispiele sind tausende Servicetickets, Kundenbewertungen, Projektberichte oder Gesprächsprotokolle. Dort hilft es, Fragen nach dem großen Bild zu beantworten.

Ob sich der Aufwand lohnt, besprechen wir in einer KI-Beratung. Oft reicht ein einfacherer Weg.

Grenzen dessen, was man sicher weiß

Die Ergebnisse aus der Arbeit von Microsoft beziehen sich auf bestimmte Datensätze und Fragetypen. Die Autoren berichten Verbesserungen bei Überblicksfragen über Datenmengen von rund einer Million Tokens. Wie gut GraphRAG mit Ihren Unterlagen funktioniert, zeigt nur ein Test.

Das Netz entsteht durch ein Sprachmodell und kann deshalb Fehler enthalten, etwa falsch erkannte Beziehungen. Diese Fehler fließen in die Antworten ein. Das Verfahren entwickelt sich außerdem schnell weiter, mehrere Anbieter haben eigene Varianten veröffentlicht.

Häufig gestellte Fragen

Brauche ich GraphRAG für meinen Firmen-Chatbot?

Meist nicht. Für Fragen, deren Antwort an einer oder wenigen Stellen steht, reicht normales RAG und ist deutlich günstiger. GraphRAG lohnt sich bei Fragen über viele Dokumente hinweg, etwa nach wiederkehrenden Themen in tausenden Kundenanfragen.

Warum ist GraphRAG teurer?

Weil ein Sprachmodell vorab alle Dokumente lesen muss, um das Netz aufzubauen und Zusammenfassungen zu schreiben. Bei großen Datenmengen kostet das einmalig spürbar Rechenzeit. Ändern sich die Dokumente, muss das Netz aktualisiert werden.

GraphRAG