Kontextfenster: Was ist ein Kontextfenster?

Das Kontextfenster ist die Menge an Text, die ein Sprachmodell bei einer Anfrage auf einmal berücksichtigen kann. Dazu zählen Anweisungen, Gesprächsverlauf, eingefügte Dokumente und die Antwort selbst.

Wer mit KI lange Verträge prüfen, Handbücher auswerten oder lange Gespräche führen will, stößt irgendwann auf diese Grenze. Hersteller werben gern mit immer größeren Kontextfenstern. Für die Praxis ist aber nicht nur wichtig, wie groß das Fenster ist, sondern wie gut das Modell es nutzt.

Woher der Begriff stammt

Im Englischen heißt es „Context Window“. Der Begriff beschreibt, wie viel „Kontext“ ein Modell gleichzeitig im Blick hat. Anthropic bezeichnet das Kontextfenster in seiner Dokumentation als eine Art Arbeitsgedächtnis des Modells. Es ist etwas anderes als das Wissen, das ein Modell im Training gelernt hat.

Gemessen wird das Kontextfenster in Tokens, den kleinsten Texteinheiten eines Sprachmodells. Frühe Modelle konnten nur wenige Seiten verarbeiten. Inzwischen bieten einige Modelle Fenster mit bis zu einer Million Tokens an. Das sind viele hundert Seiten Text.

Was das Kontextfenster genau umfasst

Bei jeder Anfrage an ein Sprachmodell wird alles mitgeschickt, was das Modell berücksichtigen soll:

die festen Anweisungen der Anwendung, oft Systemprompt genannt
der bisherige Gesprächsverlauf
eingefügte Dokumente, Bilder und Ergebnisse von Werkzeugen
die Beschreibungen der verfügbaren Werkzeuge

Dazu kommt die Antwort, die das Modell schreibt. Alles zusammen muss ins Kontextfenster passen. Was nicht hineinpasst, sieht das Modell nicht.

Abgrenzung zu ähnlichen Begriffen

Trainingswissen: Das Modell hat im Training aus großen Textmengen gelernt. Dieses Wissen ist fest eingebaut und hat einen Stichtag. Das Kontextfenster enthält dagegen nur, was Sie bei der aktuellen Anfrage mitschicken.

Gedächtnis: Manche Anwendungen speichern Informationen über mehrere Gespräche hinweg. Das ist eine Funktion der Anwendung, nicht des Modells. Die gespeicherten Informationen müssen bei jeder Anfrage wieder ins Kontextfenster geladen werden.

Retrieval Augmented Generation: RAG wählt aus großen Dokumentenmengen gezielt passende Abschnitte aus und lädt nur diese ins Kontextfenster. So lassen sich Datenmengen nutzen, die weit größer sind als jedes Fenster.

Was das für Ihr Unternehmen bedeutet

Ein großes Kontextfenster ist praktisch, wenn ein einzelnes langes Dokument als Ganzes verstanden werden muss, etwa ein Vertrag oder ein Bericht. Dann kann das Modell Zusammenhänge zwischen Anfang und Ende herstellen.

Mehr ist aber nicht automatisch besser. Anthropic schreibt, dass Genauigkeit und Erinnerungsvermögen mit wachsender Textmenge abnehmen. Eine Studie unter Leitung von Forschenden der Universität Stanford zeigte 2023, dass Modelle Informationen am Anfang und Ende eines langen Textes meist besser nutzen als in der Mitte. Außerdem kostet jede Anfrage mit vollem Fenster entsprechend viel.

Für Anwendungen mit vielen Dokumenten ist deshalb die gezielte Auswahl meist besser, etwa über Chunking und eine gute Suche. Wie wir Dokumente für KI aufbereiten, zeigen wir auf der Seite zur Dokumentenverarbeitung.

Grenzen dessen, was man sicher weiß

Wie gut ein Modell sein Kontextfenster tatsächlich nutzt, unterscheidet sich stark zwischen Modellen und Aufgaben. Die angegebene Größe sagt darüber wenig aus. Seit der Stanford-Studie sind Modelle erschienen, die gezielt auf lange Texte trainiert wurden. Ob das Problem dort kleiner ist, muss man je Modell prüfen.

Verlässliche Aussagen für Ihren Fall liefert nur ein Test mit Ihren eigenen Dokumenten. Prüfen Sie dabei gezielt Fragen, deren Antwort in der Mitte eines langen Textes steht.

Häufig gestellte Fragen

Merkt sich ein Chatbot alles, was im Gespräch gesagt wurde?

Nur solange es ins Kontextfenster passt. Bei jeder neuen Frage wird der bisherige Verlauf mitgeschickt. Wird er zu lang, muss die Anwendung ältere Teile kürzen oder zusammenfassen. Dauerhaft merkt sich das Modell nichts, es sei denn, die Anwendung speichert es gesondert.

Kann ich einfach alle Firmendokumente ins Kontextfenster laden?

Bei sehr großen Kontextfenstern ist das technisch teils möglich, aber selten sinnvoll. Es kostet bei jeder Anfrage viel, und die Genauigkeit sinkt bei sehr langen Eingaben. Gezielt ausgewählte Abschnitte liefern meist bessere Antworten.

Zählt die Antwort des Modells auch zum Kontextfenster?

Ja. Anthropic schreibt in seiner Dokumentation, dass alles in der Anfrage und auch die erzeugte Antwort zum Kontextfenster zählen. Ist das Fenster fast voll, bleibt für die Antwort wenig Platz.

Kontextfenster