Token (KI): Was ist ein Token?

Ein Token ist das kleinste Textstück, mit dem ein Sprachmodell rechnet. Das kann ein ganzes Wort, ein Wortteil oder ein Satzzeichen sein. Nach Tokens richten sich Kosten und Grenzen eines Modells.

Wer KI über eine Schnittstelle nutzt, bezahlt nicht nach Wörtern oder Seiten, sondern nach Tokens. Auch wie viel Text ein Modell auf einmal lesen kann, wird in Tokens gemessen. Deshalb lohnt es sich zu verstehen, wie ein Text in Tokens zerfällt, besonders bei deutschen Texten.

Woher der Begriff stammt

„Token“ heißt auf Englisch Zeichen oder Marke. In der Sprachverarbeitung bezeichnet es seit Langem die Einheiten, in die ein Text zerlegt wird. Früher waren das meist ganze Wörter.

Heutige Sprachmodelle zerlegen Text in Stücke, die sie beim Training häufig gesehen haben. Häufige Wörter bleiben ein Token. Seltene oder lange Wörter werden in Teile zerlegt. Das Programm, das diese Zerlegung vornimmt, heißt Tokenizer. Jedes Modell hat seinen eigenen.

Was ein Token genau ist

Ein Sprachmodell kann keine Buchstaben lesen. Es rechnet mit Zahlen. Der Tokenizer übersetzt deshalb jeden Text in eine Folge von Token-Nummern. Das Modell verarbeitet diese Folge und erzeugt neue Tokens, die wieder in Text übersetzt werden.

Daraus folgen drei Dinge, die für die Praxis zählen:

Kosten: Anbieter berechnen getrennt, wie viele Tokens Sie schicken und wie viele das Modell zurückschreibt. Die Antwort kostet meist mehr als die Eingabe.
Kontextfenster: Jedes Modell kann nur eine bestimmte Zahl von Tokens auf einmal verarbeiten. Dazu zählen Ihre Anweisungen, der bisherige Gesprächsverlauf, eingefügte Dokumente und die Antwort.
Tempo: Ein Modell schreibt Token für Token. Lange Antworten dauern deshalb länger.

Abgrenzung zu ähnlichen Begriffen

Wort: Ein Wort kann ein Token sein oder mehrere. Lange zusammengesetzte Wörter, wie sie im Deutschen häufig sind, zerfallen oft in mehrere Tokens.

Zeichen: Manche Anbieter rechnen bei Sprachausgabe oder Übersetzung nach Zeichen. Bei Sprachmodellen ist der Token die Einheit.

Embedding: Ein Embedding ist eine Zahlenreihe, die die Bedeutung eines Textes beschreibt. Tokens sind die Bausteine, aus denen das Modell den Text liest. Embeddings sind ein Ergebnis dieser Verarbeitung.

Was das für Ihr Unternehmen bedeutet

Deutsche Texte sind bei vielen Modellen teurer als englische. Eine Studie der Universität Oxford zeigte 2023, dass derselbe Text in verschiedenen Sprachen sehr unterschiedlich viele Tokens ergibt. Die Unterschiede blieben auch bei Tokenizern bestehen, die ausdrücklich für mehrere Sprachen gebaut wurden.

Für Ihre Planung heißt das:

Rechnen Sie Kosten mit echten Beispieltexten aus Ihrem Alltag, nicht mit Faustregeln.
Zählen Sie bei einem Modellwechsel neu. Anthropic weist darauf hin, dass seine neueren Modelle für denselben Text etwa 30 Prozent mehr Tokens zählen als ältere.
Achten Sie bei Chatbots auf den Gesprächsverlauf. Er wird oft bei jeder Frage komplett mitgeschickt und wächst mit jeder Runde.

Bei Anwendungen mit vielen Dokumenten hilft Retrieval Augmented Generation: Das Modell bekommt nur die passenden Abschnitte statt ganzer Dateien. Wie wir solche Anwendungen kostensparend aufbauen, erklären wir auf der Seite zur KI-Integration.

Grenzen dessen, was man sicher weiß

Es gibt keine feste Umrechnung von Wörtern in Tokens. Faustregeln aus dem Netz beziehen sich meist auf englische Texte und ein bestimmtes Modell. Selbst die Zählwerkzeuge der Anbieter liefern teils nur Schätzwerte. Anthropic schreibt in seiner Dokumentation, dass die gezählte Zahl leicht von der tatsächlich berechneten abweichen kann.

Auch die Preise je Token ändern sich laufend, meist nach unten. Eine Kostenrechnung von heute ist in einem Jahr wahrscheinlich überholt.

Häufig gestellte Fragen

Wie viele Tokens hat ein deutscher Text?

Das hängt vom Modell ab, weil jedes Modell seinen eigenen Tokenizer hat. Verlässlich ist nur das Nachzählen: Viele Anbieter haben dafür ein Zählwerkzeug oder eine Zählfunktion in ihrer Schnittstelle. Rechnen Sie bei deutschen Texten mit mehr Tokens als bei einem gleich langen englischen Text.

Warum kostet derselbe Text bei einem neuen Modell mehr?

Weil neue Modelle manchmal einen anderen Tokenizer nutzen. Anthropic schreibt zum Beispiel, dass seine neueren Modelle für denselben Text etwa 30 Prozent mehr Tokens zählen als ältere. Prüfen Sie Ihre Kostenrechnung deshalb bei jedem Modellwechsel neu.

Wie senke ich den Token-Verbrauch meiner KI-Anwendung?

Kürzen Sie feste Anweisungen auf das Nötige, schicken Sie nicht den ganzen Gesprächsverlauf mit und geben Sie dem Modell bei der Suche in Dokumenten nur die passenden Abschnitte statt ganzer Dateien. Für einfache Aufgaben reicht oft ein kleineres, günstigeres Modell.

Token (KI)