Embedding: Was ist ein Embedding?

Ein Embedding ist eine Zahlenreihe, die die Bedeutung eines Textes, Bildes oder anderen Inhalts abbildet. Inhalte mit ähnlicher Bedeutung bekommen ähnliche Zahlenreihen, sodass ein Computer Ähnlichkeit berechnen kann.

Computer können Wörter nicht verstehen, aber sehr gut mit Zahlen rechnen. Embeddings sind die Brücke dazwischen. Sie sind der Grund, warum eine moderne Suche „Bestellung stornieren“ und „Auftrag zurückziehen“ als ähnlich erkennt, obwohl kein Wort gleich ist.

Woher der Begriff stammt

„Embedding“ heißt Einbettung. Gemeint ist, dass Inhalte in einen Zahlenraum eingebettet werden, in dem jede Position eine Bedeutung hat.

Die Idee ist älter, bekannt wurde sie 2013 durch die Arbeit von Tomas Mikolov und Kollegen bei Google, das sogenannte Word2Vec. Sie stellten Verfahren vor, um Wörter aus sehr großen Textmengen als Zahlenreihen darzustellen. Heute werden nicht nur einzelne Wörter, sondern ganze Sätze, Absätze und Dokumente in Embeddings umgewandelt.

Was ein Embedding genau ist

Ein Embedding ist eine Liste von Kommazahlen, oft mit über tausend Einträgen. OpenAI beschreibt es knapp als einen Vektor, also eine Liste, von Kommazahlen. Ein Embedding-Modell erzeugt diese Liste aus einem Text.

Man kann sich das wie eine Landkarte mit sehr vielen Richtungen vorstellen. Jeder Text bekommt einen Punkt darauf. Texte mit ähnlicher Bedeutung liegen nah beieinander, Texte zu verschiedenen Themen weit auseinander. OpenAI formuliert es so: Kleine Abstände deuten auf hohe Verwandtschaft hin, große auf geringe.

Typische Schritte:

Alle Texte werden einmal in Embeddings umgewandelt und gespeichert, meist in einer Vektordatenbank.
Bei einer Suche wird auch die Frage umgewandelt.
Das System sucht die gespeicherten Punkte, die der Frage am nächsten liegen.

Abgrenzung zu ähnlichen Begriffen

Token: Tokens sind die Textstücke, in die ein Modell Text zerlegt. Ein Embedding fasst dagegen die Bedeutung eines ganzen Textes in einer Zahlenreihe zusammen.

Stichwortsuche: Sie findet nur Texte, die die gesuchten Wörter enthalten. Die Suche mit Embeddings findet auch Texte mit anderen Wörtern, aber ähnlicher Bedeutung. Für genaue Begriffe wie Artikelnummern ist die Stichwortsuche oft besser, deshalb kombiniert man beide, siehe Hybride Suche.

Sprachmodell: Ein Sprachmodell erzeugt Text. Ein Embedding-Modell erzeugt nur Zahlenreihen. Es ist meist deutlich kleiner und günstiger.

Was das für Ihr Unternehmen bedeutet

Embeddings sind ein unsichtbarer, aber zentraler Baustein vieler KI-Anwendungen:

Suche nach Bedeutung: Kunden und Mitarbeitende finden Inhalte auch mit eigenen Worten.
Chatbots mit Ihrem Wissen: Embeddings finden die passenden Textstellen für die Antwort, siehe Retrieval Augmented Generation.
Zuordnen und Sortieren: Anfragen werden der passenden Abteilung oder Antwortvorlage zugeordnet.
Doppelte finden: Ähnliche Einträge in Kunden- oder Produktdaten werden erkannt.

Die Wahl des Embedding-Modells beeinflusst, wie gut die Suche bei Ihren Texten funktioniert. Wie wir das in Chatbots einsetzen, zeigen wir auf der Seite zu KI-Chatbots.

Grenzen dessen, was man sicher weiß

Was genau eine einzelne Zahl in einem Embedding bedeutet, lässt sich nicht sagen. Die Bedeutung steckt im Zusammenspiel aller Zahlen. Das macht es schwer zu erklären, warum zwei Texte als ähnlich gelten.

Ähnlich heißt außerdem nicht richtig. Ein Embedding kann zwei Texte als nah einstufen, die für Ihre Frage nicht passen, etwa zwei Verträge mit ähnlicher Sprache, aber verschiedenen Kunden. Deshalb werden Treffer oft noch einmal geprüft, siehe Reranking.

Häufig gestellte Fragen

Muss ich Embeddings selbst erstellen?

Nein. Es gibt fertige Embedding-Modelle, die Sie über eine Schnittstelle nutzen oder auf einem eigenen Server betreiben können. Sie schicken einen Text hin und bekommen die Zahlenreihe zurück. Wichtig ist nur, für alle Texte dasselbe Modell zu verwenden.

Wie lang ist ein Embedding?

Das hängt vom Modell ab. Bei OpenAI liefert das kleinere aktuelle Modell standardmäßig 1.536 Zahlen, das größere 3.072. Längere Zahlenreihen können feinere Unterschiede abbilden, brauchen aber mehr Speicher.

Versteht ein Embedding-Modell auch Deutsch?

Viele aktuelle Modelle sind mehrsprachig und kommen mit Deutsch gut zurecht. Manche wurden aber überwiegend mit englischen Texten trainiert. Testen Sie mit Ihren eigenen Texten und Fachbegriffen, bevor Sie sich festlegen.

Embedding