Inferenz: Was ist Inferenz?

Inferenz ist die Anwendung eines fertig trainierten KI-Modells auf neue Eingaben. Jedes Mal, wenn ein Sprachmodell eine Frage beantwortet, findet eine Inferenz statt.

Im Leben eines KI-Modells gibt es zwei Phasen: das Training, in dem es lernt, und die Inferenz, in der es arbeitet. Das Training passiert selten und kostet viel. Die Inferenz passiert bei jeder einzelnen Anfrage. Für Unternehmen, die KI nutzen, ist deshalb die Inferenz die Phase, die Kosten, Tempo und Datenfluss bestimmt.

Woher der Begriff stammt

„Inferenz“ kommt vom lateinischen „inferre“, hineintragen oder folgern. In der Logik und Statistik bezeichnet es das Schließen aus vorhandenen Daten. Im maschinellen Lernen hat sich der Begriff für die Anwendungsphase eines Modells durchgesetzt.

NVIDIA beschreibt es so: Ein trainiertes Modell erzeugt bei der Inferenz neue Ausgaben, indem es auf neuen Daten Vorhersagen trifft. Und weiter: Ist das Training abgeschlossen, geht es darum, diese Intelligenz einzusetzen.

Was bei der Inferenz genau passiert

Bei einem Sprachmodell läuft eine Inferenz in zwei Schritten ab:

Einlesen: Das Modell verarbeitet Ihre gesamte Eingabe, zerlegt in Tokens. Das geht vergleichsweise schnell, weil alle Tokens gleichzeitig verarbeitet werden können.
Erzeugen: Das Modell schreibt die Antwort Token für Token. Jedes neue Token hängt von allen vorherigen ab. Deshalb dauert dieser Teil länger und kostet mehr.

Bei Anthropic kosten Ausgabe-Tokens bei den aktuellen Modellen das Fünffache der Eingabe-Tokens. Bei anderen Anbietern ist das Verhältnis ähnlich.

Inferenz läuft auf spezieller Hardware, meist Grafikkarten. Wo diese Hardware steht, entscheidet darüber, wohin Ihre Daten fließen: zum Anbieter in die Cloud, auf einen eigenen Server oder direkt auf das Gerät, siehe Edge AI.

Abgrenzung zu ähnlichen Begriffen

Training: Im Training lernt das Modell aus großen Datenmengen und verändert seine inneren Werte. Bei der Inferenz bleiben diese Werte fest. NVIDIA hält fest, dass Inferenz ohne vorheriges Training nicht möglich ist.

Fine-Tuning: Ein zusätzliches, kleineres Training. Es ist kein Teil der Inferenz, verändert aber das Modell, das danach bei der Inferenz arbeitet.

Reasoning-Modell: Solche Modelle erzeugen bei der Inferenz zusätzlich einen Denkweg vor der Antwort. Das macht die Inferenz länger und teurer, verbessert aber oft schwierige Antworten.

Was das für Ihr Unternehmen bedeutet

Die Inferenz bestimmt die laufenden Kosten einer KI-Anwendung. Drei Stellschrauben haben den größten Einfluss:

Modellwahl: Ein kleineres Modell ist pro Anfrage günstiger und schneller, siehe Small Language Model.
Länge: Kurze Antworten und kompakte Eingaben senken die Kosten. Gleichbleibende Teile lassen sich zwischenspeichern, siehe Prompt Caching.
Ort: Ein eigener Server hat feste Kosten statt Kosten pro Anfrage. Das lohnt sich bei vielen Anfragen oder sensiblen Daten.

Wie wir Inferenz auf eigenen Servern umsetzen, zeigen wir auf der Seite zu KI-Servern und lokaler KI.

Grenzen dessen, was man sicher weiß

Preise und Geschwindigkeiten ändern sich schnell. Neue Hardware und Verfahren wie die Quantisierung machen Inferenz laufend günstiger. Die Angaben in diesem Eintrag beziehen sich auf den Stand im Oktober 2026.

Wie viel Rechenleistung ein Anbieter für eine Anfrage tatsächlich einsetzt, ist von außen nicht sichtbar. Vergleiche zwischen Anbietern sind deshalb nur über eigene Messungen mit Ihren Anfragen verlässlich.

Häufig gestellte Fragen

Lernt das Modell bei der Inferenz dazu?

Nein. Bei der Inferenz bleibt das Modell unverändert. Es wendet nur an, was es im Training gelernt hat. Was Sie im Gespräch sagen, nutzt es nur für die laufende Anfrage. Damit es dauerhaft etwas Neues kann, braucht es ein weiteres Training, etwa ein Fine-Tuning.

Warum kosten Antworten mehr als Fragen?

Weil das Modell jedes Wort der Antwort einzeln erzeugt, während es die Frage auf einmal einlesen kann. Bei Anthropic kosten Ausgabe-Tokens bei aktuellen Modellen deshalb ein Mehrfaches der Eingabe-Tokens.

Warum sind manche KI-Antworten langsam?

Die Geschwindigkeit hängt vor allem von der Größe des Modells, der Länge der Antwort und der Auslastung der Rechner ab. Modelle, die vor der Antwort nachdenken, brauchen zusätzlich Zeit. Wenn es schnell gehen muss, helfen kleinere Modelle oder ein eigener Server in der Nähe.

Inferenz