Evals (KI-Evaluierung): Was sind Evals?

Evals sind feste Testsammlungen, mit denen man misst, wie gut eine KI-Anwendung ihre Aufgabe erfüllt. Sie bestehen aus typischen Eingaben, den erwarteten Ergebnissen und einer Regel, wie die Antworten bewertet werden.

Viele KI-Projekte werden nach Gefühl beurteilt: Man probiert ein paar Fragen aus, die Antworten wirken gut, also geht es los. Das reicht selten. Erst ein Eval zeigt, ob eine Anwendung bei hundert Anfragen verlässlich arbeitet und ob eine Änderung sie besser oder schlechter macht.

Woher der Begriff stammt

„Eval“ ist die Kurzform des englischen „Evaluation“, also Bewertung. In der KI-Forschung werden Modelle seit Langem mit festen Testsammlungen verglichen, sogenannten Benchmarks. Mit dem Einsatz von Sprachmodellen in Unternehmen hat sich der Blick verschoben: Nicht mehr die allgemeine Leistung eines Modells zählt, sondern wie gut es eine bestimmte Aufgabe erledigt.

Anthropic beschreibt den Weg so: Eine erfolgreiche Anwendung beginne damit, klare Erfolgskriterien festzulegen und dann Evaluierungen zu entwerfen, die die Leistung daran messen. Die Anbieter von Sprachmodellen bieten dafür inzwischen eigene Werkzeuge an.

Was ein Eval genau ist

Ein Eval hat drei Bestandteile:

Testfälle: Eingaben, wie sie im Alltag vorkommen, etwa echte Kundenanfragen oder Dokumente.
Erwartung: Was eine gute Antwort ausmacht. Das kann eine feste Lösung sein oder eine Liste von Kriterien.
Bewertung: Eine Regel, die jede Antwort einordnet, zum Beispiel richtig oder falsch oder eine Note von eins bis fünf.

Für die Bewertung gibt es drei Wege. Anthropic nennt die Bewertung per Code am schnellsten und verlässlichsten, aber unflexibel bei Ermessensfragen. Die Bewertung durch Menschen sei am flexibelsten, aber langsam und teuer. Die Bewertung durch ein Sprachmodell sei schnell und flexibel, ihre Verlässlichkeit müsse man aber zuerst prüfen.

Abgrenzung zu ähnlichen Begriffen

Benchmark: Ein Benchmark ist eine öffentliche Testsammlung, mit der Anbieter ihre Modelle vergleichen. Ein Eval im Unternehmen ist auf Ihre Aufgaben zugeschnitten. Ein Modell kann im Benchmark vorn liegen und bei Ihren Aufgaben trotzdem schwächer sein.

Testen in der Softwareentwicklung: Klassische Software liefert bei gleicher Eingabe immer dasselbe Ergebnis. Sprachmodelle nicht, wie auch OpenAI in seiner Anleitung zu Evals betont. Evals messen deshalb Quoten statt einzelner Treffer.

Guardrails: Guardrails prüfen im laufenden Betrieb jede einzelne Anfrage. Evals prüfen vorher und regelmäßig die Anwendung als Ganzes.

Was das für Ihr Unternehmen bedeutet

Evals machen aus einem Bauchgefühl eine Zahl. Das hilft bei mehreren Entscheidungen:

Modellwahl: Lohnt sich ein teureres Modell, oder reicht ein günstigeres für Ihre Aufgabe?
Änderungen: Verbessert ein neuer Prompt die Antworten, oder verschlechtert er andere Fälle?
Freigabe: Ab welcher Trefferquote darf eine Anwendung ohne menschliche Prüfung arbeiten?

Der wichtigste Schritt ist der erste: Sammeln Sie echte Beispiele mit den richtigen Antworten. Das kann nur jemand, der die Aufgabe kennt. Wie wir Evals beim Aufbau von KI-Agenten einsetzen, beschreiben wir auf der Seite dazu.

Grenzen dessen, was man sicher weiß

Ein Eval ist nur so gut wie seine Testfälle. Fehlen darin seltene oder schwierige Fälle, zeigt es eine Qualität, die im Alltag nicht erreicht wird.

Auch die Bewertung durch ein Sprachmodell hat Schwächen. OpenAI nennt als bekannte Verzerrungen, dass solche Bewerter längere Antworten bevorzugen und sich von der Reihenfolge der Antworten beeinflussen lassen. Wie stark das bei Ihrer Aufgabe ins Gewicht fällt, zeigt nur ein Abgleich mit menschlichen Urteilen an einer Stichprobe.

Häufig gestellte Fragen

Wie viele Testfälle braucht ein Eval?

Eine feste Zahl gibt es nicht. Für den Anfang reichen oft einige Dutzend echte Beispiele aus Ihrem Alltag, darunter bewusst schwierige Fälle. Anthropic rät, lieber mehr Fragen mit automatischer Bewertung zu nutzen als wenige, die von Hand bewertet werden.

Kann eine KI die Antworten einer anderen KI bewerten?

Ja, das ist üblich und spart viel Zeit. Die bewertende KI braucht aber klare Kriterien, und man sollte vorher prüfen, ob ihre Urteile mit denen eines Menschen übereinstimmen. Anthropic empfiehlt, dafür nach Möglichkeit ein anderes Modell zu verwenden als das, dessen Antworten bewertet werden.

Wann sollte ich Evals laufen lassen?

Vor dem Start einer Anwendung und danach bei jeder Änderung: neuer Prompt, neues Modell, neue Dokumente. So sehen Sie, ob eine Änderung etwas verbessert oder an anderer Stelle etwas verschlechtert.

Evals (KI-Evaluierung)