Fine-Tuning: Was ist Fine-Tuning?

Fine-Tuning ist das Weitertrainieren eines fertigen KI-Modells mit eigenen Beispielen, damit es eine bestimmte Aufgabe, einen Stil oder ein Format zuverlässiger beherrscht. Das Modell selbst wird dabei verändert.

Große Sprachmodelle können sehr viel, aber nicht alles genau so, wie Sie es brauchen. Vielleicht sollen Antworten immer in einem bestimmten Aufbau kommen, in Ihrer Tonalität oder mit Ihren Fachbegriffen. Oft reicht dafür eine gute Anweisung. Wenn nicht, ist Fine-Tuning der nächste Schritt.

Woher der Begriff stammt

„Fine-Tuning“ heißt Feinabstimmung. Die Idee stammt aus dem maschinellen Lernen: Ein Modell wird zuerst mit sehr vielen allgemeinen Daten vortrainiert und danach mit wenigen speziellen Daten nachgeschärft. So muss man nicht für jede Aufgabe ein Modell von Grund auf trainieren.

Bei großen Sprachmodellen war das lange teuer, weil alle Milliarden Parameter angepasst werden mussten. 2021 stellten Forschende von Microsoft das Verfahren LoRA vor. Laut der Studie lässt sich damit die Zahl der zu trainierenden Parameter um das 10.000-Fache und der Bedarf an Grafikspeicher um das Dreifache verringern. Seitdem ist Fine-Tuning auch für kleinere Vorhaben machbar.

Was Fine-Tuning genau tut

Sie stellen Beispiele zusammen: eine Eingabe und die gewünschte Antwort dazu. Das Modell wird mit diesen Beispielen weiter trainiert und passt dabei seine inneren Werte leicht an. Danach antwortet es ähnlich wie in den Beispielen, auch bei neuen Eingaben.

Typischer Ablauf:

Ziel festlegen: Was soll das Modell danach besser können?
Beispiele sammeln: Gute, echte Beispiele, die die Aufgabe abdecken.
Messen: Vorher und nachher mit denselben Testfällen prüfen, siehe Evals. OpenAI rät, erst in Fine-Tuning zu investieren, wenn solche Tests stehen.
Trainieren: Bei Cloud-Anbietern über deren Oberfläche, bei Open-Weight-Modellen auch auf eigener Hardware.

Abgrenzung zu ähnlichen Begriffen

Retrieval Augmented Generation: RAG liefert dem Modell bei jeder Frage passende Unterlagen mit. Das Modell bleibt unverändert. Für Wissen, das sich ändert, ist RAG meist besser. Fine-Tuning verändert das Verhalten.

Prompt Engineering: Hier steuern Sie das Modell über die Anweisung, ohne es zu verändern. Das ist der erste Schritt, bevor man über Fine-Tuning nachdenkt.

Training von Grund auf: Ein Modell komplett neu zu trainieren, braucht riesige Datenmengen und Rechenleistung. Fine-Tuning baut auf einem fertigen Modell auf.

Was das für Ihr Unternehmen bedeutet

Für die meisten kleinen und mittleren Unternehmen ist Fine-Tuning nicht der erste Schritt. Ein guter Prompt und eine Wissensbasis lösen viele Aufgaben. Fine-Tuning lohnt sich vor allem in diesen Fällen:

Antworten müssen sehr zuverlässig einem festen Format oder Stil folgen.
Ein kleineres, günstigeres Modell soll eine eng umrissene Aufgabe so gut erledigen wie ein großes.
Es fallen sehr viele gleichartige Anfragen an, sodass sich ein spezialisiertes Modell rechnet.

Wie wir Modelle auf eigenen Servern betreiben und anpassen, zeigen wir auf der Seite zu KI-Servern und lokaler KI.

Grenzen dessen, was man sicher weiß

Wie viele Beispiele für ein gutes Ergebnis nötig sind, lässt sich nicht allgemein sagen. Es hängt von der Aufgabe, dem Modell und der Qualität der Beispiele ab.

Fine-Tuning kann auch Nebenwirkungen haben. Ein Modell, das stark auf eine Aufgabe trainiert wurde, kann bei anderen Aufgaben schlechter werden. Deshalb sollten Sie nach dem Training nicht nur die Zielaufgabe prüfen, sondern auch, ob andere Fähigkeiten gelitten haben.

Häufig gestellte Fragen

Wann brauche ich Fine-Tuning und wann reicht ein guter Prompt?

Beginnen Sie mit einem guten Prompt und Beispielen darin. Das ist schneller und günstiger und reicht oft aus. Fine-Tuning lohnt sich, wenn das Modell ein Format oder einen Stil sehr zuverlässig einhalten soll und der Prompt allein das nicht schafft.

Wie viele Beispiele brauche ich?

Weniger, als viele denken. OpenAI nennt als Untergrenze zehn Beispiele und empfiehlt, mit etwa 50 sorgfältig erstellten Beispielen zu beginnen und dann die Ergebnisse zu prüfen. Die Qualität der Beispiele zählt mehr als die Menge.

Kann ich einem Modell per Fine-Tuning mein Firmenwissen beibringen?

Das ist meist nicht der beste Weg. Wissen, das sich ändert, etwa Preise oder Produkte, gehört eher in eine Wissensbasis, die das Modell bei jeder Frage durchsucht. Fine-Tuning eignet sich besser für Verhalten, Stil und Format.

Fine-Tuning