Guardrails: Was sind Guardrails bei KI?

Guardrails sind Leitplanken, die prüfen, was in ein Sprachmodell hineingeht und was herauskommt, und unerwünschte Eingaben oder Antworten abfangen, bevor sie Schaden anrichten.

Ein Sprachmodell antwortet auf fast alles. Für einen Chatbot im Kundenservice ist das ein Problem. Er soll über Ihre Produkte sprechen, nicht über Politik, keine Rabatte erfinden und keine internen Daten herausgeben. Guardrails sorgen dafür, dass er in diesem Rahmen bleibt.

Woher der Begriff stammt

„Guardrail“ heißt Leitplanke. Das Bild passt: Die Leitplanke lenkt nicht, sie verhindert nur, dass man von der Straße abkommt. In der KI-Entwicklung hat sich der Begriff mit dem Aufkommen von Chatbots auf Basis großer Sprachmodelle durchgesetzt.

2023 erschienen dazu zwei viel beachtete Arbeiten. Ein Team um Traian Rebedea stellte NeMo Guardrails vor, ein frei verfügbares Werkzeug, mit dem sich Regeln für Chat-Anwendungen festlegen lassen. Die Autoren beschreiben Guardrails als bestimmten Weg, die Ausgabe eines Sprachmodells zu steuern. Im selben Jahr erschien Llama Guard, ein Modell, das Eingaben und Antworten nach Risikoklassen einordnet. Anthropic empfiehlt in seinem Beitrag zu Agenten ausdrücklich, Agenten mit passenden Guardrails zu versehen.

Was Guardrails genau tun

Guardrails setzen an zwei Stellen an.

Vor dem Modell prüfen sie die Eingabe. Enthält sie persönliche Daten, die nicht weitergegeben werden sollen? Sieht sie nach einem Angriff aus? Passt sie überhaupt zum Thema der Anwendung?

Nach dem Modell prüfen sie die Antwort. Nennt sie einen Preis, den es nicht gibt? Enthält sie Inhalte, die nicht zur Marke passen? Weicht sie stark von den hinterlegten Dokumenten ab?

Die Prüfungen reichen von einfachen Regeln bis zu eigenen Modellen:

Regeln: Wortlisten, Muster für E-Mail-Adressen oder Kontonummern, feste Themenlisten
Prüfmodelle: ein zweites, meist kleineres Modell, das Eingaben und Antworten einordnet, wie Llama Guard
Abgleich mit Quellen: Die Antwort wird mit den Dokumenten verglichen, aus denen sie stammen soll

Schlägt eine Prüfung an, wird die Antwort blockiert, umformuliert oder an einen Menschen übergeben.

Abgrenzung zu ähnlichen Begriffen

Systemprompt: Im Systemprompt stehen Anweisungen an das Modell, etwa „Sprich nur über unsere Produkte“. Das Modell kann sich daran halten oder nicht. Guardrails prüfen von außen, ob es sich daran gehalten hat.

Human in the Loop: Hier prüft ein Mensch. Guardrails prüfen automatisch und in Sekundenbruchteilen. Bei Aktionen mit großer Wirkung ergänzen sich beide.

Prompt Injection: Prompt Injection ist ein Angriff. Guardrails sind eine der Abwehrmaßnahmen dagegen.

Was das für Ihr Unternehmen bedeutet

Guardrails lohnen sich überall, wo eine KI direkt mit Kunden oder mit sensiblen Daten arbeitet. Überlegen Sie vor dem Start, was Ihr Chatbot auf keinen Fall sagen oder tun darf. Diese Liste ist der Ausgangspunkt für die Regeln.

Häufige Guardrails in unseren Projekten:

keine Aussagen zu Preisen, die nicht in den hinterlegten Unterlagen stehen
keine Weitergabe von Kundendaten an andere Kunden
Übergabe an einen Mitarbeiter bei Beschwerden oder heiklen Themen
Hinweis statt Antwort, wenn die Frage nicht zum Thema passt

Guardrails senken auch das Risiko von Halluzinationen, weil Antworten gegen Ihre Quellen geprüft werden können. Wie wir das bei Chatbots umsetzen, beschreiben wir auf der Seite zu KI-Chatbots.

Grenzen dessen, was man sicher weiß

Guardrails fangen nur ab, was jemand vorher bedacht hat. Ungewöhnliche Eingaben rutschen durch, zu strenge Regeln blockieren harmlose Fragen. Das richtige Maß findet man nur durch Tests mit echten Gesprächen.

Auch Prüfmodelle machen Fehler. Sie stufen manche harmlosen Texte als riskant ein und übersehen manche riskanten. Wie oft das passiert, hängt von der Sprache und vom Thema ab. Fragen Sie deshalb nach, ob ein Prüfmodell auch mit deutschen Texten getestet wurde.

Häufig gestellte Fragen

Hat nicht jedes große Sprachmodell schon Guardrails eingebaut?

Die Anbieter trainieren ihre Modelle darauf, gefährliche Inhalte abzulehnen. Diese eingebauten Grenzen kennen aber Ihr Unternehmen nicht. Ob Ihr Chatbot über Wettbewerber redet oder Preise verspricht, die es nicht gibt, regeln nur Guardrails, die Sie selbst festlegen.

Machen Guardrails die Antworten langsamer?

Etwas, weil zusätzliche Prüfungen laufen. Einfache Regeln wie Wortlisten kosten kaum Zeit. Prüfungen durch ein zweites Modell brauchen spürbar länger. Deshalb setzt man die aufwendigen Prüfungen nur dort ein, wo sie nötig sind.

Können Guardrails Prompt Injection verhindern?

Sie können viele Versuche erkennen und abfangen, aber nicht alle. Guardrails sind eine Schutzschicht von mehreren. Begrenzte Rechte der KI und Freigaben durch Menschen gehören immer dazu.