Explainable AI (XAI): Was ist Explainable AI?

Explainable AI (XAI), auf Deutsch erklärbare KI, umfasst Verfahren, die nachvollziehbar machen, wie ein KI-System zu einem Ergebnis kommt. Sie zeigen zum Beispiel, welche Angaben eine Entscheidung am stärksten beeinflusst haben.

Viele KI-Modelle sind eine Blackbox: Man gibt Daten hinein und bekommt ein Ergebnis, aber nicht den Grund dafür. Für eine Textzusammenfassung ist das oft egal. Wenn eine KI aber vorschlägt, eine Bewerbung abzulehnen oder einen Kunden als zahlungsunsicher einzustufen, wollen Sie wissen, warum.

Woher der Begriff stammt

Der Begriff wurde vor allem durch ein Forschungsprogramm der DARPA bekannt, der Forschungsbehörde des US-Verteidigungsministeriums. Das Programm sollte Verfahren schaffen, die erklärbarere Modelle hervorbringen und dabei eine hohe Vorhersagegenauigkeit behalten. Nutzer sollten diesen Systemen angemessen vertrauen und sie wirksam steuern können.

Etwa zur selben Zeit entstanden zwei Verfahren, die heute weit verbreitet sind: LIME im Jahr 2016 und SHAP im Jahr 2017. Beide erklären die Ergebnisse eines bereits trainierten Modells, ohne dessen Aufbau kennen zu müssen.

Was Explainable AI genau tut

Es gibt zwei grundlegende Wege.

Von Grund auf verständliche Modelle: Manche Modelle sind so einfach aufgebaut, dass man ihre Entscheidung direkt ablesen kann, etwa ein Entscheidungsbaum mit wenigen Verzweigungen.

Nachträgliche Erklärung: Für komplexe Modelle gibt es Verfahren, die von außen untersuchen, welche Eingaben wie stark gewirkt haben. Die SHAP-Autoren beschreiben ihr Verfahren so, dass es jedem Merkmal einen Wichtigkeitswert für eine bestimmte Vorhersage zuweist. Bei einer Kreditprüfung könnte das heißen: Das Einkommen hat die Bewertung stark verbessert, die Zahl offener Rechnungen hat sie verschlechtert.

Bei großen Sprachmodellen ist das schwieriger, weil sie Milliarden Parameter haben und ihre Eingabe aus freiem Text besteht. Hier setzt man eher auf Quellenangaben und darauf, dass das Modell seinen Denkweg offenlegt, siehe Reasoning-Modell.

Abgrenzung zu ähnlichen Begriffen

Transparenz: Transparenz bedeutet, offenzulegen, dass und wie KI eingesetzt wird, etwa mit welchen Daten. Erklärbarkeit geht einen Schritt weiter und erklärt einzelne Ergebnisse.

Interpretierbarkeit: Die Begriffe werden oft gleich verwendet. Manche Fachleute nennen ein Modell interpretierbar, wenn man seine Funktionsweise direkt versteht, und erklärbar, wenn man seine Ergebnisse nachträglich erklären kann.

KI-Sicherheit: Erklärbarkeit hilft, Fehler und Verzerrungen zu finden, und trägt so zur Sicherheit bei. Sie ersetzt aber keine Prüfung und keine Schutzmaßnahmen.

Was das für Ihr Unternehmen bedeutet

Erklärbarkeit wird wichtig, sobald eine KI Entscheidungen vorbereitet, die Menschen oder Geld betreffen. Fragen Sie bei solchen Anwendungen:

Kann das System zeigen, worauf eine Empfehlung beruht?
Kann ein Mensch die Begründung prüfen und die Empfehlung überstimmen, siehe Human in the Loop?
Lassen sich auffällige Muster erkennen, etwa wenn bestimmte Gruppen systematisch schlechter bewertet werden?

Bei Anwendungen mit Sprachmodellen ist der einfachste Schritt, Antworten immer mit Quellenangaben zu versehen. Welche Anforderungen für Ihre Anwendung sinnvoll sind, besprechen wir in einer KI-Beratung.

Grenzen dessen, was man sicher weiß

Erklärverfahren liefern Näherungen, keine exakten Abbilder dessen, was im Modell passiert. Verschiedene Verfahren können für dasselbe Ergebnis unterschiedliche Erklärungen liefern.

Für große Sprachmodelle ist die Forschung noch am Anfang. Es gibt Fortschritte darin, einzelne Bausteine im Inneren solcher Modelle zu verstehen. Eine verlässliche Erklärung jeder einzelnen Antwort ist aber noch nicht möglich.

Häufig gestellte Fragen

Kann man erklären, warum ein Sprachmodell etwas schreibt?

Nur begrenzt. Für klassische Modelle mit überschaubar vielen Eingaben gibt es gute Erklärverfahren. Bei großen Sprachmodellen ist das deutlich schwieriger. Hilfreich ist, das Modell seine Quellen nennen zu lassen, damit Sie die Antwort prüfen können.

Macht Erklärbarkeit ein Modell schlechter?

Nicht unbedingt. Manche Verfahren erklären ein fertiges Modell im Nachhinein, ohne es zu verändern. Wer dagegen bewusst ein einfaches, von Grund auf verständliches Modell wählt, verzichtet unter Umständen auf etwas Genauigkeit. Ob sich das lohnt, hängt von der Aufgabe ab.

Wann ist Erklärbarkeit besonders wichtig?

Immer dann, wenn eine KI Entscheidungen vorbereitet, die Menschen betreffen oder viel Geld kosten können, etwa bei der Bewertung von Bewerbungen, Krediten oder Reklamationen. Dann müssen Sie nachvollziehen können, worauf eine Empfehlung beruht.