KI-Sicherheit: Was ist KI-Sicherheit?

KI-Sicherheit umfasst alle Maßnahmen, die eine KI-Anwendung vor Manipulation, Datenabfluss und Missbrauch schützen, und sorgt dafür, dass sie nur tut, wofür sie gedacht ist.

Sobald ein Sprachmodell an Ihre Daten oder Systeme angebunden ist, wird es zu einem neuen Einfallstor. Die bekannten Regeln der IT-Sicherheit gelten weiter. Dazu kommen Angriffe, die es nur bei KI gibt, weil sich ein Sprachmodell über ganz normalen Text steuern lässt.

Woher der Begriff stammt

Im Englischen gibt es zwei Begriffe, die im Deutschen beide „KI-Sicherheit“ heißen. „AI Safety“ meint die Frage, ob KI-Systeme langfristig im Sinne der Menschen handeln. „AI Security“ meint den Schutz konkreter Anwendungen vor Angreifern. In diesem Eintrag geht es um das Zweite, weil es für Unternehmen heute die praktische Frage ist.

Seit Sprachmodelle in Firmensoftware stecken, haben Fachstellen eigene Listen veröffentlicht. Die Sicherheitsorganisation OWASP pflegt die „Top 10 for LLM Applications“, deren Fassung 2025 als wichtigste Risiken unter anderem Prompt Injection, die Preisgabe vertraulicher Daten und zu weit reichende Rechte von Agenten nennt. In Deutschland hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) Leitfäden zu Chancen und Risiken generativer KI und zum Schutz vor Prompt Injection herausgegeben.

Was KI-Sicherheit genau umfasst

Prompt Injection: Ein Angreifer versteckt Anweisungen in einer Eingabe. Das Modell hält sie für echte Befehle. Besonders tückisch ist die indirekte Form: Die Anweisung steckt in einem Dokument, einer Mail oder einer Webseite, die die KI liest. Das Modell kann Daten und Befehle nicht sicher auseinanderhalten.

Datenabfluss: Eine KI, die Zugriff auf interne Dokumente hat, kann deren Inhalt in einer Antwort wiedergeben, auch gegenüber Personen, die ihn nicht sehen dürften. Auch der Systemprompt selbst kann ausgelesen werden.

Zu viele Rechte: Darf eine KI Mails senden, Datensätze ändern oder Zahlungen anstoßen, wird jeder Fehler und jede Manipulation sofort wirksam. Das betrifft vor allem Agentic AI.

Ungeprüfte Ausgaben: Wenn die Antwort eines Modells ungeprüft in andere Systeme fließt, etwa als Code oder Datenbankbefehl, kann sie dort Schaden anrichten.

Abgrenzung zu ähnlichen Begriffen

Datenschutz: Beim Datenschutz geht es darum, welche Daten überhaupt verarbeitet werden und wo sie liegen. KI-Sicherheit fragt, ob jemand die Anwendung so manipulieren kann, dass Daten in falsche Hände geraten. Beides hängt zusammen, ist aber nicht dasselbe.

KI-Halluzination: Eine Halluzination ist ein Fehler ohne Angreifer. Das Modell erfindet etwas. Bei einem Sicherheitsproblem steckt eine Absicht dahinter, oder eine Schwachstelle ermöglicht Missbrauch.

Klassische IT-Sicherheit: Firewalls, Updates und Zugriffsrechte bleiben nötig. Sie verhindern aber keine Prompt Injection, weil der Angriff über ganz normale Texteingaben läuft.

Was das für Ihr Unternehmen bedeutet

Die wichtigste Regel: Geben Sie einer KI nur die Daten und Rechte, die sie für ihre Aufgabe braucht. Ein Chatbot für Kundenfragen braucht keinen Zugriff auf die Personalakten.

Weitere Grundregeln aus der Praxis:

Wichtige Aktionen wie Mails an Kunden oder Änderungen an Daten gibt ein Mensch frei.
Ausgaben der KI werden geprüft, bevor sie in andere Systeme fließen.
Dokumente aus fremden Quellen gelten als nicht vertrauenswürdig, auch wenn die KI sie nur liest.
Protokolle zeigen, was die KI wann getan hat.

Wenn Sie eine KI-Anwendung einführen oder eine bestehende prüfen lassen wollen, sprechen wir das in einer KI-Beratung mit Ihnen durch.

Grenzen dessen, was man sicher weiß

Gegen Prompt Injection gibt es bisher keinen vollständigen Schutz. Filter und bessere Modelle senken das Risiko, schließen es aber nicht aus. Das BSI spricht in seinem Papier zu Prompt Injection deshalb bewusst von einem Basisschutz.

Das Feld ändert sich schnell. Neue Angriffswege tauchen auf, sobald Modelle neue Fähigkeiten bekommen, zum Beispiel das Lesen von Bildern oder das Bedienen von Programmen. Wer Ihnen eine KI-Anwendung als „absolut sicher“ verkauft, verspricht mehr, als heute jemand halten kann.

Häufig gestellte Fragen

Ist ein Chatbot auf meiner Website ein Sicherheitsrisiko?

Er kann eines sein, wenn er Zugriff auf interne Daten hat oder Aktionen auslösen darf. Ein Chatbot, der nur öffentliche Informationen kennt und nichts ausführen kann, ist ein geringes Risiko. Entscheidend ist, was er lesen und was er tun darf.

Reicht ein guter Systemprompt als Schutz?

Nein. Anweisungen im Systemprompt lassen sich mit geschickten Eingaben umgehen. Echter Schutz entsteht außerhalb des Modells: durch begrenzte Rechte, geprüfte Ausgaben und Freigaben durch Menschen.

Wie teste ich, ob meine KI-Anwendung angreifbar ist?

Indem Sie gezielt versuchen, sie zu überlisten, etwa mit versteckten Anweisungen in Dokumenten oder Fragen nach internen Daten. Fachleute nennen das Red Teaming. Das BSI hat seinen Basisschutz gegen Prompt Injection aus genau solchen Tests abgeleitet.

KI-Sicherheit