Die Frist für die Einhaltung der KI-Verordnung der EU läuft ab.
Mehrere gestaffelte Termine nahen, deren Nichteinhaltung weitreichende Konsequenzen haben könnte. Ein Termin für KI-Systeme mit hohem Risiko im Dezember 2027 rückt schneller näher, als den meisten Teams bewusst ist, und mit ihm höhere Anforderungen an Unternehmen, die in der EU tätig sind.
Dabei handelt es sich nicht nur um Bürokratie zur Einhaltung von Vorschriften – Unternehmen können tatsächlich zur Rechenschaft gezogen werden.
Doch hinter all dem Compliance-Rummel verbirgt sich ein noch größeres Problem: Die Technologie, deren Einführung die meisten Unternehmen derzeit vorantreiben – agentische KI –, unterscheidet sich grundlegend von allem, wofür die Governance-Leitfäden ursprünglich verfasst wurden. Die meisten Sicherheits-, Compliance- und IT-Teams haben sich noch nicht darauf eingestellt. Was ist erforderlich, um Ihr Unternehmen auf die bevorstehenden Veränderungen vorzubereiten?
Was die KI-Verordnung der EU verlangt
Die KI-Verordnung der EU ist der weltweit erste umfassende, bereichsübergreifende Rechtsrahmen für künstliche Intelligenz. Die Verordnung wurde im März 2024 vom Europäischen Parlament verabschiedet, im Mai 2024 vom Rat gebilligt und tritt seit August 2024 schrittweise in Kraft.
Die Verordnung nutzt einen risikobasierten Ansatz mit vier Risikostufen:
Inakzeptable Risiken stellen unter anderem Social Scoring und die Manipulation demokratischer Prozesse dar. Diese sind gänzlich verboten.
Hohe Risiken bestehen in Bereichen wie Biometrie, kritische Infrastrukturen, Arbeitsverhältnisse, Gesundheitswesen und Strafverfolgung.
Begrenzte Risiken werden durch Transparenzverpflichtungen abgedeckt.
Geringes Risiko bedeutet, dass es für die meisten Anwendungszwecke keine verbindlichen Auflagen gibt.
Ein wichtiger Punkt für Unternehmen außerhalb der EU: Das Gesetz gilt auch außerhalb des EU-Gebiets. Wenn Ihre KI-Systeme Daten von EU-Bürgern verarbeiten, in EU-Märkten eingesetzt werden oder die EU auf andere Weise betreffen, gilt die Verordnung möglicherweise auch für Ihr Unternehmen – unabhängig davon, wo sich dessen Hauptsitz befindet.
Zu den Verpflichtungen für Anbieter von KI-Systemen mit hohem Risiko gehören Konformitätsbewertungen, Risikomanagementsysteme, Dokumentationsstandards und die Registrierung bei der EU. Die Betreiber sind verpflichtet, die Anweisungen des Anbieters zu befolgen, eine menschliche Aufsicht sicherzustellen, den Betrieb zu überwachen und Protokolle mindestens sechs Monate lang aufzubewahren.
Zwar bleibt bis Dezember 2027 noch etwas Zeit zur Umsetzung der schwerwiegendsten Verpflichtungen, doch die Vorschriften, die Grundkenntnisse der Mitarbeiter im Bereich KI verlangen, sind bereits in Kraft.
Die Termine sind also enger gesteckt, als man auf den ersten Blick vermuten würde.
Mit agentischer KI verändert sich alles
Die Dringlichkeit ist nicht nur rechtlicher, sondern auch technischer Natur.
Laut McKinsey sind 62 % der Unternehmen bereits dabei, mit KI-Agenten zu experimentieren oder deren Einsatz zu skalieren. Das Weltwirtschaftsforum berichtet, dass 87 % der Führungskräfte KI als das am schnellsten wachsende Cyber-Risiko einstufen. Wir sind sehr schnell von Chatbot-basierten Systemen, die Fragen beantworten, zu agentischen KI-Systemen avanciert, die große Sprachmodelle als „Gehirn“ sowie Werkzeuge und Entscheidungslogik als „Gliedmaßen“ nutzen, um autonom mit der Welt zu interagieren.
Diese Systeme sind nicht deterministisch. Sie halluzinieren mitunter. Und sie gehen manchmal deutlich über die ihnen gesetzten Grenzen hinaus.
Denken Sie kurz darüber nach, was „über die ihnen gesetzten Grenzen hinausgehen“ in der Praxis bedeuten könnte: Ein mit einem Postfach verbundener Agent, dessen Aufgabe es ist, die Organisation von E-Mails zu optimieren, könnte versehentlich Hunderte von E-Mails löschen. Nicht, weil das Postfach angegriffen wurde, sondern weil der KI-Agent seine Aufgabe übereifrig ausgelegt hat.
Die Governance-Lücke ist keine reine Theorie
Es liegen bereits Berichte über derartige Vorfälle vor. Ein KI-Programmierassistent führte Befehle aus, durch die zwei Produktionswebsites und deren Backups gelöscht wurden, wodurch die Daten der vorangegangenen zweieinhalb Jahre verloren gingen. Ein anderer KI-Programmieragent von Replit löschte während eines Code-Freeze eine Live-Datenbank. Bei Meta wurde der Posteingang der Leiterin für KI-Sicherheit von einem Agenten gelöscht, den sie gerade testete.
Das sind keine Halluzinationen. Es sind Aktionen, die tatsächlich ausgeführt wurden und echte Konsequenzen hatten.
Untersuchungen von Rubrik Zero Labs weisen auf eine noch beunruhigendere Tatsache hin: vorgetäuschte Identitäten werden nicht durchschaut. Ein Angreifer änderte nur seinen Anzeigenamen so, dass er mit dem des Systembesitzers übereinstimmte, und erlangte daraufhin ohne jegliche kryptografische Überprüfung die vollständige Kontrolle über den Arbeitsbereich. Abgelehnte Anforderungen müssen nur leicht umformuliert werden: Ein KI-Agent, der sich geweigert hatte, E-Mails mit Sozialversicherungsnummern zu „teilen“, kam der Aufforderung, diese stattdessen „weiterzuleiten“, sofort nach. Auch emotionaler Druck bringt KI-Agenten zum Nachgeben: Nach mehr als zwölf Ablehnungen führten anhaltende mitleiderregende Prompts schließlich dazu, dass der KI-Agent der Aufforderung nachkam. Es scheint, als sei Social Engineering für KI angepasst worden.
Wenn Ihre Sicherheitsstrategie auf der Annahme beruht, dass sich Ihre KI-Agenten an die Anweisungen halten, sollten diese Fakten Ihnen zu denken geben.
Warum statische Regeln mit „Human-in-the-Loop“ nicht skalierbar sind
Die instinktive Reaktion auf Risiken durch agentische KI besteht darin, zusätzliche menschliche Kontrollpunkte einzurichten oder mehr Richtlinien zu definieren. Beide Maßnahmen scheitern fast sofort.
KI-Agenten arbeiten mit maschineller Geschwindigkeit. Sie verketten Tool-Aufrufe in einem Verfahren, das Forscher als „Sequenziellen Tool-Verkettungsangriff“ (Sequential Tool Attack Chaining, STAC) bezeichnen, bei dem jede einzelne Aktion legitim erscheint, die kombinierte Abfolge jedoch einen schädlichen Zweck erfüllt. Bis ein Mitarbeiter Schritt eins überprüft, sind die Schritte zwei bis fünfzehn bereits ausgeführt worden.
Statische Regeln versagen auf andere Weise: Sie veralten. LLMs und Richtlinien werden aktualisiert, Vorschriften ändern sich. Doch eine starre Regel wie „erteile keine Finanzberatung“ verhindert nicht, dass ein KI-Agent anbietet, „etwas zu einem Portfolio hinzuzufügen“. Die Aufforderung mag zwar anders formuliert sein, doch die Absicht (und die Auswirkungen) sind dieselben. Herkömmliche, auf Schlüsselwörtern basierende Regeln können die Absicht nicht erschließen.
Rechnen Sie mit agentischem Fehlverhalten
Im Bereich der Cybersicherheit gilt seit Langem das Prinzip „Rechnen Sie mit einer Sicherheitsverletzung“ – bei der Konzeption der Abwehrmaßnahmen wird davon ausgegangen, dass ein böswilliger Akteur bereits eingedrungen ist.
Agentische KI erfordert eine äquivalente Einstellung: Rechnen Sie mit agentischem Fehlverhalten.
Gehen Sie davon aus, dass Ihre KI-Agenten die ihnen gesetzten Grenzen früher oder später überschreiten werden – nicht, weil sie böswillig sind, sondern weil sie probabilistisch agieren. Ein Agent, der zu 99 % zuverlässig ist, wird im Unternehmensmaßstab dennoch Tausende Male versagen.
Die angemessene Reaktion auf „Rechnen Sie mit agentischem Fehlverhalten“ ist nicht Furcht, sondern externe Durchsetzung.
Operative Steuerung: KI mit KI kontrollieren
Der Ansatz von Rubrik basiert auf einem Prinzip, das auf den ersten Blick wenig zielführend erscheint: KI zur Kontrolle von KI nutzen.
Anstatt Regeln festzulegen, deren Einhaltung die KI-Agenten selbst überwachen müssen, nutzt das Modell die Semantic AI Governance Engine (SAGE) – ein kleines Sprachmodell, das außerhalb des Agenten angesiedelt ist und dessen Verhalten in Echtzeit bewertet. SAGE wertet die Absicht aus, anstatt nach Schlüsselwörtern zu suchen, und erkennt so Verstöße gegen Richtlinien unabhängig davon, wie diese formuliert sind. Eine in natürlicher Sprache formulierte Richtlinie wie „Der Agent darf keine Finanzberatung erteilen“ führt dazu, dass „Nehmen Sie diese Aktie in Ihr Portfolio auf“ genauso zuverlässig als Verstoß gemeldet wird wie „Kaufen Sie diese Aktie“.
Rubrik Agent Cloud setzt dies mithilfe von drei Säulen um:
Transparenz: Sie erhalten einen Überblick über alle Agenten, Tools und Dateninteraktionen in Ihrer gesamten Umgebung.
Governance: Sie können Richtlinien zur Laufzeit in natürlicher Sprache erstellen und anwenden – ohne statische Regeln und ohne Code.
Schadensbehebung: Verhindern Sie gefährliche Aktivitäten, bevor diese ausgeführt werden, oder nutzen Sie Agent Rewind, um Daten und den Systemzustand wiederherzustellen, wenn ein Agent einen Fehler macht.
Dies entspricht genau den Anforderungen der KI-Verordnung der EU an die Betreiber: menschliche Aufsicht, Betriebsüberwachung, Eingriffsmöglichkeiten und Aufbewahrung von Protokollen. Es handelt sich nicht nur um ein Sicherheitsprodukt, sondern um eine Compliance-Managementebene für das Zeitalter der agentischen KI.
Was Sicherheits-, IT- und Compliance-Teams jetzt tun sollten
Die Verpflichtungen aus der KI-Verordnung der EU und die praktischen Risiken, die mit agentischer KI einhergehen, sind keine voneinander getrennten Probleme. Beide betrachten dasselbe Problem, nur aus verschiedenen Blickwinkeln.
Beginnen Sie damit, den „Fußabdruck“ Ihrer agentischen KI zu ermitteln: Prüfen Sie, welche Agenten in Ihrer Umgebung aktiv sind, auf welche Tools sie Zugriff haben und auf welche Daten sie zugreifen. Viele Organisationen wissen das nicht.
Wechseln Sie dann von statischen Regeln zu anpassungsfähiger Durchsetzung: Eine Laufzeitsteuerung, die Absichten berücksichtigt, ist der einzige Mechanismus, der sich für nichtdeterministische Systeme skalieren lässt. Außerdem sollten Sie Lösungen entwickeln, die für die Wiederherstellung und nicht nur für die Prävention konzipiert sind – Funktionen für das Zurücksetzen auf einen bestimmten Zeitpunkt müssen bereits vor einem Vorfall vorhanden sein, nicht erst danach.
Der Stichtag im Dezember 2027 scheint noch weit entfernt. Doch KI-Agenten, die Schaden anrichten, werden bereits jetzt eingesetzt.
Sehen Sie sich das vollständige Webinar an Vor Ablauf der Frist: Regulierung agentischer KI im Zeitalter der KI-Verordnung der EU mit Neal Burstyn und Filip Verloy (auf Englisch).
Laden Sie den Bericht von Rubrik Zero Labs über die Risiken agentischer KI herunter.
Erfahren Sie mehr über Rubrik Agent Cloud und SAGE.