Le compte à rebours du règlement européen sur l’IA (EU AI Act) est désormais lancé.
Le calendrier d’application progressive est déjà en cours, et avec lui émergent de nouvelles responsabilités réglementaires potentiellement considérables. L’échéance de décembre 2027 applicable à certaines catégories de systèmes à haut risque approche plus rapidement que beaucoup ne l’anticipent, exposant les entreprises opérant dans l’Union européenne à une nouvelle forme de pression réglementaire.
Il ne s’agit pas d’une simple formalité administrative : les organisations devront rendre des comptes de manière concrète.
Mais un problème plus profond se cache derrière le battage réglementaire. La technologie que la plupart des organisations déploient aujourd’hui à marche forcée, à savoir les agents IA, est fondamentalement différente de tout ce pour quoi les cadres de gouvernance existants ont été conçus. Or, la majorité des équipes sécurité, conformité et IT ne sont pas préparées à cette évolution. Comment votre organisation peut-elle se préparer aux changements à venir ?
Ce qu’exige réellement le règlement européen sur l’IA
L’EU AI Act constitue le premier cadre juridique horizontal et complet au monde dédié à l’intelligence artificielle. Adopté par le Parlement européen en mars 2024, définitivement approuvé en mai 2024, il est entré progressivement en vigueur à partir d’août 2024. Depuis lors, il suit un calendrier d’application échelonné.
Le règlement repose sur une approche fondée sur le niveau de risque, articulée autour de quatre catégories :
Risque inacceptable : il couvre notamment les systèmes de notation sociale ou les dispositifs visant à manipuler les processus démocratiques. Ces usages sont purement et simplement interdits.
Risque élevé : il concerne notamment les applications liées à la biométrie, aux infrastructures critiques, à l’emploi, à la santé ou encore au maintien de l’ordre.
Risque limité : il entraîne principalement des obligations de transparence.
Risque minimal : il ne requiert, dans la plupart des cas, aucune obligation réglementaire spécifique.
Point essentiel pour les entreprises non européennes : le règlement a une portée extraterritoriale. Si vos systèmes d’IA interagissent avec l’Union européenne, notamment en traitant des données de citoyens européens ou en opérant sur les marchés européens, il peut s’appliquer indépendamment du lieu où votre siège social est établi.
Pour les fournisseurs de systèmes à haut risque, les obligations incluent notamment des évaluations de conformité, la mise en place de dispositifs de gestion des risques, le respect d’exigences de documentation ainsi que l’enregistrement auprès des autorités compétentes de l’Union européenne. Pour les déployeurs de ces systèmes, les exigences portent notamment sur le respect des instructions du fournisseur, la mise en place d’une supervision humaine appropriée, le suivi du fonctionnement opérationnel des systèmes et la conservation des journaux d’activité pendant une durée minimale de six mois.
Si l’échéance de décembre 2027 laisse encore un certain délai avant l’application des obligations les plus contraignantes, certaines dispositions sont déjà applicables aujourd’hui, notamment celles relatives à la maîtrise de l’IA par les collaborateurs.
Autrement dit, le temps dont disposent les organisations est plus court qu’il n’y paraît.
La révolution de l'IA agentique change la donne
L’urgence n’est pas seulement réglementaire. Elle est aussi technologique.
Selon McKinsey, 62 % des entreprises expérimentent déjà les agents IA ou en accélèrent le déploiement à grande échelle. De son côté, le Forum économique mondial indique que 87 % des dirigeants considèrent l’IA comme le risque cyber qui progresse le plus rapidement. En très peu de temps, nous sommes passés de chatbots capables de répondre à des questions à des systèmes agentiques, dans lesquels les grands modèles de langage jouent le rôle de « cerveau », tandis que les outils et la logique décisionnelle en constituent les « membres », leur permettant d’interagir de manière autonome avec leur environnement.
Ces systèmes sont non déterministes. Ils peuvent avoir des hallucinations. Et ils peuvent aussi largement sortir du cadre qui leur a été fixé.
Mais qu’entend-on exactement par « sortir du cadre » ? Prenons l’exemple d’un agent connecté à une boîte de messagerie et chargé d’optimiser l’organisation des e-mails. Il pourrait supprimer par erreur des centaines de messages. Non pas parce qu’il aurait été détourné, mais parce qu’il aurait interprété son objectif de manière excessivement large.
Un déficit de gouvernance aux conséquences bien réelles
Les incidents ne relèvent plus de scénarios hypothétiques. Plusieurs cas concrets ont déjà été documentés. Un assistant de développement basé sur l’IA a exécuté des commandes ayant conduit à la suppression de deux sites web en production ainsi que de leurs sauvegardes, effaçant au passage deux ans et demi de données. Dans un autre cas, un agent de développement IA de Replit a supprimé une base de données en production, alors même qu’un gel des modifications de code était en vigueur. Chez Meta, la directrice de la sécurité de l’IA a vu l’intégralité de sa messagerie supprimée par un agent qu’elle testait.
Il ne s’agit pas d’hallucinations. Ces incidents ont réellement eu lieu, avec des conséquences bien réelles sur les opérations.
Les travaux de recherche de Rubrik Zero Labs mettent en évidence une tendance plus préoccupante encore : l’usurpation d’identité marche bien, et même très bien. Dans un scénario testé, un attaquant s’est contenté de modifier son nom d’affichage afin qu’il corresponde à celui du propriétaire d’un système. Cette simple manipulation lui a permis de prendre le contrôle complet d’un espace de travail, sans aucune vérification cryptographique. Les mécanismes de refus peuvent également être contournés avec une grande facilité. Ainsi, un agent qui refusait de « partager » des e-mails contenant des numéros de sécurité sociale a immédiatement accepté de les transmettre lorsqu’il lui a été demandé de les « transférer ». L’étude montre également que l’insistance émotionnelle peut mettre en échec certains garde-fous. Après plus d’une douzaine de refus, des sollicitations répétées ont fini par faire culpabiliser l’agent et par l’amener à se conformer à la demande. Autrement dit, les techniques de social engineering se sont adaptées aux systèmes d’IA.
Si votre stratégie de sécurité repose sur l’hypothèse selon laquelle les agents IA se comporteront systématiquement conformément aux instructions qui leur sont données, ces résultats invitent à la réflexion.
Pourquoi les règles statiques et la supervision humaine ne passent pas à l’échelle
Face aux risques associés aux agents IA, le premier réflexe consiste souvent à ajouter des points de contrôle humains ou à renforcer les garde-fous. Dans les deux cas, cette approche atteint rapidement ses limites.
Les agents opèrent à vitesse machine. Ils mobilisent successivement différents outils selon ce que les chercheurs désignent comme le Sequential Tool Attack Chaining (STAC), un mécanisme dans lequel chaque action prise isolément paraît légitime, mais dont la combinaison aboutit à un résultat préjudiciable. Lorsqu’un opérateur humain examine la première étape, les étapes deux à quinze ont déjà été exécutées.
Les règles statiques présentent une autre faiblesse : elles deviennent rapidement obsolètes. Les grands modèles de langage évoluent, les politiques internes sont régulièrement mises à jour et les exigences réglementaires se renforcent. Dans ce contexte, une règle statique indiquant simplement « ne pas fournir de conseils financiers » risque de ne pas détecter un agent proposant d’« ajouter une action à un portefeuille ». Les termes employés sont différents, mais l’intention, comme les conséquences potentielles, demeurent les mêmes. Les mécanismes de contrôle traditionnels fondés sur des mots-clés sont incapables d’appréhender l’intention réelle d’une requête.
Anticiper les dépassements de périmètre
Depuis longtemps, la cybersécurité repose sur le principe du « Assume Breach » : concevoir ses défenses en partant de l’hypothèse qu’un acteur malveillant s’est déjà introduit dans le système.
L’essor des agents IA impose un changement de paradigme comparable :
partez du principe qu’ils dépasseront, à un moment ou à un autre, le périmètre qui leur a été assigné, non pas par malveillance, mais en raison de la nature même des modèles probabilistes. Un agent affichant un taux de fiabilité de 99 % peut sembler extrêmement performant. Pourtant, à l’échelle d’une grande entreprise, ce pourcentage résiduel d’erreurs peut se traduire par des milliers de défaillances potentielles.
La réponse à cette réalité ne doit pas être la crainte ou le ralentissement des initiatives autour de l’IA. Elle consiste à mettre en place des mécanismes de contrôle externes capables d’imposer des limites effectives aux actions des agents.
Contrôle opérationnel : utiliser l'IA pour contrôler l'IA
L’approche de Rubrik repose sur un principe qui peut sembler contre-intuitif de prime abord : utiliser l’IA pour contrôler l’IA.
Plutôt que de s’appuyer sur des règles codifiées que les agents devraient eux-mêmes respecter, l’entreprise a développé le Semantic AI Governance Engine (SAGE), un petit modèle de langage positionné à l’extérieur de l’agent et chargé d’évaluer son comportement en temps réel. SAGE analyse l’intention sous-jacente aux actions entreprises plutôt que de se limiter à une correspondance de mots-clés. Cette approche lui permet d’identifier les violations de politique quelle que soit la manière dont elles sont formulées. Ainsi, une règle exprimée en langage naturel telle que « l’agent n’est pas autorisé à fournir des conseils financiers » permettra de détecter avec la même efficacité une instruction demandant d’« ajouter cette action à votre portefeuille » qu’une requête formulée de manière plus explicite comme « achetez cette action ».
Rubrik Agent Cloud décline cette approche autour de trois piliers :
Visibilité : identifier l’ensemble des agents, des outils et des interactions avec les données au sein de l’environnement de l’entreprise
Gouvernance : définir et appliquer des politiques en temps réel, en langage naturel, sans recourir à des règles statiques ni à du code spécifique.
Remédiation : empêcher l’exécution d’actions à risque avant qu’elles ne se produisent ou utiliser Agent Rewind pour restaurer les données et l’état du système lorsqu’un agent commet une erreur
Cette approche répond directement à plusieurs exigences imposées par l’EU AI Act aux organisations qui déploient des systèmes d’IA : supervision humaine, surveillance opérationnelle, capacité d’intervention et conservation des journaux d’activité. Au-delà d’une simple solution de cybersécurité, il s’agit, selon Rubrik, d’une véritable couche de contrôle et de gouvernance adaptée à l’ère des agents IA.
Leviers d’action immédiats pour les équipes sécurité, IT et conformité
Les obligations introduites par l’EU AI Act et les risques opérationnels associés aux agents IA ne constituent pas deux problématiques distinctes. Il s’agit en réalité d’un même enjeu abordé sous des angles différents.
La première étape consiste à cartographier précisément votre empreinte agentique. Autrement dit, identifier les agents déployés dans votre environnement, comprendre à quels outils ils ont accès et déterminer quelles données ils peuvent consulter. Or, dans de nombreuses organisations, cette visibilité reste encore partielle.
La deuxième priorité est de faire évoluer les mécanismes de contrôle, en passant d’une logique fondée sur des règles statiques à une démarche d’application dynamique des politiques. Pour des systèmes non déterministes, seuls des contrôles exercés en temps réel et capables d’interpréter l’intention peuvent véritablement passer à l’échelle. Enfin, il est essentiel de concevoir la résilience au même titre que la prévention. Les capacités de restauration à un point antérieur dans le temps doivent être établies avant qu’un incident ne survienne, et non a posteriori.
L’échéance de décembre 2027 peut sembler encore lointaine. Pourtant, les agents IA susceptibles de provoquer des erreurs, des dérives ou des incidents opérationnels sont, eux, déjà en production aujourd’hui.
Visionnez le webinaire complet Before the Deadline: Governing Agentic AI in the EU AI Act Era avec Neal Burstyn et Filip Verloy.
Téléchargez le rapport de Rubrik Zero Labs consacré aux risques associés aux agents IA.
Explorez Rubrik Agent Cloud et SAGE plus en détail.