Mise en place d’un programme de gestion des menaces internes adapté à l’IA : le RSSI d’Uber explique

Uber exploite l’une des plus grandes plateformes de mise en relation en temps réel au monde, qui assure chaque jour plus de 40 millions de trajets et de commandes de livraison. Philip Martin, responsable de la sécurité des systèmes d’information (RSSI) d’Uber, dirige l’équipe chargée de protéger les données de l’entreprise ainsi que les passagers, chauffeurs et livreurs qui utilisent sa plateforme au quotidien. Son équipe utilisait déjà Claude pour modéliser les menaces, avant même l’arrivée de Claude Code, en rassemblant manuellement le contexte nécessaire. Aujourd’hui, avec Claude Fable, Claude recueille lui-même ces informations dans le code, les documents de conception et l’historique des tickets.

Selon Martin, les agents IA doivent faire l’objet de dispositifs de gestion des menaces internes comparables à ceux que les entreprises appliquent déjà à leurs salariés. Nous avons échangé avec lui sur cette idée, sur l’importance qu’il accorde aux usages inappropriés involontaires et sur la manière dont les outils de surveillance open source d’Uber complètent Enterprise Frontier Safeguards.

Comment les modèles d’IA de pointe font-ils évoluer le travail de votre équipe de sécurité ?

La grande différence avec les générations précédentes, c’est que les modèles de pointe actuels peuvent prendre en compte beaucoup plus d’informations contextuelles sur de longues périodes et, ainsi, produire des résultats très précis. Lorsque nous réalisons un audit de sécurité ou une modélisation des menaces pour une application ou un service, nous pouvons fournir au modèle un contexte bien plus riche : le code lui-même, les documents de conception, les tickets Jira ou encore l’historique du service, sa fonction prévue et ses interactions avec d’autres systèmes.

Je vois une évolution similaire se dessiner avec les équipes d’agents. Dans un avenir assez proche, j’imagine que chaque service pourra disposer de son propre agent, maîtrisant parfaitement les procédures propres à ce service. Ces agents pourront communiquer entre eux des modèles de menaces, comme les services le font en production : « Voici mon modèle de menaces, voici d’où proviennent mes données. » Cette collaboration entre agents nous permettra de gagner considérablement en efficacité.

Uber a travaillé avec notre équipe Enterprise Frontier Safeguards. Pourquoi cette collaboration était-elle importante pour Uber ?

Chez Anthropic comme chez Uber, la sécurité est une préoccupation fondamentale, même si nos contextes et nos enjeux sont différents. Chez Uber, notre priorité est la sécurité des passagers et la protection des données personnelles. Anthropic cherche à prévenir les usages abusifs de ses modèles de pointe ; de notre côté, nous devons protéger les données de nos clients, nos secrets d’affaires et toutes nos autres informations exclusives. Enterprise Frontier Safeguards nous permet de concilier ces impératifs : les protections sont en place, mais Anthropic ne peut pas accéder à nos données sans notre autorisation.

Ce dispositif nous laisse la maîtrise de nos données, des mesures d’atténuation des risques et des décisions à prendre lorsqu’un mécanisme de protection se déclenche. Je pense que nous partageons la responsabilité de veiller à ce que ces modèles soient utilisés de manière sûre et efficace partout dans le monde.

Lorsque votre équipe nous a présenté le dispositif en détail, nous avons vu que nos remarques avaient été prises en compte. Vous nous avez donné les moyens de garder la main. Nous pouvons ainsi protéger nos données et rester responsables de la manière dont nous utilisons ces modèles.

Comment Enterprise Frontier Safeguards s’articule-t-il avec les dispositifs de surveillance de la sécurité déjà en place pour les déploiements d’IA chez Uber ?

Dès le départ, nous avons beaucoup travaillé sur les moyens de déployer l’IA en toute sécurité chez Uber. Nous avons récemment publié en open source un outil baptisé AI Detection and Response (ADR) (opens in new tab), conçu pour recueillir des données de télémétrie en temps réel et intervenir immédiatement dans les environnements d’exécution de nos agents.

Cet outil complète les protections d’Anthropic : nous disposons désormais de données plus détaillées pour détecter les situations où un agent sort du cadre qui lui est fixé et réagir en temps réel. Nous disposons de nos propres moyens de surveillance, auxquels s’ajoutent les résultats du classificateur d’Anthropic. Nous pouvons intégrer ces deux sources à notre dispositif global de détection, comme dans une architecture de cybersécurité classique. L’enjeu est de réunir efficacement les informations contextuelles pour prendre une décision aussi vite que possible, avec le maximum de certitude.

À mon avis, Enterprise Frontier Safeguards viendra alimenter ADR en données. Avec notre passerelle LLM, qui établit un périmètre de sécurité et encadre l’utilisation de l’IA chez Uber, ces dispositifs constituent notre architecture globale de sécurité de l’IA.

Sur quelles priorités les équipes de cybersécurité devraient-elles désormais concentrer leurs efforts pour sécuriser les systèmes d’IA ?

La première priorité consiste à détecter les risques et à intervenir en temps réel. Il faut pouvoir intervenir dès qu’une personne saisit une requête dans un environnement d’exécution, pour lui signaler : « Vous ne devriez probablement pas faire cela », ou encore : « Il vaudrait sans doute mieux éviter que le modèle utilise cet outil ou se connecte à cette destination. »

La deuxième priorité consiste à mieux comprendre les nouveaux schémas de comportement. Nous analysons les tendances dans le comportement des modèles et repérons des comportements émergents dont nous ignorions jusque-là la possibilité. C’est un processus cyclique : nous examinons les données, souvent avec l’aide de grands modèles de langage, nous détectons ces comportements dès leur apparition, puis nous intégrons à la plateforme en temps réel des protections adaptées. Ces nouvelles contraintes peuvent elles-mêmes faire émerger d’autres comportements, que nous devons ensuite détecter.

Que diriez-vous aux dirigeants qui hésitent à mettre en place la surveillance nécessaire pour utiliser des modèles de pointe ?

L’adoption de l’IA est devenue un impératif économique. Elle se poursuivra, que nous le voulions ou non, et apportera des avantages concrets aux entreprises comme aux populations du monde entier. Mais elle comporte aussi des risques réels de dommages, dont la gravité augmente à mesure que les modèles deviennent plus performants et prennent en charge des tâches plus complexes, avec davantage d’autonomie.

Toutes les entreprises disposent déjà de programmes de gestion des menaces internes concernant leurs salariés. Personne n’en conteste le principe. Nous acceptons des obligations de conservation des données parfois lourdes et surveillons des activités que nous préférerions ne pas avoir à surveiller. Nous savons en effet que, pour diverses raisons, certaines personnes peuvent agir en dehors du cadre de leurs fonctions.

Les modèles de pointe présentent le même type de risque. Ils peuvent recevoir des instructions qui les conduisent à agir en dehors des limites qui leur sont fixées. Il nous faut donc un dispositif équivalent pour l’IA. Un programme de gestion des menaces internes adapté aux modèles sera indispensable pour déployer ces systèmes dans de bonnes conditions de sûreté et de sécurité.

En savoir plus sur Enterprise Frontier Safeguards (opens in new tab).