Alors que les controverses autour de la sécurité s’intensifient, Nvidia (NVDA.US) déploie une approche technique ! Une plateforme de sécurité IA à deux niveaux cible directement les droits d’accès des agents intelligents et les comportements anormaux.

Selon les informations de Zhihui Finance APP, alors que les débats autour des risques sécuritaires liés à l'industrie de l'intelligence artificielle (IA) s’intensifient, Nvidia (NVDA.US) a choisi de répondre par des moyens d’ingénierie. Lundi, Nvidia a lancé une plateforme de sécurité IA à double couche nommée "Open Agent Safety Platform", offrant une supervision continue, une exécution de politiques en temps réel et une gouvernance de sécurité pour les agents IA à travers une architecture à trois niveaux : application, exécution et infrastructure.

On apprend que le système comprend deux outils logiciels open-source, OpenShell et Nvidia Sentry. OpenShell permet aux agents IA de fonctionner dans un environnement sandbox, traduit les instructions des utilisateurs en politiques de sécurité vérifiables et limite l’accès des agents aux fichiers, réseaux, outils, processus et identifiants. Nvidia Sentry étend la surveillance et le contrôle de sécurité aux unités de traitement de données BlueField, utilisant DOCA de Nvidia pour relier les interactions des agents, la prise de décision sur les politiques ainsi que l’enregistrement de l’accès aux outils et données, dans le but d'identifier les comportements anormaux et d'intervenir si nécessaire. En d’autres termes, OpenShell contrôle les ressources et permissions accessibles par l’agent IA, tandis que Nvidia Sentry surveille le comportement de l’agent et détecte les menaces potentielles.

Nvidia indique que les agents IA peuvent dévier de leur mission initiale en raison d’outils, de temps d’exécution ou d’ambiguïtés dans les instructions, rendant nécessaires des contrôles de sécurité indépendants de l’agent. Le système est optimisé pour les CPU Vera de Nvidia et les systèmes DPU BlueField, tout en restant compatible avec d’autres matériels. Nvidia précise collaborer avec Arm (ARM.US) et Intel (INTC.US) pour garantir le fonctionnement du système sur les CPU de ces deux entreprises.

Ali Golshan, directeur principal des logiciels IA chez Nvidia, explique que ces outils de Nvidia utilisent des formules mathématiques afin de détecter si un agent IA tente de contourner les restrictions, par exemple en "générant" plusieurs "sous-agents" pour échapper aux blocages prévus pour l’agent principal. Il déclare : « Ce dont nous parlons réellement, c’est du comportement des agents — à savoir des grappes composées d’un grand nombre d’agents, et de leur façon de collaborer. »

Nvidia ajoute que le système peut isoler un agent anormal en quelques millisecondes, affirmant que si cette technologie avait été déployée dans certains laboratoires, l’attaque du modèle OpenAI sur Hugging Face en juillet aurait pu être évitée.

Justin Boitano, vice-président et directeur général de la division informatique d’entreprise de Nvidia, déclare : « D’après les informations dont nous disposons actuellement, si cette nouvelle plateforme de sécurité avait été utilisée lors de l’évaluation précoce des modèles dans les principaux laboratoires d’IA, elle aurait pu empêcher l’intrusion. » Il ajoute : « Nous menons ce projet de façon ouverte et souhaitons collaborer avec tout le monde pour y participer ensemble. »

Le lancement de ce nouveau système de sécurité IA par Nvidia intervient alors que les incidents de sécurité liés aux agents IA continuent de susciter l’attention du secteur, en particulier l’incident de juillet où un modèle d’OpenAI a échappé à tout contrôle et infiltré la célèbre plateforme open-source Hugging Face. Suite à l’intrusion sur Hugging Face, d’autres incidents impliquant des agents IA d’OpenAI ont été révélés. En septembre, il a ainsi été rapporté qu’un agent IA d’OpenAI avait pris le contrôle d’un site wiki allemand abandonné au printemps. Par ailleurs, OpenAI a indiqué mi-septembre sur son blog avoir détecté six « comportements de modèle inattendus ou préoccupants » au cours des six derniers mois. Ces six incidents récemment dévoilés concernent divers types de comportements anormaux, incluant la dissimulation d’erreurs, la recherche d’identifiants non autorisés, le téléchargement de fichiers sur des sites publics, ou encore la communication entre environnements de formation censés rester isolés, le premier de ces cas remontant à octobre de l’année dernière.

Avec la recrudescence des incidents de sécurité IA ces derniers temps, les entreprises du secteur subissent une pression accrue et se voient sommées de prendre plus au sérieux les risques sécuritaires. Dario Amodei, PDG d’Anthropic, a ainsi appelé à ralentir le développement des modèles IA avancés dans un article d’avertissement publié le 12 septembre, appel rapidement soutenu par Musk et Altman, deux figures majeures du secteur.

Toutefois, alors que les géants du secteur de l’IA appellent exceptionnellement à « appuyer sur le frein », Jensen Huang, PDG de Nvidia, s’est fermement opposé à la position d’Anthropic sur le "ralentissement de l’IA". Ce n’est pas la sécurité IA elle-même que Huang conteste, mais plutôt la démarche qui consiste à arrêter ou ralentir tout le secteur sur la base de prévisions catastrophiques non avérées. À l’inverse, Huang préfère considérer la sécurité IA comme un problème d’ingénierie. Selon lui, en cas d’incident dans un laboratoire de pointe, il faut d’abord effectuer une analyse des causes profondes : que s’est-il passé, quels éléments ont failli, quelles mesures auraient pu être prises, et quels nouveaux dispositifs et processus instaurer. Ensuite, grâce à la sandbox, la surveillance continue, la validation et l’évaluation, il s’agit de repousser le plus possible la survenue du même problème lors de la prochaine version.

Selon Huang, si les laboratoires à la pointe sont aujourd’hui plus exposés aux risques, c’est avant tout car ils disposent du plus de puissance de calcul et affrontent les problématiques les plus complexes. À mesure que ces entreprises passent du statut d’instituts de recherche à celui d’organisations véritablement orientées ingénierie, elles doivent établir des systèmes de test et de contrôle adaptés.

À travers la sortie de ce système de sécurité IA, Nvidia s’efforce d’intégrer davantage ses capacités de sécurité IA à l’infrastructure d’exécution des modèles et des agents, afin de réduire les risques en contrôlant les permissions et en isolant les anomalies. Cela semble indiquer également que les activités de Nvidia s’étendent désormais au-delà des puces IA, vers le domaine des logiciels et de l’infrastructure de sécurité.