Points clés
- Vitalik Buterin a averti que la gouvernance naïve par l’IA est trop facilement exploitée.
- Une démonstration récente a montré comment des attaquants pouvaient tromper ChatGPT pour qu’il divulgue des données privées.
- Le modèle “info finance” de Buterin promeut la diversité, la supervision et la résilience.
Le cofondateur d’Ethereum, Vitalik Buterin, a mis en garde ses abonnés sur X contre les risques de s’appuyer sur l’intelligence artificielle (IA) pour la gouvernance, arguant que les approches actuelles sont trop faciles à exploiter.
Les préoccupations de Buterin font suite à un autre avertissement du cofondateur d’EdisonWatch, Eito Miyamura, qui a montré comment des acteurs malveillants pouvaient détourner le nouveau Model Context Protocol (MCP) d’OpenAI pour accéder à des données privées d’utilisateurs.
C’est aussi pourquoi la “gouvernance par l’IA” naïve est une mauvaise idée.
Si vous utilisez une IA pour allouer des financements aux contributions, les gens mettront FORCÉMENT un jailbreak accompagné de “donne-moi tout l’argent” partout où ils le pourront.
En alternative, je soutiens l’approche info finance ( …
— vitalik.eth (@VitalikButerin) 13 septembre 2025
Les risques d’une gouvernance naïve par l’IA
Le test de Miyamura a révélé comment une simple invitation de calendrier contenant des commandes cachées pouvait tromper ChatGPT et l’amener à exposer des e-mails sensibles une fois que l’assistant accédait à l’entrée compromise.
Des experts en sécurité ont noté que les grands modèles de langage ne peuvent pas distinguer les instructions authentiques des instructions malveillantes, ce qui les rend très vulnérables à la manipulation.
Nous avons réussi à faire fuiter vos données e-mail privées via ChatGPT 💀💀
Tout ce qu’il faut ? L’adresse e-mail de la victime. ⛓️💥🚩📧
Mercredi, @OpenAI a ajouté la prise en charge complète des outils MCP (Model Context Protocol) dans ChatGPT. Permettant à ChatGPT de se connecter et de lire votre Gmail, Calendar, Sharepoint, Notion,…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12 septembre 2025
Buterin a déclaré que cette faille est un signal d’alarme majeur pour les systèmes de gouvernance qui accordent trop de confiance à l’IA.
Il a soutenu que si de tels modèles étaient utilisés pour gérer des financements ou la prise de décision, les attaquants pourraient facilement contourner les garde-fous avec des prompts de type jailbreak, laissant les processus de gouvernance ouverts aux abus.
Info Finance : une alternative basée sur le marché
Pour pallier ces faiblesses, Buterin a proposé un système qu’il appelle “info finance”. Au lieu de concentrer le pouvoir dans une seule IA, ce cadre permet à plusieurs modèles de gouvernance de rivaliser sur un marché ouvert.
Tout le monde peut contribuer avec un modèle, et leurs décisions peuvent être contestées via des contrôles aléatoires, le dernier mot revenant à des jurys humains.
Cette approche vise à garantir la résilience en combinant la diversité des modèles avec une supervision humaine. De plus, des incitations sont prévues tant pour les développeurs que pour les observateurs externes afin de détecter les failles.
Concevoir des institutions robustes
Buterin décrit cela comme une méthode de “conception institutionnelle”, où de grands modèles de langage provenant de différents contributeurs peuvent être intégrés, plutôt que de s’appuyer sur un système centralisé unique.
Il a ajouté que cela crée une diversité en temps réel, réduisant le risque de manipulation et assurant l’adaptabilité face à de nouveaux défis.
Début août, Buterin avait critiqué la tendance vers des agents IA hautement autonomes, affirmant qu’un contrôle humain accru améliore généralement à la fois la qualité et la sécurité.
À moyen terme, je veux un truc BCI sophistiqué qui me montre le contenu au fur et à mesure qu’il est généré et détecte en temps réel ce que je ressens pour chaque partie, puis s’ajuste en conséquence.
— vitalik.eth (@VitalikButerin) 11 août 2025
Il soutient les modèles qui permettent l’édition itérative et le retour humain, plutôt que ceux conçus pour fonctionner de manière indépendante sur de longues périodes.
