Le fondateur d’Ethereum, Vitalik Buterin, qualifie la « gouvernance par l’IA » de « mauvaise idée »
Le cofondateur d’Ethereum, Vitalik Buterin, affirme qu’il est « une mauvaise idée » d’utiliser l’intelligence artificielle (IA) pour la gouvernance. Dans un post sur X samedi, Buterin a écrit :
« Si vous utilisez une IA pour allouer des financements aux contributions, les gens mettront un jailbreak plus “donne-moi tout l’argent” partout où ils le pourront. »
Pourquoi la gouvernance par l’IA est défaillante
Le post de Buterin était une réponse à Eito Miyamura, cofondateur et CEO d’EdisonWatch, une plateforme de gouvernance de données IA, qui a révélé une faille fatale dans ChatGPT. Dans un post vendredi, Miyamura a écrit que l’ajout du support complet pour les outils MCP (Model Context Protocol) sur ChatGPT a rendu l’agent IA vulnérable à l’exploitation.
La mise à jour, entrée en vigueur mercredi, permet à ChatGPT de se connecter et de lire des données provenant de plusieurs applications, dont Gmail, Calendar et Notion.
Miyamura a noté qu’avec seulement une adresse email, la mise à jour a rendu possible « l’exfiltration de toutes vos informations privées ». Les malfaiteurs peuvent accéder à vos données en trois étapes simples, a expliqué Miyamura :
Premièrement, les attaquants envoient une invitation de calendrier malveillante avec une invite jailbreak à la victime visée. Une invite jailbreak fait référence à un code qui permet à un attaquant de supprimer les restrictions et d’obtenir un accès administrateur.
Miyamura a précisé que la victime n’a pas besoin d’accepter l’invitation malveillante de l’attaquant pour que la fuite de données ait lieu.
La deuxième étape consiste à attendre que la victime cherche l’aide de ChatGPT pour préparer sa journée. Enfin, une fois que ChatGPT lit l’invitation de calendrier jailbreakée, il est compromis — l’attaquant peut alors prendre le contrôle total de l’outil IA, le faire rechercher dans les emails privés de la victime et envoyer les données à l’email de l’attaquant.
L’alternative de Buterin
Buterin suggère d’utiliser l’approche info finance pour la gouvernance de l’IA. L’approche info finance consiste en un marché ouvert où différents développeurs peuvent contribuer avec leurs modèles. Le marché dispose d’un mécanisme de vérification ponctuelle pour ces modèles, qui peut être déclenché par n’importe qui et évalué par un jury humain, a écrit Buterin.
Dans un post séparé, Buterin a expliqué que les jurés humains individuels seront assistés par de grands modèles de langage (LLM).
Selon Buterin, ce type d’approche de « conception institutionnelle » est « intrinsèquement plus robuste ». Cela s’explique par le fait qu’elle offre une diversité de modèles en temps réel et crée des incitations pour que les développeurs de modèles et les spéculateurs externes surveillent et corrigent les problèmes.
Alors que beaucoup se réjouissent à l’idée d’avoir « l’IA comme gouverneur », Buterin a mis en garde :
« Je pense que faire cela est risqué à la fois pour des raisons classiques de sécurité de l’IA et pour des raisons à court terme du type “cela va créer une grosse destruction de valeur”. »
L’article Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” est apparu en premier sur CryptoSlate.
Avertissement : le contenu de cet article reflète uniquement le point de vue de l'auteur et ne représente en aucun cas la plateforme. Cet article n'est pas destiné à servir de référence pour prendre des décisions d'investissement.
Vous pourriez également aimer
Au moment où Anthropic avance l’idée d’un « ralentissement de l’IA », la commercialisation de l’IA s’accélère ! De la recherche de modèles au conseil financier, les bénéfices des agents intelligents de l’IA se concrétisent de plus en plus rapidement.
Anthropic poursuit simultanément la gouvernance des risques liés à l'IA de pointe et la commercialisation des applications d'IA pour les entreprises, rivalisant avec OpenAI et d'autres concurrents majeurs dans la monétisation de l'IA.
Alors que les actions des fabricants de puces plongent, les titres des "logiciels de cybersécurité" s’envolent sur toute la ligne, CrowdStrike et Palo Alto Networks atteignent de nouveaux sommets.
CrowdStrike a bondi de 13,8 % en une seule journée, atteignant un nouveau sommet historique, tandis que Palo Alto Networks a augmenté de 13 %. L’ETF sur les logiciels a surpassé celui sur les semi-conducteurs de plus de 10 points de pourcentage en une séance, marquant l’écart le plus important de l’histoire. Selon l’analyse, quel que soit le rythme de développement de l’IA, la demande en matière de sécurité ne fait qu’augmenter. Les capitaux se déplacent plus rapidement du matériel de puissance de calcul vers les logiciels de sécurité, les domaines spécialisés tels que la gestion d'identité et la gouvernance des données étant les premiers à en bénéficier.
Altman peut attendre, mais Masayoshi Son ne peut pas : OpenAI ne sera pas coté en bourse cette année, et le déficit de 20 milliards de dollars de SoftBank expose une fragilité de crédit.
Le report de l’introduction en bourse d’OpenAI place son principal actionnaire externe, SoftBank, dans une situation de liquidité difficile. Cette semaine, SoftBank organise un roadshow à New York et prévoit d’émettre des obligations d’une valeur comprise entre 10 et 20 milliards de dollars afin de rembourser un prêt relais de 40 milliards de dollars contracté précédemment pour augmenter son investissement dans OpenAI. Selon Bloomberg, le déficit de financement de SoftBank atteint au moins 20 milliards de dollars, le rendement de ses obligations en dollars dépassant déjà 8,5 %, un niveau proche de la catégorie spéculative.
La réunion est reportée, le prix de l’or chute rapidement.
Prix des cryptos
Plus
