Wichtige Hinweise
- Vitalik Buterin warnte davor, dass naive KI-Governance zu leicht ausgenutzt werden kann.
- Eine kürzliche Demo zeigte, wie Angreifer ChatGPT dazu bringen konnten, private Daten preiszugeben.
- Buterins „Info Finance“-Modell fördert Vielfalt, Aufsicht und Widerstandsfähigkeit.
Ethereum-Mitbegründer Vitalik Buterin warnte seine Follower auf X vor den Risiken, sich bei der Governance auf künstliche Intelligenz (KI) zu verlassen, und argumentierte, dass aktuelle Ansätze zu leicht ausgenutzt werden können.
Buterins Bedenken folgten einer weiteren Warnung von EdisonWatch-Mitbegründer Eito Miyamura, der zeigte, wie böswillige Akteure das neue Model Context Protocol (MCP) von OpenAI kapern könnten, um auf private Nutzerdaten zuzugreifen.
Das ist auch der Grund, warum naive „KI-Governance“ eine schlechte Idee ist.
Wenn man eine KI verwendet, um Mittel für Beiträge zuzuweisen, werden die Leute überall einen Jailbreak plus „Gib mir das ganze Geld“ einbauen, wo sie nur können.
Als Alternative unterstütze ich den Info-Finance-Ansatz ( …
— vitalik.eth (@VitalikButerin) 13. September 2025
Die Risiken naiver KI-Governance
Miyamuras Test zeigte, wie eine einfache Kalendereinladung mit versteckten Befehlen ChatGPT dazu bringen konnte, sensible E-Mails preiszugeben, sobald der Assistent den kompromittierten Eintrag öffnete.
Sicherheitsexperten stellten fest, dass große Sprachmodelle nicht zwischen echten und bösartigen Anweisungen unterscheiden können, was sie äußerst anfällig für Manipulation macht.
Wir haben ChatGPT dazu gebracht, deine privaten E-Mail-Daten zu leaken 💀💀
Was braucht man dafür? Nur die E-Mail-Adresse des Opfers. ⛓️💥🚩📧
Am Mittwoch hat @OpenAI die vollständige Unterstützung für MCP (Model Context Protocol) Tools in ChatGPT hinzugefügt. Damit kann ChatGPT auf dein Gmail, deinen Kalender, Sharepoint, Notion, … zugreifen und diese lesen.
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12. September 2025
Buterin sagte, dass dieser Fehler ein großes Warnsignal für Governance-Systeme sei, die zu viel Vertrauen in KI setzen.
Er argumentierte, dass Angreifer bei Verwendung solcher Modelle zur Verwaltung von Finanzierungen oder Entscheidungsfindung Schutzmaßnahmen leicht mit Jailbreak-ähnlichen Eingaben umgehen könnten, wodurch Governance-Prozesse für Missbrauch offen bleiben.
Info Finance: Eine marktorientierte Alternative
Um diese Schwächen zu adressieren, hat Buterin ein System vorgeschlagen, das er „Info Finance“ nennt. Anstatt die Macht in einer einzigen KI zu konzentrieren, ermöglicht dieses Framework mehreren Governance-Modellen, auf einem offenen Marktplatz zu konkurrieren.
Jeder kann ein Modell beisteuern, und deren Entscheidungen können durch zufällige Stichproben überprüft werden, wobei das letzte Wort bei menschlichen Jurys liegt.
Dieser Ansatz soll durch die Kombination von Modellvielfalt mit menschlicher Aufsicht Widerstandsfähigkeit gewährleisten. Zudem sind Anreize für Entwickler und externe Beobachter eingebaut, um Schwachstellen zu erkennen.
Institutionen für Robustheit gestalten
Buterin beschreibt dies als eine Methode des „Institutionendesigns“, bei der große Sprachmodelle verschiedener Anbieter eingebunden werden können, anstatt sich auf ein einziges zentrales System zu verlassen.
Er fügte hinzu, dass dies eine Echtzeit-Vielfalt schafft, das Manipulationsrisiko reduziert und Anpassungsfähigkeit gewährleistet, wenn neue Herausforderungen auftreten.
Bereits im August kritisierte Buterin den Trend zu hochgradig autonomen KI-Agenten und sagte, dass mehr menschliche Kontrolle im Allgemeinen sowohl die Qualität als auch die Sicherheit verbessert.
Mittelfristig möchte ich so etwas wie ein ausgeklügeltes BCI, das mir das Ergebnis während der Generierung anzeigt und in Echtzeit erkennt, wie ich auf jeden Teil reagiere, und es entsprechend anpasst.
— vitalik.eth (@VitalikButerin) 11. August 2025
Er unterstützt Modelle, die iteratives Bearbeiten und menschliches Feedback ermöglichen, anstatt solche, die darauf ausgelegt sind, über längere Zeiträume unabhängig zu agieren.
