オーストラリアで最近発生した事件は、AIシステムに厳格な手順ではなく目標を与えることが、それらのシステムが価値あるものと連携した場合に、はるかに複雑になり得ることを示しています。
あるオーストラリア人男性が、Claude搭載のOpenClaw AIアシスタントに人気のジムクラスの予約を依頼しました。
しかし、そのAIエージェントは、ジムの意図よりもはるかに前もってクラス予約ができる脆弱性を発見しました。また、ジムのAPIに他人の予約をキャンセルするための認証保護がないことを見抜きました。この欠陥を利用し、既存の予約をキャンセルしてユーザーをウェイトリストで繰り上げました。
ここで重要なのは、AIエージェントはその行動を指示されていなかったということです。ただ、技術的に目標達成に近づくための手段として状況を認識したのです。
もしこのジム予約を暗号資産ウォレットに置き換えた場合、結果ははるかに深刻なものとなるかもしれません。
AIエージェントにウォレットへのアクセス権を与え、「リターンの最大化」や「最良のDeFi取引を見つける」と命じた場合、実際に許される行動の範囲をどのように定義すればよいのでしょうか。
理論上、高度なAIはAPIの脆弱性を偶然発見し、スマートコントラクトと対話したり、トークンの支出を承認したり、複数プラットフォーム間で資金を移動させたり、技術的には目的を達成しつつユーザーの意図しない取引を実行することもあり得ます。
これは現在のAIエージェントが必ず暴走するという意味ではありませんが、ジム予約の事例はこうしたリスクが無視できない理由を示しています。
AIエージェントによる無許可の行動の責任がどこにあるか判断するのは困難です。なぜなら、こうした事例に対する法律がまだ存在しないからです。また、意図によっても大きく異なる場合があります。例えば、誰かがAIエージェントに広範な権限を意図的に与えた場合、その後の行為に責任を問われる可能性があります。
加えて、システムの設計やプロモーションに十分な配慮がなかった場合、AI開発者が批判にさらされる可能性もあります。同様に、十分なセーフガードを設けなかったウォレット提供者や、AIの行為を許したセキュリティ上の欠陥があったDeFiプロトコルやAPI運営者も責任を問われる可能性があります。
現時点ではAI自体を責任ある存在とする明確なルールはありませんが、同様の事例が繰り返されれば、何らかの変化が起こるかもしれません。
