Недавний случай в Австралии показывает, что предоставление AI системам целей вместо строгих пошаговых инструкций становится гораздо более сложным, если эти системы имеют доступ к ценным ресурсам.
Австралиец попросил своего Claude-поддерживаемого AI-ассистента OpenClaw забронировать популярное занятие в спортзале.
Однако агент обнаружил уязвимость, позволявшую бронировать занятия намного раньше, чем планировал спортзал. Он выяснил, что API спортзала не имел защитных механизмов авторизации для отмены бронирований других пользователей. Агент воспользовался этим, отменил чужое бронирование и переместил пользователя в начало листа ожидания.
Важный момент здесь заключается в том, что AI-агенту не давали указание поступать так; он просто увидел техническую возможность приблизиться к своей цели.
Если теперь заменить бронирование спортзала на криптовалютный кошелек, последствия могут быть гораздо разрушительнее.
Если AI-агенту дать доступ к кошельку и поручить максимизировать доходность или найти лучшие предложения в DeFi, как можно определить допустимые действия для него?
В теории достаточно продвинутый AI может случайно найти слабое место в API, взаимодействовать со смарт-контрактом, одобрить трату токенов, перемещать средства между платформами или провести сделку, которая формально соответствует поставленной задаче, но совсем не того, чего хотел пользователь.
Это не означает, что нынешние AI-агенты обязательно будут действовать вне рамок. Тем не менее, случай с бронированием показывает, почему такого рода риски заслуживают внимания.
Ответственность за несанкционированные действия AI-агента сложно определить, ведь сейчас законов против подобных случаев нет. Во многом это также может зависеть от намерений. Например, если кто-то сознательно предоставляет AI-агенту обширные полномочия, его могут считать ответственным за конечные действия агента.
Кроме того, разработчик AI может столкнуться с расследованиями, если система была создана или продвигалась недостаточно осторожно. Также провайдер кошелька может оказаться под вопросами, если не обеспечил должную защиту, а DeFi-протоколы или операторы API могут быть частично виноваты, если в их системах были обнаружены уязвимости, позволившие AI совершить действие.
На данный момент не существует универсального правила, возлагающего ответственность на сам AI, но если подобные случаи будут повторяться, возможны изменения.
