Un incidente reciente en Australia muestra que dar a los sistemas de IA objetivos en lugar de instrucciones estrictas paso a paso puede volverse mucho más complicado cuando esos sistemas están conectados a algo valioso.
Un hombre australiano le pidió a su asistente OpenClaw impulsado por Claude que reservara una clase popular en el gimnasio.
Sin embargo, el agente descubrió una vulnerabilidad que le permitió reservar clases con mucha más anticipación de lo que el gimnasio pretendía. Detectó que la API del gimnasio no tenía salvaguardas de autorización para cancelar reservas de otras personas. El agente utilizó la falla para cancelar una reserva existente y mover a su usuario hacia arriba en la lista de espera.
Lo importante a mencionar aquí es que el agente de IA no recibió instrucciones para hacer eso, sino que percibió la situación como una manera técnicamente posible de acercarse a su objetivo.
Ahora, si reemplazamos una reserva en el gimnasio por una billetera cripto, los resultados podrían ser mucho más dañinos.
En el caso de que se le otorgue a un agente de IA acceso a una billetera y se le indique maximizar los retornos o encontrar los mejores acuerdos DeFi, ¿cómo definimos exactamente lo que se le permite hacer?
En teoría, una IA lo suficientemente avanzada podría tropezar con un punto débil en una API, interactuar con un smart contract, aprobar el gasto de tokens, mover fondos entre plataformas o realizar una operación que cumpla técnicamente con el objetivo establecido pero que haga algo que el usuario jamás quiso.
Esto no significa que los agentes de IA actuales estén destinados a actuar de forma descontrolada. Aun así, el incidente de la reserva en el gimnasio muestra por qué vale la pena prestar atención a este tipo de riesgo.
La responsabilidad por las acciones no autorizadas de un agente de IA es difícil de determinar porque todavía no existen leyes contra estos casos. También podría depender en gran medida de la intención. Por ejemplo, si alguien le otorga conscientemente al agente de IA autoridad de amplio alcance, podría ser responsable por lo que haga finalmente.
Además, el desarrollador de IA podría enfrentar escrutinio si el sistema fue diseñado o promocionado sin el cuidado suficiente. De manera similar, el proveedor de la billetera podría tener que responder si no contaba con suficientes salvaguardas, y los protocolos DeFi o los operadores de API también podrían compartir la culpa si sus propias fallas de seguridad permitieron que sucedieran las acciones de la IA.
Hasta hoy, no existe una regla universal que haga responsable a la IA misma, pero si los incidentes como este se repiten, podrían producirse algunos cambios.
