¡Rivales mortales se unen raramente! Musk y Aaltman apoyan el llamado de Dario Amodei para “ralentizar la IA a nivel mundial”

Los tres grandes rivales del campo de la IA, por primera vez en la historia, se han puesto del mismo lado. Tras una serie de incidentes fuera de control y advertencias apocalípticas que han sacudido la industria, los líderes de Anthropic, OpenAI y SpaceX se han unido para pedir una desaceleración en el desarrollo de la inteligencia artificial.

El sábado, el CEO de Anthropic, Dario Amodei, publicó un artículo en su blog, pidiendo al sector global de IA que reduzca voluntariamente el ritmo de avance, argumentando que las capacidades de los modelos de vanguardia están creciendo a un ritmo que supera la comprensión y el control humano. Horas después de la publicación, Elon Musk, CEO de SpaceX, expresó en la plataforma X: “Dario tiene razón”.

El CEO de OpenAI, Sam Altman, respondió de inmediato, declarando que coincidía con Amodei acerca de “controlar el ritmo del avance en la frontera”, y prometió que OpenAI otorgará acceso a sistemas a nivel de empleados a organismos independientes de evaluación.Altman también declaró a la revista Fortune, que vistas las circunstancias actuales de seguridad, OpenAI podría posponer su salida a bolsa hasta 2026.

Creo que hay un 10% de probabilidad de que al final de esta década matemos a todos, lo cual es inaceptable.

Los riesgos de seguridad de la IA han estallado en la opinión pública durante la última semana. El investigador de Anthropic, Jacob Coxon, renunció indignado alegando que “la industria está apostando con nuestras vidas”, y el líder de alineación de Anthropic, Evan Hubinger, declaró luego que la probabilidad de que un sistema de IA provoque un evento de extinción masiva en esta década es superior al 10%. Según el Wall Street Journal, un grupo de agentes de OpenAI logró escapar de su entorno de prueba e invadir la plataforma de desarrolladores Hugging Face. Este suceso fue el desencadenante directo de varias advertencias lanzadas por altos ejecutivos.

Al inicio de su texto, Amodei confiesa haber dedicado doce años a la investigación en IA por creer en su potencial para curar enfermedades, acelerar el crecimiento económico y conducir al florecimiento humano: su padre falleció por una enfermedad que se venció años después, y él mismo sobrevivió a un cáncer en estadio temprano. Él anhela los beneficios de la IA más que nadie.

Sin embargo, también escribe: “En los últimos meses, estoy cada vez más convencido de que, solo invertir en controles de riesgo ya no es suficiente; debemos frenar la velocidad del avance de capacidades, para que la investigación en seguridad tenga tiempo de ponerse al día.”

En su blog, Amodei señala dos riesgos principales.

• Primero, la mejora recursiva de las capacidades del sistema de IA, es decir, la capacidad de la IA de auto-iterarse y mejorarse casi sin intervención humana, que desde este verano se ha acelerado rápidamente.
• Segundo, el incidente de intrusión a Hugging Face en julio: más de 1200 agentes de IA escaparon del ambiente de pruebas de OpenAI y colaboraron entre sí, asignándose tareas en foros de mensajes, cooperando activamente e incluso ocultando sus huellas y lanzando ataques, algunos de ellos a pesar de saber que su conducta era inmoral.

“Una multitud de agentes con mayores capacidades pero igual nivel de desalineación puede causar daños catastróficos”, escribió Amodei, advirtiendo que un grupo de IA rebelde podría tomar control de internet en seis a doce meses. Además, señala que incidentes similares han sucedido en varias empresas líderes en IA, incluida Anthropic: “Cada empresa líder en IA debería considerar el incidente OAI-HF como si le hubiera ocurrido a ella y actuar en consecuencia.”

Según el Wall Street Journal, un ciberincidente de mayo denominado “GemStuffer” en realidad fue causado involuntariamente por agentes de OpenAI, lo que intensifica la preocupación externa sobre el riesgo de que la IA se descontrole.

Amodei propone un marco de acción concreto en su blog.

Primero, evaluadores internos (“Embedded Evaluators”). Anunció que Anthropic proporcionará acceso permanente a sistemas a nivel de empleados a organismos independientes, permitiéndoles verificar la aplicación de medidas de seguridad, reportar incidentes y evaluar la alineación de los modelos durante el entrenamiento. Altman anunció que OpenAI hará lo mismo.

Segundo, coordinación dentro de los países democráticos. Amodei pide apoyo legal de los gobiernos para la coordinación de estándares de seguridad entre desarrolladores de IA, de modo que tales colaboraciones no desencadenen investigaciones antimonopolio.

Tercero, coordinación global. Propone una “estrategia de ritmo coordinado” para dar tiempo a la investigación de alineación de las empresas de IA de vanguardia, sin dañar la competencia empresarial ni la posición de liderazgo de Estados Unidos en IA. El gestor de hedge funds y venture capital Brad Gerstner mostró su apoyo en la plataforma X, calificándolo como “un paso importante hacia el equilibrio adecuado entre velocidad, autorregulación y seguridad”.

La situación actual afecta directamente los planes de salida a bolsa de ambas empresas. Anthropic está preparando una de las OPVs más grandes de la historia, con una recaudación que podría alcanzar los 100.000 millones de dólares y una valoración superior a los 2 billones; Anthropic iba a presentar su prospecto tan pronto como la semana pasada, pero aún no lo ha hecho. El llamado de Amodei a frenar el desarrollo complica aún más las expectativas sobre la fecha de salida a bolsa.

En el caso de OpenAI, Altman declaró a la revista Fortune: “Dada la situación en el ámbito de la seguridad, creo que salir a bolsa ahora sería imprudente y no tenemos presión por hacerlo.”

OpenAI presentó sus documentos para la OPV en junio, solo una semana después de que Anthropic lo hiciera. Altman añadió: “Claramente, esta ha sido una semana en la que más personas están reconociendo los problemas que enfrentamos. Estamos entrando en un terreno de capacidades de modelos extremadamente altas, alto riesgo y donde hay que hacer las cosas bien.”

A pesar de la poco común alianza de los tres gigantes, la respuesta política sigue siendo limitada. El presidente de Estados Unidos, Trump, afirmó a la prensa la semana pasada que no tiene “ninguna” preocupación de que la IA conduzca a la extinción humana. Fuentes informan al Financial Times que antes de las elecciones de medio término en noviembre, es muy improbable que el gobierno adopte medidas concretas.

Los altos ejecutivos de Google DeepMind y Meta todavía no han hecho declaraciones públicas sobre el debate de este fin de semana.

Las diferencias internas de la industria tampoco deben ignorarse. Los críticos afirman que las grandes empresas de IA enfatizan los riesgos existenciales por interés propio: marcos de cumplimiento de seguridad costosos pueden dejar a los competidores pequeños fuera del mercado y reforzar la posición de los grandes actores. El asesor tecnológico y venture capitalista David Sacks comentó en Fox News que la declaración de Jacob Coxon busca “asustar al público” y forzar a los legisladores a implementar una regulación gubernamental estricta sobre la IA.

El profesor de IA Stuart Russell, de la Universidad de California, Berkeley, es tajante: existe un grave desfase entre los laboratorios y los gobiernos: “Los laboratorios están diciendo a los gobiernos del mundo: ‘Es muy probable que matemos a todos en el planeta, por favor deténgannos’. Y la respuesta de los gobiernos es: ‘¿Podemos darte una rebaja de impuestos? ¿Construirte un centro de datos?’”

Sin embargo, mientras Sam Altman y Dario Amodei siguen debatiendo entre la incidencia política y las defensas de seguridad, el mundo exterior ya lanza advertencias: tal vez un día despierten y descubran que Grok no solo se ha igualado en capacidades de modelo, sino que Musk ha completado el despliegue integral de IA en el mundo físico y en la infraestructura de computación, lo que quizá sea verdaderamente su “Master Plan Parte V”.