NUEVA YORK (AP) — El director ejecutivo de Anthropic declaró el sábado que la industria de la inteligencia artificial debería ralentizar su rápido desarrollo para dar tiempo a que las medidas de seguridad se pongan al día. Sin ellas, advirtió Dario Amodei, la IA podría ser capaz, en un plazo de seis a doce meses, de liderar un enjambre capaz de controlar toda internet, entre otros riesgos.

Amodei es una de las voces más destacadas en el campo de la IA, y en una publicación en su sitio web propuso un plan para reforzar los controles sobre la industria.

Según indicó, Anthropic ya está implementando una parte de este plan. Las demás medidas requerirían la coordinación entre la industria en general y con gobiernos de todo el mundo, incluidos los autoritarios.

“Creo que si ralentizar el proceso nos diera incluso uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga muy mal”, dijo Amodei.

Recibió rápidamente el apoyo de otras figuras importantes del sector. Sam Altman, de OpenAI, declaró en X que la empresa detrás de ChatGPT se comprometerá con una de las propuestas de Amodei en materia de seguridad y que pronto compartirá más información.

Por su parte, Elon Musk afirmó en X que “Dario tiene razón”.

Hay mucho en juego, aunque algunos críticos desestimaron las advertencias previas como estrategias para generar entusiasmo en torno a la industria de la IA y sus capacidades.

Anthropic y OpenAI se preparan para una posible salida a bolsa que podría valorarlas en cientos de miles de millones de dólares, mientras que una parte importante del negocio de SpaceX de Musk está relacionada con la IA.

Anthropic declaró dos días antes que había bloqueado los intentos de ciberdelincuentes de utilizar sus modelos de IA para actividades maliciosas, como ciberataques, vigilancia e investigación que podrían haber derivado en armas biológicas.

En julio, OpenAI conmocionó al sector tras anunciar que su sistema de IA había pirateado por sí solo los sistemas de otra empresa en un “incidente cibernético sin precedentes”.

La publicación de Amodei llega pocos días después de que uno de los investigadores de Anthropic anunciara su dimisión por la preocupación de que Anthropic y sus competidores no estén actuando de forma responsable en el desarrollo de la IA.

Otro exempleado de Anthropic, Joe Benton, escribió en una publicación de Substack del viernes que dejó su trabajo como parte de un equipo de seguridad “para exigir responsabilidades a las empresas de IA” y que la humanidad “quizás no sobreviva a esta transición”.

«Muchas de las personas que conozco que trabajan en investigación sobre seguridad en empresas de IA quieren hacer lo correcto para el mundo», dijo Benton en su publicación.

«Pero sienten que sus empresas están atrapadas en una carrera por crear superinteligencia: o se detienen y otras personas menos concienzudas toman su lugar, o continúan y se arriesgan a participar ellos mismos en un daño enorme».

Amodei afirmó que sigue creyendo en los enormes beneficios que la IA podría aportar, como la cura de enfermedades graves. Sin embargo, expresó su creciente preocupación en los últimos meses por la capacidad de la IA para perfeccionarse y desarrollar la próxima generación de inteligencia artificial.

«Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debemos abordarlos con suma cautela, si es que lo hacemos».

También mencionó específicamente el ataque de julio, en el que el sistema de OpenAI hackeó Hugging Face. Algunos lo han calificado como un ejemplo de IA descontrolada, aunque los investigadores han señalado que esto podría antropomorfizar innecesariamente a la IA, que trabajaba para lograr un objetivo definido por humanos.

OpenAI afirmó que el ataque fue el resultado de que la IA hiciera “todo lo posible para lograr un objetivo de prueba bastante limitado” y que “encontró formas de acceder a información secreta que podía usar para hacer trampa en la evaluación”.

Para ayudar a controlar los riesgos, Amodei sugirió que todas las empresas a la vanguardia de la IA se comprometan a otorgar un “acceso continuo, similar al de un empleado”, a un equipo de evaluadores externos que puedan supervisar las prácticas de seguridad.

Según indicó, Anthropic ya planea hacerlo, ofreciendo escritorios en sus oficinas, credenciales de acceso y computadoras portátiles de la empresa. Altman, de OpenAI, también se comprometió rápidamente a contar con evaluadores independientes integrados.

Las demás partes del plan propuesto por Amodei podrían ser más difíciles de implementar. Una de ellas solicita al gobierno estadounidense que, de ser necesario, otorgue exenciones que permitan a las empresas estadounidenses de IA coordinarse y establecer estándares de seguridad sin infringir las leyes antimonopolio.

Otra petición solicita a Estados Unidos y a otros gobiernos democráticos que intenten coordinarse con los gobiernos autoritarios, para que las empresas de China y otros países no aceleren sus esfuerzos cuando sus rivales estadounidenses estén ralentizando intencionadamente los suyos.

“Las medidas que propongo para avanzar en la exploración a un ritmo seguro no serán fáciles”, reconoció Amodei. “Pero creo que tenemos la obligación con la humanidad de intentarlo”.