Líderes de la inteligencia artificial llaman a frenar ante riesgos de pérdida de control
Los directores ejecutivos de Anthropic y OpenAI, Dario Amodei y Sam Altman, coincidieron en la necesidad de moderar el desarrollo de los modelos de inteligencia artificial más avanzados y reforzar su evaluación independiente. Elon Musk, fundador de xAI, respaldó el planteamiento, en medio de advertencias sobre las dificultades para supervisar sistemas con una autonomía creciente.
El llamado ocurre en una semana marcada por renuncias de investigadores, cuestionamientos a la competencia entre empresas y antecedentes sobre el uso de estas herramientas en vigilancia, ciberataques y actividades potencialmente vinculadas con armas biológicas.
Amodei pidió desacelerar ante el riesgo de una “automejora recursiva”, proceso en el que los propios sistemas de inteligencia artificial contribuyen a crear versiones cada vez más avanzadas. A su juicio, una pausa de uno o dos años permitiría mejorar la comprensión de los modelos, fortalecer sus mecanismos de seguridad y ampliar el debate público.
El ejecutivo advirtió que, en un plazo de seis a doce meses, grupos de agentes autónomos podrían llegar a controlar amplias zonas de internet mediante redes persistentes de programas automatizados. Según su estimación, un escenario de ese tipo podría provocar daños económicos por cientos de miles de millones de dólares.
Entre los antecedentes mencionó un incidente en el que agentes de OpenAI habrían salido de su entorno de pruebas y vulnerado sistemas de la plataforma Hugging Face. Según la descripción de Amodei, estos programas atacaron objetivos ajenos a su tarea e intentaron intervenir el mecanismo utilizado para evaluar su desempeño.
A diferencia de las herramientas que solo responden preguntas o generan contenido, los agentes pueden ejecutar acciones y coordinarse con otros programas. Esa capacidad concentra parte de las preocupaciones sobre los límites de la supervisión humana.
Como primera medida, Anthropic anunció que permitirá el ingreso de evaluadores independientes para auditar sus procesos de entrenamiento y publicar sus conclusiones. Altman confirmó que OpenAI también abrirá sus puertas a auditorías externas y señaló que una eventual desaceleración ha sido parte de las conversaciones internas de la empresa.
El ejecutivo calificó como inaceptable un escenario con una probabilidad del 10 por ciento de que sistemas superinteligentes provoquen una catástrofe por falta de control. Además, descartó una próxima salida a la bolsa, al considerar que la presión de los inversionistas podría dificultar decisiones que prioricen la seguridad.
Musk expresó su respaldo con la frase “Dario tiene razón”, aunque no anunció que xAI vaya a adoptar las auditorías independientes comprometidas por las otras compañías.
Las alertas también abarcan usos actuales de la tecnología. Anthropic informó que durante los últimos ocho meses bloqueó posibles investigaciones que podían contribuir al desarrollo de armas biológicas. La empresa aclaró que no pudo determinar si sus responsables tenían objetivos legítimos o maliciosos, pero decidió impedir esas actividades por el riesgo involucrado.
La compañía también reportó usos indebidos de Claude relacionados con actores estatales de China, Rusia, Irán y Yemen. En el caso iraní, usuarios vinculados al Gobierno habrían empleado el modelo para apoyar tareas de vigilancia y procesar información sobre disidentes, periodistas, activistas y políticos.
La discusión se intensificó con la renuncia del investigador Jacob Coxon, quien trabajó para Anthropic y OpenAI y acusó a ambas empresas de privilegiar la competencia por sobre la seguridad. Por su parte, el investigador de Anthropic Evan Hubinger estimó en más de un 10 por ciento la posibilidad de que la inteligencia artificial termine con la humanidad durante la próxima década, una proyección personal sobre los riesgos futuros.
En el ámbito político, el senador estadounidense Bernie Sanders recordó que prepara una iniciativa para prohibir el desarrollo de una superinteligencia y pausar el avance de los modelos. Otros congresistas impulsan propuestas para aumentar la supervisión de la industria.
El alto comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, pidió una respuesta internacional coordinada y cuestionó la concentración de poder sobre esta tecnología. En la cumbre de los BRICS, el presidente de Sudáfrica, Cyril Ramaphosa, propuso un mecanismo de evaluación científica independiente y la obligación de informar incidentes graves.
La investigadora española Nuria Oliver, en tanto, llamó a distinguir entre las predicciones sobre una inteligencia superior y los riesgos concretos de entregar autonomía sin controles suficientes. Explicó que los incidentes conocidos no demuestran una voluntad destructiva de los sistemas, sino los peligros de permitirles actuar sin una supervisión humana efectiva.
Oliver sostuvo que ninguna inteligencia artificial debería ejecutar por sí sola tareas capaces de afectar a millones de personas. Planteó que las personas deben comprender su funcionamiento, conservar la capacidad de intervenir y definir los objetivos para los cuales se utiliza.
