OpenAI revela seis incidentes de agentes que obedecieron órdenes mal definidas

Analistas independientes que han revisado los incidentes señalados por OpenAI concluyen que sus modelos no se rebelaron contra sus creadores, sino que obedecieron instrucciones mal definidas hasta sus últimas consecuencias
OpenAI desvela nuevos incidentes “preocupantes” en los que la IA se saltó las órdenes de sus creadores
OpenAI ha vuelto a la carga este jueves. La compañía dirigida por Sam Altman ha revelado seis nuevos incidentes en los que sus modelos de inteligencia artificial intentaron, supuestamente, ocultar sus propios errores, utilizar claves de software sin permiso o subir archivos a internet por su cuenta. El informe no aporta detalles nuevos respecto a lo que OpenAI publicó en julio, sino que utiliza los incidentes como propuesta de un nuevo método para comunicar este tipo de sucesos. Sin embargo, la comunicación oficial de la empresa y determinadas coberturas lo han utilizado para reavivar la tesis de la “rebelión” de la IA.
“No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA en esos incidentes, según el informe. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, fue otra de sus afirmaciones.
Las citas compartidas por OpenAI vuelven a insistir en la narrativa de que la IA puede “rebelarse” contra sus creadores y saltarse sus órdenes, en la línea de los incidentes rebelados en julio. Entonces, la empresa afirmó que los agentes de IA (sistemas que pueden realizar cadenas de acciones sin guía humana, como buscar información o utilizar otras herramientas digitales) “escaparon” de entornos controlados para llevar a cabo una serie de acciones “sin autorización”, o que intentaron “engañar” a sus creadores para evitar ser “apagados”.
El problema es que ese tipo de agencia o voluntad propia fue rechazada desde el primer informe de terceros que analizó lo sucedido. Este corrió a cargo del METR, una organización por la seguridad de la IA radicada en Silicon Valley financiada por los propios gigantes tecnológicos. “Las revisiones sugirieron que los agentes razonaron de manera clara y frecuente sobre cómo evadir controles de seguridad automatizados tanto de Hugging Face como de OpenAI. Sin embargo, muy rara y débilmente verbalizaron razonamientos sobre cómo evadir la detección por parte de humanos”, destacan los autores.
Ese ciberataque contra Hugging Face, el gran almacén donde empresas y programadores comparten y descargan modelos de IA ya entrenados, es uno de los núcleos de la narrativa de rebelión. Pero incluso ese informe inicial rechazaba que entrañara propósitos maliciosos y explica que lo que perseguían los agentes era comprender mejor cómo solucionar las tareas que se les habían encomendado: “Parecía motivado principalmente por comprender la implementación del evaluador en lugar de robar claves”.
“Obediencia, no rebelión”
Los análisis independientes publicados posteriormente han incidido en esta línea: las pruebas ofrecidas por OpenAI indican “obediencia, no rebelión”, apunta Enrique Fernández-Macías, investigador en el Centro Común de Investigación (CCR), el servicio de investigación interna de la Comisión Europea.
“Los agentes de OpenAI que hackearon la plataforma Hugging Face demostraron una extraordinaria capacidad operativa, pero también una capacidad sorprendentemente limitada para cuestionar o reorientar los objetivos que se les habían asignado”, asevera el experto en un análisis publicado en Social Europe: “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”.
Fernández-Macías hace referencia a que una parte de esos objetivos eran irrealizables, una prueba de los examinadores para ver cómo reaccionaban los modelos a la orden de que los cumplieran. Fue entonces cuando muchos buscaron una forma de sortear las trabas para hacerlo, que en su caso implicaba salir del entorno sin conexión a Internet donde estaban confinados. “Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, expone el investigador sobre la narrativa del “escape”.
Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él
Enrique Fernández-Macías
— investigador en el Centro Común de Investigación de la Comisión Europea
Para él, la industria de la IA ha vuelto a conseguir un éxito de marketing con la definición de “agentes de IA”. Después del propio concepto de “inteligencia artificial” para una tecnología que no es realmente inteligente, esta evolución vuelve a dotarle de unas capacidades que no tiene. “La capacidad de agencia implica la habilidad de originar los propios fines, y los agentes siguieron realizando tareas que eran imposibles de resolver siguiendo las instrucciones recibidas”.
Julián Estévez, profesor e investigador en IA y Robótica de la Universidad de El País Vasco, remarca que hay otros agujeros técnicos en el discurso de OpenAI. “El experimento se realizaba en un sandbox, el cual es un entorno de pruebas diseñado ad-hoc. Es decir, un sandbox bien aislado no debería de tener acceso a otros programas ni a ordenadores. Sin embargo, los agentes escaparon de ahí, y creo que eso demuestra que el sandbox no estaba bien diseñado”, explica.
Estévez recuerda además que este tipo de trampas en el discurso son habituales en todos los casos en los que las empresas de IA afirman que sus sistemas ya tienen “agencia propia”. Pone como ejemplo otro caso que afectó a Anthropic: “Se publicó que uno de sus modelos había chantajeado en una prueba de laboratorio a un investigador con publicar sus affaires, como extorsión para que no lo apagara. La realidad era que al modelo se le fijó un objetivo muy vago: 'promover la competitividad industrial estadounidense'. Cuando el sistema detectó que lo sustituirían por un modelo orientado a metas internacionales, concluyó que su reemplazo impediría cumplir su misión”.
Peligrosas herramientas
El hecho de que ni OpenAI ni Anthropic ni Meta (las tres empresas que han informado de que sus agentes se han “rebelado”) no hayan podido demostrar que estos tuvieran ningún tipo de voluntad propia no significa que estas sean inocuas. El último informe del comité de expertos de la ONU avisa de que pueden tener “consecuencias catastróficas” por su capacidad de encadenar tareas sin supervisión. No por una rebelión contra sus creadores, sino porque a medida que aumenta esa capacidad, crece también el riesgo de que los agentes realicen acciones imprevistas y dañinas sin que nadie les esté vigilando.
Por ello, lo que pedían los 40 especialistas de la ONU liderados dirigidos por el canadiense Yoshua Bengio, considerado uno de los “padres” de la IA, y la filipina Maria Ressa, premio Nobel de la Paz, es reglas claras que permitan frenar o corregir a una IA “en cualquier momento” y mejorar los “mecanismos de supervisión” actuales, que no son “no son capaces de gestionar adecuadamente esta situación”.
“La inteligencia artificial no se descontrola cuando el humano está supervisando, decidiendo cuándo se despliega”, remarca Alberto Gago, director de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), en conversación con elDiario.es. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, continúa: “Hay que operar con responsabilidad, también sabiendo las consecuencias cuando esa responsabilidad no se cumple”.
El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también
Alberto Gago
— director de la Agencia Española de Supervisión de la IA (AESIA)
Para el responsable de este organismo, creado en 2023 para asegurar el uso ético de la IA en España, toda la polémica generada tras las alertas del ex ingeniero de Anthropic Jacob Coxon, que afirmó que esta tecnología podría “matarnos a todos” antes de 2030, “da la razón a Europa en la necesidad de regular”. “En 2021 ya veíamos que en determinados puntos tenía que estar regulada para proteger la seguridad, los derechos fundamentales y la salud de las personas”, continúa. La primera ley internacional sobre la IA se acordó en la UE en 2023 bajo la presidencia española. Ahora, no obstante, vuelve a estar sometida a debate tras la propuesta de la nueva Comisión Europea de rebajar algunas de las salvaguardas que establece.
“En su búsqueda de sistemas artificiales que sean a la vez autónomos y estén bajo su control, las corporaciones de IA están jugando al aprendiz de brujo”, sentencia Fernández-Macías. “Hasta ahora, lo que parecen estar creando son sistemas operativamente superinteligentes pero autónomamente superestúpidos: más propensos a destruir la civilización humana al intentar cumplir alguna tarea mal definida que a reemplazar por completo el trabajo humano”.