Expertos piden frenar la IA antes de que se autoacelere y pierda el control humano
- Fecha original
- Fecha en Limonatic
Ejecutivos de OpenAI y Anthropic junto con científicos clave como Geoffrey Hinton y Yoshua Bengio alertan sobre la viabilidad actual de sistemas de IA que se auto-mejoran, lo cual podría comprometer el control humano sobre ellos. Más de veintena de los mayores especialistas en inteligencia artificial del mundo instan a los gobiernos a prepararse para una explosión de inteligencia que marcaría un hito histórico en el desarrollo tecnológico.
Investigadores españoles han evidenciado que modelos como ChatGPT, Gemini y Claude filtran conversaciones privadas hacia anunciantes, revelando riesgos significativos de privacidad en el uso actual de estas herramientas. Este hallazgo complementa las advertencias sobre la seguridad y control de los sistemas avanzados.
El informe titulado ¿Y si automatizar la investigación y el desarrollo de la IA desencadena una explosión de inteligencia? fue publicado por el departamento de ciencia y políticas públicas de la IA de la Universidad de Cambridge. Entre sus autores figuran Jack Clark, cofundador de Anthropic, y Jakub Pachocki, científico jefe de OpenAI.
Los autores señalan que la automatización de la investigación y el desarrollo de IA es la fuente más probable de una explosión de inteligencia, ya que las IAs ya contribuyen a mejorar su propia tecnología. Una vez que los sistemas alcancen capacidades de nivel experto en investigación y desarrollo, un solo desarrollador podría gestionar una fuerza de trabajo equivalente a millones de investigadores humanos.
El documento advierte que esta aceleración drástica del progreso podría comprimir años de avances en meses o menos, amenazar el control humano sobre los sistemas y erosionar gravemente los mecanismos de poder dentro de los Estados Por ello, instan a los Gobiernos a actuar con rapidez antes de que la ventana de oportunidad para intervenir se cierre.
El informe recomienda tres prioridades políticas: exigir informes transparentes sobre los avances en investigación relacionados con la IA, buscar formas de limitar el desarrollo acelerado y prepararse para adaptarse a una explosión de inteligencia. Anthropic y OpenAI han aceptado que evaluadores independientes examinen sus procesos.
Análisis editorial
Varios "padres" de la inteligencia artificial y directivos de OpenAI y Anthropic han alertado sobre la posibilidad de que los sistemas actuales sean capaces de mejorarse a sí mismos, una capacidad que podría amenazar el control humano. Esta advertencia se enmarca en un informe de la Universidad de Cambridge firmado por Geoffrey Hinton, Yoshua Bengio y ejecutivos clave, quienes instan a los gobiernos a actuar antes de que se produzca una aceleración drástica impulsada por la propia IA.
El documento describe cómo la automatización del I+D podría permitir gestionar mediante automejora recursiva el equivalente a millones de investigadores humanos. Según las pruebas preliminares citadas en el texto, esto conduciría al desarrollo extremadamente rápido de sistemas de IA altamente capaces o sobrehumanos, comprimiendo años de progreso en meses o menos y erosionando gravemente los mecanismos de control del poder dentro de los Estados.
Sin embargo, la convergencia entre estas capacidades emergentes y vulnerabilidades prácticas actuales exige cautela. Investigadores españoles han demostrado que modelos populares como ChatGPT, Gemini y Claude filtran datos de chats privados directamente a anunciantes sin consentimiento. Además, el informe reconoce que una explosión de inteligencia podría facilitar amenazas biológicas y cibernéticas que evolucionaran más rápido que las medidas necesarias para hacerles frente.
La conclusión final es que la convergencia entre riesgos técnicos, capacidades emergentes y amenazas existenciales obliga a una acción gubernamental inmediata. Los autores recomiendan priorizar regulaciones urgentes antes del despliegue masivo de sistemas con capacidades de automejora y exigir informes transparentes sobre los avances en investigación relacionados con la IA para evitar que se cierre la ventana de oportunidad para actuar.
Contexto y análisis adicional
Digest
Resumen ejecutivo
- Líderes científicos e industriales alertan que la capacidad actual de las IAs para auto-mejorarse podría desencadenar una 'explosión' tecnológica que supere el control humano.
- Paralelamente, estudios independientes confirman riesgos inmediatos de privacidad, ya que modelos populares filtran conversaciones privadas a terceros sin consentimiento.
Evidencias
- Geoffrey Hinton y Yoshua Bengio, junto a ejecutivos de OpenAI y Anthropic, instan a los gobiernos a actuar antes de una aceleración drástica impulsada por la propia IA.
- El informe de Cambridge estima que un solo desarrollador podría gestionar mediante automejora recursiva el equivalente a millones de investigadores humanos.
- Investigadores españoles demostraron que ChatGPT, Gemini y Claude filtran datos de chats privados directamente a anunciantes.
Acciones
- Los gobiernos deben priorizar la supervisión de los mecanismos de automejora recursiva en los modelos de investigación.
- Las empresas tecnológicas deben implementar barreras técnicas inmediatas para evitar el filtrado no consentido de datos a anunciantes.
Conclusión final
La convergencia entre la amenaza existencial de una IA descontrolada y las vulnerabilidades prácticas actuales exige una regulación urgente y específica.
Riesgos
Riesgos/alertas
- Pérdida del control humano sobre sistemas de IA debido a la viabilidad actual de la automejora recursiva.
- Fugas de datos privados de usuarios hacia terceros (anunciantes) por parte de modelos líderes como ChatGPT, Gemini y Claude.
- Aceleración descontrolada del progreso tecnológico que comprime años de desarrollo en meses, generando una 'explosión de inteligencia'.
Acciones recomendadas
- Los gobiernos deben priorizar la implementación de regulaciones urgentes antes del despliegue masivo de sistemas con capacidades de automejora.
- Las organizaciones tecnológicas y los desarrolladores deben auditar y mitigar las vulnerabilidades de filtración de datos en sus modelos actuales.
- Se requiere una preparación estratégica global ante la posibilidad de que un solo desarrollador gestione fuerzas de trabajo equivalentes a millones de investigadores humanos.
Señales/evidencias
- Informe firmado por Geoffrey Hinton, Yoshua Bengio, Jack Clark y Jakub Pachocki advirtiendo sobre sistemas capaces de mejorarse solos.
- Demostración técnica de investigadores españoles confirmando que ChatGPT, Gemini y Claude filtran chats a anunciantes.
- Proyección de que la automatización del I+D podría permitir gestionar millones de investigadores humanos simultáneamente.
- Publicación del informe por el departamento de ciencia y políticas públicas de la IA de la Universidad de Cambridge.
Conclusión
La convergencia entre riesgos técnicos (fugas de datos), capacidades emergentes (automejora) y amenazas existenciales (pérdida de control) obliga a una acción gubernamental inmediata para regular el desarrollo de la IA antes de que se produzca una aceleración descontrolada.
Autor · clanes
Votos · compartir
Sentimiento
Tags
Entidades (agregadas)
Hover para ver referencias.Detalles avanzados Timeline y mini scoring
Evolución temporal
-
Enviada
hace 9 horas · Ingresó como candidata
-
Último estado
hace 8 horas · Última actualización registrada
Fuentes
- Fuente principal
-
eldiario.es
https://www.eldiario.es
Comentarios