Líderes tecnológicos advierten sobre riesgos de extinción por la inteligencia artificial
- Fecha original
- Fecha en Limonatic
"Urge regular la inteligencia artificial antes de que se convierta en un peligro para la humanidad". Podría ser una frase extraída de la carta que Dario Amodei publicó hace unos días, pero no. Lo dijo Elon Musk en 2017, cuando no existía ChatGPT, Claude ni ninguna de las IAs que usamos hoy en día.
La idea de que la IA se descontrole y acabe amenazando nuestra propia existencia no es nueva. Los creyentes del AI doom llevan más de una década lanzando advertencias muy parecidas a las que hoy llenan titulares. Antes pasaban más desapercibidas, pero hoy han conseguido captar la atención del mundo.
Los inicios del movimiento 'doomer'
El movimiento por la seguridad de la IA nació mucho antes de que existieran Anthropic y OpenAI. Los primeros vestigios de estas ideas empiezan con la formación del MIRI, que son las siglas de Machine Intelligence Research Institute, en el año 2000, aunque no fue hasta 2005 cuando se empezaron a enfocar en los riesgos existenciales que presentaba la IA.
En 2009, uno de los cofundadores del MIRI, Eliezer Yudkowsky, ayudó a formar LessWrong, una comunidad donde una de las grandes obsesiones era la amenaza de una singularidad tecnológica. Aquí convivían ideas del transhumanismo, un movimiento intelectual que plantea la mejora del ser humano mediante la tecnología, y el altruismo eficaz, una corriente que trata de identificar, con herramientas cuantitativas, las formas más eficaces de generar el mayor bien posible en el mundo.
De la confluencia de estas dos corrientes nació una visión muy concreta: la inteligencia artificial acabaría superando inevitablemente a los humanos y, si no se construía alineándola con nuestros objetivos, sería una amenaza para la supervivencia de la humanidad.
En Xataka
“El mundo tiene razón al tener miedo de la IA”. La solución de Sam Altman es que confiemos en quienes la están construyendo
El primer advenimiento del pesimismo de la IA
Estas ideas no pasaron desapercibidas para las élites tecnológicas y, en paralelo, grandes personalidades del sector donaban millones de dólares al movimiento. Fue el caso de Elon Musk, que en 2015 donó 10 millones de dólares en becas para formar investigadores de IA que ayudaran a construir una tecnología segura para el ser humano.
Fue también en 2015 cuando Elon Musk firmó un manifiesto junto a otras personalidades del mundo tecnológico y de la IA como Demis Hassabis de DeepMind, Geoffrey Hinton, Yann LeCun, Ilya Sutskever, Steve Wozniak y hasta el mismísimo Stepeh Hawking entre otros. El manifiesto pedía más investigación para reforzar la seguridad y que "Nuestros sistemas de inteligencia artificial deben hacer lo que nosotros queramos que hagan". Esta carta fue publicada a través del instituto Future of Life, una organización sin ánimo de lucro que lleva desde entonces advirtiendo de los riesgos de la IA.
En 2015, varias personalidades del mundo tecnológico y de la IA firmaron un manifiesto para que "Nuestros sistemas de inteligencia artificial deben hacer lo que nosotros queramos que hagan"
Bill Gates se sumó a la conversación y mostró su preocupación por la posible creación de una superinteligencia: "Primero, las máquinas harán muchos trabajos por nosotros y no serán súper inteligentes. Eso debería ser positivo si lo manejamos bien. Sin embargo, unas décadas después, las inteligencias serán suficientemente fuertes para convertirse en una preocupación".
En esta época ya se empezaban a escuchar advertencias de personalidades tecnológicas importantes, pero su discurso era bastante prudente y no destilaba la urgencia ni el catastrofismo que vimos años después.
El catastrofismo post ChatGPT
El doomerismo atravesó una etapa bastante tranquila en los años posteriores, pero en 2023 volvió con mucha más fuerza con la publicación de dos cartas abiertas alertando de los peligros. En este momento el desarrollo de la IA esaba en plena ebullición y acababa de salir GPT-4.
La primera carta, de nuevo publicada en Future of Life, pedía parar el entrenamiento de nuevos modelos durante al menos seis meses. La carta estaba firmada por personalidades comoSteve Wozniak, Elon Musk, Jaan Tallinn o Max Tegmark.
En 2023 varios líderes tecnológicos firman una carta abierta en la que afirman que "Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial"
Unos meses después, en mayo, se publicó una segunda carta a través de la ONG Center for AI Safety y aquí apareció la palabra mágica: extinción. Esta era la frase exacta: "Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial, junto con otros riesgos a escala social como las pandemias y la guerra nuclear". Entre los firmantes estaba Geoffrey Hinton, Dario Amodei, Demis Hassabis y hasta Sam Altman.
Hablando de Geoffrey Hinton, el premio Nobel de Física ha sido una de las voces más pesimistas y que más insistido en los riesgos de una IA que supere a los humanos.
En 2025, Eliezer Yudkowsky y Nate Soares, fundador y actual presidente del MIRI respectivamente, publican el libro 'If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All' (Si alguien la construye, todos moriremos: por qué una IA sobrehumana nos mataría a todos). El título ya deja muy claro de que va la cosa y es una prueba de como el discurso de este movimiento se ha ido volviendo más y más alarmista con el paso de los años.
OpenAI y Anthropic están intentando hacer con la IA lo que Rockefeller hizo con el petróleo
Un 10% de probabilidades de que la IA acabe con la humanidad
No es la declaración más loca que hemos escuchado, pero es la que ha encendido la polémica de estos días. La frase la pronunció Evan Hubinger, actual jefe de alineamiento de Anthropic. Hablamos del responsable de la seguridad de uno de los dos laboratorios de IA que están desarrollando modelos de frontera. No es un exempleado despechado, actualmente trabaja en Anthropic, conoce los modelos y es quien se ocupa de que sean seguros, por lo que algo sabe del tema.
Lo que dice Hubinger es relevante, pero también es relevante conocer de dónde viene. Cuando terminó su formación en matemáticas e informática, Evan Hubinger empezó a trabajar en el MIRI, que como ya hemos visto fue donde se empezó a fraguar todo este movimiento. Después entró en el Center for AI Safety, que es la ONG que publica aquella carta hablando de extinción en 2023.
Llevan más de una década repitiendo las mismas consignas: una IA que superará al ser humano, un riesgo existencial que exige acción inmediata y un pequeño grupo que asegura tener un plan para evitar el apocalipsis
Esto no significa que no existan riesgos y todo sea una fantasía de un grupo de visionarios exagerados. Incidentes como el de OpenAI y Hugging Face han dejado claro que los modelos pueden causar daños y alinearlos con nuestros objetivos es crucial. Hoy las cosas han cambiado mucho, los modelos de IA ya no son el futuro, sino el presente, y con la automejora recursiva los riesgos pueden multiplicarse. Sin embargo, de ahí a hablar de extinción en menos de 10 años, hay un trecho.
Este grupo lleva más de una década repitiendo las mismas consignas: una inteligencia artificial que inevitablemente superará al ser humano, un riesgo existencial que exige acción inmediata y un pequeño grupo que asegura tenerun plan para evitar el apocalipsis. Al final, este tipo de mensajes apocalípticos atraen mucha atención, pero a la vez desvían la atención de los verdaderos riesgos.
Imagen | Xataka con Magnific
En Xataka | Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral
-
La noticia
20 años anticipando el Apocalipsis: todas las veces que alguien ha dicho que la IA nos iba a matar a todos
fue publicada originalmente en
Xataka
por
Amparo Babiloni
.
Análisis editorial
La narrativa sobre el peligro de extinción por inteligencia artificial no es un fenómeno reciente, sino el resultado de dos décadas de activismo iniciado en 2005 por el MIRI que ha evolucionado desde círculos académicos hacia una urgencia global. Aunque figuras como Elon Musk y Demis Hassabis han impulsado históricamente la regulación mediante donaciones masivas y manifiestos conjuntos, la tesis central es que existe un riesgo existencial persistente de que una inteligencia artificial superhumana termine con la humanidad si no se construye alineada a los objetivos humanos.
Este movimiento 'doomer' consolidó su visión en 2009 cuando Eliezer Yudkowsky cofundó LessWrong para discutir la amenaza de una singularidad tecnológica, y recibió un impulso decisivo en 2015 con la donación de 10 millones de dólares a becas de investigación por parte de Musk. Ese mismo año, líderes tecnológicos firmaron un manifiesto advirtiendo que los sistemas de IA podrían ser peligrosos para la humanidad, estableciendo el precedente de que "Nuestros sistemas de inteligencia artificial deben hacer lo que nosotros queramos que hagan" antes del despliegue masivo de modelos superiores.
A pesar de estas advertencias históricas, el despliegue masivo de IA sin regulación previa representa un peligro inminente para la supervivencia de la humanidad, una postura respaldada por cuantificaciones probabilísticas significativas como la asignada por Evan Hubinger con una probabilidad del 10% de extinción. La evidencia confirma que la prioridad debe ser mitigar el riesgo de extinción comparándolo con otras crisis existenciales y fomentar la investigación en seguridad mediante financiación dedicada, similar a las acciones concretas tomadas por figuras tecnológicas en el pasado.
La conclusión final es que la narrativa sobre el peligro ha alcanzado su punto máximo tras la publicación de cartas abiertas en 2023 y libros recientes como 'If Anyone Builds It, Everyone Dies' en 2025, los cuales argumentan que una IA sobrehumana podría eliminar a toda la población humana. Ante esta realidad, es imperativo priorizar globalmente la mitigación del riesgo de extinción por IA como una urgencia comparable a otras amenazas globales antes de permitir que la tecnología continúe avanzando sin las salvaguardas necesarias para garantizar su alineación con los intereses humanos.
Contexto y análisis adicional
Digest
Resumen ejecutivo
- Las advertencias sobre riesgos existenciales de la IA no son recientes, sino el resultado de décadas de activismo iniciado en 2005 por el MIRI.
- Líderes tecnológicos como Elon Musk y Demis Hassabis han impulsado históricamente la regulación mediante donaciones masivas y manifiestos conjuntos.
Evidencias
- Eliezer Yudkowsky cofundó LessWrong en 2009 para discutir la amenaza de una singularidad tecnológica.
- En 2015, Elon Musk donó 10 millones de dólares a becas de investigación para garantizar la seguridad de la IA.
- Evan Hubinger cuantifica el riesgo existencial con una probabilidad significativa del 10%.
Acciones
- Priorizar la financiación de investigación en alineación y seguridad antes del despliegue masivo de modelos superiores.
Conclusión final
La narrativa sobre el peligro de extinción por IA se ha consolidado durante dos décadas, evolucionando desde círculos académicos hacia la urgencia global actual.
Riesgos
Riesgos/alertas
- Existe un riesgo existencial persistente de que una inteligencia artificial superhumana termine con la humanidad si no se construye alineada a los objetivos humanos.
- La probabilidad cuantificada de extinción humana por IA es del 10%, considerada significativa y no remota.
- El despliegue masivo de IA sin regulación previa representa un peligro inminente para la supervivencia de la humanidad.
Acciones recomendadas
- Priorizar globalmente la mitigación del riesgo de extinción por IA como una urgencia comparable a otras crisis existenciales.
- Implementar marcos regulatorios estrictos antes del despliegue masivo de sistemas de inteligencia artificial.
- Fomentar la investigación en seguridad y alineación mediante financiación dedicada, similar a las donaciones históricas de figuras tecnológicas.
Señales/evidencias
- El MIRI se enfocó específicamente en los riesgos existenciales de la IA desde el año 2005.
- En 2015, Elon Musk y Demis Hassabis firmaron un manifiesto advirtiendo que la IA podría ser peligrosa para la humanidad.
- Evan Hubinger ha asignado una probabilidad del 10% de que la inteligencia artificial termine con la humanidad.
- El libro 'If Anyone Builds It, Everyone Dies' (2025) argumenta que una IA superhumana podría eliminar a toda la población humana.
Conclusión
La evidencia confirma un consenso histórico y persistente entre expertos e instituciones sobre la necesidad urgente de regular la inteligencia artificial para mitigar riesgos existenciales antes de su despliegue masivo, respaldado por cuantificaciones probabilísticas significativas y acciones concretas de figuras tecnológicas.
Autor · clanes
Votos · compartir
Sentimiento
Entidades (agregadas)
Hover para ver referencias.Detalles avanzados Timeline y mini scoring
Evolución temporal
-
Enviada
hace 2 días · Ingresó como candidata
-
Último estado
hace 2 días · Última actualización registrada
Mini scoring (LScore)
Fuentes
- Fuente principal
-
xataka.com
https://www.xataka.com
Comentarios