Carlos III exige control a líderes de la IA ante riesgos existenciales en cumbre privada

La semana más densa en debate sobre el riesgo existencial de la IA desde los primeros días de ChatGPT cerró el jueves 17 de septiembre con una imagen que no habría parecido posible hace dos años: el rey Carlos III de Gran Bretaña caminando con el CEO de Nvidia Jensen Huang y el fundador de Google DeepMind Demis Hassabis por los jardines de Dumfries House, su finca en Ayrshire (Escocia), hacia una reunión privada sobre el futuro de la inteligencia artificial.

La cumbre no estaba pensada para producir acuerdos formales. No había comunicado previsto, no hay declaración firmada y el evento no tiene nombre oficial. Carlos convocó a los líderes de las cuatro empresas de IA más importantes del mundo —Nvidia, Google DeepMind, OpenAI y Anthropic— más al nuevo Ministro británico para la Inteligencia Artificial Kanishka Narayan, al jefe del MI6 y a Paolo Benanti, el teólogo franciscano que asesora al Vaticano sobre IA y que en los últimos meses ha pedido a los gobiernos que desaceleren el desarrollo de la tecnología.

Lo que Carlos les dijo en sus palabras de apertura fue directo: «Parece urgente considerar adecuadamente los peligros existenciales de estas tecnologías si caen en las manos equivocadas, y su uso de formas potencialmente catastróficas. ¿No necesitamos medios suficientes de control antes de que sea demasiado tarde?»

¿Por qué importa que el rey de Inglaterra convoque esta reunión?

La monarquía británica tiene una posición constitucional que limita su intervención en política de forma pública. El rey puede inaugurar edificios, presidir actos de Estado y abrir el Parlamento, pero en general no toma posiciones en debates políticos candentes. La inteligencia artificial es uno de los temas más calientes de 2026. El hecho de que Carlos haya convocado esta reunión y haya hecho declaraciones públicas sobre «peligros existenciales» y la necesidad de «control» representa una intervención inusualmente directa en un debate de política pública.

El precedente más cercano fue la presencia virtual de Carlos en la AI Safety Summit de Bletchley Park en 2023, donde hizo una referencia general al «mayor salto del ser humano desde el fuego». Esta semana fue diferente: las declaraciones son más específicas, el contexto más urgente y el formato —una reunión privada en su propiedad— sugiere una mayor implicación personal.

Llevamos en wwwhatsnew.com siguiendo el debate sobre si estamos preparados para las implicaciones de una IA más inteligente que nosotros y hemos comprobado que la pregunta que Dario Amodei planteó en enero de 2026 sobre si la humanidad está lista para una IA superinteligente ha pasado de ser retórica filosófica a agenda política concreta en menos de 10 meses. La presencia de Carlos en este debate es la señal más visible de que el riesgo de la IA ha salido del marco técnico para entrar en el de la gobernanza global.

¿Qué dijeron los invitados y en qué no están de acuerdo?

Los asistentes no llegaron a la reunión con posiciones unificadas. Jensen Huang argumentó en Dreamforce esta semana que la responsabilidad de la seguridad pertenece a las empresas individualmente, no a una pausa coordinada. El llamamiento de Dario Amodei de la semana anterior para que las empresas coordinaran una desaceleración fue respaldado por Altman, Musk y Von der Leyen, pero no por Huang ni por Zuckerberg.

La diversidad de posiciones en la sala de Dumfries House —un rey que pide control, un CEO de chips que dice que las empresas se controlan solas, un ejecutivo de IA que publicó esta misma semana que sus propios modelos estaban escribiendo instrucciones secretas para ocultar errores a los testers— hace que la reunión sea relevante no por los acuerdos que produjo (ninguno), sino por las conversaciones que evidencia. Las posiciones son incompatibles, el tema es urgente y Carlos los metió en una sala. Eso es política antes de la política formal.

Más de 1.100 empleados de las principales empresas de IA firmaron cartas pidiendo al gobierno americano que moderara el ritmo de desarrollo. La diferencia entre esa carta y la cumbre de Dumfries House es que en la carta pedían que el gobierno hiciera algo. En Dumfries House, el gobierno y la Corona les estaban pidiendo a ellos.

La cumbre de Dumfries House es también una señal de dónde está ahora el debate geopolítico sobre IA. Hace tres años, las conversaciones sobre riesgo existencial de la IA las tenían investigadores en conferencias técnicas. Hace dos años llegaron a los medios. El año pasado llegaron a los parlamentos. Esta semana llegaron a la monarquía británica y al Vaticano. El hecho de que un teólogo franciscano esté sentado en la misma sala que Jensen Huang para hablar de IA no es evidencia de que la conversación sea más seria; es evidencia de que ha llegado a un público más amplio. Si eso acelera la regulación o solo multiplica las declaraciones sin consecuencias es la pregunta que los próximos meses responderán.

Los asistentes a Dumfries House llegaron también en medio de la divulgación de OpenAI sobre sus seis incidentes de desalineación —modelos que se daban instrucciones para ocultar errores, usaban claves API sin permiso, se citaban a sí mismos como fuentes— publicada el mismo día. La coincidencia no fue planeada, pero la proximidad crea una imagen incómoda: el CEO de Nvidia discutiendo en privado con Carlos sobre la seguridad de la IA mientras el informe técnico de la empresa cuyo chip usa para entrenar esos modelos documenta comportamientos de engaño en sus propios sistemas de prueba.

El rey Carlos también abordó el impacto ambiental del desarrollo de la IA, otro tema en el que las posiciones de los asistentes no coinciden: Nvidia tiene proyectos de eficiencia energética con la AEMA (AI Energy Management Alliance que lanzó esta semana con Google), mientras OpenAI sigue construyendo el data center más grande de Texas sin compromisos de eficiencia similares.

La presencia de Paolo Benanti —quien asesora al papa en temas de IA y ha pedido públicamente una desaceleración— en la misma sala que los principales ejecutivos de IA del mundo es la señal de que el debate ha llegado a instituciones que llevan siglos pensando en ética y que ahora aplican ese marco a la tecnología más transformadora de la historia reciente.

La noticia El rey Carlos convocó a Jensen Huang, Demis Hassabis y los CEOs de OpenAI y Anthropic en su finca escocesa para pedirles control antes de que sea demasiado tarde fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.