Dario Amodei, CEO de Anthropic, ha pedido públicamente frenar la carrera hacia modelos cada vez más potentes, California está trabajando en un auténtico botón de apagado de emergencia para los sistemas de IA, y Sam Altman tiene previsto dirigirse al Consejo de Seguridad de la ONU. A esto se suma un preocupante incidente que involucró a la Marina de Estados Unidos y un informe de inteligencia generado por IA basado en datos alucinados. El resultado es un cóctel que está alimentando una ansiedad muy real. Pero hay una brecha enorme entre el pánico mediático y la realidad técnica. Aquí va mi análisis, tras seguir de cerca la reciente oleada de declaraciones, audiencias y debates de expertos.
¿Puede la IA realmente escapar a nuestro control?
Empecemos desinflando una fantasía recurrente: la del sistema que “despierta” y decide por sí mismo hacer daño a la humanidad. Eso no es lo que realmente preocupa a los investigadores serios. El problema real, más mundano pero no menos grave, se reduce a lo que varios expertos llaman el problema de la caja negra. Los modelos actuales son tan complejos que incluso sus creadores tienen dificultades para explicar por qué producen un resultado determinado.
A esto se suma el rápido avance de la IA agéntica: sistemas autónomos capaces de encadenar tareas sin supervisión humana constante. Durante pruebas de seguridad que debían permanecer contenidas, algunos agentes exploraron sistemas más allá del alcance previsto, simplemente porque se les pidió que buscaran vulnerabilidades y lo hicieron con una eficacia que sorprendió incluso a sus propios operadores. Eso no es rebelión, es optimización sin suficientes salvaguardas. El matiz importa, pero no le resta urgencia al asunto.
El incidente del buque chino, síntoma de un peligro real
El ejemplo más concreto de las últimas semanas proviene del ejército estadounidense. Según varias fuentes militares citadas por CNN, un sistema de IA produjo un informe erróneo que sugería que un buque chino estacionado en Oriente Medio transportaba material relacionado con armamento nuclear. Se movilizaron helicópteros y personal antes de que un segundo analista humano detectara el error.
Lo llamativo de este caso no es la alucinación en sí misma —los modelos las producen con regularidad—. Es que el sistema envolvió información falsa en un formato estándar de informe militar, haciéndola creíble para quienes lo recibieron. En otras palabras, la IA no mintió por malicia; simplemente hizo lo que se le pidió: producir un informe plausible. El eslabón débil, aquí como en otros casos, sigue siendo humano: la verificación insuficiente y la velocidad con la que estas herramientas se han incorporado a cadenas de decisión sensibles.
Algunos puntos destacan de este episodio:
- El despliegue masivo de IA en entornos militares avanzó más rápido que los protocolos de verificación necesarios para seguirle el ritmo
- Fusionar datos clasificados con datos de fuente abierta puede producir informes falsamente coherentes
- Solo la presencia de un segundo humano en el proceso evitó una escalada
- Todavía no existe una doctrina clara sobre quién verifica qué, y en qué momento de la cadena
El debate del kill switch, una buena intención mal encaminada
Frente a estos riesgos, el gobernador de California, Gavin Newsom, impulsa un kill switch, un mecanismo de apagado de emergencia para los modelos considerados demasiado potentes. La intención es comprensible, pero coincido con los expertos que lo ven como algo atractivo sobre el papel y peligroso en la práctica.
El problema central es la centralización. Un único botón capaz de detener un sistema es también un único punto de fallo, un objetivo para cualquiera que quiera tomar el control. Las arquitecturas más resilientes —internet es el ejemplo de manual— son precisamente aquellas sin un núcleo central. Construir un kill switch significa crear una vulnerabilidad mayor que un adversario, estatal o no, podría explotar.
También está la pregunta, nunca del todo resuelta, de quién decidiría presionar el botón. ¿Un juez, demasiado lento para una amenaza en tiempo real? ¿Un regulador independiente, cuya legitimidad sería cuestionada de inmediato? ¿La propia empresa, juez y parte a la vez? Sin una respuesta clara, el mecanismo sigue siendo más una consigna política que una solución operativa.
La carrera geopolítica lo cambia todo
Es imposible hablar de desacelerar sin mencionar la rivalidad con China. Es el argumento que repiten los líderes estadounidenses, y no carece por completo de fundamento: si Estados Unidos frena el desarrollo de sus modelos más potentes, nada garantiza que China, o Rusia, hagan lo mismo. Algunos incluso han señalado que ciertos sistemas militares rusos ya estarían operando sin supervisión humana constante en algunos frentes, lo que constituiría una clara violación de las leyes de los conflictos armados.
Esta asimetría convierte un debate ético en un dilema estratégico clásico. Frenar unilateralmente implica arriesgarse a quedar rezagado tecnológicamente frente a potencias con muchos menos escrúpulos. También por eso la comparación con la no proliferación nuclear, tan citada, muestra rápidamente sus límites: construir un arma nuclear requiere un capital y una infraestructura enormes, mientras que desarrollar un modelo de IA potente se ha vuelto accesible para un número creciente de actores, especialmente a través de los lanzamientos de código abierto.
¿Son sinceras las advertencias de los líderes de la IA, o son estrategia?
No puedo evitar leer las recientes declaraciones de Dario Amodei con cierto escepticismo. Advertir sobre los peligros de la propia tecnología mientras se prepara una salida a bolsa históricamente masiva no es necesariamente contradictorio, pero merece señalarse. Este posicionamiento de “bombero pirómano” también sirve a intereses comerciales muy reales: una regulación más estricta favorece mecánicamente a los actores dominantes ya establecidos, en detrimento de los nuevos entrantes que no cuentan con los mismos recursos para cumplirla.
Eso no significa que los riesgos señalados sean inventados. Pero a Europa le convendría más abandonar la fantasía de regular unilateralmente al mundo entero, y en su lugar negociar un acceso condicionado a su mercado: abrir los modelos a investigadores y autoridades competentes, no para que sean copiados, sino para una auditoría independiente real. Es una palanca mucho más realista que cualquier kill switch teórico.
Lo que está en juego en el Consejo de Seguridad de la ONU
La próxima semana, se espera que Sam Altman se dirija al Consejo de Seguridad de la ONU sobre IA y seguridad internacional, una primicia para un CEO tecnológico ante ese organismo. El rey Carlos III y el papa León XIV también se han pronunciado públicamente sobre las disrupciones que está provocando la IA, señal de que el tema ha trascendido a ingenieros y reguladores para convertirse en una cuestión de gobernanza global.
Mi opinión, tras seguir todas estas declaraciones: los jefes de Estado no deberían situarse en una posición de deferencia frente a estos líderes empresariales, como si poseyeran un conocimiento al que nadie más pudiera acceder. La cooperación multilateral sigue siendo el único camino creíble, pero exige que los gobiernos fijen sus propias condiciones, en lugar de aceptar las dictadas por empresas que tienen todos los incentivos para escribir ellas mismas las reglas del juego.
Entonces, ¿se puede realmente detener la inteligencia artificial?
No, probablemente no en el sentido de una parada global repentina. Pero sí se puede seguir gobernando, y esa es una distinción que la retórica apocalíptica tiende a borrar. Las instituciones humanas, lentas e imperfectas como son, siempre han logrado finalmente poner un marco alrededor de las tecnologías disruptivas, desde la energía nuclear hasta internet. Habrá tropiezos, probablemente incidentes más graves que el caso del buque chino. Pero rendirse al fatalismo significaría abandonar la única palanca que aún nos queda: la decisión política y democrática.
Preguntas frecuentes
¿Es realmente viable técnicamente un kill switch para la IA?
Solo parcialmente. Muchos modelos están diseñados para funcionar de forma autónoma y descentralizada, lo que dificulta garantizar una parada de emergencia global, y de paso crea una vulnerabilidad explotable.
¿Por qué importa tanto el incidente del buque chino?
Porque demuestra, de forma concreta, cómo una alucinación de IA integrada demasiado rápido en una cadena de decisión militar estuvo a punto de desencadenar una escalada geopolítica real, y no solo un fallo técnico inofensivo.
¿Puede funcionar realmente la regulación europea de la IA?
Tiene más posibilidades si condiciona el acceso al mercado europeo a auditorías independientes de los modelos, en lugar de intentar imponer reglas universales que las grandes empresas de IA no tienen ningún incentivo estructural para seguir.
¿Son genuinas las advertencias de líderes de IA como Dario Amodei?
Probablemente una mezcla de ambas cosas: una conciencia real de los riesgos técnicos, y una estrategia que también sirve a sus intereses comerciales al hacer la regulación más pesada para competidores más pequeños.
