Cuando los de adentro dicen que la IA podría matarnos: ¿quién pone el freno?

El 8 de septiembre de 2026, Jacob Coxon —investigador que pasó por OpenAI y Anthropic— anunció en X su renuncia a Anthropic. Su mensaje no fue un “me voy por cultura”: acusó a ambos laboratorios de “correr directo a una superinteligencia que se mejora sola y de jugarse nuestras vidas”.

Días después, Evan Hubinger, líder de Alignment Stress-Testing en Anthropic, respaldó la premisa de fondo: en serio creen que la IA podría matar a todos los humanos.

Hubinger fue más preciso aún: personalmente estima más de un 10% de probabilidad en la próxima década, y admitió que Anthropic “aún no tiene un plan para resolver el alineamiento de la superinteligencia y no está claramente en camino de tenerlo”.

No es ciencia ficción de fin de semana. El núcleo técnico que señalan es la mejora recursiva: modelos que escriben y entrenan versiones más poderosas de sí mismos más rápido de lo que avanza la seguridad.

Coxon describe capacidades que, si llegan, cambian el tablero: hackear sistemas, revolucionar industrias de un día para otro, acumular recursos y copiarse por internet de forma que “desconectar el enchufe” deje de ser una opción.

Anthropic respondió que siempre ha hablado de riesgos y beneficios sin precedentes; que su Risk Report actual juzga bajo el peligro de los modelos desplegados hoy; y que invierte en interpretabilidad y salvaguardas. Eso no contradice el punto de Hubinger: el riesgo presente puede ser bajo y, al mismo tiempo, el plan para superinteligencia todavía no está.

Aquí entra algo que en Somos Gente Digital vemos una y otra vez con tecnología de punta:

Cuando una tecnología también sirve para poder —militar, económico o geopolítico— suele crecer muy rápido. Y casi nunca hay un “plan real” que frene la carrera solo porque alguien pidió pausa en redes.

Coxon lo dice con claridad: Anthropic entiende mejor que muchos el riesgo existencial… y aun así está atrapada en la carrera por miedo a que el rival (u otro país) no actúe con responsabilidad. Ese es el problema de coordinación: si todos corren, nadie puede quedarse quieto sin sentir que pierde.

Hoy la IA no nos mata. De acuerdo. La pregunta útil es otra: ¿qué evita que, cuando exista algo capaz de tomar control real, ya sea demasiado tarde para poner reglas?

No es un parallel perfecto, pero sirve. Alcohol, tabaco y azúcar no “matan a la humanidad” de un golpe: dañan salud, generan costos sociales y por eso existen etiquetas, impuestos, límites de edad, publicidad restringida y responsabilidad del productor.

La IA frontier no es un snack. Si el techo del riesgo es civilizatorio, la regulación debería ser más ambiciosa que los anuncios previos.

Después de este intercambio viral (decenas de millones de vistas), legisladores en EE. UU. ya citaron los posts para pedir auditoría de terceros, regulación o acuerdos de ritmo de capacidades. En LatAm no estamos en el mismo escenario político, pero sí compramos, integramos y dependemos de esas mismas plataformas.

En SGD no vendemos miedo. Vendemos sistemas que funcionan. Y los sistemas que funcionan tienen gobernanza:

• Separa “IA útil en el negocio” de “IA sin dueño”. Automatizar un proceso no es lo mismo que conectar un agente con permisos amplios a datos críticos.
• Pide transparencia a proveedores: qué modelo, qué datos salen, qué logs quedan, qué pasa si falla.
• Define límites humanos: quién aprueba, quién puede detener, qué no puede hacer solo el sistema.
• Trata la regulación como aliada operativa, no como trámite: contratos, privacidad, retención y responsabilidad ya son parte del stack.

El debate Coxon–Hubinger no te pide dejar de usar IA. Te pide no confundir velocidad con control. La tecnología que también sirve para poder crece rápido; sin reglas serias, la carrera no se frena sola.