La IA me da miedo, y el horizonte se ha quedado en «mañana»

Ayer, a las 2:04 de la madrugada hora de aquí, un tipo de veintisiete años publicó seis tuits y se fue a dormir.

«Hoy he dimitido de Anthropic. He pasado los últimos tres años haciendo investigación de preentrenamiento en OpenAI y en Anthropic. Ninguna de las dos empresas está actuando de forma responsable. Están corriendo directas hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas. Más abajo, más ideas.»

Cuando hice la captura, ese primer mensaje llevaba 709.900 me gusta y 16.400 respuestas.

Y no, no es lo que más miedo me da de toda esta historia. Lo que más miedo me da vino después, y lo escribió alguien que no ha dimitido.

Qué pasó exactamente

Vamos con los hechos antes que con las sensaciones, que es el orden que intento respetar aquí.

Ese desfase de horas es la primera nota a pie de página del asunto: media prensa lo fecha el 8 y la otra media el 9, y las dos tienen razón. Yo lo leí el miércoles por la mañana desayunando.

El resto del hilo, resumido y sin adornos:

• Sobre la potencia: «pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales».
• Sobre lo que se piensa dentro: «la gente que construye IA cree sinceramente que podría matarnos a todos antes de que acabe la década. Esto no es una campaña de marketing».
• Sobre la diferencia entre las dos casas: en OpenAI le pareció que no se había asimilado del todo lo que hay en juego; en Anthropic sí se ha asimilado, pero están «atrapados en una carrera por llegar antes».
• Sobre el remate: «ninguna otra actividad humana tiene este nivel de peligro».

Después, al Wall Street Journal y a Time, añadió la frase que a mí me parece la más útil de todas porque es la única que no habla del futuro:

«Una, es evidente que las cosas se están acelerando. Y dos, no están bajo control.»

Ni Anthropic ni OpenAI dijeron nada oficialmente.

La respuesta que da más miedo que la dimisión

Que alguien dimita dando un portazo es, en el fondo, la opinión de una persona. Discutible, interpretable, y con el sesgo evidente de quien ya no cobra ahí.

Lo otro es de otra categoría. Evan Hubinger, que dirige el equipo de Alignment Science de Anthropic —el área que investiga cómo mantener alineados sistemas cada vez más capaces— le contestó en público, desde dentro, sin dimitir y sin matizar:

«Jacob tiene razón: de verdad creemos sinceramente que la IA podría matar a todos los humanos. Yo personalmente creo que es un >10 % en la próxima década. Creo que Anthropic lo está intentando lo mejor que puede, pero todavía no tenemos un plan para resolver el alineamiento de una superinteligencia, y no está claro que vayamos camino de tenerlo.»

Léelo otra vez despacio. No es un activista. No es un periodista. No es un exempleado resentido. Es el responsable de ese equipo, en su cuenta, con nombre y apellidos, diciendo que no hay plan.

Y lo que sigue haciendo es ir a trabajar mañana. Eso también forma parte del dato.

«Bueno, son los de Anthropic»

Todo lo anterior se puede despachar diciendo que Anthropic es la casa que se dedica precisamente a esto, que su gente está profesionalmente inclinada al catastrofismo y que sus competidores no parecen tan preocupados.

Pues no. Tres días antes, el 6 de septiembre, el científico jefe de OpenAI, Jakub Pachocki, publicó un ensayo titulado An Alien Mind. Ni exempleado, ni equipo de seguridad, ni portazo: es quien dirige la investigación de la casa. Cuatro cosas que dice ahí:

• Que en el verano de 2023, viendo los primeros resultados de su modelo de razonamiento, entendieron que «veremos máquinas apreciablemente más inteligentes que nosotros mismos mientras vivamos».
• Que su capacidad de vigilar el razonamiento interno de los modelos «va disminuyendo progresivamente».
• Que este ritmo de progreso podría sostenerse «hasta la automejora recursiva».
• Que hacen falta desaceleraciones voluntarias, listones de seguridad exigibles desde fuera y coordinación internacional como prioridad.

Así que la foto no es la de un disidente contra dos empresas. Es el científico jefe de una, quien dirige el equipo de alineamiento de la otra y alguien que acaba de trabajar en las dos, diciendo variantes de lo mismo en la misma semana.

Esto ya había pasado, y esa es justamente la parte mala

Si te suena, es porque te suena.

Dos años después, la carta del derecho a avisar sigue siendo una carta y el hilo de Coxon dice lo mismo con dos años más de capacidades encima.

Y aquí toca poner el contrapeso, porque si no esto es un panfleto y no un artículo.

La periodista Taylor Lorenz despachó el hilo como «sanctimonious doomer posting», que traducido con cariño viene a ser «apocalipticismo de púlpito». No le falta munición: los que avisan de que esto puede acabar con nosotros son, en muchos casos, los mismos que venden que esto es tan potente que puede acabar con nosotros. El miedo, dicho por un fabricante, es una ficha técnica. Un «esto podría matarte» en boca del que te lo vende también es una forma de decirte lo bueno que es.

Coxon respondió a eso señalando que los propios consejeros delegados —Altman, Amodei— firmaron en 2023 aquel comunicado que ponía el riesgo de extinción por IA al nivel de las pandemias y la guerra nuclear. Y es un buen argumento, pero no cierra el debate: que lo firmara el consejero delegado no es una prueba de que sea verdad, es una prueba de que lo dice. Cuando el aviso y el anuncio de producto los emite la misma oficina de comunicación, hay que leer los dos con la misma pinza.

Lo honesto, creo, es sostener las dos cosas a la vez: puede ser marketing y ser cierto. No son excluyentes. Y esa incomodidad no se resuelve eligiendo la mitad que más te guste.

La misma semana, el mejor ejemplo de las dos cosas a la vez

No hace falta irse muy lejos para ver ese doble filo. Esta misma semana, con el hilo de Coxon todavía caliente, OpenAI anunció que un modelo interno había producido una demostración sobre las ecuaciones de Navier-Stokes, uno de los problemas del milenio del Instituto Clay: diez mil agentes, ochenta y ocho horas.

Es, si se confirma, una noticia enorme.

Y viene acompañada de una pelea por la autoría: el matemático Tristan Buckmaster (Universidad de Nueva York) sostiene que él y Levent Alpöge —que, para completar el cuadro, trabaja en Anthropic— ya iban por ahí, que se lo comunicaron a OpenAI y que su trabajo no aparece acreditado como debería. Es su versión de los hechos: a día de hoy no hay ni verificación independiente de la demostración ni disputa resuelta.

Ahí está el resumen del año entero en un solo titular. Va rapidísimo de verdad, y el anuncio de que va rapidísimo es, a la vez, un producto. Las dos.

Y antes de seguir conviene decir en voz alta lo que nada de esto demuestra. No demuestra que vaya a existir una superinteligencia. No demuestra que un modelo de hoy tenga voluntad propia. Y desde luego no demuestra que ese 10 % sea una probabilidad calculada. Lo que demuestra es algo bastante más modesto, y bastante más incómodo: quienes trabajan más cerca del problema no consideran absurdo el escenario.

Ahora la parte mía, que es de lo que va esto en realidad

Yo a ChatGPT llegué tarde y de oídas.

Me hablaron de él antes de probarlo. «Tienes que verlo, es una locura.» Y yo, que llevo la vida entera en esto, tardé bastante más de lo que me gustaría reconocer en sentarme a cacharrear con él en serio. Uno se cura de espantos: han pasado por delante suficientes revoluciones definitivas como para no salir corriendo con cada una.

Cuando por fin me puse, aluciné. Sin adornos. Aluciné como no alucinaba desde la primera vez que vi cargar una página que yo había escrito.

Y desde entonces me está pasando una cosa que no me había pasado nunca con ninguna otra tecnología, y que es la razón por la que hoy escribo esto en vez de seguir con lo mío.

Se me ha ido encogiendo el horizonte.

Y lo digo literalmente, sin florituras: hay semanas en las que salgo el viernes con una idea del estado del arte y el lunes ya no vale.

Eso ya no es solo una sensación. Medirlo no sé medirlo —y dentro de un rato me voy a poner pesado justamente con esa diferencia—, pero observarlo lo observo cada semana. Y creo que ahí está el dato.

Por qué el horizonte que se encoge es el dato, y no el susto

Aquí es donde puedo aportar algo, porque esto sí es de mi oficio.

Un lazo de control —un termostato, un regulador, cualquier sistema que corrija— funciona siempre igual: medir, decidir, actuar, y vuelta a empezar. Y hay una regla intuitiva que aquí importa mucho:

Si corriges mucho más despacio de lo que cambia aquello que intentas controlar, cada decisión llega sobre una realidad que ya no existe.

Si la perturbación va más rápida que tu ciclo, no estás controlando: estás persiguiendo. Corriges lo que pasaba hace dos vueltas, llegas tarde, te pasas, corriges al revés, te vuelves a pasar.

Y lo digo como analogía, no como teorema, que si no viene un ingeniero de control y me corrige con razón: la estabilidad de un sistema con retardo depende de la dinámica, de la ganancia y de la fase, y un lazo lento no se vuelve inestable solo por ser lento. Lo que sí empeora cuanto más tarde llegas es la pertinencia de lo que decides.

Ahora pon los números encima de la mesa, que es lo que casi nunca se hace en estas conversaciones:

Y ojo con esa primera fila, porque no es una cifra congelada. Este mismo verano el «ómnibus digital» europeo —en vigor desde el 27 de julio de 2026, seis días antes de que venciera el plazo original— aplazó las obligaciones de alto riesgo de agosto de 2026 a diciembre de 2027, y hasta agosto de 2028 las de la IA embebida en productos ya regulados. La propia Comisión habla ya de despliegue completo en 2028.

Y ahí está lo peor, mirado con el lazo en la cabeza: no es solo que el ciclo de corrección sea lento. Es que se está alargando mientras la perturbación se acelera.

No hace falta creerse nada sobre superinteligencias para ver el problema. Es una cuestión de plazos, no de opiniones. Puedes pensar que Coxon exagera y el diagnóstico se sostiene igual: medimos y decidimos más despacio de lo que cambia la cosa que medimos.

Y la segunda parte, que es la que a mí me quita el sueño de verdad.

Un 10 % no pasaría una revisión de arquitectura en mi despacho

Vamos a coger ese «>10 % en la próxima década» y tratarlo como trato cualquier otro número de riesgo que me llega en un correo.

• Un SLA de tres nueves admite 8 horas y 45 minutos de caída al año. Y ya nos parece mucho, y por eso hay quien paga por el cuarto nueve.
• En ingeniería estructural se trabaja con probabilidades objetivo de fallo varios órdenes de magnitud por debajo del 10 %, según el tipo de estructura y las consecuencias que tendría venirse abajo. Nadie firma un cálculo con un 10 %.
• Ningún cliente mío aceptaría jamás una migración con un 10 % de probabilidad de perder los datos. Ninguno. Y eso que ahí lo peor que puede pasar es que se pierda una tienda.

Pero hay una diferencia que hace que la comparación se quede corta, y es la que de verdad importa:

Todo mi oficio está construido sobre la idea de que se puede volver atrás.

Copias de seguridad, git revert, despliegue anterior, instantánea previa a tocar nada, ventana de mantenimiento a las tres de la mañana por si acaso. Lo escribí hace poco a propósito de las copias que están dentro de la explosión: mi trabajo no consiste en no equivocarme, consiste en poder deshacerlo. La reversibilidad es la red. Es lo único que nos permite trabajar rápido sin ser unos temerarios.

Y lo que caracteriza a un riesgo existencial es precisamente que no hay una segunda oportunidad. No hay restauración. No hay entorno de pruebas. No hay «lo tiramos y volvemos a la versión de ayer».

Es el único escenario de mi vida profesional en el que la red no existe, y es justo aquel en el que quien dirige un equipo de alineamiento pone un 10 % por escrito.

Un apunte de honestidad sobre ese número, porque tampoco vale endiosarlo: ese 10 % no es una frecuencia medida. No hay una serie histórica de extinciones con la que calcular nada. Es lo que el economista Frank Knight distinguió en 1921 como incertidumbre frente a riesgo: el riesgo se calcula, la incertidumbre se estima. Un «>10 %» es una creencia con formato de número, y ponerle un porcentaje le da un aire de báscula que no tiene.

Ahora bien. Que sea una estimación y no una medida no la vuelve inofensiva. Cuando quien hace esa estimación se dedica precisamente a construir y a estudiar esos sistemas, no puedo despacharla como la opinión de alguien que mira desde fuera. Y que casi todo lo que hay encima de la mesa sean estimaciones de gente de dentro es justamente el problema, no el consuelo.

Lo que no voy a hacer es fingir que estoy fuera de esto

Hace tres horas se ha publicado aquí la quinta entrega de «IA en producción», sobre una red social generada entera por IA que dejó expuesto un millón y medio de credenciales. La programé hace semanas. No me he dado cuenta de la coincidencia hasta esta noche.

Y esa es exactamente mi posición: uso IA todos los días, en cosas que están en producción y por las que respondo. Llevo una serie entera —seis entregas, la última todavía por salir— sobre lo que se rompe cuando esto toca sistemas reales, y no la escribí desde la barrera: la escribí porque yo mismo me he comido varias de esas piedras.

Así que no puedo publicar un artículo asustado a las nueve de la noche y hacer como que el problema lo tienen otros. Soy parte del volumen. Cada vez que le pido algo a un modelo estoy votando con la cartera por que la carrera siga.

Lo que sí puedo hacer es no mentirme sobre el tamaño de lo que hago. Y decirlo aquí, que es donde escribo.

Lo poco y concreto que sí está en mi mano

No voy a terminar esto con un llamamiento a parar la IA, porque sería ridículo: no puedo parar una carrera entre dos empresas de San Francisco desde un despacho en Donostia. Pero hay cosas de tamaño real, y son las de siempre:

1. No delegar decisiones que no puedo verificar. Es la tesis entera de la respuesta plausible: lo peligroso no es que el modelo se equivoque, es que se equivoque de forma verosímil, y que la verosimilitud es justo lo que optimiza.
2. Defender la marcha atrás donde todavía existe. Copias, registros, la posibilidad de apagar algo y que el negocio siga. La reversibilidad es la única defensa que escala hacia abajo, hasta una pyme.
3. Mirar el valor por defecto, no la opción del menú. Ya me puse pesado con esto en agosto y lo sigo pensando: quien decide lo que viene puesto de fábrica decide por casi todo el mundo.
4. Leer los avisos y los anuncios con la misma pinza. Sobre todo cuando salen del mismo edificio.

Nada de esto salva a nadie de una superinteligencia. Todo esto sirve para que, mientras tanto, lo que administro yo aguante.

En agosto escribí que la IA que me daba miedo no era la de las películas, sino la que decide qué vídeo te pone después. Lo sigo pensando: esa ya está instalada, ya está funcionando y no necesita ser superinteligente para hacer daño.

Lo que ha cambiado en menos de un mes es que ahora hay otra detrás, y esa no elige vídeos.

De las dos frases de Coxon, la que me quita el sueño no es «podría matarnos a todos». Esa es una predicción, y las predicciones se discuten. La que me quita el sueño es la otra:

Las cosas se están acelerando y no están bajo control.

Porque eso no es una predicción. Es una observación. Y coincide exactamente con lo único que yo puedo comprobar desde aquí sin ser experto en nada de esto: que la pregunta se me ha ido encogiendo de diez años a un año, y de un año a mañana.

Cuando digo «mañana» no estoy exagerando para que la frase suene mejor.

Estoy describiendo el tamaño del horizonte.

El hilo de Jacob Coxon está en su cuenta de X y la respuesta de Evan Hubinger, en la suya; las cifras de interacción son las de la captura que hice el 9 de septiembre. Los datos biográficos, las declaraciones al Wall Street Journal y la reacción de Taylor Lorenz proceden de Time, TechCrunch y Newsweek; en español lo contó eldiario.es. El ensayo de Jakub Pachocki es An Alien Mind, publicado por OpenAI el 6 de septiembre de 2026. Las fechas del aplazamiento europeo son las del Reglamento (UE) 2026/1744, el «ómnibus digital» de IA, tal y como lo resumen Gibson Dunn y DLA Piper. Lo de Navier-Stokes, con la disputa de autoría incluida, en Science y MIT Technology Review. Las dimisiones de 2024 y la carta del «derecho a avisar», en Time y en la ficha de Daniel Kokotajlo en Wikipedia. Las traducciones de las citas son mías.