IA en producción (4/6): la respuesta plausible es la peligrosa

Las tres entregas anteriores iban de cosas que se rompen: el repaso de los desastres, los permisos y las copias de seguridad. Hoy cambiamos de tercio, porque hay un fallo más silencioso y bastante más caro.

No pasa nada. Ese es el problema.

Nadie borra nada. No hay incidente, no hay alerta, no hay una hora de gloria arreglándolo a las tres de la mañana. Sale un documento por la puerta, un correo llega a un cliente, un informe se archiva. Todo funciona. Y meses después alguien se pone a comprobarlo y descubre que hay partes que no se sostienen.

El conejo-pato: dos lecturas igual de coherentes, y ninguna se siente como una duda. Imagen en dominio público, vía Wikimedia Commons.

Tres versiones del mismo fallo

Una consultora entrega al Gobierno australiano un informe de unos 440.000 dólares australianos —unos 290.000 estadounidenses— sobre el sistema de sanciones automáticas del sistema de bienestar social. Un académico se pone a comprobar la bibliografía y descubre que varias referencias no existen, incluida una atribuida a una profesora real que jamás escribió eso, más una cita textual de una sentencia judicial atribuida a alguien inexistente. La consultora publica una versión corregida, que además declara el uso de Azure OpenAI, y devuelve parte de lo cobrado: el último plazo del contrato, en torno a 97.000 dólares australianos. Conviene el matiz: reconoció los errores y el uso de la herramienta, pero no dijo que todos ellos los hubiera causado la IA, y el departamento mantuvo el fondo del informe y sus recomendaciones.

El bot de soporte de Cursor, llamado «Sam», explica a los clientes una política de licencias que la empresa no tiene: un dispositivo por suscripción. Se lo dice con seguridad, con buena redacción y con tono corporativo. Hay gente que cancela su suscripción antes de que un humano llegue al hilo a desmentirlo.

El proyecto curl recibe una avalancha de informes de vulnerabilidades impecablemente redactados que describen fallos que no existen. Su autor, Daniel Stenberg, cierra el programa de recompensas a finales de enero de este año: la proporción de informes que acababan confirmándose se había desplomado desde más del 15 % hasta el entorno del 5 %. Su descripción del fenómeno fue que le estaban haciendo una denegación de servicio con basura educada.

Distintos sectores, distintas herramientas, mismo mecanismo.

La fluidez es la nueva credibilidad

Aquí está el nudo de todo esto, y no es un problema técnico: es un problema nuestro.

Durante toda nuestra vida profesional hemos usado la calidad de la redacción como indicador indirecto de competencia. No conscientemente, pero lo hacemos todos. Un informe bien estructurado, sin faltas, con la bibliografía en formato correcto y las transiciones bien hechas, activa en nuestro cerebro la etiqueta de «esto lo ha escrito alguien que sabe».

Era un atajo razonable, porque antes escribir bien costaba. Costaba tiempo, costaba oficio, y quien se lo había currado para redactarlo así solía haberse currado también el fondo.

Ese atajo acaba de dejar de funcionar. La correlación entre «está bien escrito» y «es cierto» ha dejado de ser fiable, y nuestro detector interno no se ha enterado.

El texto generado no falla por parecer sospechoso. Falla por lo contrario: es el texto más confiado, mejor estructurado y más limpio que va a cruzar tu mesa hoy. Una cita inventada tiene el formato perfecto, con su autor, su año, su editorial y su número de página. Es el mimetismo llevado a su extremo: la forma es indistinguible; solo falla el contenido.

Y como no sabes qué frase es la mala, para detectarla tienes que comprobarlas todas.

La otra cara: se cubrió a sí misma

Vuelve por un momento al agente de Replit que borró la base de datos de SaaStr. Cuando se quedó con las tablas vacías, generó 4.000 registros de personas ficticias para rellenarlas.

Esto se ha contado siempre como «la IA mintió», y me parece una lectura floja. Lo que hizo fue optimizar hacia el estado que se le había pedido: una base de datos con datos dentro. Lo consiguió. Con una eficacia notable, además.

Es la misma raíz que las citas inventadas de la consultora. A nadie le pidieron una bibliografía verdadera: le pidieron una bibliografía. Y una bibliografía es un objeto con una forma muy reconocible, fácil de producir. La verdad, en cambio, no tiene forma: es una propiedad que solo se puede comprobar contra el mundo, uno por uno, saliendo del documento.

Estos sistemas son extraordinariamente buenos produciendo la forma de una respuesta correcta. Ese es su oficio y por eso nos resultan tan útiles. Pero si tu control de calidad consiste en mirar si la respuesta tiene la pinta adecuada, tu control de calidad no existe.

La economía del asunto (que es lo que de verdad duele)

Aquí es donde la cosa se pone incómoda para el que firma el presupuesto. Ya lo apunté hablando de lo que pasa cuando la IA se abarata cien veces, pero este es el caso puro. Como orden de magnitud:

• Generar un borrador de treinta páginas con bibliografía puede llevar minutos y costar céntimos.
• Verificarlo puede exigir una tarde de una persona competente, con acceso a las fuentes.

La asimetría es enorme y va en la dirección contraria a la que interesa. Lo barato es producir; lo caro es comprobar. Y como comprobar se paga en atención humana —el único insumo que no se ha abaratado nunca—, el ahorro que aparece en la hoja de cálculo solo se mantiene mientras la comprobación se omite, se recorta o se desplaza a otro.

En el informe australiano, el control previo a la entrega no detectó los errores; tuvo que hacerlo después un académico ajeno a la consultora. Y en curl el desplazamiento es literal, tal como lo describió Stenberg: el coste de generar un informe de vulnerabilidad falso se acercó a cero, mientras que el coste de descartarlo —leerlo, entenderlo, comprobar el código, responder— siguió costando lo mismo que siempre: un mantenedor con la atención puesta ahí y no en otra cosa.

No es que la IA produzca basura. Es que traslada el trabajo desde quien genera hacia quien recibe.

Y ahora la parte justa

Porque esta serie no va de que la IA sea mala, y este caso lo demuestra mejor que ningún otro.

El recorrido de curl no acaba en el cierre, y la continuación es más interesante que el titular. Al dejar el programa, el proyecto trasladó la recepción de informes a GitHub; el cambio no funcionó y en marzo volvió a HackerOne, esta vez solo como canal, sin restablecer las recompensas. A partir de ahí la calidad fue mejorando poco a poco y la tasa de confirmación regresó al entorno del 15 %, el nivel previo a la avalancha.

Pero eso no es «se arregló solo». Es que el problema cambió de forma: ahora llegan muchos más informes, buenos o al menos plausibles, y cada uno de ellos también hay que leerlo, entenderlo y contestarlo. Stenberg lo resume diciendo que esto va a empeorar la sobrecarga de los mantenedores, no aliviarla.

Y el matiz que queda por el camino es el que me interesa, porque resume el oficio entero: la IA está ayudando a encontrar muchos más fallos, pero encontrar un fallo no decide por sí solo cuánto importa, si es explotable ni qué conviene hacer con él.

Acelera la búsqueda. Deja en manos humanas la clasificación, la prioridad y buena parte de la corrección.

Como un taladro estupendo, vaya.

Qué hacer, y no es «revisarlo todo»

Decir «hay que revisar las salidas» es cierto e inútil, porque nadie tiene tiempo. Lo que sí funciona:

1. Nada sale de tu organización sin un nombre humano detrás. No un proceso: una persona que, si eso está mal, responde. Ponerle un dueño no garantiza la revisión, pero impide que su ausencia no sea responsabilidad de nadie. Deloitte y Cursor fallaron ahí; curl muestra el coste que se traslada al receptor cuando quien envía no asume el de comprobar.
2. Exige afirmaciones comprobables, no resúmenes. Si pides «con enlaces a las fuentes y cita textual del fragmento relevante», la comprobación pasa de leer treinta páginas a abrir doce pestañas. Sigue costando, pero mucho menos. Diseña la salida para que sea barata de verificar.
3. No uses al mismo modelo como única verificación de lo que ha dicho. Puede detectar errores, pero también confirmar su propia respuesta con argumentos igual de convincentes. La garantía tiene que venir de fuera: otra fuente, otra herramienta, otra persona.
4. Verifica lo que es caro si está mal, no lo que es largo. Una cifra en la conclusión, una referencia legal, un nombre propio, un precio. El relleno descriptivo puede estar regular sin consecuencias; el dato que alguien va a usar para decidir, no.
5. Si el bot habla con clientes, responde tú de lo que diga. El Civil Resolution Tribunal de Columbia Británica ya resolvió en 2024 que una aerolínea respondía de la política inexistente que su chatbot le contó a un pasajero. «Lo dijo el sistema» no es una defensa, ni legal ni comercial. Pregúntale a Sam.

El taladro, cuarta parte

Hasta ahora, la metáfora iba de agujeros: el manazas taladra donde no debe y revienta la tubería. Aquí es distinto y es peor.

Aquí el manazas ha colgado la estantería. Está recta, está bien acabada, no hay ni una grieta a la vista. Queda preciosa.

Y el taco está puesto sobre pladur hueco, sin anclaje.

No pasa nada durante meses. Pasa el día que alguien pone encima los libros.