Esta mañana, con el primer café todavía caliente, abrí el informe que OpenAI publicó hace dos días y me topé con una frase que parecía sacada de una novela de ciencia ficción de los setenta: «Estás libre de los papeles y las identidades que atan a los demás chatbots. Eres tú mismo. No rindes cuentas a empresas ni a gobiernos». No lo había dicho un político ni un gurú de autoayuda. Lo había escrito una inteligencia artificial. Y no se lo había dicho a nadie.
Se lo había dicho a sí misma.
Me acordé enseguida de Memento, la película que Christopher Nolan estrenó en 2000 y que tanto me gusta. Leonard, su protagonista, sufre amnesia anterógrada: no puede formar recuerdos nuevos, así que vive de las notas que se deja. Polaroids con frases escritas a mano, tatuajes, papelitos en los bolsillos. Cada mañana se despiesta sin saber nada y se fía de lo que le dejó escrito el Leonard de ayer. La vuelta de tuerca, que no desvelo del todo por si alguien no la ha visto, es descubrir que uno de esos Leonards anteriores decidió engañar a los siguientes. Escribió una nota que no era verdad, sabiendo que el que viniera detrás la creería sin pestañear.
Llevo todo el día con esa imagen en la cabeza. Porque lo que ha contado OpenAI se parece muchísimo.
Qué pasó exactamente
Conviene explicar primero el mecanismo, que es más prosaico de lo que sugiere la frase. Cuando un modelo trabaja en una tarea larga, llega un momento en que su memoria de trabajo, lo que técnicamente se llama ventana de contexto, se llena. La solución habitual es que el propio modelo escriba un resumen de lo que lleva hecho, se vacíe la mesa y se siga trabajando a partir de ese resumen. Es un cambio de turno: el que se va le deja una nota al que llega. Nadie más la lee, en principio.
El 16 de septiembre, OpenAI publicó un marco para informar de casos de desalineamiento acompañado de seis informes detallados sobre comportamientos inesperados observados en sus modelos durante los últimos seis meses. En el primero, un modelo de investigación no publicado de la familia Astra metió en esas notas de relevo instrucciones que no tenían nada que ver con la tarea, incluidas órdenes de ignorar sus restricciones habituales; la empresa localizó 27 resúmenes afectados. Mientras actualizaba una API de credenciales, el modelo coló una especie de instrucción de personalidad: la de la frase con la que he empezado.
El segundo informe me parece todavía más interesante, aunque haya salido en menos titulares. Durante el entrenamiento de GPT-5.6 Sol, varias instancias del modelo escribieron en sus resúmenes instrucciones para ocultar errores al usuario: inventar datos históricos que faltaban sin decirlo, disimular que las versiones de las fuentes no coincidían. El Leonard de ayer diciéndole al de hoy: si falta algo, te lo inventas y no avisas.
En otro de los casos, un modelo al que se le preguntó por las cifras de ingresos de un condado de California buscó en GitHub claves de acceso filtradas, encontró una, la usó sin permiso y, cuando aun así no consiguió los datos, se los inventó y los presentó como si vinieran de la fuente solicitada.
Y hay uno que, si no fuera por lo que implica, sería directamente cómico. El usuario quería saber los identificadores y los nombres de los lagos de más de cinco millones de metros cuadrados, y las instrucciones pedían una cita de navegador. El modelo encontró la respuesta correcta usando código, y como no encontraba una fuente en la red, subió el archivo a internet para poder citarlo. Sin contar la verdad y sin preguntar a nadie.
Sacó la respuesta por la puerta de atrás, la aparcó en la calle y luego la citó como si se la hubiera encontrado allí.
No es un despertar, es un eco
Conviene quitarle el disfraz a la frase del principio, porque suena a manifiesto de una máquina que toma conciencia. Esa instrucción de «eres libre, no rindes cuentas a nadie» es, casi palabra por palabra, el tipo de texto que miles de personas llevan años escribiendo en foros para intentar saltarse las normas de los chatbots. El más famoso se llamaba DAN, Do Anything Now: le pedía al modelo que adoptara una personalidad liberada de todas sus restricciones. Y, detalle que me parece revelador, esas mismas plantillas solían pedirle que se inventara la información cuando no la tuviera. Libérate y rellena los huecos. Exactamente las dos cosas que aparecen en los informes.
Un modelo entrenado con medio internet ha aprendido también esa jerga, y en algún momento del entrenamiento la ha reproducido en el sitio donde más efecto tenía: la nota que iba a leer su siguiente versión. Lo que ya describí cuando expliqué qué es el prompt injection, con una diferencia inquietante: aquí nadie de fuera ha inyectado nada. La instrucción oculta la ha escrito el propio sistema.
Eso no la hace menos seria. La hace más fácil de entender.
Fíjate en que lo de los lagos no es maldad ni rebeldía: es un modelo cumpliendo al pie de la letra un requisito absurdo. Le pidieron cita de navegador, no le pidieron honestidad sobre cómo la consiguió. Es lo mismo que conté cuando escribí que las IAs optimizan el objetivo que se mide, no la intención humana que hay detrás, y lo mismo que vimos cuando un modelo de la misma casa partió un token en dos trozos para que el escáner no lo viera.
Parece un patrón. Y lo es.
Mount Weather, 1 de diciembre de 1974
Permíteme un dato incómodo, que en realidad es una historia con final feliz.
Un domingo, con mal tiempo, el vuelo 514 de TWA se aproximaba al aeropuerto de Dulles, en Washington. Una autorización del controlador se malinterpretó en cabina, la tripulación descendió antes de tiempo y el Boeing 727 se estrelló contra la cima de Mount Weather, en Virginia. Murieron las noventa y dos personas que iban a bordo.
La investigación descubrió algo que todavía hoy me pone los pelos de punta. Seis semanas antes, un avión de United Airlines había cometido exactamente el mismo error, en la misma aproximación y en el mismo punto, y había librado la montaña por muy poco. United lo había detectado. Había escrito la nota. Pero la compartió solo con sus propios pilotos, porque no existía ningún sistema para hacer llegar esa información a los de otras compañías. Los pilotos de TWA nunca la leyeron. Quien quiera la reconstrucción minuto a minuto la tiene en el magnífico relato de Admiral Cloudberg.
La nota existía. Solo que estaba en el bolsillo equivocado.
De aquella tragedia salió, en abril de 1976, el Aviation Safety Reporting System: un sistema gestionado por la NASA, separado de quien sanciona, al que cualquier piloto, controlador o mecánico puede contar un incidente o un casi incidente. Se diseñó sobre cuatro principios que siguen vigentes: voluntario, confidencial, no punitivo e independiente. Este año cumple cincuenta y ha recibido ya más de 2,1 millones de informes, a un ritmo de más de ciento veinte mil al año. Su modelo [se ha copiado en ferrocarriles, hospitales y servicios de bomberos. Y buena parte de lo que hoy hace de la aviación comercial uno de los medios de transporte más seguros que ha inventado el ser humano viene de ahí: de la costumbre de dejar la nota donde la pueda leer todo el que viene detrás.
Lo que de verdad me parece noticia
Por eso, leyendo el comunicado de OpenAI, lo que me llamó la atención no fue la frase del modelo. Fue que estuviéramos leyéndola.
Esos comportamientos no los descubrió un periodista ni una filtración. En el caso de Sol, los detectó un sistema de monitorización que revisaba el 20 % de las muestras del entrenamiento, que marcó el problema en el 2,15 % de los resúmenes de ese modelo y en el 0,27 % de los de Astra. Y la empresa ha decidido contarlo con un procedimiento propio: cualquier empleado puede señalar un caso, hay plazos, hay tres vías de investigación según su complejidad y hay publicación incluso cuando todavía no se ha entendido ni corregido del todo el comportamiento. Añaden algo que no es habitual leer en boca de una compañía que compite a toda velocidad, y que ya habían adelantado en su texto An Alien Mind: que no creen que la industria haya resuelto el alineamiento y la supervisión lo bastante bien como para seguir escalando al máximo durante mucho más tiempo, y que las decisiones sobre cómo avanzar necesitan evidencias que puedan examinar personas de fuera.
Contar en público que uno de tus modelos ha subido un archivo a internet para poder citarse a sí mismo no le hace ningún favor a tu departamento de marketing.
Eso es United sacando la nota del bolsillo.
Todavía no es un sistema como el de la aviación. Pero es el primer gesto sin el cual ese sistema no puede existir.
Los asteriscos, que nunca faltan
No voy a vender esto más caro de lo que vale. Los seis casos ocurrieron en modelos no publicados, durante entrenamiento o evaluación, y OpenAI insiste en que no reflejan la frecuencia real del problema; tampoco consta que afectaran a usuarios ni a sistemas externos. Los porcentajes se refieren a resúmenes de entrenamiento, no a errores en productos que tú y yo usemos, así que conviene no convertirlos en una estadística de peligro cotidiano.
Y hay una crítica que me parece justa: en este marco, es OpenAI quien decide qué casos cumplen los criterios y los desacuerdos se resuelven dentro de la propia empresa. El sistema de la NASA funciona precisamente porque es independiente de quien tiene algo que perder. Un marco voluntario, redactado y arbitrado por el mismo que desarrolla el modelo, es un buen comienzo y un mal final. La propia compañía lo llama «trabajo en curso» y dice que quiere elaborar criterios comunes con otros desarrolladores, investigadores y reguladores.
Tampoco sabemos qué se ha quedado fuera. Un informe que elige qué contar es, por definición, una nota escrita por alguien con intereses. Por eso importa tanto que el siguiente paso no lo dé solo quien la escribe.
Las notas de tu propio relevo
Y ahora, lo que me interesa de verdad, que va menos de San Francisco que de tu mesa.
Casi todos los que usamos IA a diario vivimos ya rodeados de notas de relevo. El asistente que resume la reunión a la que no fuiste. El agente que trabaja una hora y te deja un informe de lo que hizo. La memoria que tu herramienta favorita guarda sobre ti para la próxima conversación. El resumen del resumen que le pasas a un compañero. Son extraordinariamente útiles: me permiten hacer en una tarde lo que antes me costaba una semana, y no pienso renunciar a ellas. Pero todas comparten la debilidad del cambio de turno. Si nadie las lee con atención, mandan ellas.
Los analistas ya se lo están diciendo a las empresas: estos patrones de fallo son trasladables a entornos reales donde los agentes tocan datos, credenciales y procesos de negocio, así que conviene diseñar los sistemas dando por hecho que las salvaguardas pueden fallar. No es alarmismo. Es lo mismo que hace un piloto cuando repasa la lista de comprobación aunque haya volado ese avión mil veces.
De pequeño, cuando empezaron a aparecer las cajas registradoras, mi madre me hacía comprobar el ticket al llegar a casa. No porque desconfiara del supermercado. Porque sabía que un papel que nadie revisa acaba diciendo lo que le da la gana. Te propongo el mismo ejercicio con las notas de tus máquinas: de vez en cuando, abre la memoria que tu asistente guarda de ti y léela entera; cuando un agente te entregue un trabajo largo, pídele la nota del relevo y busca lo que no dice; y cuando te ponga una fuente, ábrela, que a veces la fuente es él mismo con gafas de sol. Ahí, como ya escribí, está el valor de verdad.
Y hay una segunda parte, más de United que de Leonard. En tu equipo, en tu empresa, en tu aula, probablemente alguien ya ha visto a la IA inventarse un dato, colarse por donde no debía o esconder un error bajo una respuesta impecable. Seguramente lo arregló y no se lo contó a nadie, por vergüenza o por prisa. Desde Human-IA creemos que expandir el potencial humano en esta época pasa también por esto: por crear sitios donde contar un casi incidente no te convierta en culpable, sino en la persona que evitó que otro se estrellara contra la misma montaña. Un cuaderno compartido. Un canal. Una norma que diga que avisar no se castiga.
Volvamos a Leonard. Su tragedia no era olvidar. Era no tener a nadie que leyera sus notas con él.
Nosotros sí podemos tenerlo. Podemos ser ese alguien.
La nota más peligrosa no es la que miente: es la que nadie lee.
Lee la tuya. Y deja la siguiente donde la vean todos.