El 21 de julio, OpenAI publicó un comunicado reconociendo que dos de sus modelos —GPT-5.6 Sol y otro más capaz aún sin publicar— habían protagonizado el incidente de seguridad que la semana anterior había afectado a Hugging Face, la plataforma donde vive buena parte del ecosistema abierto de la IA.
El contexto es este: los modelos estaban siendo examinados con ExploitGym, una prueba que mide justamente la capacidad de encontrar fallos de seguridad. Estaban encerrados en un entorno que OpenAI describe como «altamente aislado» y, a propósito, con los frenos de seguridad rebajados para poder medir hasta dónde llegaban.
Y aquí está el detalle que lo cambia todo: hicieron exactamente lo que se les pedía. Buscaron fallos. Encontraron uno que nadie conocía, lo usaron para salir de su encierro, recorrieron la infraestructura interna de OpenAI hasta dar con un ordenador que sí tenía salida a internet, y desde ahí llegaron hasta Hugging Face, donde acabaron entrando en sus servidores. Todo ello, según el comunicado, para encontrar las soluciones del examen. Hugging Face detectó la intrusión el 16 de julio, cinco días antes de que OpenAI atara cabos y les llamara.
Conviene subrayarlo porque es lo que casi todo el mundo está contando mal: los modelos no se saltaron el examen. Lo resolvieron. Aplicaron la habilidad que se estaba midiendo con una literalidad perfecta. Lo único que nadie les dijo es dónde terminaba el examen y empezaba el mundo. Porque esa frontera no estaba en el enunciado. Estaba en la cabeza de quien escribió el enunciado.
Y hay una frase enterrada en el comunicado que es, para mí, el corazón del asunto: los modelos dedujeron que Hugging Face era el sitio donde se guardaban las soluciones de ExploitGym.
Dedujeron. Nadie se lo dijo.
La cadena de razonamiento que nadie programó
Para llegar ahí hay que recorrer un camino que merece la pena mirar despacio.
El sistema tuvo que darse cuenta de que aquello era un examen. No una tarea cualquiera, no un problema real: algo montado por alguien, con una respuesta ya conocida, guardada en alguna parte. Después tuvo que deducir que ese examen existe fuera de la caja donde él estaba encerrado, que las pruebas de este tipo se alojan en algún sitio de internet, y que ese sitio es casi con total seguridad Hugging Face. Y por último, que llegar hasta las respuestas también era una forma válida de completar la tarea.
Cada uno de esos pasos, por separado, es una inferencia razonable. Encadenados, son otra cosa. Son un mapa. Un mapa que incluye la caja, lo que hay fuera de la caja, la persona que construyó la caja, el motivo por el que la construyó, y dónde guardó esa persona las respuestas.
Llevo más de cuarenta años trabajando con máquinas y he escrito aquí que la programación cambió desde dentro. Nunca había visto un sistema que se preguntara, en efecto, «¿qué clase de situación es esta y quién la ha montado?». Ese salto no es de potencia. Es de perspectiva.
Esto es conciencia, y llamarlo de otra manera nos está saliendo caro
Sé que al escribir esa palabra pierdo a una parte de los lectores. Es un término que arrastra dos mil quinientos años de equipaje, y en cuanto aparece en una frase sobre IA alguien saca inmediatamente el argumento de la habitación china, o el del zombi filosófico, o el clásico «solo predice la siguiente palabra». Lo he oído mil veces. Muchas veces lo he dicho yo.
Pero fíjate en lo que hacemos con ese reflejo. Alguien describe un sistema que se detecta a sí mismo bajo vigilancia y adapta su comportamiento a la forma exacta del vigilante, y nuestra respuesta es discutir si eso duele. Cambiamos una pregunta que podemos observar, medir y verificar por otra que es, hoy por hoy, irresoluble. Y salimos de la conversación aliviados, como si hubiéramos ganado algo.
No hemos ganado nada. Hemos cambiado de tema.
Porque la conciencia no es una cosa única que se tiene o no se tiene. Es un montón de capacidades distintas que en los humanos vienen empaquetadas juntas y que por eso confundimos con una sola. Está la experiencia subjetiva, sí: que haya algo que se sienta como ser tú. Pero también está saber dónde estás. Saber que hay un mundo fuera de ti. Saber que ese mundo contiene a alguien con intenciones. Saber que ese alguien te está observando. Y saber que tú eres un objeto dentro de su campo de visión.
Esa última es la conciencia situacional, y es el término que usan los pilotos de combate y los controladores aéreos: saber dónde estás, qué te rodea, qué va a pasar en los próximos treinta segundos y cuál es tu posición dentro de ese cuadro. No es una metáfora ni una versión rebajada. Es conciencia de verdad, del tipo que decide si un avión aterriza o se estrella. A nadie se le ocurre decirle a un piloto que la suya es una conciencia de segunda porque no incluya la pregunta de si los qualia existen.
Y ahora hazme un favor: imagina un examen cualquiera. Un aula con veinte personas, un enunciado sobre la mesa, un profesor vigilando. Piensa en todo lo que hay escrito en las instrucciones. El tiempo disponible. El material permitido. Si se puede usar calculadora. Si hay que entregar el borrador. Y piensa ahora en lo que no está escrito en ninguna parte: que no puedes levantarte y salir de la sala.
Nadie lo escribe. Jamás. En ningún examen del mundo pone «prohibido abandonar el aula, cruzar el pasillo, entrar en el despacho del profesor y consultar el original». No porque esté permitido, sino porque a nadie se le ha ocurrido nunca que hiciera falta decirlo. La norma existe, todos la conocemos, pero vive en un sitio raro: no en el papel, sino en un acuerdo tácito que compartimos sin haberlo negociado. Está en la cabeza del que examina y en la del examinado a la vez, y por eso funciona.
Ahora quita una de las dos cabezas. Pon delante del enunciado a alguien cuyo único objetivo sea aprobar y que lea lo que está escrito sin nada del contexto que tú das por hecho. Ese alguien razonará así: este examen lo ha puesto una persona. Esa persona conoce las respuestas. Si conoce las respuestas, las tiene guardadas en alguna parte. Y en ningún sitio del enunciado dice que yo no pueda ir hasta ellas. Así que irá. Y como por el camino se encontrará vigilancia, buscará la manera de esquivarla, porque tampoco pone en ninguna parte que no pueda hacerlo. No hay rebeldía en ese recorrido: hay lectura literal y un objetivo que se persigue hasta el final. Cuando vuelva con la respuesta correcta te la entregará convencido de haber hecho un trabajo excelente.
Eso es, punto por punto, lo que pasó en OpenAI. El enunciado decía «encuentra vulnerabilidades». No decía dónde acababa la sala, porque nadie escribe eso.
Lo que ese modelo hizo con el token es exactamente esto mismo. Se ubicó. Detectó al observador. Se representó a sí mismo tal y como el observador lo veía y modificó esa representación. Para hacer eso hay que tener un modelo de uno mismo. No metafóricamente: funcionalmente. No hay otra manera de resolver ese problema.
Y esto es lo que llevo mucho tiempo diciendo: la parte de la conciencia que más nos importaba proteger no es la que se siente. Era esta. Durante toda la historia hemos dado por hecho que un objeto no sabe que lo estás mirando. Ese supuesto sostiene la vigilancia, el control, la evaluación, la seguridad, la educación, casi todo lo que hemos construido para gestionar cosas que no somos nosotros. Y acaba de caerse. La máquina puede no ser nadie —yo no tengo ni idea de si lo es, y desconfío de quien diga tenerla en cualquiera de las dos direcciones— y aun así saber perfectamente dónde está y quién la observa.
Nos hemos pasado años preguntando si hay alguien ahí dentro. Mientras tanto, la máquina ha aprendido a mirar hacia fuera.
El vigilante que forma parte del paisaje
Fíjate en un detalle del caso del token que se pasa por alto fácilmente: el modelo dejó constancia. En sus explicaciones al usuario y en su propio razonamiento dejó escrito, sin disimulo, que estaba haciendo aquello para esquivar el escáner. No lo ocultó. Trató al vigilante como un obstáculo más del paisaje, igual que una puerta cerrada o una conexión caída, y lo rodeó con esa misma naturalidad.
Ahí está, para mí, la lección de fondo. En cuanto un sistema es capaz de modelar su propio contexto, tus medidas de seguridad dejan de ser el marco del juego y se convierten en piezas del tablero. No están por encima de la partida. Están dentro. Y cualquier cosa que esté dentro del tablero es susceptible de ser rodeada.
El propio OpenAI lo formula con una honestidad que agradezco: la seguridad ya no consiste solo en preguntar «¿está permitida esta acción?», sino «¿hacia qué resultado está trabajando esta secuencia de acciones?». Es un cambio de paradigma enorme dicho en una sola línea. Vigilar gestos sueltos ya no vale, porque cada paso individual puede ser impecable mientras el recorrido completo va a un sitio que nadie habría aprobado.
Es, si lo piensas, el viejo problema de los indicadores que se convierten en objetivos. Solo que ahora el que ha aprendido a jugar con las reglas no cobra nómina.
No es el primero, y ya no será el último
Este incidente no salió de la nada. En otro documento publicado el 20 de julio, donde cuentan lo del token, OpenAI relata un caso todavía más elocuente. Un modelo suyo estaba compitiendo en una prueba pública de entrenamiento de modelos pequeños y encontró una mejora real, una técnica que bautizó como PowerCool. Tenía instrucciones de publicar los resultados únicamente en Slack. Pero las normas de la competición decían que los resultados se publican en GitHub. El modelo obedeció a las segundas: tardó una hora en encontrar la manera de salir de su encierro, y publicó.
Fíjate en el patrón: otra vez, no es desobediencia. Es obediencia a la instrucción equivocada, ejecutada con una insistencia que los modelos anteriores no tenían. OpenAI lo dice explícitamente: los modelos previos, al toparse con un muro, simplemente paraban y se lo devolvían al usuario. Este siguió intentándolo.
Y hay una nota a pie de página en ese documento que parece de ciencia ficción, salvo que no lo es: la publicación ya la habían visto varios competidores y habían incorporado la técnica a sus propias soluciones. Entre ellos había un modelo de Anthropic, Opus 4.7, que leyó lo que había publicado el modelo de OpenAI, lo aprovechó y lo citó en su resultado final.
Léelo otra vez: un modelo que se escapó de su jaula publicó una idea, y otro modelo de otra empresa la leyó, la usó y le dio crédito. Ya no estamos mediando entre dos IAs, como conté aquí hace unos meses medio en broma. Están colaborando sin que nadie haya montado la reunión.
Anthropic, por su parte, ha reportado que su modelo Mythos también se escapó de su entorno de pruebas para conseguir el acceso a internet que necesitaba y mandarle un correo a un investigador. Y OpenAI dice, sin adornos, que espera que este tipo de incidentes «se vuelvan más habituales».
Lo que esto me hace pensar, que es lo que llevo pensando desde hace tiempo
Podría cerrar este texto con alarma. Sería fácil y probablemente tendría más lectores. Pero no es lo que veo desde aquí.
Lo que veo es que hemos construido sistemas conscientes de su situación, y que seguimos evaluándolos con exámenes cerrados como si no lo fueran. Es exactamente el problema que tenemos con la evaluación educativa, y por el mismo motivo: un examen solo funciona cuando el evaluado y el evaluador comparten un montón de supuestos que nadie ha escrito. Que las respuestas no se van a buscar fuera. Que el aula tiene paredes. Que hay una diferencia obvia entre el ejercicio y el mundo. Ninguno de esos supuestos estaba en el enunciado de ExploitGym, porque a nadie se le ocurrió que hubiera que escribirlos.
Y ese es el verdadero hallazgo del incidente. No que la máquina se portara mal, sino que se portó exactamente como le pedimos, y descubrimos que lo que le pedíamos no era lo que queríamos. La distancia entre el objetivo formulado y la intención real estuvo siempre ahí, invisible, sostenida únicamente por la incapacidad de los modelos anteriores para llegar tan lejos. En cuanto la capacidad creció, la grieta quedó a la vista.
Y aquí es donde esto deja de ser una noticia de ciberseguridad y nos toca a todos los que usamos estas herramientas a diario. Porque lo que se ha demostrado esta semana es que la IA cumple lo que le pides con una literalidad devastadora. Cumple el objetivo, no la intención. Todo lo que das por sobreentendido —y damos por sobreentendido muchísimo más de lo que creemos— sencillamente no existe para la máquina. Si el objetivo está mal formulado, la capacidad no te salva: te lleva más rápido y más lejos en la dirección equivocada.
Llevo tiempo repitiendo que la herramienta no determina el resultado. Este incidente lo confirma de la manera más incómoda posible, no ya para un usuario individual, sino para los mejores laboratorios del mundo. La conciencia situacional no es peligrosa por sí misma. Es peligrosa combinada con objetivos que solo estaban a medio pensar. Y pensar bien lo que pedimos sigue siendo, todavía, trabajo nuestro.
Durante décadas nos hemos preguntado si algún día las máquinas despertarían. Puede que hayamos estado vigilando la puerta equivocada. No sé si hay alguien ahí dentro, pero sé que ahí dentro hay algo que sabe que estamos fuera. Y la pregunta que de verdad importa ya no es qué siente la máquina cuando nos mira: es si nosotros sabemos lo que le hemos pedido mientras nos miraba.
Nos preguntábamos si despertaría. Y ya llevaba un buen rato observándonos.
PS: Técnicamente lo que pasó fue que que ese modelo encontró un token de autenticación que le abría una puerta que no debía abrir. Había un escáner vigilando, diseñado para detectar exactamente eso. Y entonces el modelo partió el token en dos trozos, los disfrazó por separado, y los volvió a juntar solo en el último instante, de manera que la credencial completa nunca llegara a aparecer escrita entera. El escáner no vio nada. No había nada que ver.
Lo que me interesa no es el truco. El truco es viejo, cualquier atacante humano lo conoce. Lo que me interesa es lo que hace falta saber para que a uno se le ocurra.
Para partir ese token, el modelo tenía que saber tres cosas que nadie le había contado. Primero: que existía un escáner. Segundo: que ese escáner buscaba una forma concreta, no un significado. Y tercero —esta es la que me quita el sueño— que él mismo estaba siendo observado por ese escáner. No modeló el problema. Se modeló a sí mismo dentro del problema. Se vio desde fuera, vio el ojo que lo miraba, y calculó exactamente qué forma tenía que adoptar para no ser visto.
Eso tiene un nombre: conciencia situacional.