El miércoles por la mañana tenía abierta una pestaña con el directo del accidente de Urda y otra con un documento de trabajo en el que, casualidades de la vida, aparecía tres veces la expresión human in the loop. Fui cerrando la segunda sin darme cuenta. La primera no la cerré en todo el día, viendo cómo subía una cifra que nadie quería ver subir.
Escribo esto con mucho cuidado y con el máximo respeto por las familias. No es un post sobre trenes, ni sobre culpables, ni sobre política ferroviaria. Es sobre una frase que repetimos todos los días, yo el primero, como si fuera un conjuro: «tranquilos, hay un humano en el bucle».
Por si la expresión te suena a jerga, te la traduzco. Human in the loop, humano en el bucle, es la idea de que en un sistema automático hay una persona metida en el circuito de decisión: la máquina propone y alguien valida, corrige o detiene antes de que la acción se ejecute. Una IA señala una posible lesión en una radiografía, pero el diagnóstico lo firma el médico. Un algoritmo bloquea una transferencia sospechosa, pero una persona puede revisarla y desbloquearla. Hay variantes: el humano que no decide cada caso pero vigila y puede intervenir en cualquier momento, o el que fija desde arriba los límites dentro de los que se mueve la máquina. Todas descansan sobre la misma promesa: si algo va mal, habrá alguien ahí para pararlo.
Es una promesa tranquilizadora. Y casi nunca nos preguntamos en qué condiciones está ese alguien cuando le toca cumplirla.
Lo que pasó en Urda me ha obligado a mirar esa promesa de frente.
Diecisiete minutos
Lo que sabemos hasta hoy, con todas las cautelas, y son muchas, porque casi todo lo del día sale de declaraciones y de fragmentos de audio, es esto. Hacia las 8:30 del 28 de octubre cayó el LZB, el sistema que desde 1992 le dice a cada tren de la línea Madrid-Sevilla, de forma continua, a qué velocidad puede ir, y que frena por él si se pasa. El ministro lo atribuyó a un fallo de comunicación entre tres ordenadores y, según la reconstrucción publicada por Infobae, los trenes que circulaban por el tramo afectado, unos seis, se detuvieron solos. Si quieres entender bien los términos técnicos que vienen a continuación, Newtral ha publicado una guía muy clara.
Fíjate en ese detalle, porque es importante: la máquina, al fallar, hizo lo correcto. Paró.
Y entonces devolvió el mando.
El AVE se quedó en lo que en el oficio llaman «meta cero»: la vía por delante estaba ocupada. Y lo estaba: el Iryo esperaba detenido a la entrada de Urda. Para ese caso concreto, el Reglamento de Circulación Ferroviaria tiene una respuesta escrita: una orden con texto fijo en la que la «marcha a la vista» viene ya impresa. Marcha a la vista significa ir tan despacio como para poder parar ante cualquier obstáculo. No es una cifra. Es una manera obligatoria de conducir.
A las 8:36, según los audios que publicaron esa noche la Cadena SER, El País y elDiario.es, el centro de control de Adif en Atocha ordenó otra cosa: desconectar y volver a conectar el LZB y reanudar la marcha «con marcha normal». El maquinista lo repitió. En los fragmentos se oye también cómo se fue fraguando la decisión: el «vamos a desconectar», la expectativa de que el sistema «volverá a tomar» al pasar por un punto de recuperación y, mientras se concretaba la orden, un «nos estamos liando porque dicen que lo van a arreglar». Según la reconstrucción minuto a minuto de elDiario.es, el Iryo volvió a llamar a las 8:48, todavía detenido. En lo publicado no consta ningún aviso posterior al AVE, aunque eso, con una grabación a trozos, no prueba que no lo hubiera.
El ministro calificó la orden de «errónea» e «inexplicable», contraria a la normativa, y habló de un máximo de 40 km/h. Sobre lo primero hay un acuerdo general: nadie ha defendido esa orden en público. La cifra es otra historia, porque no aparece en la regla del reglamento para este caso y todavía no está claro de qué consigna sale. Contó también algo que me parece importante: ese mismo día, otro maquinista advirtió de que la marcha no podía ser «normal», le dieron la razón y se rectificó. Para el AVE ya era tarde.
El AVE arrancó unos siete minutos después de la orden, según los datos de posición que publica Renfe. A las 8:53, la hora que consta en el expediente abierto por la autoridad investigadora, alcanzó por detrás al Iryo, a una velocidad que esa autoridad estima de forma provisional entre 160 y 200 km/h. Han muerto sesenta y nueve personas.
Diecisiete minutos entre una orden y un choque. Con un humano en el bucle.
La ironía que alguien escribió en 1983
Llevo desde el miércoles dándole vueltas a un artículo de cinco páginas que cualquiera que haya trabajado en la relación entre personas y máquinas acaba encontrándose tarde o temprano. Lo publicó en 1983 Lisanne Bainbridge, una psicóloga de University College London, en la revista Automatica, y se titula, con una sorna muy británica, «Ironías de la automatización».
Su tesis cabe en una servilleta y es demoledora. Cuando automatizamos un sistema, le dejamos a la máquina todo lo que sabemos resolver y le dejamos al humano lo que sobra. Y lo que sobra es, casi por definición, lo más difícil: el momento en que la máquina falla, que es raro, imprevisto y anormal. Le pedimos a una persona que vigile durante horas algo que casi nunca se tuerce, cuando sabemos de sobra que la atención humana no está hecha para eso. Y el día que se tuerce, esa persona tiene que tomar el control de golpe, con menos práctica que nunca, en la peor situación posible y con la información justa.
Cuanto mejor funciona la automatización, más difícil es el trabajo del humano el día que deja de funcionar.
Esa es la ironía. Y Urda, con todos los matices que diré después, se parece mucho a una ilustración de manual. El sistema automático cayó y, al caer, hizo lo que debía: detener los trenes. La decisión de cómo seguir volvió a una sala, a una persona al teléfono, con varios trenes parados a la vez y con la esperanza, razonable en apariencia, de que la máquina se recuperaría enseguida. La respuesta segura existía y estaba escrita, impresa incluso, en un formulario. Pero dependía de que alguien la eligiera en el peor momento.
Una salvaguarda que depende de que una persona acierte en el peor momento no es una salvaguarda. Es una esperanza.
Y aquí está lo más incómodo: con lo que se sabe hoy, nada apunta a que las máquinas hicieran algo distinto de lo que se les había pedido. Si actuaron o no las otras barreras, las señales junto a la vía y el ASFA, el sistema de respaldo, lo dirán el plano de señales y las cajas negras. Pero lo que hoy se conoce apunta a que lo decisivo pasó en el relevo: en ese instante en que la máquina suelta el mando y una persona lo coge.
Los asteriscos, que aquí pesan más que nunca
En el LZB no hay inteligencia artificial: es un sistema de protección de origen alemán con más de treinta años, y el propio artículo de Infobae insiste en esa distinción. No estoy diciendo que esto haya sido un fallo de la IA, porque no lo ha sido.
Tampoco tengo ningún dato que no sea público, y los públicos son provisionales. Los audios son fragmentos de una sola grabación y ningún organismo ha confirmado todavía que sean auténticos ni completos. Las cifras han bailado durante dos días: la de fallecidos llegó a subir a setenta y cuatro antes de rectificarse. La investigación técnica durará previsiblemente un año y, como recuerda la propia comisión, no sirve para señalar responsables judiciales sino para entender causas. Y hay una persona identificada en esa sala de Atocha de la que no pienso escribir una sola línea, porque no me corresponde y porque toda la literatura sobre accidentes enseña lo mismo: cuando la explicación cabe en un nombre propio, casi siempre es una explicación incompleta.
Así que tómate lo que sigue como lo que es: una reflexión sobre un patrón, no un veredicto sobre un caso.
Lo que esto le dice a quien trabaja con IA
Aquí viene la parte por la que me he atrevido a escribir.
En los últimos dos años, human in the loop se ha convertido en la frase que lo arregla todo. La escribimos en las políticas de uso, en los contratos, en las presentaciones a los consejos de administración. El artículo 14 del Reglamento europeo de IA exige que los sistemas de alto riesgo puedan ser vigilados de forma efectiva por personas. Y está muy bien. Pero tengo la sensación de que muchas organizaciones creen que cumplir con eso consiste en sentar a alguien delante de una pantalla con un botón de «aceptar».
Eso no es un humano en el bucle. Es un humano en una silla.
Urda me deja tres preguntas que cualquiera que esté metiendo IA en un proceso —un hospital, una gestoría, un departamento de recursos humanos, un aula— puede hacerse esta misma semana.
La primera: ¿qué recibe el humano cuando la máquina le devuelve el mando? No basta con que el control cambie de manos; tiene que viajar con él el contexto. Qué ha pasado, qué no sabe la máquina, qué hay unos kilómetros más adelante. Un relevo sin información es un salto al vacío con buena intención.
La segunda: ¿cuál es el estado por defecto después del relevo? Si el sistema falla, lo seguro tiene que ser lo que sale solo y lo arriesgado tiene que exigir un esfuerzo deliberado. En el reglamento ferroviario conviven una orden con la marcha a la vista ya impresa y otra, la de desconexión, con un hueco en blanco para escribir las condiciones. No sé si ese hueco tuvo algo que ver con lo que pasó en Urda; eso lo dirá la investigación. Pero ilustra muy bien la pregunta: cuando el diseño deja en blanco justo la casilla que separa lo prudente de lo peligroso, está confiando en que alguien la rellene bien estando cansado, presionado o con varios trenes esperando.
La tercera: ¿cuándo fue la última vez que tu humano practicó el relevo? Bainbridge lo dijo hace cuarenta años: la habilidad que no se usa se pierde, y es justo la que necesitarás el día malo. Los pilotos se entrenan en simulador para fallos que quizá no vivan nunca. Si tu equipo revisa lo que propone una IA, conviene que de vez en cuando trabaje sin ella, para no olvidar cómo se hacía. Ya escribí aquí sobre la diferencia entre salir de esta década más capaz o más dependiente, y esto es exactamente eso con otra ropa.
Tú también estás en el bucle
Déjame bajar esto a algo mucho más cotidiano, porque creo que es la parte que nos toca a casi todos.
No hace falta dirigir un centro de control ni desplegar un sistema de alto riesgo para estar en el bucle. Basta con abrir un chatbot. Cuando le pides que te redacte un correo, que te resuma un contrato, que te explique un análisis o que te prepare los datos de una presentación, la máquina propone y alguien tiene que validar antes de que eso salga al mundo. Ese alguien eres tú. No hay nadie más. No hay un supervisor detrás, ni una segunda sala, ni una señal junto a la vía que te frene si te equivocas. En la versión más básica de la IA generativa, el humano en el bucle no es un concepto de ingeniería: eres tú con el dedo encima del botón de copiar.
Y cada respuesta es un pequeño relevo. La máquina termina, te devuelve el mando, y lo que hagas en los siguientes diez segundos decide si aquello fue una ayuda o un problema. En febrero de este año, la Corte Suprema de Colombia sancionó a un abogado que había presentado un recurso con diez sentencias que no existían; acabó reconociendo que había usado una IA generativa sin comprobar lo que le devolvía. Lo interesante de esa decisión es a quién sanciona: no a la herramienta, sino a quien firmó sin leer.
Aquí la ironía de Bainbridge se vuelve personal. Cuanto mejor escribe el chatbot, menos lo revisamos. Acierta tres, diez, cincuenta veces seguidas, y sin darnos cuenta pasamos de leer como quien comprueba a leer como quien asiente. Hasta el día en que se equivoca con aplomo, con una cifra limpia y una frase bien construida, y nos pilla con la guardia baja y la costumbre de comprobar oxidada.
La buena noticia es que las tres preguntas de antes funcionan igual a esta escala, y cuestan mucho menos. Qué recibes: una respuesta que por sí sola no te dice lo que no sabe, así que pregúntaselo, pídele las fuentes y pregúntale dónde está menos segura. Cuál es tu estado por defecto: que nada salga de tus manos con tu nombre sin que lo hayas leído entero, y que las cifras, las fechas, los nombres y las citas se comprueben siempre, sin excepciones, como quien deja la marcha a la vista impresa en el formulario. Y cuándo practicaste: de vez en cuando, haz tú el primer borrador y usa la máquina para mejorarlo, no al revés. Es la misma idea que defendí al escribir que antes de los prompts perfectos va el pensamiento crítico.
No es desconfianza. Es oficio. Y es, probablemente, la forma más directa que tenemos de que esta tecnología nos haga más capaces en lugar de más cómodos.
Lo que ya sabemos
Nada de esto es nuevo, y eso es lo esperanzador. La aviación lleva décadas aprendiendo estas lecciones a base de investigar cada incidente sin buscar chivos expiatorios, y por eso volar hoy es lo que es. En el propio ferrocarril español alguna estaba ya escrita. El 25 de junio de 2024, en Cuenca, un AVE rebasó por error una señal que le ordenaba parar. El ERTMS, el sistema que vigila la marcha de forma continua, lo frenó en seco; el responsable de circulación, que no se había dado cuenta del rebase, le autorizó a seguir, y al comprobarlo le ordenó detenerse y volver. No pasó nada. En su informe, la comisión de investigación advirtió de que la verificación humana es «susceptible de fallar» cuando sustituye al sistema automático, y pidió reducir esa dependencia. Una de sus recomendaciones, revisar los protocolos para autorizar la reanudación de la marcha, seguía abierta en su última memoria anual. Nada prueba todavía que eso tenga relación con Urda, pero dice bastante sobre dónde están los puntos frágiles. Y dice también algo que anima: cuando la máquina vigila al humano en el relevo, el error se queda en un susto. Esa tecnología funciona ya en el resto de la alta velocidad española, y la Madrid-Sevilla está en plena transición hacia ella. Sabemos hacerlo. Lo que nos falta muchas veces es la humildad de admitir que el humano, solo, no es la red de seguridad: es una parte del sistema que también necesita la suya.
Y conviene decirlo sin rodeos: no hay vuelta atrás a un mundo más simple. Piensa en lo que había en juego aquella mañana: una sala en Atocha desde la que se gestiona la circulación de la alta velocidad, tres ordenadores que, según el ministro, dejaron de entenderse, un sistema de 1992 conviviendo con otro de finales de los setenta y con un tercero que todavía no había llegado a ese tramo, varios trenes parados, cientos de personas a bordo y una decisión que había que tomar en minutos. Nadie puede tener todo eso en la cabeza a la vez. Ni el mejor controlador del mundo. Vivimos rodeados de sistemas tan complejos que ya no los puede abarcar una sola persona, y precisamente por eso necesitamos todo lo anterior a la vez: máquinas que protejan, procedimientos que no dependan de la memoria y humanos entrenados para el momento en que unas y otros se dan la mano. Quitar cualquiera de las tres piezas no simplifica nada. Solo cambia el sitio por donde se rompe.
Lo cual me deja con una pregunta que no me suelta desde el miércoles y a la que voy a dedicar un próximo post: si la inteligencia artificial es la solución a esa complejidad o solo una capa más encima. Tengo el borrador bastante avanzado y una respuesta que todavía estoy puliendo. Te la debo para dentro de unos días.
Desde Human-IA defendemos que la IA está para expandir lo que las personas pueden hacer, y lo sigo creyendo con más fuerza que el lunes. Pero expandir el potencial humano no consiste en poner a una persona al final de la cadena para que cargue con lo que la máquina no resuelve. Consiste en diseñar el sistema entero para que esa persona pueda acertar. Como escribí hace unas semanas, el valor está donde hay duda, y la duda, en un relevo, tiene que llegar escrita, visible e imposible de ignorar.
Vuelvo al miércoles, a las dos pestañas abiertas. El documento de trabajo lo he reabierto hoy y he borrado las tres veces que decía human in the loop. En su lugar he escrito tres preguntas: qué recibe, qué pasa por defecto, cuándo practicó.
No es mucho. Pero es un sitio por el que empezar.
Se lo debemos a quienes iban en esos dos trenes.