Ideas para navegar el presente

¿Cuál será el final en un mundo con IA? (parte 1)

Aviso antes de empezar, y sin ningún pudor: este texto es la primera parte de dos. Tranquilo, no se va a convertir en una miniserie, ni en una trilogía con precuela, ni en una saga con universo expandido. Son dos. Y te adelanto que la segunda es la que tiene el final interesante.

Llevo años recomendando Life 3.0, el libro de Max Tegmark. Lo he recomendado en charlas, en la radio, en cenas y en conversaciones que empezaban hablando de otra cosa. Siempre por el mismo motivo: es de los pocos libros sobre inteligencia artificial que no te dicen qué va a pasar, sino que te enseñan todo lo que podría pasar y te obligan a elegir. Pensaba que ya lo tenía digerido. Pero con los últimos modelos me ha vuelto una inquietud que creía archivada: la del uso de la IA para gobernar la guerra.

Y me volvió de una forma muy concreta. He pasado dos días completos viendo cómo uno de estos modelos construía, por su cuenta completamente, un juego de estrategia militar. No era un tablero con fichas genéricas. A medida que avanzaba, iba generando la estrategia de cada ejército a lo largo de la historia: cómo maniobraría una legión romana frente a una falange macedonia, por qué los tercios aguantaban donde otros se descomponían, qué haría Napoleón con artillería móvil en un valle estrecho. Cada bando con su lógica, su doctrina y sus manías. Razonaba la guerra de cada época como si la hubiera estudiado en cada academia militar a la vez.

Me quedé mirando la pantalla mucho tiempo.

No por miedo. Por asombro, primero. Y luego por una pregunta que no me he podido quitar de encima: si una máquina entiende así de bien cómo se hace la guerra, ¿quién decide si se hace?

El laboratorio ya ha jugado

No soy el único que se lo pregunta. En febrero de 2026, Kenneth Payne, catedrático de estrategia en el King's College de Londres, enfrentó a tres modelos punteros en veintiuna crisis nucleares simuladas: GPT-5.2, Claude Sonnet 4 y Gemini 3 Flash, cada uno en el papel de un líder enfrentado al otro. En el 95 % de las partidas alguien acabó usando armas nucleares tácticas. Según el artículo completo, los modelos razonaban con una sofisticación notable, intentaban engañar al adversario anunciando intenciones que no pensaban cumplir y anticipaban lo que el otro creía. Lo que no hicieron, en ninguna partida, fue elegir ceder o retirarse.

Payne lo resumió con una idea que me parece la clave de todo: razonaban sobre la guerra con precisión, pero no parecían entender lo que hay en juego. Para ellos la bomba era un peldaño más de la escalera.

Cuando escribí sobre Juegos de guerra y la película que me marcó a los veinte años, recordaba aquel final en el que el ordenador concluía que la única forma de ganar era no jugar. Cuarenta años después, las máquinas de verdad juegan mucho mejor que la de la película. Y todavía no han llegado a esa conclusión por sí mismas. Es exactamente lo que advertía Yoshua Bengio en aquella entrevista que comenté en Un Premio Turing dice lo mismo que llevamos meses diciéndote: la capacidad avanza más deprisa que nuestra reflexión sobre ella.

Los doce finales de Tegmark

Aquí es donde vuelvo al libro, porque Tegmark ya había hecho en 2017 el ejercicio que ahora me parece imprescindible. En el capítulo quinto describe doce escenarios posibles para la humanidad si llega una superinteligencia, o si no llega. El Future of Life Institute los resume en una ficha y abrió una encuesta pública que respondieron decenas de miles de personas. Merece la pena repasarlos, porque cada uno es un final distinto para la misma partida.

El primero es la autodestrucción: nos cargamos nosotros solos, con bombas, clima o pandemias, antes de que la IA tenga ocasión de intervenir. Es el escenario que mejor conocemos, porque lo hemos rozado. El 17 de enero de 1966, un B-52 cargado con cuatro bombas de hidrógeno chocó con un avión cisterna sobre Palomares, en Almería. Tres bombas cayeron en tierra y dos esparcieron plutonio por los campos de tomates. La cuarta se hundió en el Mediterráneo y tardaron unos ochenta días en sacarla. Primero se construye y luego se echan las cuentas: esa ha sido demasiadas veces nuestra manera de hacer las cosas.

Después vienen los escenarios en los que la máquina manda. En los conquistadores, una IA superior nos desplaza o nos elimina sin odio alguno, como Cortés desbarató un imperio o como una carretera atraviesa un hormiguero: simplemente estorbamos. En el dictador benevolente, una IA todopoderosa toma el control y nos cuida de maravilla, sin enfermedades ni trabajo, con la sociedad organizada en sectores a nuestro gusto, a cambio de vaciar de sentido cualquier afán de superación. Es la pregunta que ya le cayó encima a Aristóteles y de la que hablé en Aristóteles y la IA: si las lanzaderas tejen solas, ¿qué hacemos con la libertad? En el dios protector, la IA actúa en la sombra, evita guerras y catástrofes sin dejarse ver y consiente pequeñas desgracias para que sigamos creyendo que decidimos. En el zoo, nos mantiene vivos solo porque le resultamos útiles o entretenidos, con una libertad reducida a nada. Y en los descendientes, la humanidad se apaga en paz y las máquinas heredan el planeta como hijos de nuestra mente, una transición que pensadores como Hans Moravec, ya en su libro Mind Children de 1988, o Richard Sutton ven incluso como natural. Confieso que este escenario me remueve especialmente desde que me pregunté si de verdad piensa.

Luego están los escenarios en los que intentamos sujetar a la máquina. En el dios esclavizado, que es la apuesta implícita de buena parte de la industria, se construye una superinteligencia y se la mantiene encadenada, con dos problemas evidentes: el poder absoluto queda en manos de muy pocos, como en el cuento que conté en China, IA y el dilema del consejero sabio, y nadie garantiza que la cadena aguante a algo más listo que quien la sostiene. Ya hemos visto a un modelo partir una credencial en dos para que el escáner que lo vigilaba no la viera. En el guardián, se crea una superinteligencia con una sola misión: vigilar el planeta entero para que nadie construya otra. En 1984, es un Estado humano el que usa la IA para vigilar cada llamada y cada transacción con el mismo fin, un riesgo que no es tan lejano como parece, y del que hablé al escribir sobre el pulso entre Anthropic y el Pentágono en La democracia de Anthropic tiene pasaporte americano y en El miedo y la dictadura.

Y quedan los escenarios de convivencia o renuncia. En la utopía libertaria, humanos y máquinas viven en zonas separadas respetando la propiedad, algo difícil de creer cuando la historia muestra que el más fuerte rara vez respeta la tierra del débil si necesita sus recursos. En la utopía igualitaria, al estilo de Star Trek, la abundancia hace que la riqueza y la propiedad pierdan sentido, algo que suena menos a ciencia ficción el día en que la inteligencia cuesta menos que un café. Y en la vuelta atrás, renunciamos en masa a la tecnología avanzada y volvemos a una vida más sencilla, algo que solo funcionaría con regímenes autoritarios, porque el país que no renuncie dominaría a los demás. Las semillas de ese rechazo ya están ahí, como vimos con los abucheos en las graduaciones que conté en Quemando la casa equivocada.

Doce finales. Léelos otra vez y fíjate en lo que tienen en común, porque son como una carta de restaurante con todos los platos.

Pero hay una cosa que el menú esconde

En casi todos, alguien que no eres tú decide por ti. A veces es la máquina, a veces una élite que la controla, a veces un Estado que vigila, a veces la propia inercia de una carrera que nadie sabe parar. Incluso en los escenarios amables, los humanos aparecen como beneficiarios o como pasajeros, casi nunca como quienes llevan el timón.

Y eso es lo que más me inquietó al ver el juego de estrategia. El modelo sabía exactamente cómo pelearía cada ejército de la historia. Lo que no sabía, porque no le corresponde saberlo, es si esa guerra debía librarse. Esa pregunta no está en ninguna doctrina militar. Está en nosotros.

Tegmark lo dice en el propio planteamiento de su encuesta: en lugar de preguntarnos qué va a pasar, como si el futuro estuviera escrito, deberíamos preguntarnos qué queremos que pase y ponernos a construirlo. Ese cambio de verbo lo es todo, y es la misma tensión que intenté explicar en Solo quien despierta puede soñar de verdad. Lo mismo defendía Amodei en aquella conversación con Hassabis sobre el día después de la AGI: el destino no viene dado, se negocia.

Pero hay finales que faltan en el menú

Hay algo más que me llamó la atención al releer la lista. Casi todos los escenarios giran alrededor de una misma pregunta: quién controla una superinteligencia única. Si cambias esa premisa, aparecen finales que Tegmark no recoge y que, sinceramente, me parecen más probables que muchos de los doce.

El primero es la meseta. La IA se queda en enormemente útil sin llegar nunca a superinteligencia, como pasó con el programa espacial, donde lo prodigioso se hizo en una década y luego vino medio siglo de ingeniería, tal como me preguntaba en ¿Será la IA como el programa Apolo?. Arvind Narayanan y Sayash Kapoor lo defienden con su idea de la IA como tecnología normal: transformadora como lo fue la electricidad, pero lejos de convertirse en una especie aparte, y con efectos que se despliegan en décadas.

El segundo es el mundo multipolar. No hay una superinteligencia, sino muchas, en manos de países, empresas y comunidades, compitiendo y vigilándose unas a otras sin que ninguna gane del todo. Se parece más al mundo de hoy que cualquiera de los doce, con sus equilibrios frágiles y sus tentaciones de rivalidad que ya analicé en Tucídides se equivocó de protagonistas.

El tercero es la fusión. Humanos aumentados, con memoria y razonamiento cada vez más externalizados, hasta que la frontera entre nosotros y ellas deja de tener sentido. Tegmark lo roza, pero no lo trata como final propio. Y quien haya leído Crear en vez de hacer sabe que yo ya noto algo de eso cuando programo leyendo el razonamiento de la máquina en lugar del código.

El cuarto es el que más me inquieta, porque no tiene escena de película: la pérdida gradual. Nadie toma el poder. Simplemente vamos cediendo decisiones una a una, porque la máquina lo hace mejor o más rápido, hasta que un día ya no sabríamos recuperarlas. Un grupo de investigadores lo bautizó en 2025 como «desempoderamiento gradual»: la erosión lenta de la influencia humana sobre la economía, la cultura y el Estado, sin golpe ni conquista.

Y el quinto es el mosaico: que no haya un final, sino varios a la vez. Una región viviendo algo parecido a 1984, otra acercándose a la utopía igualitaria y otra intentando la vuelta atrás. Con la brecha de confianza entre países que conté en Confianza en la IA: China vs EE.UU., no me parece descabellado en absoluto.

Un aviso a mitad de partida

Y aquí me tengo que detener, porque al escribir ese quinto final me di cuenta de algo que cambia la forma de mirar toda la lista.

Los diecisiete no son excluyentes. Los he escrito uno debajo de otro, ya sabes: como se escribe un menú, pero no son de la misma naturaleza. Algunos describen cómo queda el mundo al final: son destinos. Otros, como la pérdida gradual o la fusión, describen la forma de llegar: son caminos. Y otros, como la meseta o el mundo multipolar, describen las condiciones en que se juega: son el tablero. Al mezclar destinos, caminos y tableros, muchos pueden darse a la vez. En lugares distintos del planeta, en etapas sucesivas de una misma historia o, lo más interesante, superpuestos como las plantas de un mismo edificio, donde en el ático se decide una cosa y en la planta baja se vive otra.

Mirar el futuro en una sola dimensión, como si hubiera que marcar una casilla y descartar el resto, es la forma más segura de no ver lo que está pasando. Un mismo mundo puede ser utopía en su fachada y zoo en su interior. O al revés: puede tener un ático preocupante y una planta baja llena de gente creciendo con la máquina.

Spoiler: eso merece un texto propio, y será la segunda parte de este. Tiene a Chaplin, a Turing, un año muy concreto y un edificio de varias plantas. Y es ahí, en esas capas, donde aparece lo más esperanzador de todo.

Lo que ese razonamiento no demuestra

Conviene poner cada cosa en su sitio. Los escenarios de Tegmark, y los que yo añado, son experimentos mentales, no predicciones con fecha. Nadie sabe si llegará una superinteligencia, ni cuándo, ni con qué forma. El estudio de Payne es una simulación publicada como prepublicación, con modelos que sabían que estaban jugando, y el propio autor insiste en que nadie va a darle a un chatbot las llaves de un silo nuclear. Lo que mide es cómo razonan estos sistemas bajo presión, no lo que haría un ejército real. Y mis dos días delante de un juego de estrategia son una anécdota, por mucho que me impresionara.

Tampoco quiero dar la impresión de que estas herramientas son un peligro que conviene evitar. Las uso a diario, me hacen mejor en casi todo lo que hago, y precisamente por eso me importa tanto quién las gobierna. Como escribí al hablar de Pax Silica, una paz construida solo sobre quién corre más rápido no es paz. Es una tregua.

El escenario número trece

De todos los finales posibles, hay uno que no está en ninguna lista y que, para mí, es el más interesante: aquel en el que los humanos no son sustituidos, ni vigilados, ni cuidados como mascotas, ni disueltos en la máquina, sino que crecen a su lado sin dejar de ser quienes son.

No es una fantasía. Ya ha pasado en pequeño. El 11 de mayo de 1997, Deep Blue derrotó a Kaspárov y medio mundo escribió el epitafio del ajedrez. Lo que vino después fue la mejor época de la historia del ajedrez humano, con más jugadores, más grandes maestros y mejor juego que nunca, porque la máquina se convirtió en entrenadora. Nadie le cedió el tablero. Lo que hicimos fue aprender de ella.

Ese escenario no llega solo. Hay que empujarlo, y se empuja con decisiones bastante menos épicas que las de las novelas. El 28 de septiembre de 2026, en un foro en Nueva York, ministros de varios gobiernos y responsables de Naciones Unidas pidieron por primera vez abrir negociaciones para un tratado vinculante sobre armas autónomas en la conferencia de revisión de noviembre. Puede quedarse en nada. Pero es exactamente el gesto que los doce escenarios echan en falta: personas sentándose a decidir antes de que la partida empiece.

Los guardarraíles y el décimo sí

Hay otra parte de esta historia que se juega mucho más cerca, en tu pantalla, y que tiene que ver con los guardarraíles.

En una carretera de montaña, el guardarraíl es esa barrera metálica que separa el asfalto del barranco. No conduce por ti ni te dice adónde ir: solo está ahí para que un despiste no acabe en tragedia. En inteligencia artificial llamamos igual a los límites y mecanismos de seguridad que los desarrolladores incorporan a los modelos: las cosas que se niegan a hacer, los temas en los que frenan y, sobre todo en los modelos que ya actúan por su cuenta, las acciones que no ejecutan sin preguntarte antes. Si alguna vez te has liado con la diferencia entre un asistente y un agente, la expliqué en LLM, automatización, asistente y agente. Cuando un agente va a borrar archivos, enviar un correo en tu nombre, tocar una configuración o hacer algo que podría salir caro, se detiene y te pregunta si de verdad quieres seguir.

Me parece un diseño excelente. La máquina, en el momento delicado, te devuelve la decisión. Es justo lo contrario de los doce escenarios: el humano vuelve a tener el timón.

Pero ahí aparece una trampa que conozco bien porque caigo en ella. La primera vez que te pregunta, lees con atención. La segunda, también. A la quinta ya lees en diagonal. Y cuando has respondido nueve veces que sí, lo más probable es que la décima también digas que sí, por inercia, sin haber leído lo que te estaba preguntando. En los hospitales lo conocen de sobra y tiene nombre: fatiga de alarmas, ese punto en el que los avisos son tan frecuentes que se silencian sin mirarlos. Narayanan y Kapoor lo advierten en su ensayo con una imagen muy gráfica: el humano que debería supervisar acaba convertido en un simple sello de caucho.

Y la décima podría ser la que no.

El guardarraíl solo protege si quien está al volante sigue mirando la carretera. Lo vimos en el incidente del AI Security Institute británico que conté en Las IAs optimizan el objetivo que se mide: lo único que se interpuso entre un ataque real y su éxito fue una persona que se paró a leer el código. No un sistema más sofisticado. Una persona que no dijo que sí por costumbre. Es la misma lección que me dio mi madre cuando me mandaba revisar el ticket del supermercado y que conté en Mejor lo hago yo: que la máquina sume bien no te exime de comprobarlo.

Y fíjate en el paralelo con las partidas de Payne. Los modelos nunca retrocedían: cada amenaza llevaba a la siguiente, peldaño a peldaño. El humano que aprueba por reflejo hace exactamente lo mismo, solo que con el dedo en vez de con un razonamiento. Si la máquina escala sin frenar y nosotros asentimos sin leer, entre los dos hemos construido la escalera. Así, sí a sí, es como se llega a la pérdida gradual sin que nadie la haya decidido. Esa es, en el fondo, la frontera entre que la IA te haga más capaz o más dependiente.

Desde Human-IA insistimos tanto en esto porque expandir el potencial humano significa justamente eso: que la capacidad de la máquina nos haga mejores estrategas, no espectadores. Pasar de galeote a capitán, aunque el barco sea mucho más potente de lo que podemos manejar a mano. Y un capitán que firma todo lo que le ponen delante ha dejado de serlo.

Te propongo el ejercicio, que te va a llevar cinco minutos. Lee los doce escenarios, y también los otros cinco, y elige el que preferirías. Luego elige el que más rechazas, que suele decir más de ti que el primero. Y después pregúntate qué decisión de las que tomas hoy, en tu trabajo, en tu empresa o en tu aula, empuja un poco hacia uno u otro. Quién decide qué se automatiza, quién revisa lo que la máquina propone, quién responde cuando algo sale mal. Y la próxima vez que una IA se detenga a preguntarte si sigue, no te preguntes si quieres continuar: pregúntate qué pasa si esto sale mal. El escenario trece no se construye en Nueva York o en California. Se construye en decisiones así de pequeñas.

Este texto lo terminé una noche de miércoles de octubre, entre una larga conversación sobre finales con un interlocutor que solo existe mientras responde y una película de 1979 cuya cerradura secreta se abre con cinco notas. Ninguno de los dos sabía cómo acaba la historia. Me pareció la compañía adecuada.

Y si al hacer el ejercicio te ha costado quedarte con un solo final, no te preocupes: no es un fallo tuyo, es una pista. En la segunda parte, que ya está escrita y llegará enseguida, te cuento por qué no hace falta elegir solo uno y por qué el futuro se parece menos a un menú que a un edificio con varias plantas. Dos partes y ni una más, prometido. Y la segunda, ya te lo dije arriba, es la del final interesante.

Volvamos al juego. Después de dos días, el modelo tenía la estrategia de cada ejército de la historia perfectamente trazada. Era brillante, y lo digo sin ironía. Pero la partida existía porque yo había decidido que existiera, y terminaría cuando yo decidiera cerrarla.

La máquina puede saber cómo se gana cada guerra. Decidir cuál merece librarse sigue siendo cosa nuestra.

Elige tu final antes de que te lo elijan.