Cualquiera que haya pasado por un laboratorio o por un departamento universitario conoce esa mezcla concreta de esperanza y desgana que produce intentar reproducir el trabajo de otro. Tienes el artículo delante. Los autores han explicado el método, han puesto las tablas, han dejado el enlace al repositorio. Y aun así te pasas dos semanas peleando para conseguir sus mismos números, descubriendo por el camino que faltaba un detalle, que la versión de la librería importaba, que aquel parámetro que nadie mencionó resulta que lo era todo.
Reproducir es el trabajo menos glamuroso de la ciencia. No da titulares, no da plazas, no da premios.
Y es lo único que separa el conocimiento de la literatura.
Por qué reproducir es la ciencia
Creo que merece la pena detenerse aquí, porque es la pieza que casi siempre se cuenta mal.
Solemos imaginar el método científico como una secuencia limpia: observas, formulas una hipótesis, experimentas, concluyes. Pero eso describe cómo se produce una idea, no cómo se convierte en conocimiento. Una hipótesis contrastada una sola vez, por una sola persona, en un solo laboratorio, no es un hecho. Es una anécdota con buena presentación estadística. Lo que la convierte en ciencia es que otro, en otro sitio, con otras manos y sin ningún interés en que salga bien, repita el experimento y obtenga lo mismo.
La verificación independiente es lo que hace que la ciencia sea distinta de todas las demás formas de saber que hemos inventado. La religión pide fe. La tradición pide respeto. La autoridad pide obediencia. La ciencia es el único sistema que institucionaliza la desconfianza y la convierte en método: te digo lo que he encontrado y te digo exactamente cómo comprobar si me equivoco. Popper lo formuló como falsabilidad, pero la traducción práctica es más humilde: una afirmación que nadie puede comprobar no es que sea falsa, es que no es científica.
El problema es que este mecanismo, que es el corazón de todo el edificio, es también el que peor cuidamos. En 2016 la revista Nature encuestó a 1.576 investigadores y encontró que más del 70 % había intentado reproducir el experimento de otro científico sin conseguirlo. Más de la mitad había fracasado al intentar reproducir el suyo propio. Un año antes, la Open Science Collaboration publicó en Science el resultado de repetir 100 estudios de psicología: el 97 % de los originales reportaba resultados estadísticamente significativos y solo el 36 % de las réplicas lo consiguió. En oncología, un trabajo de 2012 en Nature firmado por dos investigadores de Amgen logró reproducir 6 de 53 estudios considerados de referencia. Y John Ioannidis lleva desde 2005 sosteniendo, en un ensayo con un título que no admite ambigüedad, que la mayoría de los hallazgos publicados son sencillamente falsos.
No es fraude. Es un problema de incentivos, y de los aburridos. A nadie le dan una cátedra por confirmar el hallazgo de otro. Las revistas quieren novedad. Las convocatorias quieren impacto. El resultado es un sistema que produce hipótesis a ritmo industrial y las verifica a ritmo artesanal. Escribí hace poco sobre la nueva evaluación en el contexto educativo y el diagnóstico es idéntico: medimos lo que es fácil de medir y premiamos lo que es fácil de premiar.
Guarda esto en la cabeza, porque es la razón por la que lo que voy a contarte ahora me parece importante y no una anécdota más de lanzamiento.
Lo que pasó el 3 de agosto
Ese día Alibaba presentó Qwen3.8-Max, su modelo más capaz hasta la fecha. Dos billones cuatrocientos mil millones de parámetros. Un contexto de un millón de tokens. La promesa de abrir los pesos por primera vez en un modelo de esa clase. Si te apetece ver la tabla completa de resultados, está publicada y es larguísima. Todo eso es noticia, y de la buena.
Pero eso no es lo que me hizo apartar la vista de la pantalla.
Lo que me la hizo apartar fue un caso pequeño, escondido entre las demostraciones: le dieron un artículo científico y acceso a GPUs. Y volvió con algo mejor que el artículo.
El paper: dónde vive la calidad de un razonamiento
Se titula Unified Data Selection for LLM Reasoning, lo publicaron en mayo de 2026 Xiaoyuan Li y ocho coautores más —también puedes seguir su proceso de revisión abierta—, y voy a contártelo despacio porque sin entenderlo el resto no significa nada.
El problema de partida es este. Para que un modelo aprenda a razonar bien —a encadenar pasos, a no perderse en un problema largo— hay que entrenarlo con ejemplos de razonamiento. Millones de ellos. Pero no todos valen lo mismo: hay razonamientos brillantes y razonamientos que llegan al resultado correcto por casualidad y de mala manera. Y hasta ahora, separar unos de otros exigía entrenar otro modelo, un modelo juez, que puntuara la calidad de cada ejemplo. Caro, lento y con el problema añadido de que el juez también se equivoca.
Los autores proponen algo mucho más elegante. Cuando un modelo genera texto, en cada palabra no produce una respuesta: produce una distribución de probabilidades sobre todas las palabras posibles. Si le dices «la capital de Francia es», casi toda la probabilidad se concentra en una sola opción. Eso es entropía baja: no hay duda. Pero si está a mitad de un problema y ha llegado a un punto donde puede factorizar, sustituir o probar un caso particular, la probabilidad se reparte entre varias opciones que compiten de verdad. Eso es entropía alta: ahí hay una bifurcación real.
La métrica que proponen, HES —High-Entropy Sum—, hace algo casi insolente de tan simple: coge cada ejemplo de razonamiento, se queda solo con el 0,5 % de tokens de mayor entropía, suma esas entropías y usa el número resultante como medida de calidad. Ignora el 99,5 % restante. Y no necesita entrenar nada: basta con pasar los datos por un modelo y leer los números que ya está produciendo.
¿Y funciona? Los autores lo validan en los tres modos habituales de entrenar. En el ajuste supervisado, entrenar solo con el 20 % mejor según HES iguala el rendimiento de entrenar con el conjunto completo, y entrenar con el peor 20 % lo destroza. En el ajuste por rechazo —dejar que el modelo genere muchos intentos y quedarse solo con los que llegan a la solución correcta— la selección por HES supera con claridad a coger muestras al azar. Y en aprendizaje por refuerzo, emparejar los aciertos de mayor entropía con fracasos elegidos aleatoriamente le enseña dos cosas a la vez: cómo se razona bien y de cuántas maneras distintas se puede razonar mal.
Hay un detalle añadido que me encanta: descubren que un modelo pequeño, de 600 millones de parámetros, sirve para seleccionar los datos con los que se entrenará un modelo gigante. El aprendiz decide qué debe estudiar el maestro. Algo de eso conté en Los alumnos que copian al maestro, aunque entonces la flecha iba en la otra dirección.
Quédate con la idea central, porque volveré a ella al final: el valor está donde hay duda.
Qué es exactamente una «ronda de entrenamiento»
Ahora la parte que hay que entender para que los números del caso signifiquen algo.
Entrenar un modelo no es pulsar un botón y esperar. Es un ciclo cerrado, y cada vuelta del ciclo tiene cuatro momentos. Primero eliges los datos con los que vas a entrenar y bajo qué criterio. Segundo, entrenas: el modelo pasa por esos ejemplos y va ajustando sus parámetros internos, que son millones de números donde está codificado lo que sabe. Tercero, evalúas el resultado contra una prueba estándar que el modelo no ha visto. Y cuarto, miras la cifra y decides qué cambiar para la vuelta siguiente.
Eso es una ronda.
Lo importante es que no puedes ir probando sobre la marcha. Es como hornear un bizcocho: no puedes catar la masa a mitad de cocción para ajustar el azúcar. Cambias un ingrediente, horneas la pieza entera, la sacas, la pruebas, y solo entonces sabes si tu idea era buena. Si te has equivocado, lo has descubierto después de haber gastado el horno, la harina y las dos horas. En un entrenamiento serio ese bizcocho cuesta horas de GPU y dinero real, y la respuesta que recibes al final es un número seco: 47,3. Ni una explicación, ni una pista sobre qué parte de tu idea era la equivocada.
Treinta y tres rondas son treinta y tres bizcochos.
Y la prueba con la que se mide todo esto, AIME24, tampoco es un detalle menor. Es el American Invitational Mathematics Examination de 2024: los treinta problemas de las dos convocatorias de ese año, un examen al que solo llegan los estudiantes preuniversitarios estadounidenses que ya han destacado en la fase previa. Quince preguntas, tres horas, y cada respuesta es un número entero entre 0 y 999: no hay opción múltiple, no hay puntos por aproximarse y adivinar no sirve de nada. Se ha convertido en uno de los termómetros de referencia para medir razonamiento matemático precisamente porque no se puede aprobar de memoria.
Ciento veinticinco horas
Con todo eso encima de la mesa, ya podemos leer lo que Alibaba cuenta que hizo su modelo —lo resumen también en el vídeo de lanzamiento, que dura cuarenta y tres segundos, lo cual dice bastante de las prioridades comunicativas del sector.
Estuvo trabajando unas 125 horas seguidas. Escribió alrededor de 7.600 líneas de código. Ejecutó más de 1.100 acciones —y una acción aquí es cada gesto concreto de un agente: abrir un fichero, lanzar un comando, leer un log de error, corregir una línea, encolar un trabajo en las GPUs—. Y completó esas 33 rondas de entrenamiento.
La primera mitad del trabajo fue reproducir. Partiendo únicamente del artículo, reconstruyó la cadena completa —los datos, el cálculo de la métrica, el entrenamiento, la evaluación— y volvió a obtener los seis hallazgos principales. Solo eso ya sería un resultado de los que valen: después de lo que te he contado sobre la crisis de reproducibilidad, un sistema capaz de replicar metodología ajena de forma barata y sistemática es, potencialmente, una vacuna contra un problema estructural de la ciencia contemporánea.
Pero después vino la segunda mitad. Formuló 18 ideas nuevas, no descritas en el artículo, y las probó repartidas en cuatro tandas. Al final se quedó con un método que superaba al original en 2,7 puntos en AIME24.
Ciento veinticinco horas que nadie vio. Sin épica, sin foto, sin hilo de X. Me acuerdo de lo que escribí en Sobre la longitud: que el proceso no es el envoltorio de la conclusión, es donde ocurre la cosa. Aquí se ve con una claridad casi incómoda. El titular es «+2,7 puntos». La historia son las treinta y tres veces que hubo que encender el horno.
Nadie podía hacer trampa
Hay una diferencia entre este caso y el 90 % de las demostraciones de IA que me llegan cada semana, y es la misma diferencia de la que hablábamos al principio.
Aquí el evaluador era la realidad.
Cuando un modelo escribe un informe y otro modelo lo puntúa con una rúbrica, lo que estás midiendo es si el texto suena bien. Cuando un modelo genera un vídeo espectacular, lo que estás midiendo es si te impresiona. Ya hablé de esto en ¿Eres un mago de verdad?: el problema del truco de salón no es que sea falso, es que funciona igual de bien tanto si hay dominio detrás como si no. Y de cómo detectar a quienes venden humo con papel de algoritmo hablé en la guía de las empresas cantamañanas.
Pero aquí no había margen. El modelo no podía redactar un memorándum convincente sobre por qué su método era superior. Tenía que entrenar de verdad, medir de verdad, ver de verdad que la idea número siete había empeorado el resultado y decidir de verdad qué probar a continuación. El entorno le contestaba con un número, sin diplomacia. Y vuelta a empezar.
Eso es exactamente lo que mi madre me enseñaba cuando me ponía el ticket del supermercado delante y me decía «compruébalo», la escena que conté en Mejor lo hago yo. La verificación no es desconfianza. Es el mecanismo que convierte una opinión en un hecho.
Ahora la parte que me incomoda
Podría terminar el post con un aplauso, y no me lo perdonaría.
Porque conviene mirar de cerca esos 2,7 puntos. Son puntos porcentuales sobre un examen de treinta problemas: hablamos de acertar, más o menos, un problema más. No es un cambio de paradigma. Es una mejora incremental, honesta y pequeña.
Y dieciocho ideas probadas en 125 horas con GPUs a discreción es, si lo miras con frialdad, fuerza bruta con buen gusto. Es lo que haría un doctorando con insomnio y presupuesto infinito: barrer el espacio de posibilidades hasta que algo pique.
Podría dejarlo ahí y seguir con mi día. El problema es que, si soy honesto conmigo mismo, tengo que hacerme la pregunta siguiente: ¿y qué otra cosa era la ciencia?
Porque una parte enorme del trabajo científico real —no el del documental, el de verdad— consiste precisamente en eso. Probar variaciones. Descartar. Volver. Ajustar. Fracasar dieciocho veces y publicar la decimonovena. Edison y sus filamentos. Los ensayos clínicos. La química combinatoria. Llevamos siglos haciendo búsqueda exhaustiva con la intuición como heurística y le hemos puesto nombres bonitos.
Lo que ha cambiado no es la naturaleza del trabajo. Es que ahora hay alguien más capaz de hacerlo, a un ritmo que no podemos igualar y con una tolerancia al aburrimiento que a nosotros nos falta. Ya escribí en La escasez no frena la inteligencia que quien reduce todo esto a «más GPUs y más electricidad» ha mirado la carrocería en vez del motor. Pues aquí está el motor: un sistema que aprende de lo que le sale mal.
Y hay un bucle que me tiene dándole vueltas desde hace días. El paper que el modelo mejoró trata sobre cómo seleccionar datos para entrenar modelos que razonen mejor. O sea: una máquina acaba de mejorar el método con el que se fabrican máquinas como ella. No es la singularidad ni nada parecido, que nadie se ponga nervioso. Pero es la primera vez que veo el bucle cerrado en un caso concreto, documentado y con número al final. Aquello que Hassabis y Amodei describían con tanta franqueza en la conversación de Davos ha dejado de ser una diapositiva.
El para qué sigue siendo nuestro
Y sin embargo. Fíjate en lo que la máquina hizo y en lo que no hizo.
Optimizó AIME24. Nadie le preguntó si AIME24 era la métrica correcta. Nadie le preguntó si el objetivo de la humanidad debía ser que los modelos resuelvan mejor problemas de olimpiada matemática. Nadie le preguntó si merecía la pena gastar 125 horas de GPU en ganar un problema de treinta, ni qué se dejaba de hacer mientras tanto.
Ejecutó, brillantemente, dentro de un marco que no eligió.
Escribí hace tiempo que el mapa acaba donde empieza la brújula, y esto es exactamente eso. El mapa —el método, la cadena de entrenamiento, la métrica, el conjunto de datos— ya no es territorio exclusivamente nuestro. Lo que sigue siéndolo es la brújula: la decisión de hacia dónde. Aristóteles imaginaba en la Política un mundo en el que las lanzaderas tejieran solas, y comenté en Aristóteles y la IA que él daba por imposible la pregunta que a nosotros nos ha caído encima. Aquí está otra vez, con bata de laboratorio: si la parte laboriosa del método científico puede delegarse, ¿qué haremos con el tiempo que sobra?
Mi respuesta es la de siempre, la que expliqué en Expandir el potencial humano: ¿el tuyo o el que te programaron?. No lo usaremos para hacer más rápido lo mismo. Lo usaremos para preguntar mejor. O no lo usaremos para nada y nos limitaremos a producir más papeles marginalmente mejores sobre los mismos temas de siempre, que es el riesgo real y del que nadie habla.
Los asteriscos, que los hay
Todo lo que te he contado lo cuenta Alibaba. No hay réplica independiente —y sí, soy consciente de la ironía de escribir eso en este post concretamente—. Los benchmarks son propios, medidos con sus arneses y sus tiempos, y en varias tablas comparan contra Qwen3.7-Plus en lugar de contra su propio modelo tope, lo cual engorda la diferencia generacional de manera bastante conveniente.
Hay una excepción que conviene señalar, porque es exactamente el gesto correcto. Otro de los casos del lanzamiento fue un proyecto de dieciséis días en el que el modelo construyó una herramienta de línea de comandos desde cero, y el repositorio está publicado: puedes entrar, leer los commits, mirar qué se rompió y cuándo. Eso ya no es una captura de pantalla, es un artefacto inspeccionable. Ojalá el caso del paper viniera con lo mismo.
Nada de esto invalida el caso. Lo enmarca, y lo enmarca exactamente con el criterio con el que abrí este texto: mientras nadie de fuera lo repita, sigue siendo una afirmación, no un hecho.
Lo que me llevo
Vuelvo al principio, a la entropía y a los puntos de bifurcación.
Los autores descubrieron que la calidad de un razonamiento no está distribuida uniformemente. Está concentrada en esos instantes en los que el camino podía haber ido a varios sitios. Todo lo demás es relleno predecible. Lo valioso es la duda.
Creo que eso vale para ti y para mí exactamente igual.
Si una máquina puede encender el horno dieciocho veces mientras duermes, medir cada resultado y descartar los quince que no funcionan, entonces el recurso escaso ha dejado de ser la ejecución. El recurso escaso es la buena pregunta. Es el momento en que decides que este camino sí y aquel no. Es la bifurcación. Por eso la investigación de Harvard sobre metacognición encontraba que la IA multiplica la creatividad de unos y no la de otros: no depende de la herramienta, depende de si sabes dónde estás dudando y por qué.
La máquina se ha vuelto muy buena rellenando el espacio entre bifurcaciones. Tú tienes que volverte muy bueno eligiéndolas. Y eso no se aprende con un prompt, se aprende pensando, que es más lento, más incómodo y bastante menos vendible en LinkedIn.
Resumen: un modelo leyó un artículo sobre cómo detectar los momentos de máxima duda en un razonamiento, y lo mejoró. Llevo una semana pensando en la ironía y todavía no he decidido si es tranquilizadora o no. Probablemente esa indecisión sea, precisamente, mi token de máxima entropía.
Cuando la ejecución deja de ser cara, lo único que sigue costando es saber hacia dónde.
Desde el puente te digo que la brújula sigue en tu mano.
#reproducibilidad-cientifica #inteligencia-artificial #metodo-cientifico #crisis-reproducibilidad #entrenamiento-modelos #razonamiento-matematico #verificacion-independiente #benchmarks-IA #investigacion-cientifica #evaluacion-resultados #metacognicion #buenas-preguntas