Un modèle maîtrise deux faits mais échoue à les relier
— ÉTHIQUE
Les travaux d'alphaXiv révèlent une faille majeure : un modèle peut réciter deux informations avec cent pour cent de précision tout en demeurant incapable de les enchaîner logiquement. Cette découverte expose les limites structurelles du fine-tuning face aux tâches de raisonnement — une barrière que l'optimisation des poids seule ne parvient pas à franchir.
Un modèle qui connaît la réponse par cœur. Et qui échoue quand même à répondre. C'est le paradoxe qu'une expérience de reproduction scientifique vient de remettre sous le microscope. alphaXiv a confié à un agent — piloté par GPT-5.6 — la tâche de rejouer intégralement une recherche portant sur une anomalie du réglage fin.
Le protocole tient en peu de choses. Un Qwen2.5 de 1,5 milliard de paramètres. Mille chaînes de faits synthétiques en guise de terrain d'entraînement. L'objectif : comprendre pourquoi un modèle capable de restituer un fait au mot près reste incapable de s'en servir.
Les chiffres racontent une fracture. Dès la quatrième passe d'apprentissage, le rappel grimpe à cent pour cent : chaque fait mémorisé ressort intact. Mais dès qu'il faut relier deux faits pour trancher une question composée, la précision s'écrase à zéro. Et elle y reste jusqu'à la trente et unième epoch. Mémoriser et enchaîner ne relèvent pas du même circuit.
Pour comprendre le blocage, les chercheurs ont ouvert la boîte. En transplantant des états internes d'un passage réseau à l'autre — l'activation patching — ils ont repéré la trace de la bonne réponse, logée surtout dans les couches précoces et tardives. Ce signal existe. On peut même l'amplifier. Mais il ne remonte jamais jusqu'à la sortie. La connaissance est là ; rien ne la pousse vers le résultat.
Reste à mesurer la portée de l'exercice. Ce n'est pas un banc d'essai en règle, plutôt une observation isolée, cantonnée à des tâches peu gourmandes en calcul. Les données synthétiques ont d'ailleurs remplacé un jeu expérimental jamais publié : la thèse comportementale tient, les chiffres exacts restent invérifiés. Reste une question qui déborde ce seul modèle : à quoi sert un savoir qu'aucun mécanisme ne sait mobiliser ?