Les modèles de langage n'apprennent pas de leurs erreurs
— AGENTS
Skyfall AI démantèle un mythe persistant : les grands modèles de langage restent figés dans leurs connaissances d'entraînement et ne s'adaptent jamais en continu. Avec son banc d'essai Morpheus, la startup le prouve à travers un workflow rigoureux — les LLM accumulent les erreurs sans jamais itérer sur leurs outputs précédents. Une limite fondamentale qui remet en question les promesses d'autonomie de ces systèmes.
On les vend comme des machines qui apprennent. Skyfall AI soutient l'inverse. Pour ce laboratoire de recherche, les grands modèles de langage n'ont rien d'apprenants continus. Placés face à des conditions inédites, ils ne s'adaptent pas vraiment. Ils rejouent ce qu'ils savent déjà.
Pour étayer la thèse, l'équipe a construit Morpheus, un banc d'essai qui simule des environnements d'entreprise persistants. La nuance pèse lourd. Là où les protocoles habituels remettent les compteurs à zéro entre chaque épisode, Morpheus laisse la situation se prolonger sans réinitialisation. Le modèle doit composer avec une continuité qui dure.
Le résultat déroute. Quand les performances restent stables malgré les perturbations, ce n'est pas une preuve de solidité — c'est le symptôme d'une stratégie figée, appliquée mécaniquement du premier au dernier instant. Sur les tâches longues, celles qui empilent les conséquences, la chute devient brutale. Certains modèles tombent à zéro. Dès que l'information utile quitte leur fenêtre de contexte, ils ne repèrent plus que les règles du jeu ont bougé.
Reste une zone d'ombre difficile à percer. Sans mise à jour des poids, contrairement aux agents entraînés par renforcement, impossible de remonter à la cause exacte de chaque défaillance. Le diagnostic bute sur une boîte noire. La question que soulève Skyfall AI dépasse le laboratoire : peut-on vraiment confier des workflows durables à des systèmes qui, sous le vernis de l'output, n'apprennent jamais de leur propre expérience ?