Manta retrouve dix-huit codes sur vingt noyés dans 88 millions de tokens
— AGENTS
Empero a caché vingt codes fictifs dans un corpus de rapports financiers du S&P 500, puis a demandé à son modèle Manta de les retrouver un à un. Le score tient la route sur la quantité de texte ingérée, mais les erreurs révèlent un vrai risque pour qui compte sur ce genre d'outil pour de la recherche documentaire fiable.
Un laboratoire qui teste son propre modèle sur son propre protocole mérite qu'on regarde d'abord les chiffres bruts. Empero a glissé vingt notes fictives dans 1269 dépôts financiers du S&P 500, chacune associant un bureau à un code unique, puis a interrogé Manta sur chacune séparément. Résultat : dix-sept bonnes réponses sur vingt en une tentative, dix-huit sur vingt en autorisant trois essais par question, et ce sur un corpus qui pèse 88 millions de tokens, soit l'équivalent d'un empilement massif de rapports annuels et trimestriels.
Ce genre d'exercice ne parle pas directement à un directeur artistique ou à un monteur, mais il concerne très concrètement les équipes qui passent leurs journées à fouiller des dossiers volumineux : juristes d'entreprise, analystes financiers, documentalistes. Ce sont elles qui, demain, confieront à un modèle comme celui-ci la tâche de retrouver une clause ou un chiffre perdu dans des centaines de pages, avec la promesse d'un gain de temps réel sur une étape aujourd'hui payée en heures de recherche manuelle.
Le détail qui mérite d'être retenu est ailleurs que dans le score global. Les douze erreurs relevées sur les trois essais publiés ont toutes la même forme : le modèle sort un code qui existe bien dans le corpus, mais qui appartient à un autre bureau que celui demandé. Marseille au lieu de Bordeaux, Perth au lieu de Lyon. Ce n'est pas un oubli, c'est une mauvaise attribution, et pour une recherche documentaire sérieuse, une citation juste mais mal rattachée vaut une erreur pure.
Empero annonce une capacité d'un milliard de tokens à venir, bien au-delà des 88 millions testés ici, et le laboratoire a lui-même choisi ses réglages après avoir observé les résultats d'un essai intermédiaire avant de publier le test final. Le protocole ouvert sur GitHub permet de recompter chaque réponse, ce qui donne au chiffre une crédibilité que peu d'annonces concurrentes offrent.
Cette course au contexte toujours plus long est celle qui finira par équiper, sans bruit, les outils de recherche d'assets, de gestion de droits ou d'archivage que studios et agences utilisent déjà au quotidien. Le fournisseur qui tiendra la fiabilité sur des millions de tokens, pas seulement le volume, fixera demain le prix et la confiance accordée à ces briques invisibles.