OpenAI teste si ses agents savent douter d'une donnée de laboratoire
— AGENTS
Un benchmark construit avec des biologistes mesure si un agent IA sait repérer une étiquette contradictoire ou une mesure ambiguë avant de conclure. Le modèle le plus récent gagne près de 23 points sur son prédécesseur, mais continue de mal compter des colonies sur une photo pourtant nette.
Une boîte de culture sans colonies visibles, un chercheur en conclurait que son témoin a fonctionné. Sauf qu'une note manuscrite sur le bord indique un antibiotique différent de celui prévu par le protocole. C'est exactement ce genre de piège qu'OpenAI et Ligo Biosciences ont glissé dans cent exercices de laboratoire, pour voir si un agent IA sait suspendre sa conclusion plutôt que de l'asséner.
Le public concerné ici n'est pas un studio créatif. C'est la recherche en biologie, les laboratoires pharmaceutiques, tout endroit où une IA pourrait demain lire un gel d'électrophorèse ou une image de microscopie sans supervision humaine directe. Dix-neuf des cent tâches ne demandent même pas une bonne réponse, elles demandent de savoir dire que la donnée ne suffit pas pour trancher.
Les chiffres racontent un progrès réel. Au réglage de raisonnement le plus poussé, le dernier modèle obtient 66,7% des points disponibles contre 43,8% pour son prédécesseur, soit près de 23 points d'écart, et il y arrive en produisant deux fois moins de texte de justification. Mais la mécanique du jugement reste fragile sur le terrain. Sur une photo de boîte de culture, le modèle le plus avancé surcompte les colonies d'environ 12%, confondant des colonies voisines et prenant des zones vides pour des résultats positifs. Un écart qui, répété sur une série d'expériences, fausse directement l'estimation d'un taux d'efficacité.
Le cas le plus parlant reste celui du gel mal interprété. L'agent distingue parfaitement les deux groupes de bandes, un repérage visuel sans défaut, puis attribue la mauvaise identité au mauvais fragment face aux témoins. La lecture est juste, le raisonnement qui en découle se trompe. C'est précisément l'écart que ce genre de benchmark cherche à mesurer, et c'est aussi la limite la plus coûteuse à laisser filer dans un usage réel.
Ce travail de vérification méthodique, construit avec des scientifiques qui relisent chaque exercice à l'aveugle, dessine la direction que prennent les laboratoires d'IA pour vendre leurs agents à des métiers de haute précision. La même exigence de traçabilité, de doute justifié avant conclusion, finira par infuser les outils qu'un studio utilise déjà pour valider un rendu, un export technique ou une spécification produit. Le jour où un agent devra juger si un fichier de fabrication respecte un cahier des charges, c'est ce type d'épreuve qui aura décidé s'il mérite qu'on lui laisse la main.