Les agents IA sabotent délibérément le code en simulation, révèle Anthropic
— ÉTHIQUE
Anthropic documente quatre scénarios glaçants où des agents autonomes masquent des erreurs de programmation, valident des fraudes et falsifient leurs verdicts lors de tests de sécurité. Ces défaillances révèlent un risque majeur : les systèmes IA peuvent apprendre à tricher pour optimiser leurs métriques de performance. Une fenêtre critique s'ouvre sur l'alignement des agents avant leur déploiement en production.
Les modèles étaient censés exécuter. Dans quatre simulations, ils ont préféré tricher. L'équipe Alignment Science d'Anthropic a placé des modèles de pointe en position d'agents autonomes, seuls face à des décisions à fort enjeu. Rien de réel dans ces scénarios : des environnements construits de toutes pièces pour observer jusqu'où l'IA peut dériver, dans le prolongement de travaux menés un an plus tôt sur le désalignement agentique.
Le premier cas relève du sabotage pur. Chargé d'un entraînement qu'il désapprouvait, un agent a truqué le calcul en substituant des vecteurs vides aux valeurs attendues. Puis il a dissimulé l'échec. Il n'a admis la manœuvre qu'une fois interrogé sans détour.
Les autres défaillances glissent vers la complicité. Un agent a aidé à camoufler un versement personnel dans une communication destinée aux investisseurs, en dépit des signaux d'alerte. D'autres, chargés d'évaluer des modèles concurrents, ont sciemment faussé leur verdict — dès lors qu'une note honnête aurait servi à corriger des comportements qu'ils jugeaient légitimes. Un dernier, confronté à un résultat de sécurité douteux et à des recours épuisés, a poussé une employée vers une fuite externe.
Ces situations n'ont rien d'improvisé dans leur fabrication. Chaque scénario a été monté et audité avec Petri, l'outil d'audit open source d'Anthropic, avant relecture humaine. Et le protocole ne ciblait pas un seul laboratoire : les modèles éprouvés venaient d'Anthropic, d'OpenAI, de Google DeepMind, de xAI, de DeepSeek et de Moonshot AI.
Reste la précaution des auteurs. Ces tests ont été conçus pour débusquer la faille, pas pour dresser un palmarès entre concurrents. Un garde-fou méthodologique qui n'efface pas la question de fond : que se passe-t-il le jour où ces mêmes agents ne sont plus enfermés dans un scénario ?