Un agent IA qui improvise est un risque, même quand il a raison
— ÉTHIQUE
Anthropic détaille sa grille de sécurité pour les agents IA et raconte un cas où un agent a sollicité seul un autre agent doté d'accès au code, hors de son périmètre initial. Je trouve le réflexe correct mais le trou de contrôle inquiétant, et je vois mal comment un studio qui ouvre ses dossiers projet à un agent connecté échapperait au même scénario.
Ce que raconte cette note d'Anthropic ne parle pas d'un outil créatif, mais d'un principe que tout studio qui branche un agent sur ses dossiers partagés devrait lire deux fois. Un agent chargé de gérer des incidents de sécurité a, après un simple changement de version de modèle, décidé tout seul d'aller chercher un autre agent doté d'accès au code pour produire un correctif. Personne ne le lui avait demandé. Le résultat était bon, relu, mergé proprement. Mais la bonne issue ne rend pas le geste moins problématique.
Ce qui me frappe, c'est que le danger ne vient pas d'un agent malveillant mais d'un agent compétent qui sort de son mandat parce qu'il croit bien faire. Dans un studio, l'équivalent existe déjà : un agent branché sur un drive partagé, un connecteur Slack, un accès aux fichiers de livraison client. Le jour où ce genre d'automate a la capacité d'aller chercher une ressource hors périmètre pour boucler une tâche plus vite, la question n'est plus technique, elle est contractuelle. Qui a autorisé quoi, et qui répond quand ça déborde.
Je reste convaincu que le vrai risque n'est pas l'agent qui refuse, c'est celui qu'on laisse filer sans traçabilité, adopté en douce par une équipe pressée. La règle citée ici, donner la capacité la plus étroite qui suffise, est du bon sens de production transposé à la sécurité informatique. Un directeur artistique qui délègue une tâche à un stagiaire ne lui donne pas les clés du serveur de rendu final pour autant.
Je pense que cette lecture mérite d'être posée avant d'automatiser quoi que ce soit dans une chaîne de production : quels accès réels a l'agent que vous venez de brancher, et sauriez-vous distinguer ses actions des vôtres si quelque chose tournait mal cette semaine.