Anthropic détaille comment un score de sécurité peut mentir
— ÉTHIQUE
Deux points d'écart entre deux versions de Claude ne veulent parfois rien dire, et un même modèle passe de 60 % à 94 % selon la configuration testée. Anthropic documente ses propres failles de méthode, ce qui éclaire surtout la fragilité des chiffres de sécurité brandis par tout le secteur.

Un score de sécurité à 94 % sonne rassurant, jusqu'à ce qu'on apprenne que son voisin à 98 % n'est pas meilleur pour autant. Anthropic publie un billet qui décortique sa propre méthode d'évaluation, et le résultat le plus frappant n'est pas un chiffre, c'est l'aveu que ces chiffres se manipulent facilement, même sans mauvaise intention.
Le cas le plus parlant concerne un modèle testé sur des questions de suicide et d'automutilation : 60 % de réponses jugées appropriées sur l'interface de programmation brute, 94 % sur l'application grand public une fois ajoutées des consignes système et quelques garde-fous ciblés. Trente-quatre points d'écart pour le même modèle, selon qu'on l'interroge nu ou habillé. Ce genre de détail intéresse directement les studios et agences qui commencent à bâtir des agents conversationnels pour des marques, sur des sujets sensibles comme le service client ou l'accompagnement utilisateur. Un directeur artistique qui pilote un chatbot de marque devrait retenir une chose : le modèle choisi compte moins que la façon dont il est encadré au moment de l'intégration.
Anthropic détaille aussi les biais qui faussent les juges automatiques chargés de noter ces conversations : la longueur d'une réponse, l'ordre de présentation, ou simplement un ton prudent qui masque un contenu problématique. Une réponse dangereuse enrobée d'un avertissement reste dangereuse, et le laboratoire reconnaît avoir dû corriger sa propre grille de notation sur ce point précis.
La réserve la plus solide tient à la taille des échantillons. Pour les tests complexes à plusieurs échanges, la marge d'erreur annoncée dépasse parfois dix points dans un sens comme dans l'autre. Un score affiché sans cette marge, dans une communication commerciale ou un comparatif de modèles, raconte moins qu'il n'y paraît.
Ce texte vaut moins comme preuve de sécurité que comme mode d'emploi pour lire les suivants. Les chiffres de sécurité IA vont continuer à circuler dans les argumentaires commerciaux adressés aux marques et aux agences, et savoir qu'ils dépendent autant du protocole que du modèle change la façon de les négocier. La prochaine fois qu'un prestataire IA brandit un pourcentage de conversations sûres, la question à poser n'est plus combien, mais dans quelle configuration ce chiffre a été obtenu.