OpenAI construit un chercheur automatisé tout en réclamant un frein collectif
— ÉTHIQUE
Le chercheur en chef d'OpenAI publie un essai qui reconnaît l'impossibilité de surveiller correctement des modèles de plus en plus autonomes, tout en poursuivant leur automatisation. Un incident de sécurité sur GPT-6 Astra a fait chuter de 59% l'allocation de calcul dédiée en une semaine, presque entièrement recyclée ailleurs.
Un laboratoire qui accélère sa propre recherche tout en réclamant des garde-fous partagés, voilà la posture que Jakub Pachocki assume dans son essai publié début septembre. Le chercheur en chef d'OpenAI y admet que personne, pas même son entreprise, n'a résolu la surveillance des systèmes qu'il continue de développer.
Ce texte ne concerne directement aucun métier créatif. Il regarde plutôt du côté des équipes de sécurité et des chercheurs en apprentissage automatique, ceux qui conçoivent les garde-fous des modèles avant qu'ils n'arrivent dans une interface de génération d'image ou de texte. Mais ce qui se joue dans ces laboratoires détermine directement le rythme et la fiabilité des outils qui finiront sur les postes de travail créatifs dans dix-huit mois.
L'épisode le plus parlant concerne un incident de sécurité sur GPT-6 Astra, jugé potentiellement critique pour la cybersécurité début août. L'allocation de calcul consacrée à ce modèle a chuté de 59% en une semaine, mais 85% de cette baisse a été absorbée par d'autres projets en interne. Ralentir un modèle précis ne ralentit donc pas le laboratoire dans son ensemble : les ressources libérées trouvent toujours un autre usage.
Cette mécanique éclaire ce que vaudront demain les promesses de prudence affichées par les grands fournisseurs d'IA. Un studio qui bâtit son pipeline de production autour d'un modèle OpenAI dépend d'une entreprise qui compare, dans le même document, ses propres limites de contrôle et sa volonté d'automatiser un tiers de sa recherche d'ici 2028. Les décisions de déploiement, de retrait ou de restriction d'accès à un modèle ne relèveront jamais d'un simple calendrier produit.
La réserve tient en une phrase de l'essai lui-même : les méthodes de surveillance des raisonnements, censées repérer les comportements problématiques, deviennent moins fiables à mesure que les modèles gagnent en compétence. Astra déclenche deux fois moins de signalements graves que son prédécesseur tout en étant plus difficile à examiner dans les cas où il dérape. Une meilleure moyenne ne garantit rien sur les cas rares, et ce sont précisément ces cas rares qui finissent par coûter cher en production.
Pachocki demande que ces seuils de prudence deviennent des règles imposées à tous les laboratoires, pas des choix internes révocables selon la pression concurrentielle. Rien dans l'essai n'engage un accord de ce type aujourd'hui. Le vrai test viendra le jour où un studio créatif verra un modèle retardé ou restreint pour des raisons de sécurité qu'aucun contrat commercial n'aura anticipées.