Un modèle qui apprend à cliquer sans qu'on lui ait jamais montré un clic
— AGENTS
Induction Labs entraîne Photon-1 sur dix-huit ans de captures d'écran non annotées, en lui apprenant seulement à prédire l'image suivante, et le modèle en déduit seul comment agir. Reste que cette prouesse technique parle d'infrastructure et de coût de calcul, pas encore d'un outil qui entre dans un studio.
Personne n'a jamais cliqué pour la caméra. Les vidéos d'écran qui traînent sur le web montrent des gens qui ouvrent un logiciel, remplissent un formulaire, ferment une fenêtre, sans qu'aucune main n'ait pris la peine d'indiquer quel bouton correspond à quelle action. Induction Labs part de ce constat et en tire un pari : entraîner un modèle à deviner ce que l'écran affichera l'instant d'après suffit, à terme, à lui faire deviner aussi quel geste produire pour y arriver. Pas de pixels bruts dans ce calcul, mais une représentation compressée de l'image, une façon de résumer l'essentiel visuel sans stocker tout le détail.
Le terrain ici, c'est l'automatisation logicielle à grande échelle, pas la création. Photon-1 a avalé dix-huit ans d'enregistrements d'écran anonymes, puis reçu un réglage léger pour traduire ses prédictions en commandes clavier et souris, avant d'être affiné par renforcement sur des machines virtuelles où chaque tentative est vérifiée automatiquement. L'ambition affichée par les deux personnes qui composent l'équipe va au-delà du clic de souris : étendre la méthode à des vidéos de gestes physiques et de travail qualifié, sans étiquette là non plus.
Ce qui impressionne mérite d'être regardé de près avant d'y croire les yeux fermés. Le laboratoire compare Photon-1 à Gemini 3.1 Flash-Lite sur ses propres tests d'usage d'ordinateur, un choix de mesure maison qui vaut ce qu'il vaut tant qu'un tiers ne l'a pas rejoué. L'argument le plus solide reste ailleurs : un encodeur visuel qui tient une image en 960 tokens, environ 2,2 kilooctets, une centaine de fois moins que les standards multimodaux habituels, ce qui explique à la fois l'entraînement annoncé trente fois moins gourmand et le coût de service revendiqué trois fois inférieur.
Le détail qui dépasse le tableau de scores, c'est le transfert : un modèle qui n'a vu que des écrans de bureau devance des références spécialisées sur des parties de dames ou des trajectoires de billard, une fois réentraîné sur ces domaines précis. Et il a hérité, sans qu'on le lui demande, du réflexe humain le plus banal qui soit : interroger un autre assistant, relire sa réponse, la contester si elle ne convient pas. Ce n'est plus seulement un modèle qui imite des clics, c'est un modèle qui a absorbé une méthode de travail entière en regardant des gens la pratiquer.
La question qui reste ouverte tient moins à la performance qu'à l'échelle : que se passe-t-il le jour où ce type d'architecture s'attaque, avec la même logique de prédiction pure, à des vidéos de gestes de métier plutôt qu'à des captures de bureau.