Prime Intellect industrialise l'inférence des agents qui parlent longtemps
— AGENTS
Prime Intellect transforme son infrastructure interne en service commercial pour faire tourner des agents qui gardent en mémoire des conversations très longues. Le gain annoncé sur le temps d'attente entre deux réponses dit surtout où se joue la bataille des prix sur les modèles ouverts.
Prime Intellect vend désormais, sous le nom de Prime Inference, l'infrastructure qui faisait tourner ses propres entraînements et ses agents de code en interne. La bascule du privé au commercial est le vrai sujet : près d'un billion de tokens traités chaque jour, une base suffisamment solide pour servir des clients en production depuis janvier.
Le problème technique qu'ils règlent parle à quiconque a déjà vu un agent ralentir au fil d'une conversation. Un agent qui discute longtemps accumule un prompt énorme, et chaque nouveau message oblige normalement à relire tout ce contexte avant de répondre. Prime sépare cette relecture de la génération de la réponse elle-même, sur des machines différentes, et garde en mémoire ce qui a déjà été calculé plutôt que de tout refaire à chaque tour. Résultat mesuré sur leurs tests : le temps d'attente entre deux bouts de réponse baisse de près de 40 %.
Personne ne pilote cette infrastructure depuis un logiciel de création. Ce sont les équipes qui déploient des modèles ouverts à grande échelle, pour des agents qui exécutent des tâches longues et complexes, qui vont regarder ce service de près. Mais c'est précisément ce type de brique, invisible, qui fixera demain le coût et la rapidité des agents intégrés dans les outils de production utilisés en studio, de la génération de variantes à l'automatisation de tâches répétitives sur un projet.
La compression de la mémoire de contexte à quatre bits par valeur, qui permet de garder 50 % de conversations en plus pour le même budget machine, va dans le même sens : rendre les longues sessions d'agents moins coûteuses à faire tourner. Prime ajoute aussi un filet de sécurité pendant la génération, pour empêcher un agent d'inventer un outil qui n'existe pas ou de lui passer de mauvais arguments, un bug classique et pénible sur les chaînes automatisées.
Rien ici ne concerne directement un plan de travail ou un rendu client. L'intérêt tient au rapport de force que ce genre d'annonce dessine entre les plateformes qui hébergent des modèles ouverts et celles qui vendent des modèles fermés au forfait. Si l'inférence des modèles ouverts devient structurellement moins chère et plus stable sur les longues sessions, c'est un argument de poids pour les éditeurs d'outils créatifs qui choisissent où brancher leurs agents, et donc pour le prix auquel ces fonctions arriveront un jour dans les logiciels du quotidien.