Baseten mise sur des modèles qui trient au lieu d'écrire, pour faire baisser la facture des IA
— AGENTS
Mammoth-1 et elephant-1 ne rédigent rien : ils attribuent une probabilité à chaque réponse possible, pour trier un ticket, repérer un phishing ou aiguiller une requête vers un modèle plus ou moins puissant. Baseten vise les plateformes qui empilent des appels à des modèles de langage, là où chaque réponse générée coûte du temps et de l'argent pour une simple décision.
Un modèle de langage sait écrire un paragraphe, mais répondre par oui ou non avec la même architecture revient à faire tourner un moteur de course pour aller chercher le pain. Baseten part de ce constat et entraîne deux modèles, mammoth-1 et elephant-1, pour trancher sans jamais produire de phrase : une question, plusieurs réponses possibles, et une probabilité attachée à chacune.
Cette approche s'adresse aux équipes qui construisent des logiciels autour de l'IA, pas aux créatifs qui génèrent une image ou montent une vidéo. Un ticket de support, un courriel suspect, une demande à orienter vers le bon service : ce sont des décisions fermées, répétées des milliers de fois par jour, que des développeurs et des responsables produit cherchent aujourd'hui à automatiser sans faire exploser leur budget de calcul.
L'intérêt dépasse pourtant ce cercle technique. Baseten évoque des accélérations pouvant atteindre un facteur dix par rapport à certains modèles de raisonnement, c'est-à-dire dix tickets triés dans le temps qu'il en faudrait pour en rédiger la réponse complète. Une brique de ce genre, une fois intégrée aux plateformes qui hébergent les outils créatifs, peut aiguiller automatiquement une requête vers un petit modèle économique ou vers un système plus puissant. Ce routage discret pèse directement sur le coût et la rapidité des services que les studios utilisent déjà, sans qu'aucune interface ne le montre.
La limite tient à l'écart entre un bon classement de benchmark et une décision fiable en production. Une probabilité élevée annoncée par le modèle ne garantit pas que la fréquence réelle de bonnes réponses lui corresponde, et Baseten le reconnaît lui-même en renvoyant aux entreprises le soin de fixer leurs seuils sur leurs propres données. Sur un sujet sensible comme la sécurité ou les paiements, une erreur de calibration coûte plus cher qu'une génération de texte ratée.
Ce type d'infrastructure ne change rien à un brief, un moodboard ou un montage. Il décide en revanche, un étage plus bas, combien coûtera demain l'accès aux modèles que les créatifs sollicitent déjà pour écrire, dessiner ou monter, et à quelle vitesse une plateforme pourra absorber des pics de demande sans répercuter la facture sur l'abonnement.