Baseten lance un laboratoire pour faire vieillir les modèles ouverts sans les casser
— Business
Base Labs veut publier chaque expérience sur l'entretien des modèles ouverts après leur sortie, mémoire, coût, sécurité. Ses propres tests montrent surtout la résistance du problème qu'il prétend résoudre.
Un modèle ouvert publié aujourd'hui reste, en pratique, figé au jour de sa sortie. Base Labs, la nouvelle organisation de recherche adossée à Baseten, veut changer cette règle en documentant tout ce qui permettrait à un modèle de continuer à apprendre, à se corriger et à coûter moins cher à faire tourner, longtemps après sa publication.
Personne dans une agence ou un studio ne va aujourd'hui consulter ces publications de recherche. Mais les plateformes qui font tourner des modèles ouverts derrière des interfaces de génération d'image, de vidéo ou de texte dépendent directement de ce type de travail. Un modèle mieux maintenu, moins gourmand en calcul, coûte moins cher à héberger, et ce coût finit toujours par se répercuter sur le prix d'un abonnement ou d'un crédit de génération.
La promesse la plus spectaculaire, celle d'un modèle qui apprendrait de nouveaux faits sans tout réentraîner, se heurte à un mur que Base Labs documente lui-même. Dans l'une de ses études, un fait enseigné sous une seule formulation ne conserve qu'un pour cent de précision après vingt mises à jour successives, contre quarante-six pour cent quand il est présenté sous plusieurs formes. L'oubli catastrophique, ce phénomène où une nouvelle information écrase l'accès à une ancienne, reste largement intact.
Le laboratoire annonce vouloir tout publier, y compris les échecs, et refuse pour l'instant de vendre un produit. Baseten finance pourtant la recherche, fournit le calcul et cite explicitement ses propres besoins de production comme matière d'expérience. La frontière entre science ouverte et amélioration d'un service commercial reste donc à surveiller sur la durée, pas sur l'annonce du jour.
Ce genre de travail ne change rien à un brief de demain matin. Il conditionne en revanche, dans deux ou trois ans, le prix et la fraîcheur des modèles ouverts qui tournent déjà derrière des outils de création accessibles sans configuration technique. Une studio qui choisit d'auto-héberger un modèle pour maîtriser ses coûts de production a tout intérêt à savoir qui, dans l'écosystème, travaille vraiment à le faire durer.