Thinking Machines grignote le calcul des modèles avec le format 4 bits

— Business

Thinking Machines détaille comment Inkling 2 Small a été entraîné en numérique basse précision, du premier calcul jusqu'au dernier réglage par renforcement. L'apprentissage par renforcement gagne un cinquième de vitesse, pour une perte de précision jugée négligeable par le laboratoire.

Thinking Machines grignote le calcul des modèles avec le format 4 bits

Un laboratoire d'intelligence artificielle vient de documenter en détail comment il réduit la facture de calcul de ses propres modèles. Thinking Machines, fondé par Mira Murati, explique comment Inkling 2 Small a appris en numérique allégé sur quasiment toute sa chaîne d'entraînement, du calcul des premières prédictions jusqu'aux derniers ajustements par renforcement. L'enjeu tient en une phrase simple : moins de bits à manipuler, moins de temps de machine, donc moins cher à produire.

Aucun directeur artistique ni motion designer n'ouvre ce genre de billet technique un matin de brief client. Pourtant ce sont des équipes comme celle-ci, chez des laboratoires fournisseurs de modèles de fondation, qui fixent la vitesse et le coût auxquels les futurs générateurs d'images, de vidéo ou de texte pourront être entraînés puis mis à jour. Un gain de calcul ici se traduit, des mois plus tard, par un abonnement qui baisse ou par une nouvelle version d'outil qui sort plus vite.

Le chiffre qui parle vraiment dans cette annonce concerne l'apprentissage par renforcement, l'étape où le modèle affine ses réponses par essais successifs : Thinking Machines y mesure un gain de vitesse d'un cinquième par rapport à sa configuration précédente. Sur des cycles d'entraînement qui durent des semaines, économiser un cinquième du temps de calcul pèse directement sur le budget machine d'un laboratoire, et donc sur le prix auquel il peut vendre l'accès à ses modèles.

Le compromis reste réel. Le laboratoire reconnaît environ deux pour cent de perte d'efficacité au préentraînement par rapport à une précision plus confortable, et le calcul le plus délicat, celui qui sert à corriger le modèle pendant l'apprentissage, continue d'exiger des formats plus prudents sur une partie des couches. L'entraînement en quatre bits de bout en bout annoncé dans le titre recouvre en réalité plusieurs précisions numériques selon l'étape, et le chiffre impressionnant de débit multiplié par six promis par le matériel ne se retrouve jamais tel quel dans la vitesse d'entraînement complète.

Ce genre d'optimisation ne change rien à ce qu'un graphiste ou un réalisateur publicitaire fait demain matin dans son logiciel. Elle décide en revanche du rythme auquel les modèles qui équipent ces logiciels seront renouvelés, et du prix que les éditeurs pourront répercuter ou absorber. Un laboratoire qui gagne du calcul aujourd'hui prépare les conditions tarifaires des outils créatifs de l'année prochaine.

Sources

Umiros Média