PrismML loge un assistant IA de 9 milliards de paramètres dans 2 Go sur iPhone
— AGENTS
PrismML lance Bonsai 2, trois modèles compressés capables de voir, raisonner et manipuler des outils sans passer par un serveur distant. La compression tient ses promesses sur certaines tâches et perd du terrain sur le raisonnement complexe, preuve que miniaturiser un modèle ne se fait jamais sans compromis.
Un modèle de neuf milliards de paramètres qui tient dans deux gigaoctets et tourne directement sur un iPhone, voilà ce que livre PrismML avec sa gamme Bonsai 2. Le principe tient en une idée simple: chaque paramètre du modèle est ramené à trois valeurs possibles au lieu d'une infinité de nuances numériques, ce qui divise sa taille par plus de neuf sans faire appel à un centre de données.
Ce sujet ne parle à aucun directeur artistique ni à aucun monteur aujourd'hui. Il parle en revanche aux équipes qui construisent les applications mobiles et les objets connectés, celles qui décident si une fonction d'intelligence artificielle tournera dans le téléphone ou sur un serveur facturé à l'usage. C'est exactement ce type de brique, compacte et gratuite sous licence ouverte, qui finira par tourner derrière une fonction de retouche photo ou de reconnaissance visuelle intégrée à une application grand public, sans que personne n'ait à y penser ni à payer un abonnement cloud pour l'activer.
La promesse de confidentialité mérite d'être prise au sérieux pour les métiers qui manipulent des documents sensibles. La démonstration où le modèle local repère et masque les informations confidentielles avant d'envoyer le reste à une IA distante dessine un usage réel pour les studios ou agences qui travaillent sur des dossiers clients à protéger, en réduisant la part de données transmise à l'extérieur.
La compression a cependant un prix inégal selon les tâches. Sur les évaluations de connaissances et de raisonnement complexe, l'écart avec le modèle d'origine se creuse nettement, quand le suivi d'instructions ou la programmation restent quasiment intacts. Réduire la mémoire ne réduit pas toutes les compétences de la même manière, et ce sont précisément les tâches les plus exigeantes qui encaissent le plus de pertes.
Ce que change vraiment cette annonce, c'est la trajectoire du marché des assistants embarqués. Chaque génération de modèle compact qui tient sur un téléphone ou des lunettes connectées rapproche le moment où une fonction d'intelligence artificielle deviendra un composant gratuit et invisible plutôt qu'une ligne d'abonnement séparée. Les équipes produit qui pilotent des applications créatives sur mobile ont intérêt à surveiller d'où viendront ces briques et à quelles conditions elles seront intégrées, avant que le choix ne leur soit imposé par un fournisseur de plateforme.