Pipette chronomètre les modèles IA sur l'appareil qui doit les faire tourner
— Business
Pipette mesure la vitesse et la mémoire d'un modèle une fois compressé pour un téléphone ou un ordinateur portable précis. L'écart de traitement observé grimpe jusqu'à un facteur trente entre versions d'un même modèle, ce qui décide du budget réel d'un déploiement mobile.
Un score obtenu sur un serveur surpuissant ne dit rien de ce qui se passera sur l'appareil qui exécutera vraiment l'application. Pipette, développée par Liquid AI avec Artificial Analysis, déplace l'objet de la mesure vers la combinaison réellement utilisée : modèle, compression, moteur d'exécution et appareil. Chaque résultat reste rattaché à sa configuration exacte, sans moyenne qui gommerait les écarts.
Les équipes qui promettent des fonctions IA fonctionnant hors connexion, sur téléphone ou PC portable, sont les premières concernées. Selon Artificial Analysis, la durée nécessaire pour traiter une même requête variait d'un facteur trente selon la version testée d'un même modèle. Ce genre d'écart déplace la décision qui compte du nom du modèle vers son format de compression et le moteur qui l'exécute.
Les scores de qualité affichés ne viennent pas du téléphone testé lui-même. Ils sont calculés sur des serveurs équipés de puces NVIDIA H100, puis associés aux mesures de vitesse relevées localement. Le principe suppose qu'un fichier compressé se comporte de façon identique partout, une hypothèse pratique qu'il vaut mieux garder en tête avant de citer un score comme preuve de fluidité sur un appareil précis.
Comparé aux classements génériques qui trônent sur des benchmarks serveur, l'outil rend un service concret à qui doit livrer un produit fonctionnant sur un modèle précis de téléphone. Le compromis vitesse contre qualité que Pipette expose sans détour force à choisir en fonction de l'usage réel visé, autocomplétion rapide ou traitement de document long.
L'absence de parcours dédié aux puces NPU, alors que ces composants se généralisent dans les téléphones et ordinateurs récents, laisse un angle mort dans les mesures actuelles. Pour toute équipe qui prépare une fonction IA embarquée, le réflexe deviendrait de rejouer ces tests sur le matériel réellement visé avant de figer un choix de modèle. Le nom d'un modèle et son nombre de paramètres cessent d'être une garantie de performance quand la mémoire, le contexte et l'appareil entrent dans l'équation.