EmbeddingGemma 2 fait chercher une vidéo avec une note vocale
— AGENTS
Google DeepMind publie un modèle qui transforme texte, code, image, son et vidéo en une même carte de proximité de sens, utilisable hors ligne sur un téléphone. La licence autorise un usage commercial, et le repérage de moments précis dans une vidéo devient une fonction prête à l'emploi.
Un monteur qui cherche depuis des heures le plan exact d'une interview, celui où le client prononce une phrase précise, connaît la corvée du scrub manuel sur des rushes mal nommés. EmbeddingGemma 2 attaque directement ce point de friction : il transforme chaque image, chaque son, chaque mot en une coordonnée numérique, et range le tout dans un même espace où la proximité traduit une parenté de sens. Une requête tapée au clavier retrouve un passage audio, une note vocale enregistrée sur le pouce retrouve une séquence vidéo.
Ce fonctionnement tourne directement sur l'appareil, sans passer par un serveur distant. Pour un studio de montage qui manipule des rushes confidentiels ou des visuels sous embargo, ce détail pèse plus qu'il n'y paraît : pas de rush qui transite vers un cloud tiers pour être indexé. Les poids du modèle se téléchargent librement sur Hugging Face, sous une licence qui autorise les usages commerciaux, ce qui ouvre la porte à des outils internes de recherche de médiathèque sans négociation de licence préalable.
La mémoire nécessaire reste contenue : sur un téléphone récent, le modèle complet capable de traiter texte, image et son tient dans un peu plus de 500 mégaoctets une fois allégé. De quoi loger un moteur de recherche visuelle dans une application mobile de gestion d'assets, sans faire exploser l'espace de stockage. Ce chiffre décrit le poids du moteur lui-même, pas celui d'une bibliothèque de plusieurs milliers de rushes une fois indexée, et c'est bien là que se jouera la vraie charge pour un studio qui veut l'adopter.
Les démonstrations publiées montrent un repérage de moments précis dans une vidéo et une recherche dans des médias stockés localement, deux usages qui parlent directement à qui gère un fonds d'images ou un historique de tournages. Associé à un modèle génératif, le système peut aussi retrouver des documents puis construire une réponse à partir d'eux, ce qui préfigure un assistant de recherche documentaire pour une agence qui croule sous les archives créatives.
Le réglage qui réduit la taille des vecteurs de recherche, pour gagner en légèreté, dégrade davantage les résultats quand plusieurs formats se mélangent dans la même base. Compresser à l'excès une médiathèque mixte image et son risque donc de rendre les correspondances moins fines, un arbitrage à tester avant de rebâtir tout un système d'archivage dessus. Le premier chantier concret se situe là : transformer un vieux dossier de rushes en base interrogeable à la voix, sans attendre qu'un éditeur de logiciel le propose en option payante.