LeVJEPA apprend la vidéo avec 321 fois moins d'heures filmées
— AUDIOVISUEL
Une équipe associant Yann LeCun entraîne un modèle de vision vidéo sur 5300 heures de séquences, contre 1,7 million pour la référence V-JEPA 2. Le score global recule de trois points, mais la facture de calcul s'effondre, et c'est ce rapport qui intéresse les laboratoires plus que les studios de création aujourd'hui.
Comprendre une vidéo coûte cher à une machine. Pour y parvenir, les modèles actuels avalent des millions d'heures de séquences filmées et des fermes de calcul entières. LeVJEPA 1.5, conçu par une équipe où figure Yann LeCun, renverse la logique habituelle : entraîner un système de vision avec une fraction minuscule de ces ressources, et vérifier ce qui reste debout.
Le chiffre qui résume tout : 5300 heures de vidéos pour entraîner le nouveau modèle, contre 1,7 million pour son prédécesseur V-JEPA 2. Un rapport de 321 fois moins de matière première, pour un score moyen qui ne recule que de trois points sur l'ensemble des tests visuels. Sur la reconnaissance d'images pures, l'écart devient quasiment invisible.
Ce terrain reste celui des laboratoires de recherche, pas des studios de création. Personne ne branche aujourd'hui ce type d'encodeur sur un montage ou une campagne. Mais ces briques de vision finissent toujours par irriguer des outils concrets : moteurs de recherche de contenus dans des bibliothèques vidéo, détection automatique de scènes, indexation de rushes. Le jour où un outil de gestion d'assets intégrera une reconnaissance d'actions plus fine, il y a de bonnes chances que son moteur descende d'une lignée comme celle-ci.
La faiblesse se loge dans la durée. Sur les tâches qui demandent de suivre une action dans le temps, comme reconnaître un geste ou une interaction entre plusieurs plans, l'écart avec les modèles gourmands en données reste net, parfois proche de dix points. Comprendre une image isolée et comprendre une scène qui se déroule restent deux exercices différents, et celui-ci excelle surtout au premier.
La licence fixée par l'équipe interdit tout usage commercial, ce qui cantonne pour l'instant le modèle à l'expérimentation académique. Le message de fond dépasse pourtant ce cadre : la course à la taille n'est plus la seule voie pour obtenir des résultats solides en vision par ordinateur, et un calcul réduit d'un facteur vingt peut suffire à égaler une partie des performances. Pour un secteur de l'IA vidéo encore dominé par des budgets d'entraînement colossaux, cette direction mérite d'être suivie de près, surtout quand elle redescend un jour vers des outils grand public moins voraces en infrastructure.