Tencent note la vidéo IA référence par référence, pas juste au visuel
— AUDIOVISUEL
Un classement détaillé distingue ce qu'un modèle vidéo copie vraiment d'une référence et ce qu'il bâcle sous une belle image. Les personnages passent bien, les mouvements de caméra et les styles restent le point faible, même chez les mieux notés.
Un storyboard envoyé à un générateur vidéo revient souvent avec le bon personnage et la mauvaise caméra. Ou l'inverse. Jusqu'ici, les classements de modèles vidéo donnaient une note globale qui masquait ce genre de ratage, tant que le rendu restait joli à l'œil.
Le protocole mis au point par Tencent avec deux universités de Hong Kong change l'angle de mesure. Il sépare trois choses : est-ce que le modèle garde ce qu'on lui a montré (un personnage, un mouvement, un style, une structure de plans), est-ce qu'il applique correctement la consigne, et est-ce que le résultat tient techniquement debout. Sur 813 scénarios testés, la conclusion est nette : les personnages et les objets sont généralement bien conservés, les mouvements de caméra et les styles beaucoup moins, même pour les modèles les mieux classés comme Seedance 2.5 ou MiniMax H3.
Pour un réalisateur ou un motion designer qui construit un film à partir d'un storyboard et de références visuelles, cette distinction a une valeur immédiate. Un bon score global ne garantit rien sur la continuité narrative entre deux plans ni sur le respect d'un mouvement de caméra précis. Savoir qu'un modèle excelle sur l'identité d'un personnage mais patine sur la mise en scène permet de choisir l'outil selon l'étape du projet, plutôt que de découvrir le problème en post-production.
Le jeu de données d'entraînement associé, avec ses 339 570 exemples puisés dans des séquences réelles, en animation 2D et en 3D, vise à combler ces lacunes chez les futurs modèles. Mais la ressource reste réservée à la recherche non commerciale : aucune de ces vidéos ni de ces annotations ne finira dans une production de studio.
Ce travail ne livre donc aucun outil utilisable demain matin. Il fixe en revanche les critères sur lesquels les prochaines générations de modèles vidéo vont être jugées, et probablement optimisées en priorité. Les producteurs de contenu vidéo IA ont tout intérêt à suivre où se situe leur fournisseur sur ce genre de grille avant de lui confier une continuité de plans entière.
La question qui restera à trancher dans les prochains mois : les équipes qui développent ces modèles vont-elles enfin combler l'écart entre la fidélité au personnage et la fidélité au mouvement, ou ce défaut va-t-il simplement devenir la norme acceptée du secteur.