XGEN Labs fait tourner un monde simulé même quand la caméra regarde ailleurs
— AUDIOVISUEL
JING génère ce qu'un agent voit et entend, DAO garde en mémoire tout ce qui se passe hors champ et met à jour l'environnement en conséquence. Le prototype reste cantonné à des fermes de calcul de studio de recherche, loin d'un poste de travail créatif.
Un décor qui continue d'exister quand personne ne le filme, voilà ce que propose XGEN Labs avec ce duo de composants baptisés JING et DAO. JING s'occupe de ce que perçoit un agent à un instant donné, l'image et le son depuis son point de vue. DAO, en parallèle, garde la mémoire de tout le reste : les règles du monde, les actions des autres personnages, les conséquences qui s'accumulent même hors du champ de vision. Cette séparation permet à plusieurs agents d'évoluer dans un même espace sans qu'aucun n'ait besoin d'une vue totale de la scène.
Côté production, JING transforme des actions au clavier, des images de référence et des instructions textuelles en séquences vidéo et audio synchronisées. On y définit un décor, un personnage, un objet avant l'exploration, puis on laisse la caméra suivre les commandes. L'idée touche directement à ce que fait un studio de previz ou d'animation quand il construit un environnement cohérent scène après scène, mais rien dans le prototype ne s'adresse aujourd'hui à ce métier tel quel.
La configuration de démonstration tourne sur six cartes H100 réparties entre le texte, la vidéo, l'audio et le calcul principal. C'est le format d'un laboratoire de recherche, pas celui d'un poste de montage ou d'une station de travail freelance. Le code public ne couvre pour l'instant que la partie JING, la brique DAO qui ferait tenir un monde persistant reste annoncée sans documentation.
Le classement WBench où XGEN-JING s'est positionné en tête à son entrée mesure vingt-deux critères de qualité et de cohérence, et aucun modèle testé ne les domine tous en même temps. Une première place sur un tel classement dit surtout que la course aux mondes simulés vidéo vient de s'accélérer, pas qu'un modèle a résolu le problème.
Ce genre d'architecture, si elle tient ses promesses sur la partie DAO, préfigurerait des outils de prévisualisation où un décor réagirait de lui-même à une action, sans qu'un motion designer ait à scripter chaque conséquence. En l'état, la brique la plus intéressante du projet reste la moins documentée, et c'est elle qu'il faudra regarder quand XGEN publiera enfin son rapport technique complet.