PAN 2 simule les scénarios avant qu'un agent n'agisse

— AGENTS

L'institut émirati MBZUAI publie un modèle qui génère vingt secondes de vidéo pour tester les conséquences d'une action avant qu'un agent ne la déclenche. Un plan sur trois seulement va jusqu'au bout dans les propres tests du laboratoire, loin de la promesse d'une physique maîtrisée.

PAN 2 simule les scénarios avant qu'un agent n'agisse

Un laboratoire émirati vient de publier un modèle qui ne sert pas à produire des images pour un client, mais à faire répéter un agent avant qu'il n'agisse. PAN 2 prend une observation, parfois une image, et des actions décrites en mots, puis génère une vidéo de vingt secondes pour anticiper ce qui se passerait. L'idée, comparer plusieurs scénarios simulés avant de choisir la bonne action, relève de la planification automatique, pas de la production visuelle.

Le projet vient de l'Institute of Foundation Models de la MBZUAI, un centre de recherche en intelligence artificielle, pas d'un studio ni d'un éditeur créatif. L'architecture sépare un modèle de langage, qui décrit l'état suivant du monde, et un module de diffusion de vingt-neuf milliards de paramètres qui dessine les détails visuels laissés ouverts. Ce découpage explique pourquoi le texte conserve la chronologie des actions pendant que l'image gère les textures et les mouvements fins.

Les chiffres publiés tempèrent l'ambition affichée. Sur cent tâches du quotidien testées en interne, le modèle réussit chaque étape prise isolément dans environ trois cas sur quatre, mais seulement un plan entier sur trois va jusqu'au bout sans accroc. La fiche du modèle reconnaît elle-même des raccourcis qui violent les lois physiques et une dérive de l'apparence des objets au fil de la séquence. Un monde simulé qui perd la cohérence d'une scène à l'autre reste un monde difficile à faire confiance pour décider quoi que ce soit.

Le décodeur d'images s'appuie sur Wan 2.2, une brique déjà connue des générateurs vidéo du marché, distribuée sous sa propre licence à part du reste du code publié en Apache 2.0. Ce choix montre que les mêmes moteurs circulent déjà entre simulation pour agents et production vidéo grand public, et que leur amélioration profitera aux deux usages sans distinction.

Aucun créatif ne va ouvrir ce modèle demain pour illustrer un brief ou monter une séquence de film. L'intérêt se loge ailleurs, dans la perspective que ce type de moteur physique, une fois stabilisé, nourrira les futurs générateurs vidéo capables de tenir un objet immobile pendant un travelling ou de respecter la trajectoire d'un liquide versé. Pour l'instant, le calcul de treize secondes de vidéo mobilise quatre GPU puissants pendant près de deux minutes, un coût qui situe l'outil du côté du laboratoire, loin d'un poste de travail de studio.

Sources

Umiros Média