Runway ouvre les poids d'un modèle qui transforme la vidéo en gestes de robot

— AGENTS

Praxis-1 prédit la scène suivante et les mouvements qui la produisent, et Runway en distribue le code et les poids librement. L'exécution réclame un GPU de datacenter, signe que cette brique robotique reste loin d'un studio créatif et vise un tout autre marché.

Runway ouvre les poids d'un modèle qui transforme la vidéo en gestes de robot

Runway est connu des monteurs et des réalisateurs publicitaires pour ses outils de génération vidéo. Avec Praxis-1, la société met en ligne un tout autre produit : un modèle qui regarde une scène filmée par un robot et prédit, dans la foulée, les mouvements de bras qui vont suivre. Le code, les poids et les outils d'ajustement sont publiés en licence ouverte, avec une couche vidéo qui prédit l'image suivante et une couche d'action qui traduit cette prédiction en commandes de moteurs.

Ce socle n'a rien d'un outil de création. Il sert à faire bouger un bras Franka, un robot à deux bras YAM ou un bras SO-101, et doit d'abord être adapté à chaque machine avant de piloter quoi que ce soit. Aucun graphiste, monteur ou directeur artistique n'a de raison d'ouvrir ce dépôt demain matin. La seule chose qui mérite l'attention d'un studio, c'est ce que ce lancement dit de Runway lui-même : une entreprise qui finance une part de sa recherche vidéo sur la robotique industrielle, loin des usages publicitaires qui font vivre ses abonnements.

Faire tourner ce modèle demande une carte graphique de niveau datacenter, avec une mémoire largement supérieure à ce qu'une station de montage embarque d'ordinaire. Ce détail, en apparence technique, situe bien le public visé : des laboratoires de robotique et des équipes d'ingénierie, pas des créatifs en quête d'un nouvel outil de production.

Le classement mis en avant mérite un tempérament. Praxis-1 arrive en tête parmi les modèles de sa catégorie, mais se place cinquième dans le tableau général, loin derrière les meilleurs systèmes pilotés par des modèles généralistes. La comparaison de vitesse et de coût annoncée contre un concurrent ne porte que sur trois tâches simples, pas sur une supériorité générale.

L'intérêt réel de cette publication tient à la stratégie qu'elle révèle. Un acteur de la vidéo générative investit dans des moteurs capables de relier perception et action physique, un terrain qui dépasse largement le montage ou la postproduction. Cela ne change rien à la boîte à outils d'un studio aujourd'hui, mais dit où certains laboratoires placent leurs paris de recherche, et avec quels moyens de calcul.

Rien n'indique que cette brique franchira un jour la porte d'un studio créatif sous une forme utilisable. Elle reste un signal sur la direction que prend un fournisseur déjà installé dans le quotidien des équipes vidéo, et sur les marchés qu'il choisit de financer à côté.

Sources

Umiros Média