Runway recycle sa vidéo générative pour apprendre aux robots à saisir des objets
— Business
Runway construit un modèle qui transforme ses années de pré-entraînement vidéo en policy capable de piloter des bras robotiques réels. La vidéo filmée par des humains sur le web obtient une précision de pose presque identique à celle obtenue avec des démonstrations robotiques coûteuses à produire.
Runway a bâti sa réputation sur la génération d'images animées pour les équipes de production. Praxis-1 déplace cette expertise ailleurs : vers des bras robotiques, des entrepôts, des cuisines. L'entreprise affirme que la compréhension du mouvement acquise en entraînant ses modèles vidéo sert aussi à faire saisir un livre à un robot mobile.
Le pari économique est clair. Filmer des démonstrations avec un robot téléopéré coûte cher et limite les volumes de données. Runway a comparé cette méthode à un entraînement sur de la vidéo web ordinaire, celle que tournent des millions de gens chaque jour. La précision de pose finale ne varie que d'un millimètre entre les deux approches, un écart que l'entreprise elle-même juge trop faible pour trancher.
Ce sujet ne concerne aucun studio créatif aujourd'hui, ni DA ni motion designer. Les premiers terrains d'essai sont des fabricants de robots industriels et mobiles, pas des agences de production. Ce qui se joue ici regarde les laboratoires de robotique et les intégrateurs qui cherchent une alternative aux données robotiques coûteuses à collecter.
Le signal intéresse pourtant quiconque dépend de Runway pour ses outils vidéo. Une entreprise qui investit sa recherche dans le contrôle physique de machines répartit son attention et ses ressources ailleurs que sur les générateurs utilisés en production. Les résultats avancés restent internes, mesurés sur 93 paires de test, sans confrontation publique à d'autres équipes ni à d'autres types de robots.
Runway promet des poids ouverts dans les mois à venir, un choix qu'elle justifie par le besoin d'adapter le modèle à des matériels variés. Aucun calendrier précis n'accompagne cette promesse, et aucun poids n'est disponible à ce stade. La véritable question pour les clients actuels de l'outil vidéo tient moins au robot qu'à la direction que prend l'entreprise qui finance leurs outils du quotidien.