Des robots qui écrivent leur propre plan avant de bouger un bras
— AGENTS
Des chercheurs de Berkeley, NVIDIA et de l'université de Pennsylvanie font tenir dans un seul modèle la planification, l'anticipation visuelle et le geste robotique. Sur des tâches de manipulation réelles, l'écart de réussite avec les meilleures approches précédentes dépasse largement les variations habituelles d'un benchmark à l'autre.
Un bras robotique qui range des fruits, plie une serviette ou résout un cube de Rubik n'a rien d'un spectacle nouveau. Ce qui change avec AW-0, l'architecture publiée par des équipes de Berkeley, NVIDIA et de l'université de Pennsylvanie, c'est que le même modèle écrit le plan d'action, imagine la scène qui va suivre et produit les commandes motrices, dans un seul processus de calcul.
Les laboratoires de robotique et les équipes de recherche en manipulation industrielle sont les premiers concernés. La démonstration la plus parlante tient en une consigne simple : laisser une mangue dans un bol. Le modèle qui programme explicitement son intention cible le bon fruit, celui qui ne le fait pas se dirige vers une pomme. Cette capacité à nommer l'objet, l'ordre et l'opération avant d'agir change la nature de l'erreur robotique, qui devient traçable plutôt que mystérieuse.
Sur huit tâches physiques testées avec deux types de robots, AW-0 obtient un score moyen de 71,1, contre 46 pour le meilleur concurrent évalué dans les mêmes conditions. L'écart dépasse largement ce qu'on observe habituellement entre deux versions d'un même système, et il tient en grande partie à cette brique de programmation intégrée plutôt qu'ajoutée après coup.
La marge se resserre nettement dès que l'environnement change. Un simple ajustement d'éclairage ou de texture fait chuter le taux de réussite du modèle sous celui d'un concurrent pourtant moins performant en conditions standard. Un robot capable de raisonner sur une tâche propre reste donc loin d'un robot capable de s'adapter à un décor imprévu, ce qui est précisément la situation d'un tournage, d'un atelier de prototypage ou d'une ligne de montage packaging.
Aucun métier créatif n'actionne aujourd'hui ce type de système, et la matière ne le suggère pas. Mais c'est ce genre de brique qui finira, dans quelques années, par équiper les bras robotisés utilisés en scénographie, en effets physiques ou en fabrication de prototypes produit. La question posée par cette recherche n'est pas celle d'un usage immédiat, elle porte sur la vitesse à laquelle un geste robotique devient fiable hors laboratoire.
Le code et un modèle préentraîné sont déjà disponibles publiquement, ce qui ouvre la voie à des reprises rapides par d'autres équipes de recherche. Reste à voir combien de temps il faudra pour que cette robustesse en environnement contrôlé tienne sur un plateau réel, avec sa lumière changeante et ses objets qui ne sont jamais rangés comme prévu.