SMD comprime la génération d'image et de vidéo à quatre étapes, code ouvert

— IMAGE

Microsoft Research et ses partenaires publient une méthode qui ramène des dizaines d'étapes de diffusion à quatre, sans modèle supplémentaire au moment de la génération. Le code et les poids distillés circulent déjà pour FLUX.1, Qwen-Image ou Wan2.1, avec des paquets prêts pour ComfyUI.

SMD comprime la génération d'image et de vidéo à quatre étapes, code ouvert

Un studio qui facture des générations d'images ou de vidéos paie d'abord du temps de calcul. Chaque variante demandée par un client coûte des dizaines, parfois des centaines de passages successifs du modèle avant d'obtenir un rendu propre. SMD, présentée par une équipe de Microsoft Research avec des chercheurs de New York University et de Hong Kong, ramène ce travail à quatre étapes pour des modèles déjà installés dans les flux de production, sans ajouter de pièce lourde au moment de générer.

Le graphiste ou le motion designer qui pilote ses générations via ComfyUI touche directement ce terrain. FLUX.1-dev et Qwen-Image, deux modèles déjà présents dans des pipelines ouverts, obtiennent des versions distillées capables de produire une image en quatre évaluations du réseau là où l'original en demandait cinquante. Les scores de fidélité aux instructions tiennent la comparaison, et dans certains cas la dépassent, ce qui change la ligne de devis liée au nombre d'itérations par visuel validé.

La méthode étend aussi son terrain à la retouche d'image, à la génération 3D avec Hunyuan3D et TRELLIS.2, et jusqu'à un modèle qui produit vidéo et audio ensemble. Les gains restent cependant inégaux: la diversité des compositions baisse par rapport au modèle d'origine, et les versions vidéo gardent des instabilités sur les mouvements complexes que les auteurs eux-mêmes signalent.

Le code, les poids distillés et des paquets prêts pour ComfyUI sont publiés sur GitHub, ce qui place SMD dans la même famille que les variantes Lightning ou Turbo déjà adoptées par les studios qui tournent leurs générations en local. Ce type de distillation ouverte finit presque toujours par s'intégrer aux outils publics d'ici quelques mois, sans négociation de licence à prévoir pour les versions déjà publiées.

Le premier réflexe utile serait de tester ces poids sur un projet interne plutôt que sur une livraison client, pour mesurer la perte de diversité avant de l'accepter dans un brief qui demande des variations. La vitesse gagnée vaut quelque chose seulement si la gamme de résultats reste assez large pour proposer un choix réel à la direction artistique.

Sources

Umiros Média