LoRA Foley : quand l'IA fabrique le son manquant de vos vidéos
— AUDIOVISUEL
Une vidéo muette n'est plus une impasse. LoRA Foley, adaptateur open weights conçu pour LTX-2.3-22B, génère automatiquement une piste sonore synchronisée en analysant les images. L'outil excelle sur les bruits quotidiens, transformant le workflow de post-production. Mais reste à valider : jusqu'où cette itération peut-elle réduire le besoin d'un vrai sound designer ?
Une vidéo générée par IA, nette, fluide, et pourtant muette. Le son reste le point faible de la vidéo synthétique, celui qu'on rajoute après coup, à la main. LoRA Foley vise exactement ce vide.
L'objet est un adaptateur greffé sur le modèle LTX-2.3-22B. Sa fonction tient en une phrase: fabriquer un bruitage aligné sur l'image de clips sans son. On décrit l'action visible à l'écran, l'outil renvoie la piste audio qui va avec. Deux portes d'entrée possibles — de la vidéo vers l'audio, ou du simple texte vers l'audio.
La mécanique reste volontairement restreinte. L'adaptateur ne touche qu'aux blocs d'attention dédiés au son et à la passerelle qui relie l'image au sonore. Les plans d'origine ne bougent pas, seule la bande sonore est calculée. Côté apprentissage, environ cinq mille trois cents clips courts. L'équipe s'est arrêtée à un point intermédiaire, le step 500: aller plus loin filtrait mieux la musique parasite mais rabotait le volume.
Le répertoire couvre le concret du quotidien. Pas, chocs, matières, ambiances, outils, cuisine, météo. Rien au-delà. Aucune voix, aucun dialogue, aucune synthèse vocale, pas de musique, pas de synchronisation labiale. L'outil ne prétend pas se substituer à un mixage de production complet, ni à une banque d'effets sous licence.
La diffusion suit une logique ouverte: poids accessibles au format safetensors, intégration dans ComfyUI, licence LTX-2 avec ses restrictions partielles côté commercial. Reste une interrogation de fond. Remplir le silence d'une image, est-ce lui rendre son vrai son, ou seulement une illusion crédible de réel?