Deux millions de votes classent les générateurs d'images, sans dire ce qu'ils récompensent
— IMAGE
Datapoint publie deux millions de votes humains comparant trente générateurs d'images sur cinq cents prompts, du packaging à l'animation japonaise. Le classement qui en sort tient sur des écarts de moins de dix points entre les trois premiers modèles, preuve que la hiérarchie affichée masque une quasi-égalité de terrain.
Un directeur artistique qui hésite entre deux générateurs pour un visuel de packaging finit toujours par se fier à un classement trouvé en ligne. Datapoint vient de rendre visible la mécanique derrière ces scores, en ouvrant deux millions de votes humains ayant comparé trente modèles d'image sur cinq cents prompts répartis en dix familles, dont le marketing et le design produit.
Le détail qui compte pour un praticien tient dans un seul chiffre. Les trois modèles en tête du classement se séparent par moins de dix points d'écart, un score si serré qu'il tombe dans la marge d'erreur de la mesure. Autrement dit, le numéro un du jour peut perdre sa place demain sur un simple changement de prompt, ce qui rend risqué tout choix d'outil basé sur une position figée en haut d'un tableau.
Le protocole ne mélange pas les critères par accident, il les fusionne volontairement. Un annotateur qui préfère une image répond à une question unique, sans dire s'il valorise l'esthétique, la lisibilité d'un texte incrusté ou le respect exact du nombre d'objets demandés. Pour un designer packaging qui a justement besoin d'un rendu fidèle à une consigne précise, ce genre de score global ne dit rien de la fiabilité du modèle sur son cas d'usage réel.
La proportion de votes qui se terminent à égalité, près d'un cinquième des confrontations, confirme que les modèles récents se ressemblent davantage qu'un classement à une seule ligne ne le laisse penser. C'est un aveu utile: la hiérarchie affichée par les outils de comparaison publics vaut surtout comme tendance générale, jamais comme garantie sur un brief donné.
Ce que la publication change réellement, c'est la possibilité de vérifier ces classements au lieu de les prendre pour argent comptant. Un studio soucieux de choisir un générateur pour une campagne pourrait recroiser les données par catégorie plutôt que suivre le score agrégé, en isolant par exemple les prompts qui ressemblent le plus à ses propres briefs.
La vraie utilité de ce corpus se jouera dans la manière dont les équipes créatives l'exploiteront pour tester leurs propres critères, texte lisible, composition, absence de défauts, plutôt que de recopier un podium qui change au moindre prompt.