← Writings

La machine à consensus

By SaintPixel

Quand on demande une image à un générateur, ou une réponse à un assistant comme ChatGPT, on interroge un système entraîné sur des masses de données, puis réglé, dans un second temps, sur nos préférences. Cette seconde éducation porte un nom, l'apprentissage par renforcement à partir de préférences humaines (RLHF), et un coût qu'on regarde peu : elle prend un jugement humain situé, le moyenne, et le fige en mesure. Ce texte décrit ce que ce gel fait aux représentations, ce qui le distingue des anciennes fabriques du goût, et pourquoi le problème n'est pas l'outil, mais ce qu'on lui fait viser.

The Consensus Machine

Un modèle génératif apprend d'abord seul. Il avale des milliards d'images ou de phrases jusqu'à savoir produire ce qui ressemble le plus à ce qu'il a vu. Mais cette compétence brute ne suffit pas : livré à lui-même, il répond à côté, sans tact, sans à-propos. On lui ajoute donc une seconde phase. Des évaluateurs humains classent ses sorties, de la meilleure à la pire ; un second modèle, le modèle de récompense, apprend à prédire ces classements ; puis on règle le générateur pour viser la note la plus haute. C'est l'étape qu'on appelle RLHF, et c'est elle qui rend ces systèmes si polis, si serviables, si étrangement d'accord avec nous. Pour les images, le détail technique diffère, et le pipeline n'est pas toujours celui du texte : on filtre, on affine, on sélectionne autant qu'on récompense. L'analogie est de structure, pas d'identité technique. Mais le principe tient : une préférence située devient un signal qu'on optimise.

On dit alors qu'on y a « injecté de l'humain ». La formule est flatteuse, et trompeuse. Ce qu'on injecte n'est pas l'humain en général, mais un jugement particulier, émis à un instant, par quelques annotateurs, puis moyenné et durci en une fonction à maximiser. Un regard vivant entre dans la machine ; il en ressort comme cible.

Rien là-dedans n'est une fatalité : un modèle se règle, et pourrait se régler autrement. Mais le réglage qui domine aujourd'hui produit un effet précis, qu'il faut nommer.

Deux forces, et non une, tirent la sortie vers le centre.

La première tient au pré-entraînement. Un modèle produit d'abord ce qu'il a vu le plus souvent : le probable, le lisse, le déjà-vu. C'est la pente que connaît quiconque a manié ces outils. C'est contre elle que j'introduis mes propres travaux graphiques, réalisés à la main : un matériau que le modèle n'a pas appris à reconnaître.

La seconde force vient de l'alignement. La note ne tire pas vers le probable, mais vers le préféré. Et le préféré n'est pas un dehors de la culture : il en est le centre le plus dense, parce que celui qui évalue a appris à voir avant d'évaluer. Il récompense ce qu'il reconnaît. Non le connu pur, car l'ennui le rebute autant que le chaos, mais l'écart qu'il peut encore ramener à du connu.

Le résultat se mesure déjà, et sur deux plans. Par défaut, déjà, ce que ces modèles donnent à voir est étroit, lissé, culturellement centré : c'est l'effet des données. Plus retors ensuite : sommé de produire une image laide, triste ou délibérément ratée, un modèle aligné rend malgré tout du beau lisse. Il ne se contente pas de préférer, il pose un seuil que la consigne ne suffit pas à franchir, et ce qui le dépasse devient moins probable, donc moins visible. C'est cela, le regard figé : un regard pris dans un protocole, moyenné, durci en mesure, au point que la part autrefois vivante du spectateur, son attention, son hésitation, ne répond plus à l'image mais passe du côté de sa production.

On objectera, à juste titre, que moyenner le goût n'a rien de neuf : le jury du Salon, le marché, l'académie l'ont toujours fait. C'est vrai. Mais trois traits séparent ce regard-ci de tous ceux qui l'ont précédé, et c'est leur conjonction qui est inédite.

D'abord, le jury avait un avis ; le modèle a une note. Or une note, on l'optimise ; et à force d'optimiser la mesure, c'est elle qu'on poursuit, non plus le goût qu'elle devait approcher.

Ensuite, le jury ne réécrivait pas le regard des peintres suivants. Le modèle, lui, le peut : ses sorties les plus valorisées sont aussi les plus diffusées, et si elles entrent dans les données où s'entraînera la génération d'après, elles l'orientent. La boucle se referme alors, et l'on sait qu'un modèle réentraîné sur ses propres productions voit ses marges s'effacer : la rareté disparaît, tour après tour, et ne revient pas seule.

Enfin, le jury siégeait quelque part, à une date, dans une salle où l'on pouvait contester. Le modèle tranche en silence, sur des millions de sorties, comme réglage par défaut. Le code fait loi : sans lieu, sans date, sans personne à qui s'adresser.

Aucun de ces traits, isolé, n'est tout à fait neuf. Mais aucun jury, aucun marché ne les a jamais réunis à cette échelle, ni de façon aussi automatique : un goût rendu calculable, rebouclé sur lui-même, et imposé par défaut.

C'est ici que la promesse de ces outils se retourne. On les présente dans une langue généreuse : la création pour tous, la main rendue à chacun. Et cette promesse n'est pas un mensonge : on y apprend, on y cherche, on s'y essaie. Mais leur moteur parle une autre langue. Il y a un siècle s'opposaient deux idées du public : pour Lippmann, le public ne peut pas suivre la complexité du monde, et il faut la lui mettre en forme ; pour Dewey, le public se cultive, par la circulation et la reprise. La promesse de ces outils est de Dewey ; leur réglage penche vers Lippmann : fabriquer le consentement, mettre en forme à l'avance ce qui sera reçu. Le problème n'est donc pas qu'il existe une note. Il est de savoir qui la fixe, et sur quoi.

Car rien n'oblige à régler la note sur la moyenne. On peut l'orienter vers l'écart, vers la dissonance, vers la voix rare.

Mais attention au faux remède. Remplacer la moyenne de tous par le verdict de quelques-uns, experts, critiques, artistes, ne défige rien : on installe un autre regard gelé, mieux habillé. Et additionner les goûts d'une foule, c'est encore fabriquer une moyenne. Le problème n'a jamais été de savoir qui juge. Il est qu'on réduise mille regards à un seul chiffre.

Régler autrement, ce n'est pas élire de meilleurs juges. C'est faire une place au dissensus. Une note moyenne est une machine à consensus : elle cherche le point où le plus grand nombre acquiesce, et tient ce point pour le vrai. Le dissensus commence là où l'on refuse de réduire les désaccords à ce point. Garder la dispersion, les bords, les voix qui ne tombent pas au centre. Un modèle peut rester divisé, tenir plusieurs goûts à la fois, pencher vers la marge plutôt que vers le milieu.

C'est là que le geste de l'artiste reprend son sens. Réintroduire le mal-vu, le non-préféré, l'illisible voulu, ce n'est pas « résister à la machine », ni prétendre mieux juger que les autres. C'est remettre dans la boucle ce qu'aucune moyenne n'aurait retenu, garder vivant l'écart que le réglage efface en silence.

La vraie question n'est pas de garder ou non l'humain dans la boucle, ni même lesquels. Elle est de savoir si on l'écrase en un chiffre ou si on lui laisse sa dispersion. Un regard figé appauvrit. Un regard resté vivant, divisé, responsable de son seuil, peut encore ouvrir. Rien là n'est une fatalité technique : la technique, justement, existe. Ce qui manque, c'est une décision. Et puisque le code fait loi, fixer ce qu'une machine récompense n'est pas une affaire d'ingénieurs : c'est un acte politique. Reste à savoir qui décide.

Références

Le texte ne cite pas dans son corps ; voici l'appareil, classé par ce qu'il étaye.

  • Alignement par préférence (RLHF). Ouyang et al., Training Language Models to Follow Instructions with Human Feedback (InstructGPT), arXiv:2203.02155 (2022).
  • Réduction de diversité, homogénéisation. Kirk et al., Understanding the Effects of RLHF on LLM Generalisation and Diversity, ICLR 2024 (arXiv:2310.06452). Modèles d'image : Bianchi et al., Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale, ACM FAccT 2023 (arXiv:2211.03759) ; Luccioni et al., Stable Bias: Evaluating Societal Representations in Diffusion Models, NeurIPS 2023 (arXiv:2303.11408) ; Guo et al., Position: Universal Aesthetic Alignment Narrows Artistic Expression, arXiv:2512.11883 (2025, révisé 2026 ; position paper).
  • La mesure qu'on optimise jusqu'à la vider (loi de Goodhart). Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, ICML 2023 (arXiv:2210.10760) ; Skalse et al., Defining and Characterizing Reward Hacking, NeurIPS 2022 (arXiv:2209.13085) ; Coste et al., Reward Model Ensembles Help Mitigate Overoptimization, ICLR 2024 (arXiv:2310.02743).
  • La boucle récursive (effondrement par réentraînement). Shumailov et al., AI Models Collapse When Trained on Recursively Generated Data, Nature 631, 755-759 (2024).
  • Régler autrement (alignement pluraliste). Sorensen et al., Position: A Roadmap to Pluralistic Alignment, ICML 2024 (arXiv:2402.05070) ; Kirk et al., The PRISM Alignment Dataset, NeurIPS 2024 (arXiv:2404.16019).
  • Public, mise en forme, consentement. Walter Lippmann, Public Opinion (1922) ; John Dewey, The Public and Its Problems (1927 ; trad. fr. Le public et ses problèmes). Sur « le code fait loi » : Lawrence Lessig, Code and Other Laws of Cyberspace (1999).