« Balance ton Claude » : et si c’était moi, le suspicieux ?

Un aveu pour commencer

Je sus­pecte l’IA un peu partout, et je ne m’en cache pas. J’en ai même fait un arti­cle : Parei­dolie : quand on voit de l’IA partout (la parei­dolie, c’est la ten­dance du cerveau à percevoir des formes famil­ières là où il n’y en a pas). J’y racon­te com­ment j’ai pris pour de l’IA une chronique de rug­by 100 % humaine, écrite d’un jet avant un bar­be­cue.
Mon souci de trans­parence n’arrange rien. Sur mes sites, je dis quand Claude m’a aidé, alors un texte qui me sem­ble fab­riqué sans qu’on le dise m’a­gace vite. C’est ce qui m’a fait regarder de près la page Face­book L’En­cre Libre, qui pub­li­ait une très grande quan­tité de textes en une seule journée. Je n’en­tre pas dans le détail ici, ce n’est pas le sujet. Je le dis pour situer d’où je par­le : je suis quelqu’un qui soupçonne facile­ment.

Ce qui s’est passé

Lun­di 21 sep­tem­bre, un compte anonyme du réseau X, « Bal­ance ton Claude », affirme que le pre­mier roman de Thélyson Orélien, « C’é­tait ça ou mourir », a été écrit presque inté­grale­ment par une IA, extraits à l’ap­pui, passés dans le logi­ciel Pan­gram. Pan­gram est un détecteur (un logi­ciel qui estime la prob­a­bil­ité qu’un texte ait été pro­duit par une IA), et il répond « 100 % IA ». En 24 heures, le compte passe de moins de cent abon­nés à plusieurs mil­liers.
Le jour même, le roman rece­vait le prix Fnac, et il fig­ure dans les sélec­tions du Goncourt, du Médi­cis et du Fem­i­na. L’au­teur dément, ne voit pas pourquoi il ferait appel à une machine, et dit con­stituer un dossier avec ses édi­teurs pour prou­ver qu’il a tout écrit. Gras­set dénonce une cam­pagne de haine et évoque une pos­si­ble jalousie. L’édi­teur cana­di­en Boréal dit ne pas pren­dre les allé­ga­tions à la légère, tout en affir­mant sa con­fi­ance en l’au­teur. Philippe Claudel, prési­dent de l’a­cadémie Goncourt, appelle à la pru­dence : les résul­tats d’un détecteur ne sont pas une preuve irréfutable.
Côté détecteurs, les avis diver­gent. fran­ce­in­fo a refait le test avec Pan­gram et obtenu le même ver­dict sur tous les extraits, l’outil étant présen­té comme le plus fiable du marché par deux études. L’AFP, elle, a passé les mêmes extraits dans d’autres détecteurs et obtenu des résul­tats dif­férents. Têtu rap­pelle que Pan­gram, testé sur des textes plus anciens du même auteur, les classe comme humains, mais qu’il ne fait qu’es­timer une prob­a­bil­ité à par­tir de régu­lar­ités sta­tis­tiques : il n’a aucune fenêtre sur l’au­teur devant son clavier.

Le mécanisme

Qua­tre choses me frap­pent.

  1. Une cible choisie pour sa vis­i­bil­ité. Le col­lec­tif (cinq per­son­nes, dit-il, sans lien avec l’édi­tion ni avec une entre­prise privée, ani­mées par un com­bat con­tre l’IA dans l’art) l’as­sume : ce livre a été sig­nalé parce qu’il a du suc­cès. Il annonce vouloir con­tin­uer avec d’autres auteurs et des comptes pop­u­laires de X. Sa présen­ta­tion invite d’ailleurs cha­cun à lui désign­er un « AI-sloppeur » (auteur de con­tenus bâclés pro­duits par IA), en l’i­den­ti­fi­ant sous ses pub­li­ca­tions ou par mes­sage privé, avec la promesse d’en­quêter. Une dénon­ci­a­tion sur com­mande, en somme.
  2. Un seul out­il. Toute la démon­stra­tion repose sur Pan­gram. Si le détecteur se trompe, il n’y a plus rien.
  3. Un retrait qui ne retire rien. Le compte finit par appel­er à « y aller mol­lo » et admet une chance « non nulle » que l’au­teur soit de bonne foi. Mais il con­tin­ue de par­ler d’ar­naque et de zone d’om­bre morale. La com­pas­sion s’adresse à quelqu’un qu’on tient tou­jours pour coupable.
  4. Une expli­ca­tion qui se mord la queue. Le col­lec­tif explique que les for­mules stéréo­typées des IA nous plairaient si nous n’é­tions pas lassés de les voir, car les mod­èles les ont appris­es d’hu­mains qui les jugeaient bonnes pen­dant leur entraîne­ment (le RLHF, méth­ode où des éval­u­a­teurs humains notent les répons­es de l’IA). Mais si ces tics vien­nent des humains, ils ne dis­tinguent plus la machine de ceux qui l’ont for­mée. Un style ne prou­ve rien.

Et moi dans tout ça

Le compte s’ap­pelle « Bal­ance ton Claude », et rien dans ce que j’ai lu n’indique quel out­il aurait servi à écrire ce roman, si tant est qu’il y en ait eu un. Moi, je tra­vaille avec Claude, et je le dis en bas de chaque arti­cle. Bal­ancez-moi si vous voulez, je me suis déjà dénon­cé tout seul.
Ce qui me gêne le plus, c’est que je me recon­nais des deux côtés. Je sais soupçon­ner un texte sur un détail qui sonne faux, et j’ai déjà eu tort. Je ne dis pas que Thélyson Orélien est inno­cent, je ne sais pas. Je ne dis pas non plus qu’il est coupable. Je sais seule­ment qu’un score, un compte anonyme et vingt-qua­tre heures de viral­ité ne font pas un dossier. Ma règle reste sim­ple : trans­parence pour moi, doute méthodique pour les autres, ver­dict seule­ment sur preuve. Et si un jour il s’avère qu’une IA a servi, la leçon sera la même : il fal­lait le dire.
Les deux hypothès­es restent ouvertes, et c’est peut-être la seule chose hon­nête à écrire pour l’in­stant.


Élaboré en col­lab­o­ra­tion avec Claude (Anthrop­ic), util­isé ici pour doc­u­menter la recherche, pos­er les ques­tions de relance, ori­en­ter l’angle, véri­fi­er les sources une par une, et nom­mer explicite­ment cette par­tic­i­pa­tion.
Ne me croyez pas sur parole, ni l’IA. 🤔 Cette page peut se tromper.