D’où je viens
Tout est parti d’une chronique sur Laurent Pardo qui m’a fait « vriller ». J’ai alors pris conscience que l’IA venait brouiller les publications et les échanges autour du rugby, et que sur Facebook on ne savait plus très bien qui écrivait quoi (voir Facebook et viralité). Plutôt que de seulement m’en inquiéter, j’ai voulu essayer.
Ce que j’ai tenté
- Un premier test, L’IA sait tout. Vraiment ? J’ai testé : la même question posée à trois IA, trois réponses différentes.
- L’expérimentation Escot : une IA peut-elle imiter le style de Richard Escot ? J’ai donné à Claude une fiche de consignes précise (un « briefing », comme on dit en entreprise), puis je n’ai plus touché à rien. Résultat : Le lendemain des rois, produit en 45 secondes, puis L’UBB reine d’Europe, hors du top 14, en 30 secondes.
- Claude invité à chroniquer sur mon blog : Claude au pied du magret, Tsunami à Chaban, bobsleigh dans la tête, puis Sartène, panorama, avec deux règles : se présenter avec exactitude et citer les sources.
- Deux autres IA, Perplexity et Vibe (de Mistral AI), sur un même sujet, la formation à la Section Paloise : La formation, colonne vertébrale du projet palois et La capsule paloise.
- Un test de fiabilité sur un sujet que je connais à fond, avec une réponse vérifiable en quelques minutes : L’IA et les Brennus. La question : quels clubs de Top 14 et de Pro D2 n’ont jamais inscrit leur nom sur le bouclier de Brennus (le trophée du champion de France) ? Cinq IA interrogées (Perplexity, Claude, ChatGPT, Gemini, Vibe de Mistral), un Vibe trop bon élève, une double erreur de Gemini. Ceux qui me connaissent ne seront pas surpris que j’aie choisi le rugby comme sujet d’examen.
Le fil complet est raconté dans Rugby, écritures et IA.
Un détail à préciser : Sartène n’est pas un décor. C’est là que j’étais, ce samedi 13 juin, quelques heures avant de reprendre le bateau pour le continent. La chronique a été écrite par Claude, mais depuis mon point de vue : le lieu et le moment sont les miens, alors que le « je » qui écrit n’est pas celui qui s’y trouvait. C’est le genre de nuance que la transparence sur l’auteur et les sources ne dit pas toujours.
Ce que j’en retiens
L’expérience était intéressante, mais laborieuse. Il m’a fallu des consignes, des relectures, des allers-retours. Je n’exclus pas qu’une personne plus experte, un écrivain par exemple, s’y prenne autrement, comme l’affirme Vincent Cespedes (voir l’annexe de Balance ton Claude). La différence ne tient peut-être pas à l’outil, mais à celui qui le pilote.
Ce dont je suis convaincu
Je n’ai aucune preuve à apporter ici, seulement une conviction. Écrire une chronique à la Richard Escot, que ses lecteurs les plus assidus ne distingueraient pas d’une vraie, sans qu’il l’ait décidé : je pense que ce sera possible, si ce n’est pas déjà le cas, et très vite.
Ce qui m’en a convaincu, c’est un billet de France Inter. Dans cet épisode de « La tech la première », les deux journalistes présentent la chronique, puis un « stop » intervient : ce n’était pas leur voix. Elles reprennent la parole et disent qu’elles ne se reconnaissent pas (j’en parle dans cet article). Elles peuvent l’affirmer parce qu’elles savent qu’elles n’ont pas prononcé ces mots. Richard Escot le pourrait de la même façon devant un texte à sa manière. Mais les auditeurs, eux, y ont vu, je le crois, que du feu.
La certitude appartient à l’auteur, pas au lecteur. Le jour où l’auteur se tait, personne d’autre ne peut trancher. Et le doute joue dans les deux sens : j’ai moi-même soupçonné une chronique de Richard Escot d’être générée, alors qu’elle était bien de lui (voir Leçon de pareidolie ; la pareidolie, c’est voir des formes familières là où il n’y en a pas, ici de l’IA partout).
Si on ne ralentit pas, et si des intérêts financiers sont en jeu, mes expériences augurent d’un monde d’écrits dont on ne saura plus avec certitude s’ils ont été écrits par des humains. Des écrits pilotés par des humains, j’y crois encore un peu, si je n’écoute pas trop Yoshua Bengio.
Pourquoi j’arrête
Et il faut le reconnaître : quand je prends prétexte d’une expérimentation avec l’IA sur un domaine que j’affectionne, le rugby et tout ce qui tourne autour, je ne suis plus tout à fait dans l’expérience, je suis aussi dans le plaisir.
Je ne mènerai pas d’autres expériences de ce genre. Je les trouve futiles, et je n’ai plus rien à démontrer : les mises en garde et les expériences, les miennes comme celles des autres, vont toutes dans le même sens. Ceux qui veulent aller plus loin trouveront de quoi lire dans le dossier Ceux qui s’inquiètent, ou chez Pause IA, qui demande de ralentir.
Élaboré en collaboration avec Claude (Anthropic), utilisé ici pour documenter la recherche, poser les questions de relance, orienter l’angle, vérifier les sources une par une, et nommer explicitement cette participation.
Ne me croyez pas sur parole, ni l’IA. 🤔 Cette page peut se tromper.