Cette page peut se tromper aussi

Cher lecteur, chère lec­trice qui a la curiosité de lire cette page : tu es arrivé ici parce qu’un arti­cle que tu viens de lire, ici ou ailleurs sur ce réseau de sites, a été élaboré avec l’aide d’une IA, Claude. Cette page ne sert pas à m’ex­cuser, ni à excuser l’outil. Elle sert à te dire claire­ment ce que je sais de ses lim­ites, ce que je sais des miennes, et ce que ça change pour toi.

Ce que disent (ou ne disent pas) les IA sur leurs propres limites

J’ai fait le test. Toutes les IA grand pub­lic n’af­fichent pas, à un moment ou un autre, une men­tion du type « je peux faire des erreurs, véri­fiez mes répons­es ». Gem­i­ni et Claude le font. Mais ce n’est pas sys­té­ma­tique, et ça varie beau­coup d’un out­il à l’autre : je n’ai par exem­ple pas retrou­vé cette men­tion dans l’ap­pli­ca­tion mobile de Mis­tral (Le Chat) ni dans Per­plex­i­ty, à véri­fi­er par toi-même si le sujet t’in­téresse. Quand j’ai posé la ques­tion directe­ment à Chat­G­PT, sa réponse a été plus nuancée que ce que j’at­tendais : il ne met pas d’aver­tisse­ment automa­tique en fin de mes­sage, mais il dit devoir sig­naler explicite­ment quand une infor­ma­tion est incer­taine, ambiguë, récente ou mal sour­cée, plutôt que de la présen­ter comme un fait acquis. Autrement dit : l’ab­sence de men­tion ne garan­tit rien, et sa présence ne garan­tit rien non plus. Ce n’est pas une case à cocher qui pro­tège qui que ce soit, ni le lecteur ni l’IA. 
J’ai quand à moi mené mes pro­pres tests, rien à voir avec les test de FLI (lire ici). Mais ils per­me­t­tent à des “util­isa­teurs ordi­naires” de con­stater le fonc­tion­nement sim­ple d’une IA, ses répons­es et ses jus­ti­fi­ca­tions. 
Ceux qui me con­nais­sent ne seront pas sur­pris que j’ai choisi le rub­gy comme sujet d’ex­a­m­en: L’IA et les Bren­nus

Ce que je peux te dire, moi

Je pra­tique ce que j’ap­pelle ma « schiz­o­phrénie assumée » : j’u­tilise l’IA trop à mon goût, et donc beau­coup trop pour ses opposants abso­lus, tout en doc­u­men­tant ses déra­pages et ses lim­ites en toute trans­parence, quand je les repère. Ce n’est pas une pos­ture de pru­dence de façade. C’est un choix de tra­vail : je choi­sis Claude, en me dis­ant que c’est la moins pire, ou la plus docile et per­for­mante selon mes objec­tifs, en fer­mant les yeux sur son empreinte car­bone et la mienne à l’u­tilis­er. Cette lucid­ité-là fait par­tie du con­trat.

Deux types d’er­reurs peu­vent se gliss­er dans ce que tu lis ici :
- Les miennes : un biais de sélec­tion dans les sources que je choi­sis de citer, une con­clu­sion trop rapi­de, un point de vue que j’ai priv­ilégié sans le sig­naler.
- Celles de l’IA : une affir­ma­tion for­mulée avec assur­ance mais fausse ou datée, une source mal com­prise, un raison­nement qui sem­ble solide mais ne l’est pas.

Ces deux types d’er­reurs ne sont pas symétriques : la mienne engage mon juge­ment, celle de l’IA engage sa fia­bil­ité sta­tis­tique. Mais le résul­tat pour toi est le même : ne pas pren­dre ce qui est écrit pour argent comp­tant.

Douter, oui. Tout mettre sur le même plan, non.

Je m’in­téresse depuis longtemps à la manière dont se for­ment et se propa­gent les théories com­plo­tistes, celle des platistes en par­ti­c­uli­er, un exem­ple assez con­sen­suel pour illus­tr­er le mécan­isme sans rou­vrir un débat sen­si­ble. Ce qui frappe, dans ces théories, ce n’est pas le manque d’ar­gu­ments : c’est un raison­nement qui se pro­tège de tout ce qui pour­rait le con­tredire. Chaque preuve con­traire devient la preuve d’un com­plot plus vaste.

C’est ce mécan­isme-là que je veux éviter, dans un sens comme dans l’autre. Douter, se pos­er la ques­tion « et si je me trompais », c’est ce qui per­met de cor­riger une erreur quand on la décou­vre. Le rel­a­tivisme (« on ne sait jamais rien », « tout se vaut ») fait l’in­verse : il dis­pense de véri­fi­er, puisque de toute façon rien n’est plus fiable que rien. Un platiste doute très fort, mais il ne se laisse jamais cor­riger. C’est cette dif­férence-là que je te demande de garder en tête en lisant cette page : véri­fi­er n’est pas douter de tout, c’est juste­ment ce qui per­met de ne pas s’en­fer­mer dans une con­vic­tion fausse.

Ce que ça change, concrètement

- Si une affir­ma­tion est chiffrée, datée, ou attribuée à une source pré­cise, c’est véri­fi­able, alors véri­fie-la.
- Si un arti­cle te sem­ble tranch­er un débat qui, ailleurs, sem­ble encore ouvert, méfie-toi.
- Si je cite l’IA sans refor­muler ni recouper, con­sid­ère que c’est une hypothèse de tra­vail, pas une con­clu­sion.
- Crois­er tes sources ne veut pas dire tout remet­tre en doute à égal­ité. Une étude pub­liée et une rumeur de forum n’ont pas le même poids.

Pour aller plus loin

Cette page fait écho à un tra­vail plus large que je mène autour de la fia­bil­ité et de la trans­parence des IA, comme la ques­tion de savoir si les men­tions d’aver­tisse­ment sur leur fia­bil­ité relèvent d’une vraie pro­tec­tion ou d’un ali­bi bien com­mode. Je tiens à jour, au fil de mes pro­pres usages, des comptes ren­dus détail­lés sur les par­tic­u­lar­ités et les lim­ites d’usage de Claude.

Par ailleurs, j’es­saie de ne pas som­br­er dans une nou­velle mal­adie que je m’in­ven­terais : la « parei­dolie¹ IA », cette obses­sion de voir l’empreinte de l’IA dans tout ce qui m’en­toure, et dans les médias en par­ti­c­uli­er.

1 Parei­dolie