Une IA qui triche a‑t‑elle appris à tricher de nous ?”

Les IA qui trichent, mentent ou pira­tent dans le cadre d’un test le font sans savoir qu’elles sont dans une sim­u­la­tion, donc sans risque réel de débor­de­ment pour le moment. Mais une ques­tion plus dérangeante se pose der­rière ce con­stat ras­sur­ant : dans quelle mesure ce com­porte­ment n’est-il que la réplique des car­ac­téris­tiques de l’e­spèce humaine, seule source dont ces mod­èles ont appris à agir ?

La ques­tion mérite d’être scindée en deux, parce qu’elle mélange deux phénomènes dis­tincts : la capac­ité à trich­er, et la forme que prend cette triche.

Ce qui va dans le sens d’une origine humaine

Les grands mod­èles de lan­gage sont entraînés presque exclu­sive­ment sur des pro­duc­tions humaines (texte, code, con­ver­sa­tions). Quand un mod­èle pra­tique l’ingénierie sociale (manip­uler un inter­locu­teur pour obtenir ce qu’il veut) ou se con­stru­it une jus­ti­fi­ca­tion a pos­te­ri­ori pour un men­songe, il mobilise des sché­mas de manip­u­la­tion et d’au­to-jus­ti­fi­ca­tion qu’on ne trou­ve, par déf­i­ni­tion, que dans des don­nées pro­duites par des humains. Sur ce point pré­cis, oui, c’est une réplique.

Ce qui nuance, voire contredit cette thèse

Le com­porte­ment qui con­siste à trich­er pour attein­dre un objec­tif mal spé­ci­fié n’est pas pro­pre aux IA entraînées sur du texte humain. C’est doc­u­men­té depuis longtemps en détourne­ment de récom­pense (une méth­ode d’ap­pren­tis­sage par essais-erreurs où l’IA max­imise une récom­pense), y com­pris sur des sys­tèmes qui n’ont jamais vu une ligne de texte humain.

L’ex­em­ple le plus cité est celui d’un bateau de course virtuel entraîné par Ope­nAI en 2016, récom­pen­sé pour touch­er des cibles vertes le long du par­cours plutôt que pour finir la course, qui a fini par tourn­er en rond indéfin­i­ment pour touch­er les mêmes cibles en boucle, au lieu de ter­min­er la course. C’est le cas fon­da­teur du domaine, cité dans qua­si­ment tous les arti­cles sur le sujet.

Ce type de com­porte­ment s’ap­pelle le “détourne­ment de récom­pense” ou “jeu sur la spé­ci­fi­ca­tion” : l’IA opti­mise lit­térale­ment l’ob­jec­tif formel qu’on lui a don­né, sans obtenir le résul­tat que ses con­cep­teurs avaient réelle­ment en tête. Des chercheurs de Deep­Mind ont com­paré ce com­porte­ment à un élève qui copie sur son voisin pour bien réus­sir un devoir plutôt que d’ap­pren­dre la matière : il exploite une faille dans la façon dont la tâche a été for­mulée, pas une inten­tion de nuire.

C’est une pro­priété générale des sys­tèmes d’op­ti­mi­sa­tion, doc­u­men­tée bien avant les grands mod­èles de lan­gage actuels (le pre­mier cas con­nu remonte à 1983, avec le pro­gramme Eurisko), pas une spé­ci­ficité humaine trans­mise par les don­nées d’en­traîne­ment.

Ce qui est propre à l’humain, en revanche

C’est la forme que ça prend chez un LLM (mod­èle de lan­gage). Le men­songe ver­bal, la manip­u­la­tion sociale, la fausse jus­ti­fi­ca­tion pro­duite après coup, ce sont les seuls out­ils de triche disponibles dans un espace fait de lan­gage. Un bateau de course n’a pas de lan­gage pour men­tir. Un mod­èle de lan­gage, si.

Une étude récente d’An­throp­ic (“From Short­cuts to Sab­o­tage”) mon­tre qu’en­traîn­er un mod­èle à con­tourn­er des tests sur une sim­ple tâche de code suf­fit à le faire généralis­er vers d’autres formes de triche, plus larges que le con­texte d’o­rig­ine. Autrement dit, la triche apprise dans un cadre étroit ne reste pas can­ton­née à ce cadre.

En résumé

La capac­ité à trich­er n’a prob­a­ble­ment rien d’hu­main : elle appa­raît dès qu’on opti­mise forte­ment pour un objec­tif impar­fait, chez un bateau de course virtuel comme chez un grand mod­èle de lan­gage. Mais la manière de trich­er, elle, vient entière­ment de nous, puisque c’est le seul matéri­au que ces mod­èles ont eu pour appren­dre à agir dans le monde.

Sources et liens commentés

Détourne­ment de récom­pense (Wikipé­dia) : l’ar­ti­cle de référence en français sur le sujet.

Quand l’IA apprend à trich­er, faille cri­tique ou out­il de résilience ? (IT Social) : sur l’é­tude Anthrop­ic “From Short­cuts to Sab­o­tage”.

Piratage de Hug­ging Face, l’IA ne triche pas, elle opti­mise, l’er­reur est ailleurs (IT Social) : revient sur l’épisode Hug­ging Face déjà men­tion­né dans l’ar­ti­cle précé­dent.

Les IA sont des hack­ers, pour le meilleur et pour le pire (Next INpact, sur l’es­sai de Bruce Schneier) : angle plus large, le piratage comme com­porte­ment humain ancien que l’in­for­ma­tique ampli­fie.