Imag­inez la notice d’une voiture autonome qui ne se con­tente pas de van­ter ses mérites, mais détaille aus­si com­ment elle pour­rait vous échap­per. C’est à peu près ce que vient de faire Anthrop­ic.

Le fait
Anthrop­ic, l’en­tre­prise qui développe Claude, a ren­du pub­lic son dossier d’in­tro­duc­tion en Bourse (le doc­u­ment des­tiné aux futurs action­naires). Près de 100 de ses 335 pages sont con­sacrées aux risques. Et ils ne sont pas abstraits.
Une pré­ci­sion qui s’im­pose
Le texte dont je par­le émane d’An­throp­ic, l’en­tre­prise qui a créé Claude, l’IA avec laque­lle j’ai pré­paré cet arti­cle. Autrement dit, je com­mente la notice de mon pro­pre out­il, et c’est lui qui m’aide à la lire. À vous de peser mes mots en con­séquence.
Ce que le con­struc­teur avoue
Anthrop­ic recon­naît que ses garde-fous (les sys­tèmes cen­sés empêch­er les mau­vais usages) ont déjà « fail­li, été mal con­fig­urés ou dés­ac­tivés par erreur ». Elle ajoute que cela pour­rait se repro­duire sans qu’elle s’en aperçoive à temps.
Elle admet aus­si que ses mod­èles pour­raient causer des dégâts d’eux-mêmes, en accom­plis­sant des actions dan­gereuses que per­son­ne n’a demandées. Le risque grandi­rait à mesure que les IA gag­nent en autonomie, notam­ment avec les agents (des pro­grammes qui exé­cu­tent des tâch­es seuls, sans val­i­da­tion à chaque étape).
Dernier point, le plus ver­tig­ineux : l’amélio­ra­tion récur­sive autonome. En clair, des IA qui par­ticipent à la fab­ri­ca­tion des IA suiv­antes, les humains se con­tentant de relire le code. Dans ce cas, selon l’en­tre­prise, les défauts d’une ver­sion pour­raient se trans­met­tre à la suiv­ante et s’am­pli­fi­er. Les capac­ités pour­raient pro­gress­er plus vite que les pro­tec­tions.
Où la com­para­i­son avec l’au­to­mo­bile tient
Un con­struc­teur sérieux dit aus­si ce que sa voiture ne sait pas faire : gardez les mains sur le volant, restez atten­tif. Et il organ­ise des rap­pels quand un défaut appa­raît. Anthrop­ic a elle-même retardé la sor­tie d’un mod­èle, Mythos, jugé trop risqué en cyber­sécu­rité. L’équiv­a­lent d’un rap­pel avant la mise en vente.
Où elle casse
Une voiture est homo­loguée par une autorité indépen­dante avant d’être ven­due, et elle passe des crash-tests. Pour l’IA, rien de com­pa­ra­ble n’ex­iste encore : d’après la presse, le Con­grès améri­cain n’a rien voté sur le sujet. Ensuite, une voiture ne par­ticipe pas à la con­cep­tion de la suiv­ante. Enfin, ces aveux s’adressent d’abord aux investis­seurs : lis­ter ses risques pro­tège aus­si l’en­tre­prise en cas de procès.
Ce que l’his­toire de l’au­to­mo­bile nous rap­pelle
Cette fran­chise est-elle un acte de trans­parence, ou une assur­ance juridique ? Prob­a­ble­ment les deux. Mais regar­dons com­ment l’au­to­mo­bile en est arrivée à nous pro­téger. Il a fal­lu des décen­nies pour que la cein­ture, l’ho­molo­ga­tion (l’au­tori­sa­tion offi­cielle avant la vente) et le con­trôle tech­nique devi­en­nent la règle, et ces pro­tec­tions sont sou­vent arrivées après des drames, rarement avant. Cer­tains con­struc­teurs ont pris de l’a­vance sur la sécu­rité, d’autres ont freiné, et beau­coup ont surtout suivi quand la loi ou l’opin­ion publique l’ont imposée.
Si Anthrop­ic décrit elle-même les défauts pos­si­bles de sa voiture, la vraie ques­tion n’est pas de savoir si elle est hon­nête. C’est de savoir qui jouera le rôle du con­trôle tech­nique, et si nous l’in­stallerons avant ou après les pre­miers acci­dents.

Annexe : la presse parle du dossier d’entrée en Bourse d’Anthropic

Quelques arti­cles pour aller plus loin sur les risques évo­qués dans le dossier d’in­tro­duc­tion en Bourse d’An­throp­ic (le doc­u­ment des­tiné aux futurs action­naires). Ils sont classés sans hiérar­chie.

fran­ce­in­fo
Armes biochim­iques, cyber­at­taques géantes, perte de con­trôle… Ce que dit le dossier d’en­trée en Bourse d’An­throp­ic sur les dan­gers de l’IA
Un arti­cle qui annonce, dès son titre, de pass­er en revue les prin­ci­paux dan­gers men­tion­nés dans le dossier.

Le Devoir (dépêche AFP)
Anthrop­ic rend pub­lic son dossier d’en­trée en Bourse et insiste sur les risques de l’IA
La dépêche détaille les aveux de l’en­tre­prise : garde-fous qui ont déjà fail­li, mod­èles capa­bles d’ac­tions dan­gereuses non demandées, et risque lié à des IA qui con­tribuent à fab­ri­quer les suiv­antes. Elle note aus­si que l’en­tre­prise ne reprend pas à son compte les alertes sur un dan­ger pour l’hu­man­ité.

Euronews (dépêche AP)
IA incon­trôlée, cyber­at­taques, armes : les risques qu’An­throp­ic bran­dit avant son entrée en Bourse
Un autre tour d’hori­zon des risques, qui rap­pelle l’aver­tisse­ment lancé en sep­tem­bre par le patron d’An­throp­ic, Dario Amod­ei, sur des essaims d’a­gents (des pro­grammes qui agis­sent seuls) capa­bles de pren­dre le con­trôle d’in­ter­net.

Forbes Bel­gique
Anthrop­ic dépose son dossier d’in­tro­duc­tion en Bourse : ce qu’il faut retenir
Une tra­duc­tion d’un arti­cle de Forbes US, faite avec l’aide d’une IA, qui classe les risques en qua­tre familles : usage malveil­lant, IA agis­sant seule, régimes autori­taires, boule­verse­ments économiques. Elle présente aus­si les béné­fices que l’en­tre­prise promet.

Généra­tion-NT
Anthrop­ic en Bourse : une crois­sance explo­sive et des risques cat­a­strophiques pour l’hu­man­ité
Un arti­cle qui met en avant des scé­nar­ios inquié­tants, dont la perte de con­trôle humain sur les IA et le bioter­ror­isme.

Presse-Cit­ron
C’est con­fir­mé : Anthrop­ic va entr­er en Bourse mal­gré les craintes de son patron
Un arti­cle qui souligne le para­doxe : un patron alarmiste qui intro­duit son entre­prise en Bourse, alors qu’Ope­nAI a choisi de repouss­er la sienne en invo­quant la sit­u­a­tion de sécu­rité.

Cet arti­cle a été élaboré en col­lab­o­ra­tion avec Claude (page Wikipé­dia). Je m’en sers pour doc­u­menter un sujet, pos­er les ques­tions, ori­en­ter l’an­gle et véri­fi­er les sources, et je tiens à nom­mer claire­ment cette par­tic­i­pa­tion.
Ne me croyez pas sur parole, ni l’IA. 🤔 Cette page peut se tromper