Auteurs

Les auteurs ont contri­bué de façon équi­va­lente aux travaux.

Contacts

• Paul COULOMBEL : paul.coulombel@gmail.com ; Lin­ke­din
• Adèle COUVEZ : adelecouvez@gmail.com ; Lin­ke­din
• Julie FOLLET : julie.follet@utc.fr ; Lin­ke­din
• Guillaume CARNINO : guillaume.carnino@utc.fr

Citation

À rap­pe­ler pour tout usage : « Usages des intel­li­gences arti­fi­cielles géné­ra­tives en san­té – État des lieux », P. COULOMBEL, Uni­ver­si­té de Tech­no­lo­gie de Com­piègne (France), Cur­sus Génie Bio­lo­gique, et A. COUVEZ, Uni­ver­si­té de Tech­no­lo­gie de Com­piègne (France), Cur­sus Huma­ni­tés et tech­no­lo­gie, Rap­port de Pro­jet, https://travaux.master.utc.fr/, réf n° ING001, jan­vier 2025, https://travaux.master.utc.fr/type-de-travaux/projets/ing001/, https://doi.org/10.34746/ing001

Pro­jet pro­po­sé et sui­vi par : J. FOLLET, Uni­ver­si­té de Tech­no­lo­gie de Com­piègne (France), Dépar­te­ment Génie Bio­lo­gique, Mas­ter Ingé­nie­rie de la San­té, UMR CNRS 7338 Bio­Mé­ca­nique et BioIn­gé­nie­rie, et G. CARNINO, Uni­ver­si­té de Tech­no­lo­gie de Com­piègne (France), EA2223 Connais­sance Orga­ni­sa­tion et Sys­tèmes TECHniques

Résumé

Depuis leur mise à dis­po­si­tion au grand public il y a quelques années, les intel­li­gences arti­fi­cielles géné­ra­tives (IA Gen), telles que Chat GPT, ont inté­gré de nom­breux domaines. Leurs capa­ci­tés à géné­rer du texte, des images et des vidéos les rendent très inté­res­santes pour de nom­breuses tâches. Le domaine médi­cal n’échappe pas à l’essor de ces nou­veaux outils, des start-ups pro­po­sant ce type d’IA se créent, de nom­breux experts de la san­té se réunissent pour dis­cu­ter de leur inté­gra­tion dans les dif­fé­rents ser­vices des hôpi­taux, etc. 

Cepen­dant, il existe un déca­lage impor­tant entre l'engouement autour des IA Gen et leur réelle uti­li­sa­tion sur le ter­rain. En effet, très peu de méde­cins uti­lisent ou même connaissent les dif­fé­rents outils mis à dis­po­si­tion sur le mar­ché. Com­ment expli­quer cet écart ? Quelles pro­blé­ma­tiques ren­contrent les poten­tiels uti­li­sa­teurs du domaine médical ? 

Dans cette étude, nous confron­tons les connais­sances dis­po­nibles avec une enquête sur le ter­rain. Nous abor­dons éga­le­ment les enjeux éthiques liés aux IA et plus par­ti­cu­liè­re­ment aux IA uti­li­sées dans le domaine de la san­té. Nous ter­mi­nons notre étude sur les poten­tielles recon­fi­gu­ra­tions que pour­raient engen­drer les IA dans les dif­fé­rents corps de métier. 

Abstract

Since their release to the public a few years ago, gene­ra­tive arti­fi­cial intel­li­gences (GenAI), such as ChatGPT, have been adop­ted across a wide range of fields. Their abi­li­ty to gene­rate text, images and videos makes them par­ti­cu­lar­ly appea­ling for a large varie­ty of tasks. The medi­cal field is no excep­tion to the rise of these new tools : start-ups spe­cia­li­zing in this type of AI are emer­ging, and many heal­th­care pro­fes­sio­nals are coming toge­ther to dis­cuss how these tools might be inte­gra­ted into hos­pi­tal ser­vices, etc. 

Howe­ver, there remains a signi­fi­cant gap bet­ween the enthu­siasm sur­roun­ding GenAI and its actual use in prac­tice. In rea­li­ty, very few doc­tors are using or are even aware of the tools cur­rent­ly avai­lable on the mar­ket. How can this gap be explai­ned ? What chal­lenges are poten­tial users in the medi­cal field facing ? 

In this stu­dy, we com­pare the exis­ting know­ledge with a field sur­vey. We also address the ethi­cal issues rela­ted to AI, and more spe­ci­fi­cal­ly to AI used in heal­th­care. We conclude our stu­dy by explo­ring how AI could poten­tial­ly reshape various roles within the medi­cal profession. 

---

Téléchargement

Rapport Complet

Usages des intelligences artificielles génératives en santé

État des lieux

Introduction

Depuis quelques années, le nombre d’intelligences arti­fi­cielles (IA) offrant la pos­si­bi­li­té de géné­rer du texte, des images mais aus­si du son et des vidéos s’est mul­ti­plié. Le déploie­ment de ces IA géné­ra­tives (IA Gen) prend des pro­por­tions consi­dé­rables. Le nombre d’utilisateurs régu­liers s’élève aujourd’hui à plu­sieurs cen­taines de mil­lions de per­sonnes, notam­ment avec la mise à dis­po­si­tion au grand public de ChatGPT, déve­lop­pé par Open AI, en ver­sion gra­tuite. La quan­ti­té et la varié­té des modèles créés explosent et les pos­si­bi­li­tés d’usages sont pra­ti­que­ment infi­nies. Ces modèles rédigent des comptes-ren­dus, tra­duisent, cor­rigent ou résument des textes, effec­tuent des recherches inter­net, créent ou modi­fient des images, pro­duisent du conte­nu sonore (voix, musique), inter­agissent avec l’utilisateur, etc. La popu­la­ri­té de ces IA Gen est favo­ri­sée par le déve­lop­pe­ment de Large Lan­guage Model (LLM) trai­tant et géné­rant du texte comme le ferait un humain. Elles sont dis­po­nibles en ligne, faciles d’utilisation, employables pour des tâches très variées et sur­tout, elles répondent aux demandes (prompt) en un temps record. Même si le pre­mier résul­tat don­né n’est pas celui escomp­té, il est simple de modi­fier la demande pour spé­ci­fier les chan­ge­ments à opé­rer et de le regé­né­rer comme sou­hai­té, seule­ment quelques secondes après. 

Le domaine médi­cal n’échappe pas à l’arrivée de ces nou­veaux outils. L’IA Gen est per­çue comme révo­lu­tion­naire : elle serait la clé per­met­tant au sec­teur de la san­té d’être plus effi­cace, plus équi­table et plus per­son­na­li­sé. Son déploie­ment auprès du per­son­nel médi­cal et des patients est pré­sen­té comme indis­pen­sable et inévi­table. De plus en plus d’entreprises pro­posent des solu­tions incluant de l’IA Gen pour répondre aux ques­tions des méde­cins sur un trai­te­ment ou des dosages, rédi­ger des comptes-ren­dus, aider au diag­nos­tic, répondre aux inquié­tudes éven­tuelles des patients, etc. Ces outils amé­lio­re­raient la qua­li­té des soins, la prise en charge des patients et les condi­tions de tra­vail du per­son­nel soi­gnant, notam­ment en gagnant du temps sur les tâches admi­nis­tra­tives. Doc­to­lib pro­pose par exemple un « assis­tant de consul­ta­tion » écou­tant la consul­ta­tion médi­cale, pre­nant des notes en temps réel et retrans­cri­vant l’échange entre le patient et le soi­gnant sous la forme d’une syn­thèse orga­ni­sée [1]. Le temps de rédac­tion par le méde­cin est réduit et son atten­tion peut se tour­ner exclu­si­ve­ment vers le patient. Mais, savoir que la consul­ta­tion est écou­tée ne modi­fie­rait-il pas l’interaction entre le méde­cin et le patient ? Les avan­tages ven­tés des IA Gen se retrouvent-ils dans la pra­tique ? Com­ment les infor­ma­tions per­son­nelles inévi­ta­ble­ment échan­gées lors de la consul­ta­tion sont-elles trai­tées ? Sachant que les LLM se basent sur des cal­culs sta­tis­tiques et non une recherche de la véri­té, peuvent-ils inter­pré­ter et retrans­crire la dis­cus­sion avec sens et fidé­li­té ? Com­ment inté­grer les infor­ma­tions non ver­bales (timbre de voix, ges­tuelle, expres­sion faciale, etc.) dans la synthèse ? 

Certes, l’intégration d’IA Gen en san­té peut appor­ter des avan­tages, mais elle ne peut se faire sans prendre en compte les limites et les enjeux éthiques. La pro­tec­tion des don­nées, l’implication de la res­pon­sa­bi­li­té indi­vi­duelle des soi­gnants, le manque de fia­bi­li­té ou de for­ma­tion à l’utilisation de ces outils peuvent frei­ner leur déploie­ment dans le domaine médi­cal. Aujourd’hui, aucun modèle géné­ra­tif n’est par­fai­te­ment inté­gré dans une pra­tique, la majo­ri­té d’entre eux sont encore en phase de déve­lop­pe­ment, de test ou de cer­ti­fi­ca­tion (pour obte­nir le mar­quage CE ou le sta­tut de dis­po­si­tif médi­cal). De nom­breux pro­fes­sion­nels se montrent réti­cents à l’idée d’employer ce type d’outils et l’utilisation de ces der­niers reste encore très mar­gi­nale. Com­ment expli­quer ce déca­lage entre l’engouement géné­ral pour les IA Gen et la réa­li­té du ter­rain ? À quelles ques­tions font face les poten­tiels futurs uti­li­sa­teurs du sec­teur médi­cal lorsqu’ils envi­sagent d’adopter un sys­tème d’IA Gen ? Quelles pro­blé­ma­tiques sont iden­ti­fiées lors des tests sur le ter­rain ? Quels sont les risques et les limites liés à l’utilisation de ces modèles, en par­ti­cu­lier dans le domaine de la santé ? 

Pour répondre à ces ques­tions, nous nous sommes inté­res­sés dans un pre­mier temps, au cadre actuel de déploie­ment des IA Gen tant du point de vue éco­no­mique, infra­struc­tu­rel et péda­go­gique. Dans un second temps, nous avons abor­dé les pro­blé­ma­tiques éthiques liées à l’utilisation de l’IA Gen dans le sec­teur de la san­té. Enfin, nous abor­dons les poten­tielles recon­fi­gu­ra­tions que l’intégration de l’IA Gen pour­rait appor­ter au domaine médical. 

I. Cadre d’étude  

I.a) Définition et exemples 

Dans ce docu­ment, nous iden­ti­fions l’IA Gen comme les modèles infor­ma­tiques basées sur des réseaux de neu­rones pro­fonds pou­vant géné­rer du conte­nu à par­tir d’une base de don­nées. Ce conte­nu peut être du texte, des images, du son, des vidéos, etc. et peut mélan­ger ces dif­fé­rentes formes. Les modèles sont déve­lop­pés à par­tir d’une quan­ti­té mas­sive de don­nées (une cen­taine de mil­liards de mots dans le cas des LLM) qui empêche la vali­da­tion humaine exhaus­tive. Les IA Gen retrou­vées en san­té peuvent être des IA géné­rales uti­li­sées dans d’autres domaines ou des IA déve­lop­pées spé­ci­fi­que­ment pour un usage médi­cal. Nous avons réper­to­rié dans ce tableau l’ensemble des cas d’utilisation d’IA Gen en san­té que nous avons iden­ti­fiés. Dans les exemples de modèle que nous don­nons, cer­tains sont déjà com­mer­cia­li­sés, d’autres sont encore en phase de recherche ou ne sont qu’au stage d’idée.  

I.b) Méthodologie

Dans cette étude, nous avons com­bi­né une ana­lyse théo­rique, à tra­vers une revue de lit­té­ra­ture scien­ti­fique et une ana­lyse empi­rique via des entre­tiens qua­li­ta­tifs avec des per­sonnes en lien avec le sec­teur médi­cal ou l’IA Gen. L’objectif de ces der­niers était de confron­ter l’étude biblio­gra­phique avec les uti­li­sa­tions réelles de l’IA Gen sur le ter­rain. Nous avons ain­si illus­tré ou nuan­cé les concepts théo­riques évo­qués avec des pers­pec­tives concrètes et mis en évi­dence, le cas échéant, de poten­tiels écarts. 

Pour cela, nous avons ten­té d’entrer en contact direc­te­ment avec des pro­fes­sion­nels hos­pi­ta­liers ou cli­ni­ciens, des entre­prises déve­lop­pant des solu­tions d’IA Gen, des cher­cheurs, des ins­ti­tuts char­gés de l’innovation ou de l’assistance au déve­lop­pe­ment et à la mise en confor­mi­té des pro­jets des entreprises. 

Mal­gré plu­sieurs ten­ta­tives, nos démarches pour entrer en contact avec des pro­fes­sion­nels de san­té n’ont pas abou­ti. Ce constat peut s’expliquer par le manque de temps que le per­son­nel médi­cal peut accor­der, illus­trer un dés­in­té­rêt pour les sujets concer­nant l’innovation et/ou sug­gé­rer que l’adoption de l’IA Gen en san­té demeure aujourd’hui peu com­mune ou non reven­di­quée. Les per­sonnes avec qui nous avons pu nous entre­te­nir sont toutes, du fait de leur métier, plus ou moins concer­nées par l’innovation technologique. 

Dans la suite, nous nous appuie­rons notam­ment sur six entre­tiens semi-direc­tifs (menés entre octobre et décembre 2024) dont trois avec des concep­teurs de solu­tions numé­riques inté­grants de l’IA Gen, un avec une per­sonne gérant un Entre­pôt de Don­nées de San­té (EDS) et deux avec des per­sonnes res­pon­sables de l’innovation dans deux ins­ti­tu­tions différentes.

Entretien 1

Avec un diri­geant d'une entre­prise fran­çaise spé­cia­li­sée dans la géné­ra­tion de don­nées syn­thé­tiques, avec moins de 10 employés et un capi­tal social supé­rieur à 300k euros en 2022.

Entretien 2

Avec un com­mer­cial d'une entre­prise fran­çaise qui déve­loppe des logi­ciels d'analyse d'images médi­cales par IA, employant moins de 100 per­sonnes et ayant un capi­tal social supé­rieur à 3M euros en 2022.

Entretien 3

Avec un ingé­nieur infor­ma­tique dans une entre­prise cana­dienne spé­cia­li­sée dans le trai­te­ment d'images médi­cales par IA Gen, qui pré­voit avoir moins de 10 employés en 2025.

Entretien 4

Avec une res­pon­sable de pro­jet pour un Entre­pôt de Don­nées de San­té (EDS) au sein d'un Centre Hos­pi­ta­lier Uni­ver­si­taire (CHU) fran­çais. Ce pro­jet a pour objec­tif de col­lec­ter, struc­tu­rer et gérer les don­nées hospitalières.

Entretien 5

Avec une membre du pôle de direc­tion de l'innovation dans un CHU français.

Entretien 6

Avec une direc­trice des pro­jets de soins et de la san­té numé­rique dans une struc­ture fran­çaise spé­cia­li­sée dans les soins à domi­cile, qui prend en charge envi­ron 45000 patients par an en 2023.

Durant nos recherches, nous avons par­ti­ci­pé à dis­tance à la confé­rence du Moment de l’Intelligence Arti­fi­cielle (MIAM) sur l’IA Gen en san­té. Cette confé­rence s'est dérou­lée à Mont­réal le 24/10/2024, en col­la­bo­ra­tion avec l’École de l’Intelligence Arti­fi­cielle en San­té (ÉIAS). Nous avons éga­le­ment assis­té en pré­sen­tiel aux tables rondes du Grand Remues-Méninges le 28/11/2024. Le Club san­té & digi­tal avait orga­ni­sé cet évé­ne­ment sur le thème : l'IA en san­té, une fausse promesse ?

II. Contexte de déploiement de l’IA Gen en santé

II.a) Les entreprises privées, les acteurs majoritaires 

Aujourd’hui, la majo­ri­té des IA sont issues du sec­teur pri­vé. En effet, en 2021, l’Europe a inves­ti un mil­liard de dol­lars, les États-Unis 1,5 mil­liard et le sec­teur pri­vé 340 mil­liards dans le déve­lop­pe­ment d’IA [2]. Le déve­lop­pe­ment d’une IA demande un gros inves­tis­se­ment ini­tial qui impacte la R&D des star­tups devant le rem­bour­ser. Par exemple, lors d’un entre­tien, un employé d’une entre­prise déve­lop­pant une IA ana­ly­sant des images médi­cales, nous a expli­qué que son entre­prise pri­vi­lé­giait le déve­lop­pe­ment d’IA Gen  « sup­port » pour la rédac­tion de comptes-ren­dus, au déve­lop­pe­ment d’IA Gen syn­thé­ti­sant des images médi­cales, qu’il pense être le « futur » de leur spé­cia­li­té. Leur prio­ri­té est l’augmentation de leur chiffre d’affaires. Pour vendre plus d’abonnements et rem­bour­ser leurs inves­tis­se­ments, ils déve­loppent des outils com­plé­tant leurs offres auprès des clients qui uti­lisent déjà leurs ser­vices. Ces gros inves­tis­se­ments impactent éga­le­ment le pro­duit en lui-même. Afin de tou­cher le plus de clients pos­sibles, les entre­prises déve­loppent des IA pou­vant être uti­li­sées dans des envi­ron­ne­ments variés, avec des pro­to­coles et des façons de tra­vailler dif­fé­rents [3]. Quelle est la réelle uti­li­té de ces outils et quels sont leurs impacts sur le métier des uti­li­sa­teurs ? Ces IA ne sont pas for­cé­ment adap­tées aux besoins réel­le­ment éprou­vés sur le ter­rain par leurs uti­li­sa­teurs et ne s’insèrent pas effi­ca­ce­ment dans tous les uni­vers médi­caux. Le rem­bour­se­ment de ces inves­tis­se­ments peut impli­quer un prix du pro­duit final très éle­vé [4]. Deux ques­tions se posent alors : qui sera contraint de payer ce sur­plus ? Et l’apport de l’outil vaut-il concrè­te­ment le prix auquel il est proposé ? 

Lorsqu’une entre­prise veut com­mer­cia­li­ser un modèle d’IA, elle doit pos­sé­der une auto­ri­sa­tion de mise sur le mar­ché comme le mar­quage CE en Europe. Cette auto­ri­sa­tion dépend des lois en vigueur dans la région où est uti­li­sé l’outil. Les éva­lua­teurs s’appuient sur les normes mises en place pour accor­der ou non la com­mer­cia­li­sa­tion d’une IA. Dans le cadre plus res­treint de la san­té, peu de normes existent. Anne-Laure Bailly, consul­tante en affaires médi­cales et régle­men­taires, explique com­ment se déroule aujourd’hui une éva­lua­tion pour une auto­ri­sa­tion de com­mer­cia­li­sa­tion d’une IA uti­li­sée dans le domaine médi­cal. Plu­sieurs points sont ins­pec­tés [5] : 

• Le béné­fice pour le patient, l’utilisateur et la san­té publique lors de l’emploi de l’IA qui est proposée. 

• Les risques liés à l’utilisation de l’IA, les consé­quences d’une erreur de celle-ci et son impact sur le corps médi­cal dans son ensemble. Avec l’inexplicabilité des IA géné­ra­tives, il est dif­fi­cile de véri­fier les algo­rithmes. Ce sont donc les bases de don­nées avec les­quelles le modèle a été entrai­né et tes­té qui sont éva­luées. Ces bases de don­nées doivent repré­sen­ter la popu­la­tion qui uti­li­se­ra cet outil et conte­nir une grande diversité. 

• L’évolution des modèles au cours de leur emploi est aus­si un point clé de l’autorisation. Cela doit être pré­vu par l’entreprise qui déve­loppe l’IA géné­ra­tive afin que les modèles puissent s’adapter au mieux à la popu­la­tion qui les utilise. 

• La pré­sence et le contrôle d’un expert sur le résul­tat don­né par l’outil infor­ma­tique. La garan­tie humaine est pour le moment encore très pré­sente dans les sys­tèmes de comptes-ren­dus, mais devient très com­pli­quée à mettre en place dans le déve­lop­pe­ment de chat­bots ayant pour but de par­ler direc­te­ment avec un patient. 

Ce temps de véri­fi­ca­tion peut durer plu­sieurs mois, ralen­tit encore la com­mer­cia­li­sa­tion des modèles d’IA et ajoute des frais sup­plé­men­taires pour les star­tups déve­lop­pant des IA. C’est le cas du fon­da­teur d’une star­tup que nous avons rencontré. 

Une fois l’autorisation de com­mer­cia­li­sa­tion obte­nue, les entre­prises doivent démar­cher leurs clients et vendre leurs pres­ta­tions. L’accessibilité au mar­ché dépend beau­coup du pays dans lequel l’IA géné­ra­tive est déployée. Par exemple, aux États-Unis, un grand nombre de pro­fes­sion­nels de san­té sont regrou­pés sous un même orga­nisme pri­vé comme Kai­ser. Lorsqu’une entre­prise vend l’utilisation d’un de ses modèles d’IA, le contrat est direc­te­ment signé par l’organisme pri­vé. C’est l’ensemble des cli­niques sous l’organisme pri­vé qui béné­fi­cie de l’IA. Le nombre de contrats signés par les pres­ta­taires est très faible mais leur prix équi­vaut à plu­sieurs dizaines de fois le prix pro­po­sé pour une seule cli­nique. Ce modèle éco­no­mique est plus ris­qué, un rap­port de force se crée entre l’organisme pri­vé et le pres­ta­taire. Cepen­dant, le ratio gain/temps pour les entre­prises pro­po­sant des IA est bien meilleur qu’avec les autres modèles éco­no­miques et per­met de dimi­nuer les coûts de la branche com­mer­ciale de l’entreprise [6]. En France, l’effort com­mer­cial que four­nissent les entre­prises pour atteindre un chiffre d’affaires équi­valent est bien plus impor­tant. En effet, le lien entre les dif­fé­rents hôpi­taux et cli­niques n’est pas pré­sent et un contrat pour chaque cli­nique vou­lant leurs pro­duits doit être signé [7]. De plus, tou­jours avec l’exemple amé­ri­cain, les orga­nismes pri­vés jouent le rôle des assu­reurs et pos­sèdent les cli­niques et les hôpi­taux. Lors d’une table ronde [6], Alexandre Lebrun, CEO de Nabla, explique que les orga­nismes pri­vés ont un inté­rêt finan­cier à uti­li­ser des outils pré­ven­tifs et cura­tifs. Si l’efficacité pré­ven­tive d’une IA est prou­vée et peut leur faire gagner de l’argent, ils la met­tront très rapi­de­ment en place. En France, la mutuelle qui contri­bue à notre sys­tème de san­té et qui s’occupe de tous les frais liés aux « petites mala­dies » n’a pas la charge de payer les frais des mala­dies graves. Or les IA pré­ven­tives, qui ont pour objec­tif de réduire le nombre de patients atteints de mala­dies graves, ne rentrent pas dans le cadre des consul­ta­tions liées aux mala­dies graves, elles sont donc à la charge des mutuelles. Cela réduit la volon­té des acteurs fran­çais à intro­duire ces nou­velles tech­no­lo­gies et com­plique les ventes des star­tups évo­luant sur ce mar­ché. Le déve­lop­pe­ment des star­tups fran­çaises à l’international dépend for­te­ment de leur crois­sance à l’échelle natio­nale. Or la volon­té géné­rale, prô­nant la sou­ve­rai­ne­té des modèles d’IA, veut flui­di­fier la créa­tion et la crois­sance des star­tups fran­çaises [7]. Amé­lio­rer l’accessibilité au mar­ché pour ces entre­prises est-il envi­sa­geable ? Si oui, qui doit four­nir des efforts pour l’améliorer et quelle forme doivent-ils prendre ? Les pro­fes­sion­nels de san­té doivent-ils se regrou­per en corps de métier, le gou­ver­ne­ment pour­rait-il mettre en place des outils reliant les uti­li­sa­teurs aux déve­lop­peurs ? Les entre­prises peuvent-elles col­la­bo­rer pour se déve­lop­per mutuellement ? 

Une autre consi­dé­ra­tion pour les entre­prises de ce sec­teur est la dif­fé­rence d’équipements entre le milieu indus­triel et les hôpi­taux. En effet, Ken­drys Legen­ty, direc­teur géné­ral de la Fabrique des Soi­gnants, a expli­qué durant le Grand Remue-Méninges que les infra­struc­tures infor­ma­tiques des hôpi­taux datent des années 1990. La vitesse de géné­ra­tion de texte par des LLM par exemple, peut pas­ser d’une seconde sur des ser­veurs récents à quelques secondes dans les hôpi­taux et ain­si deve­nir un frein dans l’utilisation de l’outil par les soi­gnants. Tou­jours d’après Ken­drys Legen­ty, la moder­ni­sa­tion du parc infor­ma­tique fran­çais se fait de manière pro­gres­sive, en pas­sant d’infrastructures des années 90 aux années 2000, puis 2010, etc. Ce choix per­met une meilleure adap­ta­bi­li­té des uti­li­sa­teurs et per­met aus­si de gar­der un lien entre tous les hôpi­taux qui pos­sèdent des tech­no­lo­gies simi­laires. Une autre solu­tion serait de pas­ser des infra­struc­tures des années 90 à des infra­struc­tures des années 2020, comme cela est fait pour cer­tains parcs infor­ma­tiques afri­cains. Dans le cas des IA d’analyses d’images médi­cales, pour contour­ner ce pro­blème, les entre­prises mettent à dis­po­si­tion des ser­veurs pour faire tour­ner leurs modèles d’IA. Les images sont donc expor­tées de l’hôpital pour les trai­ter. Cepen­dant, cette méthode ne peut être faite pour des don­nées sen­sibles et non ano­nymes que des IA Gen peuvent trai­ter au sein d’un hôpi­tal. Un nou­veau mode de fonc­tion­ne­ment doit donc être mis en place entre le sec­teur pri­vé et les hôpi­taux. Si les hôpi­taux veulent uti­li­ser des modèles d’IA Gen trai­tant les don­nées per­son­nelles des patients, ils devront inves­tir dans des ser­veurs infor­ma­tiques et dans l’écosystème les entou­rant (experts en cyber­sé­cu­ri­té, en maté­riel infor­ma­tique, etc.). Mal­gré la dimi­nu­tion des prix des abon­ne­ments avec le retrait de la loca­tion des ser­veurs, le prix glo­bal pour une pré­sence de l’IA dans les ser­vices hos­pi­ta­liers devrait aug­men­ter en com­pa­rai­son à une IA uti­li­sée sur des ser­veurs externes. La divi­sion des tâches per­met­tait une baisse glo­bale des prix. En effet, la ges­tion des ser­veurs et de leur sécu­ri­té était réa­li­sée par des entre­prises expertes dans ce domaine qui, avec plu­sieurs clients, pou­vaient réduire leurs coûts de pres­ta­tion. Pour les hôpi­taux, le déploie­ment de ces outils demande un inves­tis­se­ment pour les infra­struc­tures puis un coût de main­te­nance et de ges­tion éle­vé pour la taille de leur parc. 

Pour conclure, le sec­teur de l’IA médi­cale est confron­té à de nom­breux obs­tacles. Les inves­tis­se­ments impor­tants, le long délai d’obtention des auto­ri­sa­tions, les pro­blèmes d’accessibilité aux mar­chés fran­çais ou encore le manque d’infrastructures infor­ma­tiques per­for­mantes au sein des hôpi­taux, rendent dif­fi­cile le déve­lop­pe­ment de petites star­tups. Le manque de connais­sance sur l’IA de la part des soi­gnants peut être consi­dé­ré comme un frein au nombre de ventes qu’ils peuvent conclure. 

II.b) Formations et savoir-faire du personnel soignant 

 L’arrivée des IA Gen est géné­ra­le­ment per­çue comme une perte de savoir-faire et une délé­ga­tion de cer­taines tâches à l’outil infor­ma­tique. Cepen­dant, leur appli­ca­tion requiert des savoir-faire et des connais­sances, géné­rales et/ou spé­ci­fiques à l’outil. Les soi­gnants devront sélec­tion­ner les infor­ma­tions à trans­mettre à l’IA Gen, for­mu­ler des requêtes, inter­pré­ter les résul­tats, etc. Leur for­ma­tion doit donc abor­der l’utilisation et le fonc­tion­ne­ment des IA. Cepen­dant, la for­ma­tion ini­tiale de cer­tains corps de métiers est déjà satu­rée [3]. Avec le dépla­ce­ment des concours natio­naux au début de la sixième année, les étu­diants en méde­cine n’ont que très peu de temps pour abor­der et inté­grer les connais­sances deman­dées. Une for­ma­tion super­fi­cielle à l’IA pour­rait pro­ba­ble­ment être inté­grée faci­le­ment dans leur for­ma­tion, néan­moins, les experts pré­sents lors du Grand Remue-Méninges[3] défen­daient l’importance d’une étude appro­fon­die de l’IA par les étu­diants pour connaitre le fonc­tion­ne­ment interne de ces outils et leurs risques. Jean-Emma­nuel Bibault sug­gé­rait mal­gré tout d’intégrer un bloc informatique/IA lors de la deuxième année de for­ma­tion, lorsque la charge de tra­vail est la moins éle­vée, en même temps que le bloc sur les bio­sta­tis­tiques. Est-il utile d’étudier seule­ment ponc­tuel­le­ment et en début de for­ma­tion un sujet qui évo­lue aus­si rapi­de­ment et qui sera dif­fé­rent lorsque les étu­diants seront diplô­més ? Une autre solu­tion serait d’intégrer dans la for­ma­tion conti­nue des méde­cins les connais­sances néces­saires à l’utilisation de l’IA. D’après Guillaume Assié, direc­teur de la Chaire IA en san­té de l’Unité de For­ma­tion de Recherche (UFR) de Méde­cine de l’Université Paris, les pres­ta­taires d’IA en san­té seraient les plus aptes à for­mer les soi­gnants à tous les aspects liés aux pro­duits qu’ils vendent. La coor­di­na­tion et la super­vi­sion de ces pres­ta­taires res­tent tout de même un pro­blème à régler. La ques­tion de l’utilité des for­ma­tions sur le fonc­tion­ne­ment des IA a été sou­le­vée par plu­sieurs experts comme Nico­las Cas­tol­di, Co-direc­teur de l’Espace Ethique Île-de-France et co-Pré­sident du Club San­té & Digi­tal, prô­nant une uti­li­té tem­po­relle. Ces connais­sances sur le fonc­tion­ne­ment des IA seraient néces­saires lors de l’adoption de l’IA par la com­mu­nau­té et par les patients, puis lorsque ces outils seront par­ti­cu­liè­re­ment bien implan­tés, les connais­sances sur leur appli­ca­tion seraient suf­fi­santes. L’exemple avan­cé est l’utilisation des scan­ners dans le domaine médi­cal. Lors de leur adop­tion, les méde­cins étaient for­més et connais­saient le fonc­tion­ne­ment et les prin­cipes sur les­quels repo­saient les scan­ners, alors qu’aujourd’hui, ces connais­sances ne font plus par­tie de la for­ma­tion d’un méde­cin et peu d’entre eux pour­raient expli­quer leur fonc­tion­ne­ment précis. 

La grande quan­ti­té de don­nées que peut trai­ter une IA per­met l’emploi d’une diver­si­té impor­tante d’informations. Lors du déve­lop­pe­ment des outils infor­ma­tiques, des recherches peuvent mener à l’utilisation de don­nées que les soi­gnants ne maî­trisent pas néces­sai­re­ment. Avec l’arrivée d’une nou­velle IA, le pro­fes­sion­nel de san­té devra dans cer­tains cas être for­mé à la récu­pé­ra­tion de ces nou­velles don­nées et à l’interprétation de celles-ci. Par ailleurs, les connais­sances médi­cales au sein des équipes déve­lop­pant des outils infor­ma­tiques sont rares et recher­chées. Les experts du Grand Remue-Méninges aime­raient déve­lop­per des for­ma­tions com­plé­men­taires comme des mas­ters pou­vant être sui­vis par les étu­diants de méde­cine afin d’augmenter le nombre de méde­cins pou­vant tra­vailler avec les entre­prises déve­lop­pant ces outils et ain­si réduire l’écart de connais­sance entre le monde médi­cal et le monde industriel. 

Les connais­sances spé­ci­fiques à une IA concernent les per­for­mances de celle-ci dans les dif­fé­rents cas où elle est uti­li­sée. Ces savoirs per­met­traient d’augmenter l’utilité et l’efficacité des modèles sur le ter­rain [8]. Cette connais­sance empi­rique est acquise par la pra­tique et l’utilisation répé­tée d’un même outil. Elle ne peut pas être acquise lors de la for­ma­tion des soi­gnants au regard de la diver­si­té des IA pré­sentes sur le mar­ché et des dif­fé­rences de mises en place au sein des ser­vices. Une étude menée par Ethan Goh et al. ayant pour objec­tif de mettre en évi­dence l’influence d’un LLM (GPT4) sur le diag­nos­tic réa­li­sé par des méde­cins sou­lève dif­fé­rentes ques­tions [9]. Le score médian de diag­nos­tic éta­bli dans l’étude, pour GPT4 seul, est de 90 % et pour des méde­cins dis­po­sant seule­ment des res­sources conven­tion­nelles de 74 %. Cepen­dant, le score des méde­cins dis­po­sant de GPT4 est de 76 %, soit uni­que­ment deux pour­cents de plus que les méde­cins sans GPT4. La connais­sance théo­rique des hal­lu­ci­na­tions est assi­mi­lée par les uti­li­sa­teurs de ces outils. Cepen­dant, l’absence d’expérience de diag­nos­tics d’un méde­cin avec IA réduit la confiance que le soi­gnant peut lui don­ner et amène à soup­çon­ner une hal­lu­ci­na­tion ou une erreur qui n’en est pas obli­ga­toi­re­ment une. L’explicabilité, que nous évo­que­rons plus tard, est un point impor­tant de la connais­sance de l’outil. En effet, avec une IA expli­cable, la connais­sance empi­rique des IA peut deve­nir une connais­sance théo­rique et uni­ver­selle qui faci­li­te­rait l’appropriation de l’outil par les nou­veaux uti­li­sa­teurs. Cette connais­sance spé­ci­fique peut aus­si être remise en ques­tion avec l’évolution des bases de don­nées que nous avons vue pré­cé­dem­ment. Cette évo­lu­tion impacte direc­te­ment les résul­tats de l’IA Gen et ain­si, il est dif­fi­cile d’obtenir une expé­rience solide sur l’utilisation de celle-ci. De la même façon qu’avec l’étude pré­cé­dente, l’évolution des bases de don­nées ren­dant en théo­rie l’IA plus per­for­mante ne serait-elle pas com­pen­sée par la perte de per­for­mance liée à l’impossibilité de connaitre son outil ? 

La perte de connais­sances et d’expériences qu’engendre la délé­ga­tion de cer­taines tâches à l’IA Gen est un point très sen­sible en méde­cine. En effet, com­ment doit réagir le soi­gnant, le ser­vice ou l’hôpital lorsqu’une panne, un bug ou une cybe­rat­taque advient sur les IA ? Des réponses doivent être pré­pa­rées pour sub­ve­nir aux besoins des patients mal­gré l’absence de ces outils [3]. À quel point le gou­ver­ne­ment est-il prêt à inves­tir pour que les soi­gnants conti­nuent à être for­més à des acti­vi­tés qui sont délé­guées aux IA ? Les pro­to­coles et les infra­struc­tures peuvent-ils per­mettre la coha­bi­ta­tion entre l’IA et l’humain afin de gar­der un savoir-faire esti­mé indis­pen­sable ? Si la déci­sion de gar­der un cer­tain savoir-faire est approu­vée, une rééva­lua­tion de l’utilité des IA au sein des dif­fé­rents ser­vices doit être réa­li­sée. Par ailleurs, les pres­ta­taires de ce sec­teur devraient, eux aus­si, par­ti­ci­per à ces réflexions et pro­po­ser des solu­tions en cas de pro­blème (bugs, sécu­ri­té des don­nées, panne des ser­veurs, etc.) lors de l’utilisation de leurs modèles. Cepen­dant, ce n’est pas dans l’intérêt de ces entre­prises de pro­po­ser ce genre de ser­vice. Cela dégra­de­rait l’image de leurs pro­duits en évo­quant les pos­sibles pro­blèmes aux­quels ils pour­raient faire face et aug­men­te­rait consi­dé­ra­ble­ment leurs frais de R&D pour peu de valeur ajou­tée sur leurs pro­duits [3]. Un autre point sou­li­gnant l’importance de l’expérience pour un méde­cin concerne les tests d’utilisation de l’IA aujourd’hui. En effet, natu­rel­le­ment, l’idée pré reçue serait de pen­ser que ce sont les jeunes méde­cins et les internes qui seraient les plus enclins à uti­li­ser ces nou­veaux outils infor­ma­tiques, alors que ce sont majo­ri­tai­re­ment les seniors qui veulent les tes­ter et les uti­li­ser [3]. Nico­las Cas­tol­di explique cela par la peur des jeunes méde­cins de ren­con­trer un pro­blème tech­nique avec l’outil. Pre­nons l’exemple de l’IA Gen rédi­geant le compte ren­du d’une consul­ta­tion, si un pro­blème sur­vient et que l’IA Gen n’a pas noté les infor­ma­tions expli­ci­tées lors de la consul­ta­tion, un méde­cin expé­ri­men­té peut gérer la situa­tion en reliant les infor­ma­tions qu’il a rete­nues avec les cas qu’il connait, etc. Un jeune méde­cin, quant à lui, n’a pas l’aisance d’un méde­cin expé­ri­men­té pour rédi­ger un compte ren­du à par­tir des infor­ma­tions super­fi­cielles qu’il a retenues. 

Pour conclure, l’application de l’IA en san­té doit être accom­pa­gnée d’une for­ma­tion solide pour tous les soi­gnants. Cette for­ma­tion théo­rique et pra­tique est indis­pen­sable pour une implan­ta­tion contrô­lée et sereine de l’IA dans les dif­fé­rents métiers. La for­ma­tion ini­tiale des soi­gnants ne doit pas être négli­gée, l’humain ne peut pas se repo­ser entiè­re­ment sur les IA pour les soins et les pro­blèmes tech­niques doivent être pré­ve­nus. Il faut aus­si sou­li­gner que les for­ma­tions, en géné­ral, ne sont pas par­faites et n’assurent pas une assi­mi­la­tion totale des infor­ma­tions qui y sont présentes. 

II.c) Disparité de déploiement

Afin de com­prendre com­ment l’IA Gen se déploie ou pour­rait se déployer en san­té, nous nous sommes inté­res­sés aux fac­teurs faci­li­tant l’implantation de sys­tèmes d’IA dans un ser­vice médi­cal. La pré­sence de l’IA en ima­ge­rie médi­cale est très impor­tante par rap­port aux autres domaines. Envi­ron 58 % des logi­ciels com­por­tant de l’IA et vali­dés par la FDA (Food and Drug Admi­nis­tra­tion) sont à des­ti­na­tion du sec­teur de la radio­lo­gie [10]. Com­ment expli­quer cette dis­pa­ri­té ? Pour­quoi les entre­prises se sont-elles concen­trées prin­ci­pa­le­ment sur ce sec­teur ? L’IA Gen pour­rait-elle aus­si s’implanter for­te­ment dans un ser­vice en particulier ? 

Tout d’abord, les réseaux de neu­rones convo­lu­tifs sont très bien adap­tés aux trai­te­ments d’images grâce à leur capa­ci­té d’accepter un très grand nombre de para­mètres en entrée (pour chaque pixel de l’image). Les bonnes per­for­mances et le poten­tiel de ces approches influencent le choix des nou­velles star­tups et les incitent à aller dans le domaine de l’imagerie médi­cale. Un deuxième point expli­quant ces chiffres est la pré­sence impor­tante de la tech­no­lo­gie au sein de cette pro­fes­sion. Les radio­logues sont régu­liè­re­ment ame­nés à tra­vailler avec des dis­po­si­tifs com­pre­nant des algo­rithmes aug­men­tant leur réso­lu­tion et dimi­nuant leur temps d’acquisition. Ain­si, les radio­logues recon­nais­saient volon­tiers, avant l’IA, l’apport des avan­cées tech­no­lo­giques dans leur métier et y étaient plus fami­liers. Cette numé­ri­sa­tion pré­coce a per­mis de pro­duire et de conser­ver une quan­ti­té mas­sive de don­nées dans les Pic­tures Archi­ving and Com­mu­ni­ca­ting Sys­tem (PACS). Le sto­ckage et le regrou­pe­ment de ces don­nées ont faci­li­té l’entrainement et donc le déve­lop­pe­ment de modèles d’IA assez per­for­mants pour que leur uti­li­sa­tion ne soit ni une gêne ni une perte de temps mais un réel béné­fice pour les uti­li­sa­teurs. Par ailleurs, les radio­logues inter­agissent moins avec leurs patients que d’autres corps de métiers en san­té. Les dis­cus­sions entre le patient et le méde­cin pour éta­blir un diag­nos­tic, n’étant pas, à ce jour, rem­pla­cées par l’IA, favo­rise encore son implan­ta­tion au sein des ser­vices de radio­lo­gie [10].  

Nous pour­rions ajou­ter à cela la faci­li­té de l’anonymisation des images médi­cales. En effet, le for­mat DICOM per­met faci­le­ment d’identifier et de sup­pri­mer les infor­ma­tions sen­sibles pré­sentes et de brouiller les pixels conte­nant des anno­ta­tions per­son­nelles. Cette ano­ny­mi­sa­tion per­met un export des images médi­cales pour l’entrainement des IA et la pro­duc­tion de diag­nos­tics sur des ser­veurs externes aux hôpi­taux. Le deuxième point que nous pour­rions appor­ter est la simi­li­tude des para­mètres d’entrée d’une image médi­cale par rap­port à un prompt. Comme nous le ver­rons plus tard, la sen­si­bi­li­té des IA Gen face aux chan­ge­ments légers des tour­nures de phrases et autres, pose des pro­blèmes lors de son appli­ca­tion. Les images médi­cales, quant à elles, ne changent que très peu entre elles, ce qui per­met une uti­li­sa­tion plus aisée de l’outil. L’ensemble de ces points peuvent expli­quer en par­tie l’implantation de l’IA dans le domaine de l’imagerie médi­cale. Cepen­dant, il reste dif­fi­cile à par­tir de ces infor­ma­tions de pré­voir ou d’identifier un domaine médi­cal pro­pice au déve­lop­pe­ment de l’IA Gen. En effet, les don­nées médi­cales par nature confi­den­tielles et ne pos­sé­dant qu’une faible diver­si­té, ne per­mettent pas un appren­tis­sage opti­mal des IA Gen. Aucun ser­vice n’est pré­dis­po­sé à l’emploi de l’IA Gen, sauf la radio­lo­gie qui uti­lise déjà l’IA, mais qui, comme nous l’avons vu, la déploie comme sup­port aux autres IA déjà implan­tées. La quan­ti­té de don­nées pour l’apprentissage des IA Gen est impor­tante et la for­ma­tion des EDS est trop récente pour avoir en avoir accu­mu­lé assez. De plus, la com­plexi­té et la diver­si­té de ces don­nées rendent dif­fi­cile leur ano­ny­mi­sa­tion et leur uti­li­sa­tion simple.

III. Défis éthiques et sociaux 

III.a) Biais et discriminations 

S’assurer que les modèles d’IA Gen garan­tissent l’inclusion et l’équité est essen­tiel [8]. Leur intro­duc­tion dans le domaine de la san­té doit favo­ri­ser l’égalité du trai­te­ment et de la prise en charge des patients et non pas engen­drer, per­pé­tuer ou aggra­ver une quel­conque forme de dis­cri­mi­na­tion. Elle ne doit pas être excluante envers une per­sonne ou un groupe de per­sonnes en rai­son de leur sexe, genre, race, âge, classe sociale, han­di­cap, ori­gine eth­nique, orien­ta­tion sexuelle, etc. Pour que les sys­tèmes d’IA Gen et leur uti­li­sa­tion ne soient pas inéqui­tables, les biais quelle que soit leur ori­gine, doivent être consi­dé­rés et réduits au maximum. 

L’une des pre­mières sources de biais est la base de don­nées sur laquelle les modèles sont entraî­nés. En effet, même si le pro­gramme est très per­for­mant, si les don­nées d'entrainement sont inexactes ou biai­sées, les résul­tats qui en décou­le­ront le seront aus­si [11]. Les modèles pour­raient même exa­cer­ber ou ampli­fier ces biais [12]. Ces der­niers ont plu­sieurs ori­gines, notam­ment les pré­ju­gés sociaux, des don­nées dés­équi­li­brées ou mal éti­que­tées [13]. 

Tout d’abord, les don­nées sur les­quelles l’algorithme se base peuvent être impré­gnées de biais résul­tants de sté­réo­types (d’ethnie, d’orientation sexuelle, etc.). En effet, toute don­née est pro­duite à un moment par des êtres humains et reflète donc les pré­ju­gés pré­sents dans notre socié­té. L’exemple phare illus­trant cette idée est l’IA de recru­te­ment uti­li­sée par Ama­zon à par­tir de 2015 [14]. Cette IA asso­ciait à chaque can­di­dat une note sur cinq points pour faci­li­ter le pro­ces­sus de recru­te­ment. Il s’est avé­ré qu’elle n’évaluait pas les can­di­dats de manière neutre : elle asso­ciait fré­quem­ment de plus mau­vaises notes aux femmes, sur­tout pour les postes à res­pon­sa­bi­li­té. Ce modèle a été entrai­né sur les cen­taines de mil­liers de CV sou­mis à l’entreprise sur dix années. Or, la grande majo­ri­té des cadres recru­tés durant cette période étaient des hommes. Le modèle a donc appris à sélec­tion­ner, pour deux CV simi­laires, les can­di­dats mas­cu­lins. Ain­si, les inéga­li­tés de sexe dans le monde pro­fes­sion­nel, dans le sec­teur de la tech­no­lo­gie et plus pré­ci­sé­ment pour les postes à res­pon­sa­bi­li­té étaient ins­crites dans les don­nées. L’IA étant entrai­née sur ces der­nières, elle a per­pé­tué, si ce n’est ren­for­cé, le sexisme qui était déjà présent. 

Une autre source de biais dans les don­nées peut être liée à un manque de repré­sen­ta­ti­vi­té des don­nées [12]. Le manque de don­nées sur un sous-groupe intro­duit un dés­équi­libre lors de l’apprentissage de l’IA. Cette sous-repré­sen­ta­tion d’un sous-groupe engendre alors une dimi­nu­tion des per­for­mances de l’IA lorsqu’elle traite un cas qui le concerne. Veiller à ce que les don­nées soient repré­sen­ta­tives de ce qui est étu­dié est néces­saire pour garan­tir l’égalité entre les uti­li­sa­teurs. Tou­te­fois, dans cer­tains cas, les don­nées dis­po­nibles ne le per­mettent pas. Par exemple, une étude a mon­tré que 96 % des bases géno­miques en 2009 étaient tirées de la popu­la­tion euro­péenne et 81 % en 2016 [15]. Ain­si, seules des popu­la­tions d’origine eth­nique très spé­ci­fique sont repré­sen­tées. De même, dans le cas de cer­taines mala­dies, telles que les mala­dies car­dio­vas­cu­laires, la majo­ri­té des études cli­niques sont réa­li­sées sur des hommes [16,17]. Lorsque ces patho­lo­gies atteignent des femmes, elles sont moins bien dépis­tées et trai­tées, par manque d’information et d’études appro­fon­dies dis­so­ciant les deux sexes. Ain­si, les don­nées dis­po­nibles aujourd’hui ne sont pas équi­tables entre les popu­la­tions et au sein même des popu­la­tions. Elles varient en fonc­tion de l’origine eth­nique, du sexe, etc. Les modèles d’IA peuvent alors se mon­trer plus per­for­mants pour cer­tains types de per­sonnes et être dis­cri­mi­nants vis-à-vis d’autres. 

L’Organisation Mon­diale de la San­té (OMS) sou­ligne d’ailleurs l’importance de per­mettre l’accès et l’utilisation de modèles d’IA per­for­mants par tous les pays [8]. Les carac­té­ris­tiques et les besoins des popu­la­tions pou­vant gran­de­ment varier en fonc­tion des régions, il est impor­tant que les groupes de per­sonnes auprès des­quelles les don­nées sont récol­tées, soient les mêmes que ceux aux­quels les modèles sont dédiés [11]. Il peut s’agir des don­nées en elles-mêmes ou de la forme qu’elles prennent et en par­ti­cu­lier de la langue dans laquelle elles sont expri­mées. En effet, le lan­gage est impré­gné de repré­sen­ta­tions propres aux cultures consi­dé­rées et pos­sède des ambigüi­tés [18]. Si la majo­ri­té des textes uti­li­sés comme source sont dans une cer­taine langue, le modèle sera moins effi­cient pour d’autres (d’autant plus si elles sont très dif­fé­rentes), ce qui peut notam­ment poser pro­blèmes avec les chatbots. 

Le manque de don­nées, le dés­équi­libre en termes de repré­sen­ta­ti­vi­té et la pré­sence de sté­réo­types dans les don­nées ser­vant à l’apprentissage d’un modèle d’IA intro­duisent des biais impor­tants dans les résul­tats qu’elle four­nit, ame­nant à la per­pé­tua­tion ou l’accentuation de dis­cri­mi­na­tions d’ores et déjà pré­sentes dans notre socié­té. La créa­tion de bases de don­nées les plus repré­sen­ta­tives et avec le moins de biais pos­sible ain­si que leur contrôle sont donc essen­tiels pour garan­tir l’équité et l’inclusivité des modèles. Cepen­dant, cer­taines IA, dont les IA Gen, sont entrai­nées sur des quan­ti­tés mas­sives de don­nées, or plus leur nombre aug­mente, plus la régu­la­tion devient com­plexe. Pour limi­ter l’apparition de biais dans les réponses four­nies par l’IA ou même pour res­treindre la pro­pa­ga­tion de fausses infor­ma­tions, le pro­gramme en lui-même peut être modifié. 

Une alter­na­tive com­plé­men­taire pour régu­ler les réponses de l’IA est d’agir direc­te­ment sur le pro­gramme. La quan­ti­té mas­sive de don­nées d’entrainement ne pou­vant pas être exempte de biais, une cer­taine forme de neu­tra­li­té pour­rait être atteinte grâce à une inter­ven­tion dans le code même des IA. Cette quête de neu­tra­li­té pas­se­rait par la construc­tion de filtres restrei­gnant la pos­si­bi­li­té de pro­pa­ger des dis­cours nui­sibles, hai­neux ou des réponses biai­sées [18]. Les concep­teurs et déve­lop­peurs seraient char­gés de vali­der et de refor­mu­ler les résul­tats si néces­saire pour obte­nir une IA équi­table et inclu­sive [13]. Mais com­ment tes­ter tous les résul­tats alors qu’ils sont par défi­ni­tion infi­ni­ment variés ? 

L’application de tels filtres requiert de déter­mi­ner au préa­lable les valeurs sociales que l’on sou­haite pro­té­ger ou défendre et la manière dont nous vou­lons le faire. Déter­mi­ner ce que peut géné­rer ou non une IA que ce soit en termes de texte, d’image ou autres, demande d’identifier les thèmes sen­sibles et de fixer une limite entre ce qui est tolé­ré et inter­dit. Ban­nir cer­tains mots ou expres­sions consi­dé­rés comme insul­tants ou éta­blir les condi­tions sous les­quelles cer­tains thèmes doivent être abor­dés demande de défi­nir ce qui est dis­cri­mi­nant ou non, les thèmes sen­sibles, etc. Par exemple, lorsqu’une IA aborde des théo­ries démen­ties par des preuves scien­ti­fiques (telles que « la Terre est plate »), elle pour­rait être obli­gée de confron­ter les argu­ments de ces théo­ries avec les études scien­ti­fiques démon­trant l’inverse (comme le fait ChatGPT actuel­le­ment). Quels mots sont dis­cri­mi­nants ? Le sont-ils dans tous les contextes ? Quelles affir­ma­tions l’IA ne peut-elle pas sou­te­nir ? Com­ment défi­nir les thèmes qui doivent être nuan­cés ? Contrô­ler ce qui est pos­sible et impos­sible implique inévi­ta­ble­ment l’intégration de valeur au sein même des IA. Dans le cas pré­sent, l’influence humaine sur le pro­gramme est sou­hai­tée, mais, il est aus­si pos­sible que des biais s’insèrent dans le pro­gramme sans que les déve­lop­peurs en aient conscience. 

Le pro­gramme étant écrit par des êtres humains, des biais peuvent s’introduire sans que les déve­lop­peurs y prêtent atten­tion. Les biais cog­ni­tifs influencent la manière de pro­gram­mer et orientent donc les algo­rithmes [11]. Conce­voir un modèle sup­pose de faire des choix, de pri­vi­lé­gier une orien­ta­tion par rap­port à d’autres et tra­duit à terme une cer­taine per­cep­tion des phé­no­mènes, pou­vant biai­ser les réponses de l’IA [11]. Outre, les biais cog­ni­tifs iden­ti­fiés (biais de  « du mou­ton de Panurge », d’anticipation, de confir­ma­tion, de  « cor­ré­la­tion illu­soire », etc.), la culture du pro­gram­meur, ses pré­ju­gés et sa per­cep­tion du monde condi­tionnent sa façon de coder. Par exemple, la majo­ri­té des pro­fes­sion­nels du domaine infor­ma­tique étant des hommes, s’ils ne sont pas sen­si­bi­li­sés aux sté­réo­types, le risque d’introduction de biais de genre est très impor­tant [19]. L’écueil est double : des biais sont glis­sés dans le modèle et sou­vent de manière inconsciente. 

Le lan­gage de pro­gram­ma­tion auto­rise lui aus­si cer­taines actions et en inter­dit d’autres. Chaque lan­gage pos­sède ses avan­tages et ses incon­vé­nients et favo­rise ain­si cer­taines orien­ta­tions. Il n’est pas neutre, il influence la manière de coder et donc le fonc­tion­ne­ment du modèle d’IA.  

Pour conclure, les IA ne sont pas des outils neutres. Des biais volon­taires ou invo­lon­taires, de nature et d’origine variées s’introduisent tout au long de leur concep­tion : de la pro­gram­ma­tion à l’apprentissage, et même, tout au long de leur vie. L’évaluation des biais pré­sents et leur prise en compte doit donc être conti­nuelle. Ces consi­dé­ra­tions sont d’autant plus impor­tantes que les IA peuvent sem­bler neutres : la grande quan­ti­té de don­nées sur laquelle elle se base leur per­met­trait d’être impar­tiales et la pro­gram­ma­tion serait une acti­vi­té objec­tive. Les uti­li­sa­teurs doivent donc être infor­més et capables d’identifier les poten­tiels biais pré­sents dans les réponses afin d’en tenir compte dans leur inter­pré­ta­tion. La com­pré­hen­sion du modèle et des résul­tats four­nis est donc essen­tielle pour prendre en consi­dé­ra­tion les biais et ain­si ne per­pé­tuer ou n’aggraver aucune forme de discrimination. 

III.b) Gestion des données et du consentement 

Le déve­lop­pe­ment et la per­for­mance des IA dépendent for­te­ment des bases de don­nées sur les­quelles elles sont entraî­nées. Les déve­lop­peurs font varier la taille, la qua­li­té et la forme de celles-ci pour per­fec­tion­ner leurs IA. Cepen­dant, plu­sieurs pro­blèmes se posent lorsque ces pro­ces­sus sont appli­qués au domaine médi­cal. Les don­nées de san­té des patients sont, par nature, per­son­nelles et sen­sibles. Le consen­te­ment du patient est donc indis­pen­sable pour la récu­pé­ra­tion, le sto­ckage et l’utilisation de ses infor­ma­tions [20]. La quan­ti­té de don­nées néces­saire pour déve­lop­per des modèles d’IA Gen est consé­quente et rend ce tra­vail très labo­rieux. Les hôpi­taux ont mis en place des EDS per­met­tant de sto­cker l’ensemble des don­nées patient récu­pé­rées lors de consul­ta­tions au sein des hôpi­taux. Le consen­te­ment pour le sto­ckage des don­nées dans ces entre­pôts est don­né impli­ci­te­ment, en l’absence de contre-indi­ca­tion de la part du patient. Les don­nées sont donc récu­pé­rées, sto­ckées et peuvent être uti­li­sées dans le cadre de pro­jets de recherche. Une auto­ri­sa­tion déli­vrée par la Com­mis­sion Natio­nale de l’Informatique et des Liber­tés (CNIL) aux hôpi­taux est tout de même néces­saire pour l’ouverture et la ges­tion d’un EDS. Il est impor­tant de sou­li­gner que cette auto­ri­sa­tion est fon­dée sur une liste de cri­tères à res­pec­ter qui évo­lue au cours du temps, mais que les auto­ri­sa­tions, elles, ne sont pas remises en cause. Un EDS créé en 2019 peut ne pas res­pec­ter la liste de cri­tères de 2024. L’autorisation défi­ni­tive déli­vrée par la CNIL et le consen­te­ment impli­cite des patients lors de leurs venues à l’hôpital remettent en cause ce sys­tème de récu­pé­ra­tion de don­nées. Tou­te­fois, les EDS exa­minent chaque demande d’utilisation des don­nées avec un jury interne à l’hôpital. Ce jury ana­lyse la démarche scien­ti­fique, la néces­si­té des don­nées deman­dées pour le pro­jet de recherche et l’application des futurs modèles pro­duits avec les don­nées de l’EDS. Les hôpi­taux mettent ensuite à dis­po­si­tion des ser­veurs infor­ma­tiques locaux pour pro­duire les modèles des dif­fé­rents pro­jets de recherche sans expor­ter les don­nées per­son­nelles récol­tées. Une fois les modèles créés, le jury doit don­ner son accord pour les expor­ter de l’EDS. Lorsqu’il n’est pas pos­sible d’utiliser les ser­veurs infor­ma­tiques locaux et mal­gré l’interdiction d’exporter les don­nées, cer­tains EDS auto­risent cette expor­ta­tion en fai­sant signer un docu­ment d’utilisation [20]. Cepen­dant, lors d’un entre­tien avec un cher­cheur étu­diant une mala­die rare, ce der­nier nous a avoué que ses confrères et lui par­ta­geaient direc­te­ment par mail les « don­nées patient » de leur hôpi­tal res­pec­tif pour accé­lé­rer les trans­mis­sions et réduire les coûts de recherche. En effet, les demandes d’exports de don­nées sont étu­diées indi­vi­duel­le­ment et peuvent être mon­nayées. Cer­tains cher­cheurs aime­raient créer un règle­ment per­met­tant de défi­nir des cas géné­raux pou­vant cou­vrir 80 % des cas et ain­si flui­di­fier les demandes et évi­ter la trans­mis­sion non sécu­ri­sée de don­nées sen­sibles. De plus, après avoir dis­cu­té avec cer­tains experts des mala­dies rares (cher­cheurs, pré­si­dents d’association, etc.), une réelle diver­gence entre la volon­té de par­tage des patients ayant des mala­dies rares et les autres est appa­rue. L’implication de ces patients dans leur mala­die est plus impor­tante et une vraie volon­té de par­ta­ger leurs don­nées est pré­sente. Dans ce genre de cas, c’est la régle­men­ta­tion qui res­treint la trans­mis­sion et l’utilisation de cer­taines « don­nées patient ». 

Un moyen uti­li­sé actuel­le­ment pour s’affranchir du consen­te­ment du patient est l’anonymisation. Après la récu­pé­ra­tion des don­nées médi­cales d’une per­sonne, il est pos­sible de créer un ava­tar de ce patient pos­sé­dant des carac­té­ris­tiques proches [20]. Tou­te­fois, cet ava­tar doit avoir des carac­té­ris­tiques assez éloi­gnées pour que l’identification du patient a pos­te­rio­ri ne soit pas fai­sable ou que les efforts deman­dés pour l’identifier soient consi­dé­rés comme trop impor­tants. Avec cette méthode, le consen­te­ment du patient est néces­saire seule­ment pour la créa­tion de l’avatar. Ces nou­velles don­nées peuvent ensuite être uti­li­sées et sto­ckées libre­ment [20]. Des pro­jets de recherche hos­pi­ta­liers dans ce domaine sont conduits et cer­taines entre­prises pro­posent déjà ce ser­vice. Basée sur une approche sym­bo­lique, ils uti­lisent des algo­rithmes per­met­tant de : 

• Si les don­nées sont dans des textes, récu­pé­rer les infor­ma­tions impor­tantes s’y trou­vant afin de struc­tu­rer la base de don­nées (sous forme de tableau, une ligne équi­vaut à un point de la base de données). 
• Ano­ny­mi­ser la base de don­nées structurée. 
• Réduire le bruit et aug­men­ter les per­for­mances des modèles d’IA qui uti­li­se­ront cette base de données. 

Des LLM peuvent être uti­li­sés par la suite s’il est indis­pen­sable que la forme de la base de don­nées soit tex­tuelle. Ils ont donc pour but de géné­rer des textes à par­tir des don­nées syn­thé­tiques. Cette réécri­ture peut modi­fier la mise en forme des textes de manière aléa­toire ou d’une façon à retrou­ver la même mise en forme qu’originalement. L’approche sym­bo­lique est indis­pen­sable pour garan­tir une ano­ny­mi­sa­tion. La géné­ra­tion de don­nées à par­tir d’IA Gen ne peut pas prou­ver une ano­ny­mi­sa­tion com­plète, car des don­nées de sa base d’apprentissage peuvent être retrou­vées dans les modèles créés [21]. La réduc­tion du bruit passe par une modi­fi­ca­tion de la base de don­nées. Les points très éloi­gnés des autres, cor­res­pon­dant à des erreurs de mesures ou des per­sonnes avec des carac­té­ris­tiques hors normes, sont exclus de la base de don­nées ou rap­pro­chés de la norme afin de dimi­nuer « le bruit des mar­gi­naux ». Cette course au pour­cen­tage entrave alors les prin­cipes d’équité : les per­sonnes aux carac­té­ris­tiques hors normes ne sont pas repré­sen­tées dans la base de don­nées. Lorsque ces bases de don­nées sont ensuite uti­li­sées pour entrai­ner d’autres modèles d’IA, ce manque d’équité se trans­met et peut s’accentuer. À terme, les modèles d’IA pour­raient être effi­caces seule­ment pour les per­sonnes ayant des carac­té­ris­tiques les plus repré­sen­tées dans la popu­la­tion. Les modi­fi­ca­tions de la base de don­nées ou des modèles d’IA afin d’obtenir de meilleures per­for­mances intro­duisent donc des biais importants. 

De la même façon, des recherches sur le déve­lop­pe­ment d’IA Gen syn­thé­ti­sant des bases de don­nées à par­tir de don­nées exis­tantes sont en cours [7, 20]. Le but de ces IA serait par exemple de consti­tuer à par­tir de deux images médi­cales une nou­velle avec des carac­té­ris­tiques de l’une et de l’autre. Si, sur une image médi­cale, un patient avec une mor­pho­lo­gie A pos­sède une tumeur et sur une deuxième image un patient avec une mor­pho­lo­gie B n’en pos­sède pas, l’IA Gen pour­rait per­mettre de géné­rer une image médi­cale d’un patient pos­sé­dant une tumeur et la mor­pho­lo­gie B. Ces IA sou­lèvent des ques­tions d’utilités sur l’ajout réel d’information dans la base de don­nées et des ques­tions éthiques sur la repro­duc­tion de biais, la néces­si­té de recou­rir à ces tech­niques alors que le sys­tème médi­cal pos­sède déjà les don­nées néces­saires, l’exclusion de l’humain, etc. En effet, la géné­ra­tion de don­nées est néces­saire lorsque la quan­ti­té de don­nées dis­po­nibles est trop faible pour le déve­lop­pe­ment de modèles per­for­mants. Cela aug­men­te­ra-t-il la taille des bases de don­nées d’apprentissage ? Cette quan­ti­té de don­nées et les biais qui peuvent y être ampli­fiés [11] sont-ils contrô­lables et véri­fiables ? L’IA expli­cable sur ce type de don­nées syn­thé­tiques main­tient-elle tou­jours cette expli­ca­bi­li­té ? Une boucle sans fin de géné­ra­tions de don­nées et d’entrainement de modèles géné­rant de nou­velles don­nées appa­raî­tra-t-elle ? La com­plexi­té et la taille des algo­rithmes empê­che­ront-elles la répa­ra­tion et la super­vi­sion humaine ? Des IA ayant pour but de répa­rer des IA et de super­vi­ser les bases de don­nées seront-elles nécessaires ? 

Pour conclure, les per­for­mances des IA sont très liées à leurs bases d’apprentissage. En san­té, la sen­si­bi­li­té des don­nées trai­tées com­plexi­fie l’apprentissage et la créa­tion de modèles d’IA. Le recours à l’anonymisation peut être un moyen de sécu­ri­ser les don­nées per­son­nelles des patients tout en les uti­li­sant pour déve­lop­per de nou­veaux outils infor­ma­tiques. En allant plus loin, il serait pos­sible d’augmenter la taille des bases d’apprentissage grâce à des don­nées syn­thé­tiques, ce qui peut poten­tiel­le­ment aug­men­ter les per­for­mances des modèles, mais sou­lève de nou­veau de nom­breuses ques­tions éthiques. 

III.c) Le manque d’explicabilité et ses conséquences 

L’explicabilité est consi­dé­rée par de nom­breux experts comme l’un des piliers éthiques des intel­li­gences arti­fi­cielles [8, 22]. Selon « Les lignes direc­tives en matière d’éthique pour une IA digne de confiance » défi­nies par la Com­mis­sion euro­péenne, elle fait par­tie des quatre prin­cipes défi­nis­sant une « IA digne de confiance », aux côtés du res­pect de l’autonomie humaine, de la pré­ven­tion de toute atteinte et de l’équité [23]. Ces quatre piliers sont consi­dé­rés comme des « impé­ra­tifs éthiques » per­met­tant d’assurer les droits fon­da­men­taux [23] . 

Cepen­dant, bien que cette notion ait une place cen­trale dans les ques­tion­ne­ments éthiques autour des IA, il n’existe aujourd’hui aucune défi­ni­tion consen­suelle [24, 25]. Mal­gré tout, plu­sieurs défi­ni­tions se rejoignent : dans le guide pré­sen­tant les carac­té­ris­tiques des IA dignes de confiance, l’explicabilité sup­pose que « les déci­sions prises par un sys­tème d’IA puissent être com­prises et retra­cées par des êtres humains [23] ». La CNIL la défi­nit aus­si comme étant « la capa­ci­té de mettre en rela­tion et de rendre com­pré­hen­sible les élé­ments pris en compte par le sys­tème d’IA pour la pro­duc­tion d’un résul­tat[26] ». Dans les deux cas, la com­pré­hen­sion du résul­tat et des pro­ces­sus qui y ont mené à par­tir des don­nées d’origine sont évoqués. 

De manière géné­rale, la notion d’explicabilité ren­voie à la capa­ci­té de rendre cer­tains aspects d’une IA com­pré­hen­sibles par des humains. Il peut s’agir d’expliciter le dérou­le­ment de l’apprentissage de l’IA à par­tir des don­nées d’origine ou bien le pro­ces­sus qui a mené une IA à prendre telle ou telle déci­sion à par­tir d’un cer­tain prompt. Deux types d’explicabilité sont d’ailleurs sou­vent dis­tin­gués : l’explicabilité locale et glo­bale [25].  

La pre­mière, l’explicabilité locale, cor­res­pond à la pré­dic­tion unique de la réponse d’un sys­tème d’IA à par­tir d’une demande spé­ci­fique. L’objectif est de mettre en évi­dence les rela­tions exis­tantes entre les infor­ma­tions pré­sentes dans la demande (ou prompt) avec la réponse qui est don­née par l’IA ain­si que de retra­cer les rai­son­ne­ments qui ont mené à ce résul­tat pré­cis. Tan­dis que la seconde, l’explicabilité glo­bale, concerne le modèle dans son ensemble. Elle éva­lue la capa­ci­té à rendre com­pré­hen­sible la tota­li­té des résul­tats pos­sibles à par­tir de toutes les valeurs des variables d’entrées. Elle per­met une véri­fi­ca­tion de tous les cas et la cer­ti­tude de ne pas obte­nir d’hallucinations lors de son utilisation. 

Bien que l’explicabilité soit consi­dé­rée comme un des fon­de­ments éthiques des IA, la com­plexi­té tech­nique des modèles connexion­nistes com­pro­met son appli­ca­tion dans la pra­tique [27]. En effet, avec l’essor des IA se basant sur des réseaux de neu­rones et le deep lear­ning, il est de moins en moins aisé de com­prendre le rai­son­ne­ment sui­vi par l’IA [23]. La mul­ti­pli­ca­tion des IA connexion­nistes par rap­port aux IA sym­bo­liques opa­ci­fie tech­ni­que­ment nos outils infor­ma­tiques [27]. Ces IA, dont nous ne connais­sons et ne contrô­lons pas le fonc­tion­ne­ment pré­cis, sont aus­si appe­lées « boîtes noires ». C’est notam­ment le cas des IA Gen, fon­dées sur une archi­tec­ture de réseaux de neu­rones pro­fonds et entrai­nées avec une quan­ti­té mas­sive de données. 

Face au déve­lop­pe­ment d’IA de moins en moins expli­cables, y com­pris par les déve­lop­peurs et les concep­teurs, l’explicabilité et son éva­lua­tion en termes de fia­bi­li­té et de vali­di­té, deviennent des pro­blé­ma­tiques majeures [24]. C’est dans ce contexte qu’a émer­gé l’IA expli­cable, un domaine de recherche visant à déve­lop­per des méthodes per­met­tant à l’utilisateur de com­prendre faci­le­ment, de rendre intel­li­gibles les rai­son­ne­ments qui ont mené une IA à telle ou telle déci­sion ou pré­dic­tion [24]. La com­pré­hen­sion des méca­nismes sous-jacents des IA et de leurs résul­tats est d’autant plus impor­tante lorsque ces IA « boîte noire » sont uti­li­sées dans des domaines consi­dé­rés à hauts risques [24], tels que la san­té ou la finance. 

En dépit des nom­breuses recherches menées pour ten­ter de rendre les IA Gen plus expli­cables, cer­taines pro­blé­ma­tiques ne sont tou­jours pas réso­lues et requièrent une ana­lyse plus appro­fon­die [24]. Expli­quer les rai­sons qui ont pous­sé un modèle à géné­rer un résul­tat ou à prendre une déci­sion en par­ti­cu­lier, n’est pas tou­jours pos­sible. Il est d’ailleurs tout autant dif­fi­cile de déter­mi­ner quelles com­bi­nai­sons de fac­teurs d’entrée y ont contri­bué [23]. Aujourd’hui, les IA fon­dées sur des réseaux de neu­rones, telles que les IA Gen, ne sont pas expli­cables. Il est impos­sible de com­prendre ou d’exercer une forme de contrôle sur leur fonc­tion­ne­ment, même pour les concepteurs. 

Le manque de moyens tech­niques ou de connais­sances ne per­met pas à lui seul d’expliquer ces lacunes en termes d’explicabilité. En effet, il est dans la nature même de cer­taines IA, notam­ment celles se fon­dant sur des réseaux de neu­rones, entrai­nées sur une très grande quan­ti­té de don­nées et se réfé­rant à des cal­culs sta­tis­tiques com­plexes, de rendre dif­fi­cile l’établissement du lien entre la demande avec le résul­tat. Ces carac­té­ris­tiques intrin­sèques aux IA basées sur des réseaux de neu­rones rendent impos­sible la démons­tra­tion du pro­ces­sus ayant mené au résul­tat et com­pliquent l’établissement d’un lien entre les don­nées d’entrée et celles de sor­tie. Ain­si, il est com­pli­qué, voire impos­sible d’obtenir une suite de jus­ti­fi­ca­tions sous forme de déci­sions logiques qui per­mette d’expliquer le résul­tat d’une IA connexion­niste, contrai­re­ment aux IA sym­bo­liques. De plus, de légères modi­fi­ca­tions dans les don­nées d’entrée peuvent gran­de­ment modi­fier la réponse de l’IA [23]. Les uti­li­sa­teurs doivent donc apprendre à rédi­ger au mieux leurs demandes pour obte­nir la réponse avec les infor­ma­tions, le niveau de pré­ci­sion et la forme sou­hai­tés. Cette sen­si­bi­li­té des IA Gen, c’est-à-dire, cette grande varia­bi­li­té des résul­tats don­nés pour des demandes simi­laires, les rend éga­le­ment moins fiables aux yeux des utilisateurs. 

La ques­tion de l’explicabilité des IA est d’autant plus impor­tante dans les domaines à hauts risques puisqu'aujourd’hui, il n’existe aucune régle­men­ta­tion obli­geant les concep­teurs à une quel­conque exi­gence d’explicabilité, ni obli­geant les uti­li­sa­teurs du sec­teur médi­cal à uti­li­ser exclu­si­ve­ment des IA expli­cables. Ain­si, de nom­breux modèles géné­ra­tifs ont été déve­lop­pés ou sont en déve­lop­pe­ment pour des appli­ca­tions dans le monde médical. 

Les déci­sions prises par le per­son­nel médi­cal et de manière plus géné­rale par tout pro­fes­sion­nel tra­vaillant dans le domaine de la san­té (per­son­nels admi­nis­tra­tifs, d’innovation, etc.) peuvent avoir des réper­cus­sions graves, notam­ment pour les patients. Si l’intelligence arti­fi­cielle inter­vient dans les pro­ces­sus déci­sion­nels mais aus­si admi­nis­tra­tifs dans le domaine de la san­té, son uti­li­sa­tion se doit d’être d’autant plus enca­drée et transparente. 

Par exemple, sup­po­sons qu’un méde­cin soit assis­té par une IA Gen (et donc non expli­cable) pour éta­blir un diag­nos­tic. Lorsque ses résul­tats et ceux de l’IA divergent, il lui est impos­sible de com­prendre pour­quoi. Les seules pos­si­bi­li­tés s’offrant à lui sont de croire aveu­glé­ment en l’IA, de main­te­nir son diag­nos­tic mal­gré les contra­dic­tions, de faire des ana­lyses com­plé­men­taires afin de véri­fier les résul­tats obte­nus ou alors de sol­li­ci­ter l’avis de ses col­lègues. Com­ment l’IA peut-elle être un outil si les réponses qu’elle apporte ne sont pas jus­ti­fiées ? Dans quelle mesure une IA dont nous ne pou­vons pas retra­cer le rai­son­ne­ment est une aide pour son uti­li­sa­teur ? Une IA non expli­cable peut-elle réel­le­ment aider à la prise de décision ? 

Ces ques­tions s’étendent d’ailleurs à tout type d’utilisation d’IA qui serait non expli­cable, les réponses de l’IA peuvent mettre en doute celles des humains. Com­prendre son outil, son méca­nisme, ses failles et ses limites sont des pré­re­quis pour pou­voir s’en ser­vir à bon escient, pour en avoir une uti­li­sa­tion éclai­rée et sur­tout pour qu’il soit béné­fique à son uti­li­sa­teur. L’explicabilité d’une IA per­met aus­si de mettre en évi­dence les biais ou les erreurs dans le rai­son­ne­ment qu’elle a sui­vi. L’utilisateur peut alors com­prendre la réponse don­née et donc poten­tiel­le­ment iden­ti­fier l’origine d’une erreur afin de la cor­ri­ger (en modi­fiant les don­nées d’entrées par exemple) ou de la prendre en compte dans son inter­pré­ta­tion des résul­tats. La pos­si­bi­li­té de contes­ter les résul­tats d’une IA de manière construc­tive ne peut se faire sans expli­ca­tion, sans connais­sance du modèle et de son fonc­tion­ne­ment [23]. Sans expli­ca­bi­li­té, il ne s’agit pas de com­prendre, mais plu­tôt de croire en l’IA, ce qui sou­lève davan­tage une ques­tion lorsque les consé­quences des déci­sions prises à par­tir de son uti­li­sa­tion peuvent s’avérer graves (mau­vais diag­nos­tic, mau­vais choix de trai­te­ment pour le patient, mau­vaises infor­ma­tions ou conclu­sions dans les comptes ren­dus, mau­vaises infor­ma­tions trans­mises aux patients, etc.).

En outre, le manque d’explicabilité peut être à l’origine d’une baisse de per­for­mance des modèles. Au-delà de la pos­si­bi­li­té de contes­ter les résul­tats four­nis par une IA, l’explicabilité a pour objec­tif de sou­te­nir et d’améliorer la confiance humaine accor­dée aux réponses du modèle [25]. Ain­si, face à la méfiance des uti­li­sa­teurs, les per­for­mances d’un modèle peuvent dimi­nuer. L’expérience menée par Ethan Goh et al. montre en par­ti­cu­lier qu’une IA Gen seule (GPT4) pos­sède de meilleures per­for­mances pour éta­blir un diag­nos­tic que les méde­cins accom­pa­gnés par cette même IA (score de 90 % contre 76 %, et 74 % pour les méde­cins seuls) [9]. Ces résul­tats peuvent s’expliquer par un manque de confiance des méde­cins dans les conclu­sions de GPT4. Ils pri­vi­lé­gient le diag­nos­tic qu’ils ont fon­dé sur leur propre logique à celui éta­bli par l’IA dont le rai­son­ne­ment n’est pas expli­ci­té. L’impossibilité de com­prendre les résul­tats d’une IA et de les contes­ter peuvent donc être, entre autres, des fac­teurs empê­chant la créa­tion d’une rela­tion construc­tive entre l’IA et son uti­li­sa­teur. De plus, prendre en compte les per­for­mances des modèles lors de leur uti­li­sa­tion par des méde­cins se révèle être néces­saire. En effet, les per­for­mances des modèles fon­dés sur des réseaux de neu­rones sont, à ce jour, supé­rieures à celles de modèles plus expli­cables. Mais dans la pra­tique, ils peuvent s’avérer moins per­for­mants, notam­ment à cause de la méfiance des uti­li­sa­teurs résul­tant du manque d’information sur le rai­son­ne­ment de l’IA et donc de l’impossibilité de véri­fier si une hal­lu­ci­na­tion est présente. 

Dans la pra­tique, les méde­cins semblent pri­vi­lé­gier la per­for­mance des sys­tèmes [27]. Le sou­ci de com­pré­hen­sion et d’explication du fonc­tion­ne­ment de l’algorithme pas­se­rait après la per­for­mance pré­dic­tive. Si le modèle uti­li­sé pré­sente de très bons résul­tats dans les tâches qu’il doit réa­li­ser, le besoin d’explicabilité serait moindre, y com­pris pour les appli­ca­tions les plus cri­tiques [27]. La prio­ri­té est de savoir à quel point les pré­dic­tions ou les réponses sont justes. Ce qui importe c’est que l’IA réa­lise les tâches pres­crites avec le moins d’erreurs pos­sibles. Consi­dé­rer des IA comme des « boîtes noires » ne serait donc pas un pro­blème tant que les per­for­mances du modèle sont les meilleures. 

Cette supé­rio­ri­té de l’exigence de per­for­mance par rap­port à celle d’explicabilité se creu­se­rait davan­tage une fois que les IA sont déployées dans les orga­ni­sa­tions. Les indi­ca­teurs de per­for­mances deviennent prio­ri­taires face aux efforts d’explicabilité au point par­fois d’entraver les tra­vaux visant à gagner en com­pré­hen­sion [27]. Dans cer­tains cas, un arbi­trage peut deve­nir néces­saire entre l’amélioration des per­for­mances (au détri­ment de la com­pré­hen­sion) et le ren­for­ce­ment de l’explicabilité du sys­tème (pou­vant réduire sa pré­ci­sion) [23]. 

Cette sub­sti­tu­tion, dans la pra­tique, de l’exigence d’explicabilité à celle de per­for­mance intro­duit de nou­velles pro­blé­ma­tiques éthiques. Si un modèle n’est pas expli­cable, l’unique moyen de l’évaluer et de le com­pa­rer aux autres, repose sur les cri­tères de per­for­mance. Les recherches se foca­lisent alors sur l’optimisation de pro­blèmes ou de cri­tères de réus­site déjà iden­ti­fiés, excluant ain­si l’investigation de nou­veaux types de rai­son­ne­ment[27]. De plus, comme évo­qué pré­cé­dem­ment avec l’entreprise Octo­pize, si l’objectif fixé n’est pas de rendre les IA plus expli­cables et que l’exigence qui prime est celle de la per­for­mance, des modèles peuvent être créés et modi­fiés dans le seul but d’augmenter la vali­di­té glo­bale des résul­tats (au détri­ment de pro­blé­ma­tiques éthiques et notam­ment d’équité).  

Enfin, un der­nier élé­ment concer­nant l’explicabilité doit être pris en compte : le des­ti­na­taire des expli­ca­tions. En effet, même si à l’avenir les modèles de réseaux de neu­rones s’avéraient plus expli­cables, ils ne le seraient pas for­cé­ment pour n’importe qui. Une IA peut être ren­due com­pré­hen­sible et intel­li­gible pour un déve­lop­peur, un concep­teur ou un expert du domaine mais ne pas l’être pour l’utilisateur final (pro­fes­sion­nel de san­té, patient, etc.) ou un régu­la­teur. La forme et le niveau de détail atten­dus en termes d’explicabilité varient donc éga­le­ment en fonc­tion de la per­sonne à qui sont des­ti­nées les expli­ca­tions. En fonc­tion du des­ti­na­taire, un com­pro­mis entre une expli­ca­tion pré­cise, poten­tiel­le­ment très com­plexe et une des­crip­tion plus appré­hen­dable mais sim­pli­fiée et omet­tant des infor­ma­tions signi­fi­ca­tives, devra sans doute s’effectuer [28].  

Donc, mal­gré l’absence d’une défi­ni­tion qui fasse l’unanimité, cer­tains aspects de l’explicabilité font consen­sus, notam­ment son rôle majeur dans la garan­tie du carac­tère éthique des IA, d’autant plus dans les domaines à hauts risques tels que la san­té. Cepen­dant, aujourd’hui, nous sommes inca­pables tech­ni­que­ment d’expliquer le fonc­tion­ne­ment des IA connexion­nistes et dans la pra­tique, le cri­tère de per­for­mance semble être prio­ri­taire. Au-delà même de rendre com­pré­hen­sible les modèles d’IA, une trans­pa­rence concer­nant les choix opé­rés lors de leur concep­tion et la manière dont ils influencent et façonnent les pro­ces­sus de prise de déci­sions sont indis­pen­sables [23]. Fina­le­ment, est-il accep­table d’utiliser des IA non expli­cables en san­té ou dans quel­conque domaine à haut risque ? Dans le cas contraire, étant don­né qu’il est aujourd’hui impos­sible d’expliquer les modèles fon­dés sur des réseaux de neu­rones, doit-on s’en pri­ver mal­gré leurs per­for­mances très éle­vées ? Est-il pos­sible de se sous­traire à l’exigence d’explicabilité et si oui, dans quelles condi­tions ? Être infor­mé des per­for­mances, des limites et des biais est-il suf­fi­sant pour en avoir un usage éthique ?

III.d) Responsabilité des différents acteurs 

L’arrivée des IA géné­ra­tives s’accompagne éga­le­ment de ques­tion­ne­ments concer­nant la res­pon­sa­bi­li­té des dif­fé­rentes par­ties pre­nantes. Lorsqu’un pro­blème est ren­con­tré (mau­vais diag­nos­tic, fausses infor­ma­tions insé­rées dans un compte ren­du médi­cal, etc.), qui est res­pon­sable ? Quand le résul­tat de l’IA est erro­né et que l’utilisateur n’a pas su le déce­ler, est-il le seul res­pon­sable ? Qui doit s’assurer que les infor­ma­tions sen­sibles ou per­son­nelles ne sont acces­sibles qu’aux per­sonnes auto­ri­sées ? Éta­blir les res­pon­sa­bi­li­tés qui incombent à chaque acteur serait pri­mor­dial pour inté­grer des IA, en par­ti­cu­lier dans le domaine de la san­té [18]. Or, ces ques­tions se com­plexi­fient dans le cas des IA Gen. En effet, lorsqu’une IA est expli­cable, il est plus facile de prendre en compte de manière éclai­rée sa réponse. Dans le cas contraire, il faut faire confiance au modèle, croire en la réponse don­née, sans pou­voir la com­prendre. Revient-il aux concep­teurs d’assurer des per­for­mances très éle­vées per­met­tant aux uti­li­sa­teurs d’avoir confiance ? Ou revient-il aux uti­li­sa­teurs de véri­fier par leurs propres moyens chaque réponse don­née par l’IA ?  

Le faible niveau d’explicabilité, la dif­fé­rence (par­fois très signi­fi­ca­tive) des réponses alors que la demande n’a que légè­re­ment varié et l’apprentissage dyna­mique, font des IA Gen, des modèles peu pré­vi­sibles et peu contrô­lables. Cette com­plexi­té tech­no­lo­gique com­plique l’attribution des res­pon­sa­bi­li­tés [29]. La ten­dance actuelle des concep­teurs d’IA Gen tout domaines confon­dus est de se dédoua­ner de toute res­pon­sa­bi­li­té concer­nant les résul­tats don­nés par l’IA. L’impossibilité d’expliquer leur modèle et la com­plexi­té tech­nique jus­ti­fie­raient qu’ils ne soient pas res­pon­sables des réponses don­nées par l’IA et de ce que les uti­li­sa­teurs en font. Il revien­drait donc à l’utilisateur de savoir bien for­mu­ler sa demande et sur­tout de savoir inter­pré­ter et de prendre le temps de véri­fier les résul­tats qu’il obtient. Il est donc jugé res­pon­sable de son uti­li­sa­tion de l’IA. Si les résul­tats entrainent des erreurs, des déci­sions dis­cu­tables ou quel­conque impact néga­tif, c’est lui qui devrait y répondre et non pas l’IA en elle-même ou ses concepteurs. 

Pour remé­dier à ces pro­blèmes, la res­pon­sa­bi­li­té (ou tout du moins une par­tie) pour­rait être remise entre les mains des per­sonnes et des orga­ni­sa­tions qui déve­loppent ces tech­no­lo­gies. Rendre les concep­teurs res­pon­sables en cas de consé­quence néga­tive per­met­trait d’aboutir à des IA plus justes [27]. Cepen­dant, cela pour­rait inci­ter les méde­cins à ne prendre aucune res­pon­sa­bi­li­té et à suivre les déci­sions de l’IA même s’ils avaient diag­nos­ti­qué une autre mala­die. Un point sous-jacent serait lié aux jeunes méde­cins qui, par faci­li­té ou par manque de confiance, uti­li­se­raient exces­si­ve­ment l’IA et n’obtiendraient pas l’expérience du métier. De plus, la prise de res­pon­sa­bi­li­té des déve­lop­peurs d’IA serait une forme d’exclusion des méde­cins des soins des patients et nous pour­rions envi­sa­ger un début d’autonomie de l’IA en santé. 

La pro­tec­tion des don­nées per­son­nelles est éga­le­ment sou­vent trans­fé­rée aux uti­li­sa­teurs. Dans un guide de bonne pra­tique non spé­ci­fique à la san­té sur l’intelligence arti­fi­cielle géné­ra­tive publié par le gou­ver­ne­ment qué­bé­cois, il est sti­pu­lé que « le per­son­nel demeure impu­table de l’utilisation qu’il fait des don­nées de son orga­ni­sa­tion » et la pre­mière bonne pra­tique indi­vi­duelle serait de « ne jamais divul­guer d’informations per­son­nelles, confi­den­tielles ou sen­sibles » [13]. Est-il envi­sa­geable de suivre les mêmes direc­tives dans le domaine de la santé ? 

Tout d’abord, il faut défi­nir ce que l’on entend par infor­ma­tion « sen­sible » ou « per­son­nelle ». Selon la CNIL, une don­née per­son­nelle cor­res­pond à « toute infor­ma­tion se rap­por­tant à une per­sonne phy­sique iden­ti­fiée ou iden­ti­fiable » [30]. Il est pré­ci­sé qu’une per­sonne peut être iden­ti­fiable à par­tir d’une seule don­née, mais aus­si de la conjonc­ture de plu­sieurs don­nées. De même, selon la CNIL, les don­nées sen­sibles « forment une caté­go­rie par­ti­cu­lière des don­nées per­son­nelles » et com­prennent entre autres « le trai­te­ment des don­nées géné­tiques, des don­nées bio­mé­triques aux fins d’identifier une per­sonne phy­sique de manière unique, des don­nées concer­nant la san­té » [31].  

Inter­dire la divul­ga­tion de don­nées per­son­nelles telles que l’âge, le sexe, les anté­cé­dents ou des par­ti­cu­la­ri­tés signi­fi­ca­tives (spor­tif de haut niveau, etc.) d’un patient peut nuire au bon fonc­tion­ne­ment d’une IA dédiée à la san­té (pour éta­blir un diag­nos­tic par exemple). Les sys­tèmes d’IA peuvent donc requé­rir le trai­te­ment, voire la conser­va­tion de don­nées per­son­nelles, bien qu’elles puissent per­mettre l’identification du patient ou de l’utilisateur [32]. Éta­blir les moda­li­tés de récu­pé­ra­tion, de trai­te­ment et de conser­va­tion des don­nées est donc essen­tiel pour res­pec­ter le Règle­ment Géné­ral de Pro­tec­tion des Don­nées (RGPD) [32] et en déduire les res­pon­sa­bi­li­tés de cha­cune des parties. 

La notion de res­pon­sa­bi­li­té, notam­ment du per­son­nel soi­gnant pou­vant être ame­né à se ser­vir de ce type d’outil, doit éga­le­ment être pen­sée selon plu­sieurs points de vue dans la pra­tique. Aujourd’hui, la res­pon­sa­bi­li­té de l’utilisation de l’IA est géné­ra­le­ment à la charge des uti­li­sa­teurs. Or, si une per­sonne est jugée garante de l’interprétation des résul­tats et de l’influence de ces der­niers sur les déci­sions qu’elle prend par la suite, elle peut être tenue res­pon­sable d’avoir sui­vi les réponses de l’IA, de ne pas avoir pris de recul. Mais, il peut aus­si lui être repro­ché d’avoir pris une direc­tion trop dif­fé­rente de celle sug­gé­rée [18]. Donc, elle est res­pon­sable de s’être fiée à l’IA, mais aus­si de ne pas s’y être fiée, de ne pas avoir sui­vi les indi­ca­tions four­nies par le modèle. 

De plus, les uti­li­sa­teurs doivent savoir dans quels contextes il est pos­sible d’avoir recours à une IA, quelles sont les condi­tions pour l’employer de manière béné­fique et connaitre les limites du modèle [8, 33]. Ils peuvent par exemple être consi­dé­rés res­pon­sables de ne pas l’avoir employé pour les appli­ca­tions pré­vues ou de ne pas lui avoir four­ni toutes les infor­ma­tions néces­saires pour obte­nir des réponses justes. 

Cet enga­ge­ment de la res­pon­sa­bi­li­té indi­vi­duelle des membres du per­son­nel médi­cal peut être à l’origine du rejet de l’utilisation des IA Gen. Il peut dis­sua­der les pra­ti­ciens d’utiliser ce type d’outils, que ce soit par la charge morale trop impor­tante, par manque de temps pour véri­fier les réponses don­nées, par la dif­fi­cul­té de res­pec­ter toutes les règles et recom­man­da­tions, etc. Lors d’un entre­tien, une per­sonne char­gée de déve­lop­per des par­cours inno­vants pour un éta­blis­se­ment per­met­tant le soin à domi­cile des patients, nous a confié être réti­cente à l’idée d’implanter ce type d’outils dans leur sys­tème. L’établissement pro­pose aujourd’hui une pla­te­forme grâce à laquelle les patients peuvent conver­ser avec un infir­mier afin de deman­der des ren­sei­gne­ments sur le trai­te­ment, des symp­tômes, etc. Or, l’infirmier peut mettre jusqu’à sept heures pour appor­ter une réponse. Mais, mal­gré la pos­si­bi­li­té que le patient obtienne une réponse ins­tan­ta­née avec un chat­bot, l’implantation de ce type d’outil n’est pas envi­sa­gée. La gra­vi­té des consé­quences pour les patients si l’IA ne donne pas une réponse juste est trop grande. Ain­si, le manque de confiance en la fia­bi­li­té des résul­tats intro­duit une res­pon­sa­bi­li­té morale trop impor­tante pour ima­gi­ner en utiliser. 

L’absence d’expert lors d’utilisations de chat­bots par les patients ouvre éga­le­ment de nou­veaux ques­tion­ne­ments quant aux res­pon­sa­bi­li­tés qui incombent aux uti­li­sa­teurs. Lorsque l’IA four­nit une réponse erro­née, qui est res­pon­sable ? L’entreprise n’ayant pas déve­lop­pé un sys­tème assez per­for­mant ? Le patient pour avoir sui­vi les indi­ca­tions de l’IA sans avoir consul­té un pro­fes­sion­nel ? Le cas échéant, l’organisme ayant pro­po­sé ce type d’outil ?  

Pour ter­mi­ner, la ques­tion de la res­pon­sa­bi­li­té ne doit pas nous détour­ner de nos objec­tifs. Défi­nir un res­pon­sable est géné­ra­le­ment consi­dé­ré comme une manière d’assurer les prin­cipes éthiques, d’inciter à res­pec­ter les normes et les valeurs éta­blies. En effet, assi­gner les charges qui incombent à cha­cun per­met d’établir la per­sonne devant être à l’origine des indem­ni­sa­tions en cas de pro­blème [27]. La pos­si­bi­li­té que « le res­pon­sable » soit puni devrait le dis­sua­der d’agir en dehors des règles éta­blies. Cepen­dant, mettre en place des sanc­tions per­met de légi­ti­mer cer­tains com­por­te­ments ou cer­taines situa­tions et n’incite pas for­cé­ment à chan­ger la situa­tion. Par exemple, dans le cas d’une fuite de don­nées per­son­nelles, deman­der le dédom­ma­ge­ment des per­sonnes concer­nées, sans qu’aucune autre mesure visant à évi­ter que cela se repro­duise soit prise, invi­si­bi­lise le pro­blème de fond. Ce qui importe c’est que les don­nées ne fuitent pas, pas de savoir qui devra ver­ser la com­pen­sa­tion financière. 

Pour conclure, défi­nir les res­pon­sa­bi­li­tés de cha­cun per­met­trait de prendre en compte les consé­quences poten­tielles sur les per­sonnes affec­tées par l’utilisation d’IA. Cepen­dant, une grande par­tie des res­pon­sa­bi­li­tés en cas de pro­blème repose aujourd’hui sur les uti­li­sa­teurs. La notion de res­pon­sa­bi­li­té est sou­vent liée à celle de cau­sa­li­té, l’auteur des res­pon­sables [27]. Or, la dif­fu­sion de modèles non expli­cables et en par­ti­cu­lier géné­ra­tif obs­cur­cit davan­tage le lien entre une situa­tion don­née et la per­sonne qui est à son ori­gine. Enfin, déter­mi­ner les res­pon­sa­bi­li­tés qui incombent à cha­cun et les sanc­tions ne doit pas frei­ner la ges­tion des pro­blèmes en amont.

III.e) Gouvernance des données et des modèles 

Il est impor­tant de s’intéresser plus lar­ge­ment à la ques­tion de la ges­tion des don­nées, per­son­nelles ou non, entrées lors de l’utilisation de l’IA. Sont-elles sto­ckées ? Si oui, par qui et où ? Sous quelles moda­li­tés ? Quelles sont les per­sonnes qui y ont accès ? Pour quelles rai­sons sont-elles sto­ckées ? Ces ques­tions pré­cèdent d’ailleurs la ques­tion de la res­pon­sa­bi­li­té et de la confi­den­tia­li­té des infor­ma­tions per­son­nelles. En effet, si les don­nées ne sont pas sau­ve­gar­dées, c’est-à-dire direc­te­ment sup­pri­mées après l’utilisation, les moda­li­tés de pro­tec­tion des don­nées sont toutes autres. 

Cepen­dant, les infor­ma­tions entrées sont géné­ra­le­ment conser­vées par le modèle, afin par exemple de per­mettre un sui­vi d’un uti­li­sa­teur sur le long terme ou de par­ti­ci­per à l’amélioration conti­nue de l’IA. Se ques­tion­ner sur l’hébergement des don­nées est d’autant plus impor­tant que ce mar­ché est domi­né par les GAFAM. Si les don­nées pro­viennent d’un pays en Europe mais qu’elles sont sto­ckées dans des ser­veurs aux États-Unis, sont-elles tout de même pro­té­gées par le droit euro­péen ? La réponse n’est pas évi­dente, puisque ce sera l’exterritorialité des droits amé­ri­cains et euro­péens qui sera mise en jeu. Il s’agit d’une ques­tion de rap­port de force, il est donc tou­jours pos­sible que ces don­nées ne soient pas pro­té­gées par le droit européen. 

La ges­tion des don­nées et plus géné­ra­le­ment l’établissement des règles s’appliquant aux concep­teurs d’IA Gen sont d’autant plus mis à l’épreuve par l’arrivée de modèles d’IA Gen open source. Ces modèles tels que Lla­MA (de Meta) ou ceux déve­lop­pés par Mis­tral AI, intro­duisent de nou­velles pro­blé­ma­tiques de gou­ver­nance. Ils sont acces­sibles et télé­char­geables par qui­conque, ce qui peut limi­ter les pos­si­bi­li­tés de régu­la­tions. Cette mise à dis­po­si­tion favo­rise la géné­ra­li­sa­tion de l’utilisation des modèles d’IA déve­lop­pés par les entre­prises les plus puis­santes. Ils sont employés tels quels ou servent de base pour déve­lop­per des IA spé­cia­li­sées dans cer­tains domaines ou pour des usages pré­cis. La pos­si­bi­li­té que la majo­ri­té des modèles d’IA Gen se basent seule­ment sur quelques modèles phares accen­tue les pro­blé­ma­tiques de gou­ver­nance et d’éthique. Com­ment contrô­ler et régu­ler les modèles d’IA en open source ? Quelles règles s’appliquent, celles du pays déve­lop­peur ou du pays dans lequel l’IA est uti­li­sée ? Quelle place les grandes entre­prises déve­lop­pant ses modèles accordent-elles à l’éthique ?  

Par exemple, cer­taines entre­prises amé­ri­caines de ce domaine se sont enga­gées auprès des auto­ri­tés à iden­ti­fier les meilleures pra­tiques pour un déve­lop­pe­ment et un déploie­ment res­pon­sable de gros modèles d’IA. Elles doivent aus­si col­la­bo­rer avec les auto­ri­tés régle­men­taires pour par­ta­ger les connais­sances concer­nant la confiance et les risques asso­ciés à l’utilisation de l’IA. Cepen­dant, l’OMS note un écar­te­ment ou une expul­sion des équipes char­gées de l’éthique des IA de ces entre­prises pour évi­ter un ralen­tis­se­ment du déve­lop­pe­ment de cer­tains types d’IA. L’OMS explique dans un rap­port :  « Ethics teams in one com­pa­ny, for example, that had recom­men­ded hal­ting the release of a new LMM chan­ged their docu­ments and down­played pre­vious­ly docu­men­ted risks  » [2].

Dans son guide sur les Large Mul­ti-modal Model (LMM), l’OMS sou­ligne plu­sieurs pro­blé­ma­tiques liées aux modèles open source [2]. L’intégration des prin­cipes éthiques et l’amélioration de la ges­tion des risques qui serait per­mise par les modèles open source reste incer­taine. Ces der­niers per­met­traient en théo­rie de favo­ri­ser la trans­pa­rence et la per­for­mance grâce à la contri­bu­tion, aux retours des uti­li­sa­teurs ain­si qu’à l’accès au code per­met­tant une éva­lua­tion cri­tique. Mais, la sur­veillance des don­nées d’entrainement, des per­for­mances et des résul­tats reste dif­fi­cile. L’entreprise Meta pro­pose par exemple des licences pour accé­der à un modèle open source mais avec des condi­tions res­tric­tives. Elle ne met donc pas entiè­re­ment son modèle à dis­po­si­tion, non confor­mé­ment aux prin­cipes open source [34]. Ces modèles sont aus­si plus vul­né­rables et peuvent faci­li­ter le contour­ne­ment des mesures de sécu­ri­té. L’OMS encou­rage donc les gou­ver­ne­ments à inves­tir davan­tage dans des LMM afin de pou­voir exi­ger que ces der­niers soient lar­ge­ment acces­sibles et de per­mettre une super­vi­sion publique car aujourd’hui, la majo­ri­té des inves­tis­se­ments se font dans le sec­teur pri­vé [2]. Pour cer­tains, les modèles open source devraient même être inter­dits afin de contrô­ler fine­ment le déve­lop­pe­ment des IA géné­ra­tives et de limi­ter leur déve­lop­pe­ment à des acteurs régle­men­tés [35]. 

L’OMS pré­co­nise éga­le­ment la dis­cus­sion et le déve­lop­pe­ment de règles concer­nant les IA au niveau mon­dial [8]. Une gou­ver­nance inter­na­tio­nale per­met­trait de garan­tir le res­pect de normes de sécu­ri­té et d’efficacité mini­males, mais aus­si de mettre en place des régle­men­ta­tions assu­rant le res­pect des prin­cipes éthiques. Cette gou­ver­nance ne doit pas seule­ment être mise en place par les pays les plus puis­sants, elle doit inclure tous les pays. 

Par ailleurs, l’insertion (ou non) des IA Gen dans le domaine médi­cal ne doit pas se faire sans assu­rer la sou­ve­rai­ne­té du per­son­nel médi­cal et de la popu­la­tion en géné­ral. Garan­tir que les déci­sions prises quant à l’introduction d’outils d’IA Gen en san­té et aux moda­li­tés d’implantation sont dis­cu­tées avec les per­sonnes concer­nées, est pri­mor­dial. Or, la situa­tion actuelle n’offre pas les condi­tions néces­saires (en par­ti­cu­lier du temps dis­po­nible) pour que le per­son­nel soi­gnant aborde ces questions.

III.f) Impacts environnementaux 

Un der­nier enjeu majeur lié au déve­lop­pe­ment et au déploie­ment de l’IA Gen, dans quelque domaine que ce soit, est l’impact envi­ron­ne­men­tal. En effet, garan­tir l’éthique d’un modèle d’IA, c’est-à-dire, s’assurer qu’il n’est pas nui­sible pour les êtres humains, mais aus­si, pour tout être vivant, passe par la prise en compte des enjeux éco­lo­giques tout au long de sa vie [8, 36].

Tout d’abord, les modèles géné­ra­tifs demandent une énorme puis­sance de cal­cul qui requière elle-même une très grande quan­ti­té d’énergie. L’apprentissage mais aus­si l’utilisation des modèles d’IA Gen sont très éner­gi­vores et rejettent des gaz à effet de serre dans l’atmosphère. Les émis­sions de ces der­niers sont pro­por­tion­nelles aux besoins en termes de capa­ci­té de cal­cul des modèles et donc du nombre de para­mètres com­po­sant ces algo­rithmes [37]. Bien qu’en fonc­tion de la taille et du type de modèle d’IA Gen, l’empreinte car­bone varie, ces IA accen­tuent signi­fi­ca­ti­ve­ment la demande en éner­gie dédiée aux data cen­ters et donc les émis­sions de dioxyde de car­bone (CO₂) [37]. Par exemple, une requête sur ChatGPT génère en moyenne 0,27 kilo­gramme de CO₂ dans l’atmosphère [38]. Si une per­sonne effec­tue plus de dix inter­ac­tions par jour, pas­sé un an, près d’une tonne de CO₂ aura été émise, soit la moi­tié de ce qu’une per­sonne devrait déga­ger pour suivre les Accords de Paris. 

Outre la forte consom­ma­tion éner­gé­tique de ces modèles, leur créa­tion et leur implan­ta­tion requièrent l’exploitation de nom­breuses res­sources natu­relles. La phase d’entrainement implique une forte consom­ma­tion d’eau pour le refroi­dis­se­ment des datas cen­ters, pou­vant atteindre plu­sieurs cen­taines de mil­liers de litres (pour GPT3) [37]. De plus, le déve­lop­pe­ment de ces outils aug­mente le besoin en infra­struc­tures et en maté­riaux, notam­ment en maté­riaux rares tels que le sili­cium, le cobalt, le lithium ou encore le cuivre. Ces der­niers sont dif­fi­ciles à extraire et à raf­fi­ner, leur exploi­ta­tion s’accompagne géné­ra­le­ment de l’artificialisation des sols, de la pol­lu­tion de l’eau et des terres ou encore de la défo­res­ta­tion. Tout le sec­teur du numé­rique est confron­té à ces pro­blé­ma­tiques, mais l’arrivée de l’IA Gen modi­fie gran­de­ment le besoin et fait pas­ser ces der­nières à l’échelle supé­rieure [37].  

Ain­si, l’impact envi­ron­ne­men­tal du déve­lop­pe­ment et du déploie­ment des IA Gen ne peut pas être écar­té des enjeux éthiques. L’entrainement, l’insertion et l’emploi de celles-ci aug­mentent consi­dé­ra­ble­ment les émis­sions de gaz à effet de serre et l’exploitation des res­sources natu­relles. Inci­ter ou favo­ri­ser l’utilisation sys­té­ma­tique de ce type d’outil, en les inté­grant par exemple dans les pra­tiques médi­cales ordi­naires, accroi­trait for­te­ment les consé­quences des acti­vi­tés humaines sur la nature, au détri­ment de la pré­ser­va­tion de condi­tions de vie favo­rables sur Terre. Même si les modèles géné­ra­tifs s’avéraient très per­for­mants et offraient la pos­si­bi­li­té d’améliorer signi­fi­ca­ti­ve­ment la prise en charge médi­cale, est-elle tout de même sou­hai­table ? Peut-elle être envi­sa­gée pour tous les pays ? Les poten­tielles retom­bées posi­tives à court terme des IA Gen ne doivent pas faire oublier les consé­quences à moyen ou long terme de la pol­lu­tion ou de l’endommagement de la bio­di­ver­si­té. Qui béné­fi­cie­ra de ces outils ? Qui sera impac­té par les consé­quences, en par­ti­cu­lier de dégra­da­tion de l’environnement ? Sous quelles condi­tions pour­ra-t-on consi­dé­rer que l’IA Gen est davan­tage béné­fique que délé­tère pour l’humanité ?

IV. Possibles reconfigurations du système médical 

L’une des pre­mières peurs face à l’introduction de l’IA, y com­pris de l’IA Gen, dans un sec­teur don­né, est liée à l’idée que ces outils rem­pla­ce­raient les pro­fes­sion­nels. Cepen­dant, de nom­breux exemples his­to­riques tels que la machine à vapeur, les ordi­na­teurs ou encore inter­net, démentent la dis­pa­ri­tion com­plète d’emplois [39]. L’insertion de nou­veaux dis­po­si­tifs tech­niques se tra­duit plu­tôt par une trans­for­ma­tion, une recon­fi­gu­ra­tion plus ou moins pro­fonde et bru­tale des métiers. L’environnement et les condi­tions de tra­vail changent, les connais­sances et les savoir-faire se trans­forment mais il ne s’agit pas d’une sub­sti­tu­tion ou d’une des­truc­tion de métiers. Quelles sont les recon­fi­gu­ra­tions que pour­rait subir le sec­teur médi­cal avec l’insertion d’IA Gen ? 

L’IA change l’environnement dans lequel elle se déploie et peut entrai­ner une trans­for­ma­tion des métiers qui étaient pré­sents. Ces modi­fi­ca­tions sont liées aux fonc­tions de l’IA et aux objec­tifs visés lors de leur déve­lop­pe­ment. L’argument tem­po­rel avan­cé par une grande par­tie des pres­ta­taires d’IA Gen est un point cen­tral dans son implan­ta­tion en san­té. Celui-ci est asso­cié au manque de per­son­nels qui entraine une dégra­da­tion des rela­tions entre les patients et les soi­gnants et une baisse du bien-être au tra­vail des employés médi­caux. Peu d’études sont por­tées sur l’évaluation de la réduc­tion du temps pas­sé par les méde­cins sur la syn­thèse du rap­port des consul­ta­tions, mais si cela s’avère être le cas, ce temps gagné aug­men­te­ra-t-il la durée moyenne des consul­ta­tions ? Où sera réin­ves­tit le temps gagné ? Per­met­tra-t-il une meilleure qua­li­té de prise en charge des patients ? Cette durée n’est pas fixe et peut varier selon la volon­té du méde­cin ou de la cli­nique [3]. Effec­ti­ve­ment, la quan­ti­té de patients dans le besoin d’un sui­vi ou d’une consul­ta­tion favo­rise l’augmentation de la cadence de tra­vail des méde­cins. Cepen­dant, mal­gré l’augmentation de la cadence, les agen­das des pro­fes­sion­nels de san­té res­tent sur­char­gés. L’arrivée de l’IA et par consé­quent d’un nou­veau « temps libre » du méde­cin, peut deve­nir une oppor­tu­ni­té pour les soi­gnants de réduire le nombre de jours moyens pour obte­nir une consul­ta­tion avec eux [3]. Cette sup­po­si­tion de la modi­fi­ca­tion de la quan­ti­té et non de la qua­li­té des soins est sou­te­nue par la ges­tion mana­gé­riale des hôpi­taux [40]. En effet, le défi­cit constant de ces orga­nismes et leur manque de per­son­nel, les obligent à fer­mer des lits qui pour­raient être réou­verts si chaque soi­gnant pou­vait s’occuper de plus de patients en même temps. La libé­ra­li­sa­tion du sec­teur de la san­té ali­mente encore plus la dis­po­si­tion des orga­nismes à uti­li­ser des outils amé­lio­rant l’efficacité des employés [10].  

L’idée géné­rale voyant le cœur du métier des méde­cins comme une suite de consul­ta­tions et d’élaborations de diag­nos­tic, pré­sente l’IA Gen comme une oppor­tu­ni­té de recen­trer ce métier et d’écarter toutes les tâches admi­nis­tra­tives obli­ga­toires. Pour­quoi la par­tie admi­nis­tra­tive est per­çue comme une tâche annexe pour les métiers médi­caux ? Quel peut être l’impact de la sup­pres­sion de ces tâches sur les acti­vi­tés du métier consi­dé­rées comme les plus nobles ? Les com­pé­tences médi­cales sont rares et très esti­mées par la popu­la­tion, encore plus depuis la crise sani­taire de 2020. À l’inverse, la rédac­tion de docu­ments et la par­tie admi­nis­tra­tive de toutes les acti­vi­tés est per­çue comme une perte de temps et un tra­vail ennuyeux. C’est pour­quoi la réa­li­sa­tion d’un diag­nos­tic est sou­vent consi­dé­ré comme une acti­vi­té à forte valeur ajou­tée alors que celle de rédac­tion de comptes ren­dus serait d’une faible plus-value [13]. Cepen­dant, cette par­tie rédac­tion­nelle annexe ne fait-elle pas par­tie inté­grante d’un diag­nos­tic ? La rédac­tion des symp­tômes, la mise en forme et le lien pou­vant être fait entre ceux-ci peuvent per­mettre au méde­cin d’identifier les pos­sibles mala­dies dont peut souf­frir un patient. Ce temps de rédac­tion n’est pas seule­ment com­po­sé du temps de frappe à l’ordinateur. La sup­pres­sion ou la forte réduc­tion de ce temps pour­rait impac­ter la qua­li­té du diag­nos­tic four­ni par le méde­cin. En effet, une relec­ture et un chan­ge­ment rapide au cla­vier ou à l’oral des infor­ma­tions pré­sentes ne per­met pas une aus­si bonne inté­gra­tion que la rédac­tion des informations. 

De plus, cer­taines IA com­mencent à diag­nos­ti­quer des patients à par­tir de leurs symp­tômes, de leurs images médi­cales, etc. Elles com­mencent à pra­ti­quer des acti­vi­tés consi­dé­rées à forte valeur ajou­tée. Tel est le cas des IA d’analyses d’imageries médi­cales qui cou­plées aux IA Gen pro­duisent des comptes ren­dus sans aide humaine [10]. L’utilisation de ces tech­no­lo­gies relève d’une contra­dic­tion forte. Les radio­logues payent un ser­vice qui tend à rem­pla­cer leurs prin­ci­pales acti­vi­tés et les entre­prises doivent se démar­quer de leurs concur­rentes tout en pré­ser­vant et sédui­sant leurs clients. Cela entraine une réap­pro­pria­tion de l’outil par les pra­ti­ciens qui sou­haitent conser­ver et amé­lio­rer leurs soins. Le corps des radio­logues déli­mite les appli­ca­tions de l’IA en intro­dui­sant des dis­tinc­tions dans leurs diag­nos­tics[10]. L’IA serait donc uti­li­sée pour la détec­tion de frac­tures qui est consi­dé­rée comme une tâche simple et peu inté­res­sante par les radio­logues. La super­vi­sion humaine reste tout de même en place, mais ces der­niers peuvent se consa­crer aux tâches qu’ils consi­dèrent les plus cap­ti­vantes de leur métier. L’implantation de l’IA Gen dans les dif­fé­rents métiers que nous avons pu évo­quer pour­ra poten­tiel­le­ment se faire de cette façon. La régu­la­tion de l’IA peut se faire par les pra­ti­ciens eux-mêmes qui acceptent ou non de payer un ser­vice pro­po­sé par des entre­prises du sec­teur pri­vé. Cepen­dant, ce type de régu­la­tion peut se faire seule­ment si ce sont les pra­ti­ciens qui décident de façon éclai­rée l’implantation ou non des outils infor­ma­tiques dans leur ser­vice ou leur cabi­net. En effet, repre­nons le cas des États Unis, ce sont les orga­nismes pri­vés qui signent les contrats pour l’installation des dif­fé­rents outils dans leurs cli­niques. Les pra­ti­ciens auraient donc l’obligation d’utiliser des outils qu’ils ne sou­hai­te­raient pas réel­le­ment utiliser. 

Même dans le cas où l’utilisation de l’IA par les pro­fes­sion­nels n’est pas ren­due obli­ga­toire, son inser­tion ne résulte pas for­cé­ment d’une volon­té par­ti­cu­lière ou d’un besoin auquel elle serait l’unique solu­tion. En effet, lors d’un entre­tien, une employée de l’équipe d’innovation d’un CHU, nous a confié que son équipe envi­sa­geait d’implanter un sys­tème d’IA Gen suite à la pro­po­si­tion d’un patient. Ce der­nier, tra­vaillant dans le domaine, aurait sou­mis l’idée de gérer la rédac­tion de compte-ren­du à l’aide d’une IA Gen. Ain­si, l’engouement géné­ral autour de l’IA Gen peut inci­ter de nou­velles per­sonnes à les uti­li­ser alors qu’elles n’avaient pas ima­gi­né y avoir recours. 

Les IA modi­fient l’environnement dans lequel elles se trouvent. Que ce soient les infra­struc­tures néces­saires à leur implan­ta­tion, les pro­to­coles ou la connais­sance de la pré­sence de l’IA chez le patient ou le soi­gnant, le sec­teur s’en trouve lar­ge­ment modi­fié [27]. L’emploi de l’IA passe obli­ga­toi­re­ment par la numé­ri­sa­tion de chaque étape du par­cours du patient. Lors d’une consul­ta­tion, le patient et le soi­gnant ne sont pas seuls, la pré­sence du maté­riel médi­cal, d’un écran ou d’un enre­gis­tre­ment audio (comme avec l’IA de Nabla ou de Doc­to­lib) influence leur rela­tion. L’écran, déjà inté­gré dans de nom­breuses consul­ta­tions, met de la dis­tance entre le patient et le pro­fes­sion­nel de san­té [3]. L’enregistrement audio, quant à lui, pour­rait mettre mal à l’aise un patient. Savoir que la consul­ta­tion est enre­gis­trée, même si cela reste confi­den­tiel, peut modi­fier la manière dont il s’exprime. Le patient qui se sait être écou­té, ou le méde­cin qui veut aug­men­ter l’efficacité de l’outil en décla­rant ora­le­ment le plus d’informations pos­sibles pour ne pas avoir à les écrire à la fin de la consul­ta­tion, changent leurs inter­ac­tions. Cela peut entrai­ner une confu­sion et une peur pour le patient qui ne com­prend pas le voca­bu­laire médi­cal employé. La per­son­ni­fi­ca­tion de l’IA par la popu­la­tion peut être per­çue comme l’arrivée d’une troi­sième per­sonne dans la salle de consul­ta­tion qui serait l’outil infor­ma­tique. Cepen­dant, cet outil peut être per­çu par le patient comme un incon­nu et influen­cer sa manière de par­ler, comme s’il com­mu­ni­quait à une per­sonne qu’il n’avait jamais vue. Il peut ne pas expri­mer toutes les infor­ma­tions qu’il aurait dites au méde­cin seul ou les for­mu­ler dif­fé­rem­ment. Le temps gagné par le méde­cin avec l’IA sur la par­tie admi­nis­tra­tive pour­rait être com­pen­sé par un temps plus long pour mettre à l’aise le patient pour qu’il puisse par­ler libre­ment. La pré­sence d’enregistrement audio pour­rait tout de même per­mettre un recul de l’ordinateur du méde­cin qui est une bar­rière phy­sique entre les deux par­ties [3]. 

Le déve­lop­pe­ment d’IA Gen à dis­po­si­tion du grand public rend l’accès à l’information encore plus simple. Un patient peut se ren­sei­gner sur ses symp­tômes ou sa mala­die avant d’aller voir un méde­cin. L’IA four­nit une expli­ca­tion claire, par­fois plus com­pré­hen­sible que celle d’un méde­cin, de toutes les mala­dies et du par­cours des patients dans le cas d’opérations comme pour une colo­sco­pie [41], une pose de pro­thèse de genou, etc. Lorsque le patient se pré­sente devant un méde­cin, il peut s’être ren­sei­gné ou non. Le méde­cin doit donc s’adapter à une plus grande diver­si­té de pro­fils sans savoir lors de ses échanges à quel point le patient est infor­mé. De plus, le patient peut plus faci­le­ment remettre en cause la déci­sion et le diag­nos­tic de son méde­cin. Le soi­gnant doit alors se jus­ti­fier quant à ses déci­sions. Cette jus­ti­fi­ca­tion peut des­ti­née au patient, mais peut aus­si inter­ve­nir, comme nous l’avons vu pré­cé­dem­ment, en cas de pro­blème, si le méde­cin a sui­vi ou n’a pas sui­vi le diag­nos­tic de l’IA. Elle change donc les rap­ports de force entre les dif­fé­rents acteurs du milieu. 

Des entre­prises, comme Kiro, déve­loppent des IA Gen dans le but de vul­ga­ri­ser la méde­cine et de la rendre acces­sible pour tous. Kiro pro­pose une inter­face web pour les méde­cins, les labo­ra­toires d’analyses médi­cales et les patients dans le but de cen­tra­li­ser les comptes ren­dus d’analyses. Le méde­cin a donc accès numé­ri­que­ment aux résul­tats et une IA Gen syn­thé­tise les résul­tats en fonc­tion des carac­té­ris­tiques du patient entrées par le labo­ra­toire (femmes enceintes, patho­lo­gie par­ti­cu­lière, etc.). De la même façon, le patient peut avoir accès à ses résul­tats immé­dia­te­ment après leur publi­ca­tion. L’IA Gen per­met d’expliquer et de rendre com­pré­hen­sible tous les chiffres pré­sents sur la feuille d’analyse. Elle prend en compte les carac­té­ris­tiques de la per­sonne et le contexte pour lui indi­quer l’intervalle dans lequel elle devrait être. Mais où posi­tion­ner la limite entre ce qui peut être annon­cé direc­te­ment au patient et ce qui ne peut pas l’être [42] ? Lorsqu’un patient passe une IRM ou un scan­ner, ce doit être le méde­cin géné­ra­liste qui com­mu­nique les résul­tats. Si le résul­tat des images ou des ana­lyses médi­cales indique une mala­die grave, l’annonce au patient doit se faire de manière à ce que, tout de suite après, une solu­tion, un trai­te­ment ou une expli­ca­tion de la suite des évè­ne­ments soit don­né. En effet, chaque patient réagit dif­fé­rem­ment, la confir­ma­tion d’une patho­lo­gie sévère peut être source de stress, d’angoisse, etc. L’accompagnement par une per­sonne for­mée est néces­saire afin de le sou­te­nir et lui expli­quer les pro­chaines étapes de son parcours. 

Lors de l’entretien avec l’employée de l’équipe d’innovation du CHU, cette der­nière nous a par­ta­gé leur pro­jet d’implantation d’IA Gen dans leur tra­vail. Leur métier consiste à faire le lien entre les entre­prises de déve­lop­pe­ment des dis­po­si­tifs médi­caux (DM) du sec­teur pri­vé et les pro­fes­sion­nels de san­té pré­sents au CHU. Les entre­prises les consultent pour leur expo­ser un pro­to­type ou une idée et son équipe le fait tes­ter par les poten­tiels futurs uti­li­sa­teurs. Par exemple, si une entre­prise de déve­lop­pe­ment de robots chi­rur­gi­caux les contacte, ils mettent en scène une opé­ra­tion pour tes­ter l’outil dans des condi­tions les plus proches de la réa­li­té. Un pro­to­cole d’évaluation est pré­pa­ré à par­tir de pro­to­coles types en fonc­tion du DM et de l’avancée du pro­jet, c’est-à-dire, si c’est un pre­mier pro­to­type ou la phase finale de R&D. Lors du test dans la salle d’opération, un membre du pôle d’innovation est pré­sent pour gui­der les expé­riences et note tout ce qu’il observe et toutes les remarques du chi­rur­gien. Ce pro­to­cole est réa­li­sé plu­sieurs fois avec des équipes dif­fé­rentes (chirurgien/membre de l’équipe d’innovation). Ensuite, à par­tir des notes des dif­fé­rents membres, un compte ren­du géné­ral est rédi­gé et trans­mis à l’entreprise. 

L’idée appor­tée par une per­sonne exté­rieure à leur équipe (et exté­rieure au domaine médi­cal) est de délé­guer la rédac­tion du compte ren­du géné­ral et du pro­to­cole à une IA Gen. Cette implan­ta­tion sou­lève de nom­breux pro­blèmes. Tout d’abord, concer­nant la rédac­tion du pro­to­cole, n’entrainerait-elle pas une perte de savoir-faire ? Les résul­tats de ces tests découlent majo­ri­tai­re­ment du pro­to­cole, c’est un point très impor­tant du pro­ces­sus qui peut deman­der une grande expé­rience du métier, savoir sur quels points pas­ser le plus de temps, quels aspects intro­duisent des défauts, etc. Même si la relec­ture humaine reste pré­sente, l’implantation de l’IA modi­fie­ra l’approche du pro­to­cole et l’orientera de manière irré­ver­sible par rap­port à la créa­tion d’un pro­to­cole entiè­re­ment à la main. De plus, le temps pas­sé en moins sur cette par­tie du pro­ces­sus n’est pas for­cé­ment du temps gagné. En effet, ne pas connaitre le sujet et le décou­vrir en lisant le pro­to­cole rend les tests en condi­tions réelles moins fluides et poten­tiel­le­ment moins pertinents. 

De la même façon, la rédac­tion du compte ren­du géné­ral par une IA Gen pose des pro­blèmes. Pour for­mer la base d’apprentissage, une homo­gé­néi­sa­tion et une stan­dar­di­sa­tion des rap­ports doivent être réa­li­sées. La qua­li­té des ren­dus y est très liée. Pour le moment, chaque employé a une manière d’organiser et de rédi­ger qui lui est propre et qui dépend du DM, de l’avancement du pro­to­type et des résul­tats. Trou­ver une orga­ni­sa­tion de compte ren­du assez souple pour englo­ber tous les cas est dif­fi­cile, voire impos­sible. La qua­li­té du compte ren­du final peut en être dégra­dée et cette façon de rédi­ger peut ne pas conve­nir à cer­tains employés. 

Après cette phase d’entrainement, l’IA peut être uti­li­sée. De nou­veaux incon­vé­nients doivent être pris en compte. La prise de note des employés lors des tests peut être faite sur papier ou sur tablette en fonc­tion de la pré­fé­rence de cha­cun. Afin que l’IA puisse écrire le compte ren­du final, l’ensemble des notes doivent lui être trans­mises. Une réécri­ture infor­ma­tique doit donc être réa­li­sée après chaque test. L’utilisation de dif­fé­rentes cou­leurs, tailles de mot, sym­boles et abré­via­tions, ne pou­vant pas être com­prise par l’IA, il faut retrans­crire numé­ri­que­ment tous ces détails. Avec cet outil, les employés n’auraient plus besoin de rédi­ger les comptes ren­dus géné­raux, mais de nou­velles mis­sions devront être réa­li­sées et requièrent de modi­fier ce qu’ils fai­saient déjà. Chan­ger ses habi­tudes, s’adapter aux nou­velles tâches, etc. peut repré­sen­ter une perte de temps, une charge men­tale pour les employés et une poten­tielle perte de qua­li­té du rap­port final. Des pro­blèmes de confi­den­tia­li­té peuvent aus­si être sou­le­vés dans ce domaine qui com­porte des idées et des DM fraî­che­ment bre­ve­tés et en cours d’amélioration.  

Pour conclure, l’arrivée de l’IA Gen peut poten­tiel­le­ment recon­fi­gu­rer le monde médi­cal, les manières de tra­vailler, les rap­ports de forces entre les dif­fé­rents inter­ve­nants, etc. Ces chan­ge­ments impliquent de redé­cou­per indi­vi­duel­le­ment et glo­ba­le­ment les mis­sions et les res­pon­sa­bi­li­tés de cha­cun. Les modi­fi­ca­tions appor­tées abou­ti­ront pro­ba­ble­ment à une évo­lu­tion des iden­ti­tés pro­fes­sion­nelles des dif­fé­rents corps de métiers [27]. Les pro­blèmes ren­con­trés pos­sèdent géné­ra­le­ment des bases com­munes, mais il est impor­tant de dis­tin­guer les cas d’utilisation pour déter­mi­ner les règles et lois à mettre en place. En effet, les risques ren­con­trés varient en fonc­tion du domaine d’application et des don­nées qui y sont traitées. 

En sup­po­sant que l’emploi de l’IA aug­mente de manière notable la qua­li­té des soins, de nou­velles ques­tions se pose­ront sur le droit d’accès à l’IA des patients et le droit d’exercer libre­ment des méde­cins [7]. Est-il envi­sa­geable de rendre obli­ga­toire l’utilisation de l’IA lors d’un diag­nos­tic médi­cal ? Si oui, com­ment le mettre en place ? Est-il judi­cieux de gar­der pri­vé ce sec­teur ? L’assurance mala­die peut-elle exi­ger l’emploi d’une IA qui n’augmente pas la qua­li­té des soins, mais opti­mise le temps d’un pro­fes­sion­nel (IA Gen pour compte ren­du par exemple) ? Une solu­tion pos­sible serait d’appliquer le droit a l’IA l’IA peut être appli­qué sans contraindre les méde­cins à l’utiliser. Cette obli­ga­tion pour­rait être por­tée par les hôpi­taux, il serait envi­sa­geable de rendre indis­pen­sable la pré­sence d’un méde­cin pou­vant uti­li­ser l’IA au sein de chaque hôpi­tal. Ain­si, les méde­cins pour­ront choi­sir d’utiliser ou non une IA et le patient aura aus­si le choix d’y avoir accès. En revanche, il reste indis­pen­sable d’informer le patient pour qu’il com­prenne le rôle de l’IA dans son par­cours de soin [8].

Conclusion

L’IA Gen est un outil infor­ma­tique très puis­sant pou­vant avoir des appli­ca­tions dans de très nom­breux domaines numé­ri­sés. La quan­ti­té impor­tante de don­nées pro­duites par le milieu médi­cal per­met le déve­lop­pe­ment et la créa­tion de ce type d’outils spé­cia­li­sés dans la san­té. De nom­breux sys­tèmes conver­sa­tion­nels dont le but est de faci­li­ter l’accès à l’information des patients et des soi­gnants, rédi­ger des comptes ren­dus médi­caux ou encore flui­di­fier les consul­ta­tions, sont en développement. 

Ces IA sont majo­ri­tai­re­ment déve­lop­pées et pro­po­sées par des entre­prises pri­vées. Cette par­ti­cu­la­ri­té influence le déploie­ment de ces outils et pose de nom­breuses ques­tions pra­tiques. Com­ment régle­men­ter et contrô­ler ces IA ? Aujourd’hui ces véri­fi­ca­tions sont chro­no­phages et réa­li­sées au cas par cas, est-ce envi­sa­geable à grande échelle ? Les infra­struc­tures infor­ma­tiques usa­gées des hôpi­taux com­pliquent l’emploi des IA Gen qui demande de nom­breux ser­veurs et des inves­tis­se­ments conséquents. 

La diver­si­té et la com­plexi­té des IA Gen impliquent de pos­sé­der des connais­sances et des savoir-faire pour les uti­li­ser au mieux. Com­ment et quand les soi­gnants doivent-ils être for­més ? Ponc­tuel­le­ment, durant la for­ma­tion ini­tiale des soi­gnants n’est peut-être pas suf­fi­sant au vu de l’évolution rapide des IA Gen. La for­ma­tion conti­nue par les pres­ta­taires d’IA Gen est envi­sa­gée mais elle doit être orga­ni­sée et gui­dée par une orga­ni­sa­tion natio­nale ou inter­na­tio­nale. Lais­ser un outil infor­ma­tique auto­ma­ti­ser des tâches entraine une perte d’expérience voire de connais­sance de la part des per­sonnes qui les réa­li­saient. Or, le savoir médi­cal est très impor­tant, est-il envi­sa­geable de le perdre ? Com­ment inté­grer ces outils sans pour autant perdre des connais­sances indis­pen­sables en retour ? L’expérience acquise avec l’arrivée des réseaux de neu­rones en ima­ge­rie médi­cale peut-elle aider à orien­ter le déploie­ment de l’IA Gen en santé ? 

Les risques éle­vés intrin­sèques à ce sec­teur rendent l’IA Gen et son uti­li­sa­tion contro­ver­sée. En effet, un point clé des outils infor­ma­tiques est l’explicabilité. Ce concept reprend la com­pré­hen­sion des déci­sions et résul­tats prisent par une IA. La quan­ti­té de para­mètres des IA Gen la rend, à ce jour, inex­pli­cable mais elle pos­sède, dans de nom­breux cas, les plus hautes per­for­mances du mar­ché. Sa seule per­for­mance jus­ti­fie-t-elle sa pré­sence dans des domaines à hauts risques ? En pra­tique, un résul­tat inex­pli­cable peut-il être uti­li­sable et construc­tif par un méde­cin et dans un diag­nos­tic ? En cas d’erreur, qui est res­pon­sable ? L’entreprise le déve­lop­pant ? Le soi­gnant l’ayant uti­li­sé ? Et dans le cas des dis­po­si­tifs direc­te­ment uti­li­sés par les patients, est-ce à l’utilisateur que revient toutes les charges ? L’importance de ces ques­tions ne doit pas entra­ver l’objectif pre­mier qui est de réduire un maxi­mum les risques et les erreurs de leurs utilisations. 

Les finan­ce­ments néces­saires pour déve­lop­per les IA Gen favo­risent les mul­ti­na­tio­nales. Pour ne pas ralen­tir ou entra­ver le déve­lop­pe­ment de leurs pro­duits, ces entre­prises, pour la majo­ri­té amé­ri­caine, n’écoutent pas ou écartent leurs équipes éthiques. Le déploie­ment de modèles open source peut répondre à cer­tains pro­blèmes éthiques mais aug­mente par la même occa­sion les risques de voir appa­raitre des uti­li­sa­tions d’IA à des fins répré­hen­sibles péna­le­ment. Les enjeux envi­ron­ne­men­taux, la consom­ma­tion éner­gé­tique, en eau, etc. des ser­veurs doivent être pris en compte dans le déploie­ment à grande échelle de ces outils, ce qui est, à ce jour, très peu évo­qué dans le domaine de la santé. 

Les per­for­mances des IA sont très lar­ge­ment cor­ré­lées à la quan­ti­té et à la qua­li­té des don­nées uti­li­sées. Ces don­nées com­portent des erreurs et des biais qui sont retrans­crites dans le modèle. Lors du déploie­ment de celui-ci, il est néces­saire de les connaître et de les réduire afin que l’arrivée de l’IA ne creuse pas les inéga­li­tés et les dis­pa­ri­tés entre les per­sonnes, mais à l’inverse les réduise. En san­té, les don­nées trai­tées sont per­son­nelles et pos­si­ble­ment sen­sibles. Une atten­tion par­ti­cu­lière au sto­ckage, à la divul­ga­tion, à l’utilisation, etc. est néces­saire et le consen­te­ment du patient est obli­ga­toire. Cer­tains algo­rithmes sont déve­lop­pés dans le but d’anonymiser les don­nées récu­pé­rées, pour qu’à par­tir des infor­ma­tions syn­thé­tiques il soit impos­sible d’identifier la per­sonne qui en est l’origine. Cette approche per­met de n’avoir besoin de l’accord du patient que lors de la pre­mière étape d’anonymisation.  

Enfin, la pré­sence de l’IA Gen en san­té pour­rait recon­fi­gu­rer un grand nombre de métiers qui y sont liés. De nou­velles tâches devront être accom­plies, d’autres seront modi­fiées, le patient pour­ra plus faci­le­ment remettre en cause la parole du méde­cin avec un deuxième avis venant de l’IA Gen. Excep­tés quelques métiers qui y sont déjà sou­mis, ces chan­ge­ments ne sont que très peu visibles à ce jour. Se ques­tion­ner avant tout sur l’insertion ou non de l’IA en san­té est donc essen­tiel. Puis, dans le cas où elle est sou­hai­tée, sa place et les moda­li­tés de son uti­li­sa­tion devront être pen­sées pour garan­tir une méde­cine sûre et désirée. 

Références bibliographiques

[1]  « Intelligence artificielle : Doctolib lance l’Assistant de consultation ». About Doctolib - France. 15 octobre 2024.

[2] OMS. 2024. « Éthics and Governance of Artificial Intelligence for Health : Large Multi-Modal Models ». WHO Guidance. 1st ed. Geneva : World Health Organization. 

[3] Grand Remue-Méninges, Fondation Université Paris Cité, 12 rue de L'École de Médecine, 28 novembre 2024.

[4] Bubien, Yann, et Vincent Vuiblet. 2023. « La révolution numérique de la santé ». Esprit, n^o 6, 77‑87. 

[5] Bpifrance, réal. 2024. Comment l’IA révolutionne l’imagerie médicale et la médecine proactive.

[6] L’Oeil de la E-santé, réal. 2024. #ESANTE24 |  « L’IA et l’IA générative, quel impact pour le secteur de la santé ? »

[7] Carpentier, Manu, réal. 2024. Le JT de la Radiologie. Healthtech Innovation Paris.

[8] OMS. 2021. « Éthique et Gouvernance de l’Intelligence Artificielle pour la santé : Orientations de l’OMS »

[9] Goh, Ethan, Robert Gallo, Jason Hom, Eric Strong, Yingjie Weng, Hannah Kerman, Joséphine A. Cool, et al. 2024.  « Large Language Model Influence on Diagnostic Reasoning : A Randomized Clinical Trial ». JAMA Network Open 7 (10). 

[10] Mignot, Léo, et Émilien Schultz. 2022. « Les innovations d’intelligence artificielle en radiologie à l’épreuve des régulations du système de santé ». Réseaux : communication, technologie, société, Contrôler l’intelligence artificielle ?, 232‑233 : 65‑97.

[11] Bertail, Patrice, David Bounie, Stéphan Clémençon, et Patrick Waelbroeck. 2019. « Algorithmes : Biais, Discrimination et Équité ». HR Today, n^o 58. 

[12] Besse, Philippe, Aurèle Besse-Patin, et Céline Castets-Renard. 2020. « Legal and Ethical Implications of Artificial Intelligence Algorithms in the Health Field ». Questions de société 8 (3). 

[14] Dastin, Jeffrey. 2018. « Insight - Amazon Scraps Secret AI Recruiting Tool That Showed Bias against Women ». Reuters, sect. World.

[15] Popejoy, Alice B., et Stephanie M. Fullerton. 2016.  « Genomics Is Failing on Diversity ». Nature 538 (7624): 161‑164.

[16] Bastian-Pétrel, Kathleen, Jessica L. Rohmann, Sabine Oertelt-Prigione, Marco Piccininni, Katja Gayraud, Michelle Kelly-Irving, et Nathalie Bajos. 2024. « Sex and Gender Bias in Chronic Coronary Syndromes Research : Analysis of Studies Used to Inform the 2019 European Society of Cardiology Guidelines ». The Lancet Regional Health – Europe 45.

[17] Tobb, Kardie, Madison Kocher, et Renée P. Bullock-Palmer. 2022.  « Underrepresentation of women in cardiovascular trials- it is time to shatter this glass ceiling ». American Heart Hournal Plus : Cardiology Research and Practice 13:100-109.

[18] Nordlinger, Bernard, Olivier De Fresnoye, et Claude Kirchner. 2024. « Systèmes d’IA générative en santé : enjeux et perspectives ». Académie Nationale de Médecine 208 (5): 536‑547. 

[19] Bonifay Emmanuelle, et Sereno, Sophie. 2022. « Genre, Algorithme et Droit », 2022. 

[20] Entretien réalisé dans le cadre de ce projet.

 [21] « Solutions – Octopize ». 5 janvier 2025.

[22] Coeckelbergh, Mark. 2019. « Artificial Intelligence : Some Ethical Issues and Regulatory Challenges ». Technology and Regulation 1:31‑34. 

[23] Veerappa, Manjunatha, et Salvo Rinzivillo. 2023. « Special Theme : eXplainable AI ». ERCIM, n^o 134, 8‑37. 

[24] Vilone, Giulia, et Luca Longo. 2021. « Notions of explainability and evaluation approaches for explainable artificial intelligence ». Information Fusion 76 (décembre):89‑106.

[25] Longo, Luca, Mario Brcic, Federico Cabitza, Jaesik Choi, Roberto Confalonieri, Javier Del Ser, Riccardo Guidotti, et al. 2024. « Explainable Artificial Intelligence (XAI) 2.0 : A manifesto of open challenges and interdisciplinary research directions ». Information Fusion 106 (juin):1‑22.

 [26] « Explicabilité (IA) ». 2025. CNIL. 5 janvier 2025.

[27] Vuarin, Louis, et Véronique Steyer. 2023. « Le principe d’explicabilité de l’IA et son application dans les organisations ». Réseaux 240 (4): 179‑210.

[28] Grote, Thomas, et Philipp Berens. 2025. « On the Ethics of Algorithmic Decision-Making in Healthcare | Journal of Medical Ethics ». Journal of Medical Ethics, janvier. 

[29] Yeung, Karen. 2019.  « Étude sur les incidences des technologies numériques avancées (dont l’intelligence artificielle) sur la notion de responsabilité, sous l’angle des droits humains ». Responsibility and AI, 1-100. 

[30]  « Donnée personnelle ». CNIL. 5 janvier 2025.

 [31] « Donnée sensible ». CNIL. 5 janvier 2025.

 [32] « IA : comment être en conformité avec le RGPD ? » . CNIL. 5 janvier 2025.

[33] Petitprez, Eugénie. 2024. Les enjeux liés à l’utilisation de l’intelligence artificielle en matière de santé : regards croisés. Ceprisca. Colloques. 

[34] Maffulli, Stefano. 2023.  « Meta’s LLaMa 2 License Is Not Open Source ». Open Source Initiative. 20 juillet 2023.

[35] Cusumano, Michael A. 2023. « Generative AI as a New Innovation Platform ». Communications of the ACM 66, n° 10 : 1821. 

[36] Smuha, Nathalie. 2019. « Lignes directrices en matière d’éthique pour une IA digne de confiance ».

[37] Le Goff, Thomas. 2023. « Recommandations pour une action publique en faveur d’une IA générative respectueuse de l’environnement ».

[38]  « On explore les impacts environnementaux de ChatGPT. Françaises, français, mes chers compatriotes. » 2024.

[39] Bettache, Mustapha, et Laurie Foisy. 2019. « Intelligence artificielle et transformation des emplois ». Question(s) de management ? 25 (3): 61‑67.

[40] Grimaldi, André. 2013. « Les hôpitaux en quête de rentabilité : à quel prix ? » Revue du MAUSS 41 (1): 25‑33. 

[41] Lee, Tsung-Chun, Kyle Staller, Vlaicu Botoman, Mythili P. Pathipati, Sanskriti Varma, et Braden Kuo. 2023. « ChatGPT Answers Common Patient Questions About Colonoscopy ». Gastroenterology 165 (2): 509-511.

[42] Morse, Keith E., Nicolai P. Ostberg, Veena G. Jones, et Albert S. Chan. 2020. « Use Characteristics and Triage Acuity of a Digital Symptom Checker in a Large Integrated Health System : Population-Based Descriptive Study ». Journal of Medical Internet Research 22 (11).