Auteurs

• 

• 

• 

• 

• 

Contacts

• Maria­na Tere­sa ALVAREZ GUTIERREZ :
• Yous­ra BOUTAROUAIT :
• Kévin GOUFFAUD :
• Yami­na RIDA :
• Pri­cil­la FUTU VIMPI NAZOMBO

Citation

A rap­pe­ler pour tout usage : Maria­na Tere­sa ALVAREZ GUTIERREZ, Yous­ra BOUTAROUAIT, Kévin GOUFFAUD, Yami­na RIDA, Pri­cil­la FUTU VIMPI NAZOMBO, « Étude de la pro­po­si­tion de règle­ment euro­péen pour l'Intelligence Arti­fi­cielle dans le sec­teur de la San­té », Uni­ver­si­té de Tech­no­lo­gie de Com­piègne (France), Mas­ter Ingé­nie­rie de la San­té, Mémoire de Pro­jet, https://travaux.master.utc.fr/, réf n° IDS120, jan­vier 2022, https://travaux.master.utc.fr/formations-master/ingenierie-de-la-sante/ids120/, DOI : https://doi.org/10.34746/bcqc-mb09

Résumé

En constante évo­lu­tion depuis son appa­ri­tion au milieu du XXème siècle, l’Intelligence Arti­fi­cielle touche aujourd'hui de nom­breux domaines d'activités, tel que la santé. 

Celui-ci est au cœur des pré­oc­cu­pa­tions : de nom­breux textes régle­men­taires sont appa­rus pour enca­drer ce domaine d'activités et assu­rer la sécu­ri­té des patients.

Dans cet axe, la Com­mis­sion Euro­péenne a publié en avril 2021 un docu­ment sur les lignes direc­trices à res­pec­ter, en matière d'exigence, de sécu­ri­té et d’éthique, pour obte­nir une IA “digne de confiance”. Cette pro­po­si­tion est un sup­port qui per­met d’introduire les enjeux et de don­ner confiance au règle­ment en enca­drant l’IA et ses acteurs pour per­mettre son uti­li­sa­tion et son déve­lop­pe­ment en toute sécu­ri­té au sein de l’Union Européenne. 

Dans ce contexte, ce pro­jet a pour objec­tif d'éclairer fabri­cants, four­nis­seurs, uti­li­sa­teurs et tiers sur les obli­ga­tions euro­péennes à res­pec­ter pour assu­rer la sécu­ri­té du patient et don­ner confiance à chaque acteur exploi­tant des sys­tèmes d’IA. La car­to­gra­phie inter­ac­tive réa­li­sée per­met de résu­mer les élé­ments essen­tiels de ce mémoire.

Abstract

Many fields of acti­vi­ty, such as health. The lat­ter is at the heart of the concerns : nume­rous regu­la­to­ry texts have appea­red to frame this field of acti­vi­ty and ensure the safe­ty of patients. In this area, the Euro­pean Com­mis­sion publi­shed in April 2021 a docu­ment on the gui­de­lines to be res­pec­ted, in terms of requi­re­ments, safe­ty and ethics, to obtain a "trust­wor­thy" AI. This pro­po­sal is a sup­port to intro­duce the issues and to give confi­dence to the regu­la­tion by fra­ming AI and its actors to allow its use and deve­lop­ment safe­ly within the Euro­pean Union. In this context, this pro­ject aims to enligh­ten manu­fac­tu­rers, sup­pliers, users and third par­ties on the Euro­pean obli­ga­tions to res­pect to ensure the safe­ty of the patient and to give confi­dence to each actor ope­ra­ting AI sys­tems. The inter­ac­tive map was pro­du­ced to sum­ma­rise the key ele­ments of this report.

Téléchargements

Étude de la proposition de règlement européen pour l'Intelligence Artificielle 

Remerciement

Tout d'abord, nous tenons à expri­mer nos sin­cères remer­cie­ments envers M. Gil­bert Farges, ensei­gnant-cher­cheur du Mas­ter Ingé­nie­rie de la San­té, à l'Université de Tech­no­lo­gie de Com­piègne, qui nous a accom­pa­gnés tout au long du semestre sur ce sujet. Ses conseils avi­sés ain­si que son inves­tis­se­ment nous ont moti­vé et per­mis de mener à bien cette étude dont le thème était avant-gar­diste et très inté­res­sant pour nous. 

Nos plus vifs remer­cie­ments éga­le­ment à Mme Isa­belle Claude et M. Jean-Mat­thieu Prot, res­pon­sables du Mas­ter Ingé­nie­rie de la San­té, et Mme Béa­trice Konig, pour leurs ana­lyses avisées. 

Nous remer­cions éga­le­ment toute l’équipe péda­go­gique de l’UTC, ayant par­ti­ci­pé de près ou de loin à notre projet.

Pour finir, nous remer­cions notre entou­rage, nous ayant accom­pa­gné et sup­por­té mora­le­ment tout le long de nos études.

Liste des acronymes

• ANSM : Agence Natio­nal de Sécu­ri­té du Médi­ca­ment et du pro­duit de santé
• BPI : Banque Publique Investissement
• CEPD : Comi­té Euro­péen de la Pro­tec­tion des Données
• CGET : Com­mis­sa­riat Géné­ral à l'Egalité des Territoires
• CNEDIMTS : Com­mis­sion Natio­nale d’Evaluation des Dis­po­si­tifs Médi­caux et des Tech­no­lo­gies de Santé
• CNIL : Com­mis­sion Natio­nale de l'Informatique et des Libertés
• DGE : Direc­tion Géné­rale des Entreprises 
• DM : Dis­po­si­tif Médical
• DMC :  Dis­po­si­tif Médi­cal Connecté
• DMDIV : Dis­po­si­tif de Diag­nos­tic Médi­cal In Vitro
• DGE : Direc­tion Géné­rale des Entreprises 
• FDA : Food and Drug Administration
• HAS : Haute Auto­ri­té de Santé
• IA : Intel­li­gence Artificielle
• LPPR : Liste des Pro­duits et Pres­ta­tions Remboursables
• RGPD : Règle­ment Géné­ral des Pro­tec­tions et Données 
• UE : Union Européenne

Glossaire

• Agence Natio­nale de Sécu­ri­té du Médi­ca­ment et des pro­duits de san­té : Eta­blis­se­ment public admi­nis­tra­tif pla­cé sous la tutelle du minis­tère char­gé de la San­té. Il agit au nom de l’Etat, au ser­vice des patients, afin d’assurer la sécu­ri­té des pro­duits de san­té et de favo­ri­ser l’accès à l’innovation thérapeutique. 
• Algo­rithme : Suite d’instructions ordon­nées qui a pour but de trou­ver un résul­tat à par­tir de don­nées connues.
• Big data (méga­don­nées) : Com­bi­nai­son de don­nées struc­tu­rées, semi struc­tu­rées et non struc­tu­rées col­lec­tées par des orga­ni­sa­tions qui peuvent être exploi­tées pour don­ner des infor­ma­tions et uti­li­sées dans des pro­jets d’apprentissage auto­ma­tique (Machine Lear­ning), de modé­li­sa­tion pré­dic­tive et d’autres appli­ca­tions ana­ly­tiques avancées. 
• Com­mis­sion Natio­nale d'Evaluation des Dis­po­si­tifs Médi­caux et des Tech­no­lo­gies de San­té  : Com­mis­sion de la HAS qui éva­lue les dis­po­si­tifs médi­caux et des actes pro­fes­sion­nels en vue de leur remboursement. 
• Cefoxi­tine : Anti­bio­tique Bêta-lac­ta­mine de 2éme géné­ra­tion (Cépha­lo­spo­rine). 
• Com­mis­sion Euro­péenne : Ins­ti­tu­tion qui porte et pro­meut l'intérêt géné­ral de l’union. Elle est gar­dienne des trai­tés. 
• Cyber­sé­cu­ri­té : Ensemble des mesures de sécu­ri­té informatique. 
• Data­base : Col­lec­tion sys­té­ma­tique de données. 
• Direc­tion Géné­rale des Entre­prises : Rat­ta­chée au minis­tère de l’Economie et des Finances, c’est une direc­tion d’administration publique.
• Dis­po­si­tif médi­cal : Tout ins­tru­ment, appa­reil, équi­pe­ment, matière, pro­duit, ou autre article uti­li­sé seul ou en asso­cia­tion, néces­saires au bon fonc­tion­ne­ment de celui-ci, des­ti­né par le fabri­cant à être uti­li­sé chez l’homme à des fins médi­cales et dont l’action prin­ci­pale vou­lue n’est pas obte­nue par des moyens phar­ma­co­lo­giques ou immu­no­lo­giques ni par méta­bo­lisme, mais dont la fonc­tion peut être assis­tée par de tels moyens (Règle­ment euro­péen 2017/745).
• Dis­po­si­tif médi­cal de diag­nos­tic in vitro : Tout dis­po­si­tif médi­cal qui consiste en un réac­tif, un pro­duit réac­tif, un maté­riau d'étalonnage, un maté­riau de contrôle, une trousse, un ins­tru­ment, un appa­reil, un équi­pe­ment, un logi­ciel ou un sys­tème, uti­li­sé seul ou en asso­cia­tion, des­ti­né par le fabri­cant à être uti­li­sé in vitro dans l'examen d'échantillons pro­ve­nant du corps humain (Règle­ment euro­péen 2017/746).
• Dis­tri­bu­teur : Toute per­sonne phy­sique ou morale fai­sant par­tie de la chaîne d’approvisionnement, autre que le fabri­cant ou l’importateur, qui met un dis­po­si­tif à dis­po­si­tion sur le mar­ché, jusqu’au stade de sa mise en ser­vice (Règle­ment 2017/745).
• Haute Auto­ri­té de San­té : Auto­ri­té publique indé­pen­dante à carac­tère scien­ti­fique qui contri­bue à la régu­la­tion du sys­tème de santé.
• I2A : Entre­prise spé­cia­li­sée dans le domaine du diag­nos­tic microbiologique. 
• Impor­ta­teur : Toute per­sonne phy­sique ou morale éta­blie dans l’Union qui met un dis­po­si­tif pro­ve­nant d’un pays tiers sur le mar­ché de l’Union (Règle­ment 2017/745).
• Sta­phy­lo­coque : Bac­té­rie du genre staphylococcus.

Introduction

« La créa­tion d'une intel­li­gence arti­fi­cielle serait le plus grand évé­ne­ment de l'histoire de l'humanité. Mais il pour­rait aus­si être l'ultime », Ste­phen Haw­king (Web Sum­mit de Lis­bonne, 2017)

En constante évo­lu­tion depuis son appa­ri­tion au milieu du XXème siècle, l’Intelligence Arti­fi­cielle est une dis­ci­pline qui a connu un essor par­ti­cu­liè­re­ment ful­gu­rant ces dix der­nières années. En effet, les nom­breuses avan­cées tech­no­lo­giques, telles que le deep-lear­ning et les algo­rithmes, ont eu pour effet de faire rega­gner en popu­la­ri­té cette dis­ci­pline quelque peu délais­sée [1]. 

Tou­chant de nom­breux domaines d’activités (san­té, mili­taire, indus­triel, ban­caire, auto­mo­bile…), elle a récem­ment été défi­nie par la Com­mis­sion euro­péenne, de façon glo­bale, comme un “ logi­ciel pou­vant, pour un ensemble don­né d’objectifs défi­nis par l’homme, géné­rer des résul­tats tels que des conte­nus, des pré­dic­tions, des recom­man­da­tions ou des déci­sions influen­çant les envi­ron­ne­ments avec les­quels il inter­agit” [2].

A titre d'exemple, en 2020, la start-up new yor­kaise Clear­view, spé­cia­li­sée dans la recon­nais­sance faciale, a scan­da­li­sé le monde lorsqu’il a été décou­vert que pour construire sa base de don­nées, elle avait col­lec­té plus de 3 mil­liards d’images pro­ve­nant  des réseaux sociaux (Face­book, Google, Twit­ter…) à l’insu de ses uti­li­sa­teurs [3].

Sa volon­té d’étendre ses ser­vices au mar­ché euro­péen, sans avoir pour autant signé l’accord de pro­tec­tion des don­nées conclu entre l’UE et les États-Unis (2016) a ren­du réti­cente les auto­ri­tés à son entrée dans le mar­ché inté­rieur. Cet accord sou­li­gnant l’obligation des entre­prises amé­ri­caines à pro­té­ger les don­nées des uti­li­sa­teurs euro­péens confor­mé­ment aux stan­dards euro­péens et aux droits des consommateurs.

En mai 2021, face à la sus­pi­cion que cer­taines de ces don­nées appar­tien­draient à des res­sor­tis­sant de l’UE (vio­la­tion de l’article 4.14 de la RGPD), un groupe d’ONG a por­té plainte au nom de plu­sieurs pays d’Europe, dont la France, contre cette star­tup [4]. 

Cet exemple illustre bien l’urgence actuelle, à savoir celle de reca­drer notre sys­tème juri­dique, pour qu’il soit plus uni­forme. En effet, si mani­pu­ler les sys­tèmes d’IA peut géné­rer des risques, impac­tant ain­si les inté­rêts et droits pro­té­gés par l’UE, il ne faut pas oublier que ses exploits sont mul­tiples et qu’il est fort pro­bable qu’elle conti­nue d’être à l’origine de nom­breuses avan­cées et innovations.

Face à ce constat, un ques­tion­ne­ment appa­raît : dans une optique d’évolution du mar­ché inté­rieur, com­ment asso­cier libre cir­cu­la­tion des sys­tèmes IA aux contraintes de sécu­ri­té liée à leurs déve­lop­pe­ments, ventes, uti­li­sa­tions… Sans oublier que leurs mani­pu­la­tions impliquent d’étudier les notions de confi­den­tia­li­té, de consen­te­ment et de droit d’accès aux don­nées partagées.

Pour répondre à l'intérêt géné­ral de sécu­ri­té et de libre cir­cu­la­tion des biens et ser­vices sans res­tric­tion au sein de l’UE, une pro­po­si­tion de règle­ment a récem­ment été dépo­sée par la Com­mis­sion Euro­péenne (2021/0106(COD)) [5]. Très géné­rale, celle-ci concerne tous les sys­tèmes d’IA quel que soit leurs domaines d’activités et intro­duit de ce fait une défi­ni­tion glo­bale de l’IA.

En effet, jusqu’ici le manque d’encadrement fai­sait que les dif­fé­rents orga­nismes adap­taient leur sys­tème en se basant sur leur propre défi­ni­tion. Ce point est l’une des rai­sons qui a pous­sé les auto­ri­tés com­pé­tentes à pré­voir une défi­ni­tion neutre vis-à-vis des plans tech­no­lo­giques dans une optique de pou­voir résis­ter à l'épreuve du temps tout en tenant compte de l’évolution rapide des tech­no­lo­gies et du mar­ché de l’IA .

Partie I : Les impacts de l'Intelligence Artificielle en Santé

1. Généralités sur l’IA

1.1 Définition de l’IA

A ce jour, il n'existe pas de défi­ni­tion lar­ge­ment accep­tée de l'Intelligence Artificielle.

John McCar­thy, l’un des fon­da­teurs de l’Intelligence Arti­fi­cielle et inven­teur de ce terme, l'a défi­nie en 1956 comme : “La science et l’ingénierie de la fabri­ca­tion de machines intel­li­gentes”. L’Intelligence Arti­fi­cielle serait donc la construc­tion de machines intel­li­gentes capables de simu­ler l'intelligence humaine.

Figure 1 :  Décomposition des procédés élémentaires de l’IA (source : auteur) [6].

IA	Dis­ci­pline regrou­pant toutes les tech­niques et méthodes visant à com­prendre et repro­duire le fonc­tion­ne­ment du cer­veau humain.
Machine Lear­ning	Tech­niques d’apprentissage auto­ma­tique : les machines ont la capa­ci­té d’apprendre auto­ma­ti­que­ment  à exé­cu­ter des tâches sans qu’une pro­gram­ma­tion ait été déter­mi­née au préalable.
Deep Lear­ning	Tech­nique par­ti­cu­lière de machine lear­ning, le deep lear­ning est une tech­nique d’apprentissage repo­sant sur le modèle neu­ro­nal. Plu­sieurs couches de neu­rones arti­fi­ciels, empi­lés, imitent le cer­veau humain pour résoudre un problème.

1.2 Les différents types d’IA

L’Intelligence Arti­fi­cielle peut être clas­sée en sept types en fonc­tion des per­for­mances des machines. Pour cela, la figure sui­vante réca­pi­tule les dif­fé­rents types (Figure 2).

Figure 2 :  Classification des Types d’Intelligence Artificielle en fonction des performances des machines (source : auteur) [7].

• 

Il est impor­tant de rap­pe­ler que dans le cadre de la san­té, les sys­tèmes d’Intelligence Arti­fi­cielle sont désor­mais consi­dé­rés comme des Dis­po­si­tifs Médicaux.

En effet, le règle­ment (UE) 2017/745, rela­tif aux Dis­po­si­tifs Médi­caux du 5 avril 2017, a élar­gi la défi­ni­tion du Dis­po­si­tif Médi­cal : elle intro­duit désor­mais dans les fonc­tions du DM les notions de pré­dic­tion et de pro­nos­tic rela­tives aux pro­prié­tés aux­quelles l'Intelligence Arti­fi­cielle répond. Ain­si à par­tir du moment où un logi­ciel pré­sente “au moins une fonc­tion­na­li­té per­met­tant l’exploitation des don­nées du patient en vue d’aider le méde­cin à éta­blir sa pres­crip­tion, il est qua­li­fié de Dis­po­si­tif Médi­cal” [8]. 

2. Le marché de l’IA

Au niveau mon­dial, selon l’article de Her­mann Say, le mar­ché de l’Intelligence Arti­fi­cielle (IA) s'évalue à plus de 327 mil­liards de dol­lars jusqu’en 2021. Il est pré­vu une crois­sance expo­nen­tielle dont la contri­bu­tion à l'économie mon­diale pour­rait atteindre 13 500 mil­liards de dol­lars. Les prin­ci­pales rai­sons pour les entre­prises d'investir dans l’IA sont de réduire les coûts, en amé­lio­rant la pro­duc­ti­vi­té et l'efficacité, d’accroître la qua­li­té des pro­duits et ser­vices, d'améliorer le sup­port client, l'efficacité des sys­tèmes d'informations de la tech­no­lo­gie et les opé­ra­tions mar­ke­ting [9].    

Cepen­dant là où, les États-Unis et la Chine sont res­pon­sables chaque année d’environ 25 mil­liards d’euros d’inves­tis­se­ment pour l’Intelligence Arti­fi­cielle, l’UE repré­sente en valeur cumu­lée, d'après un rap­port publié en 2021 par la Com­mis­sion Euro­péenne et la Banque Euro­péenne d’Investissement, envi­ron 1,5 mil­liards d’euros [10]. Cette valeur du mar­ché est cal­cu­lée d'après le nombre de PME ayant reçu un inves­tis­se­ment pour déve­lop­per de l’IA.  

Ce mar­ché est par­ta­gé dans le monde : les Etats-Unis (47,8 %) se place comme prin­ci­pal acteur, sui­vi par la Chine (19.7%) et l'Europe (19.3%). Il est à noter que par­mi les pays de l’Europe, la part du mar­ché prise par le Royaume-Uni n'est pas négli­geable (7.6%) (Figure 3).  

Figure 3 : Nombre de PME dans les principales puissances mondiales Intelligence Artificielle (source auteur inspiré par Rapport “Intelligence artificielle, blockchain et l'avenir de l'Europe”) [10].

Le com­por­te­ment expo­nen­tiel des reve­nus en IA dans le sec­teur de la San­té dans le monde a été déve­lop­pé dans le rap­port “Intel­li­gence Arti­fi­cielle - État de l’art et pers­pec­tives pour la France” par le minis­tère de l’Économie et des Finances (Figure 4). A la fin de l'année 2021, un taux de crois­sance de 55%, soit 6 662,2 mil­lions de dol­lars, est atten­du pour l’IA [11]. 

D'après un rap­port de la Banque Publique d’Investissement (BPI France), les don­nées du cabi­net de conseil Frost & Sul­li­van montre que la valeur du mar­ché mon­dial de la San­té numé­rique, incluant l’IA, devrait atteindre 234,5 mil­liards de dol­lars d’ici 2023 [12]. Cette crois­sance s'explique essen­tiel­le­ment par des besoins liés au vieillis­se­ment de la popu­la­tion et à la forte aug­men­ta­tion des mala­dies chroniques.

Figure 4 : Évolution des revenues en IA dans le secteur de la santé (source auteur inspiré par le rapport “Intelligence artificielle - État de l’art et perspectives pour la France” ) [11].

En France, les indus­tries de la San­té regroupent 211 000 sala­riés directs dont 104 000 appar­te­nant à l’industrie du médi­ca­ment [11]. L'investissement dans le mar­ché de la San­té est asso­cié à l’utilisation des sys­tèmes d'IA dans la mesure où ceux-ci repré­sentent un poten­tiel éco­no­mique impor­tant. Les prin­ci­pales entre­prises du sec­teur ont géné­ré un chiffre d'affaires de près de 800 mil­lions d’euros en 2019 et la crois­sance de l’IA pour­rait repré­sen­ter 180 000 emplois directs et indi­rects d’ici 2030 [13].

La Direc­tion Géné­rale des Entre­prises (DGE), qui pilote le volet éco­no­mique de la stra­té­gie natio­nale pour l’IA, le Com­mis­sa­riat Géné­ral à l'Egalité des Ter­ri­toires (CGET) et Tech’in France (com­por­tant les syn­di­cats pro­fes­sion­nels fran­çais de l’industrie du numé­rique) ont éta­bli un plan d'action divi­sé en 4 axes :

1. Mettre la IA au ser­vice de l'économie fran­ci­lienne et de son industrie.
2. Confor­ter le Lea­der­ship et l'attrac­ti­vi­té inter­na­tio­nale de la France en matière d’ IA.
3. Per­mettre une ouver­ture tech­no­lo­gique sur les filières régio­nales prioritaires 
4. Pilo­ter et éva­luer.

Afin de déployer cette stra­té­gie, un bud­get total de 20 mil­lions d'euros a été attri­bué pour le déve­lop­pe­ment de l’IA dans 5 sec­teurs dif­fé­rents, dont celui de la San­té [11]. 

Concer­nant l’IA en tant qu’entité et sa place dans le sec­teur euro­péen, la France jusqu'en 2018 était le pre­mier pays euro­péen et Paris la pre­mière ville euro­péenne par rap­port au déve­lop­pe­ment de PME selon le rap­port Roland Ber­ger - Asgard [11]. Tou­jours en France, selon le rap­port de l'article de Her­mann Say, le déve­lop­pe­ment repré­sente aujourd'hui 23%, confir­mant ain­si la crois­sance de ce mou­ve­ment sur le ter­ri­toire [14].

Un grand  contri­bu­teur de ce mou­ve­ment est la BPI qui a finan­cé envi­ron 23 mil­lions d'euros en 2019 dans le sec­teur de la San­té. La consé­quence directe de cet inves­tis­se­ment est l’augmentation du nombre de star­tups fran­çaises, qui a presque dou­blé entre 2019 et 2020 :  191 star­tups en 2020 [15]. 

Figure 5 : Paysage entrepreneurial français d’IA dans le secteur de la santé (Source auteur inspiré par BPI France).

Ces valeurs per­mettent de mettre en évi­dence la crois­sance expo­nen­tielle dans le mar­ché de l’Intelligence Arti­fi­cielle, de l’investissement et des reve­nus obte­nus. En effet, les pays lea­ders du mou­ve­ment du déve­lop­pe­ment de l’IA changent constamment.

3. Exemples d’IA dans la santé

3.1 Les applications en Santé de l’IA

Les appli­ca­tions de l’Intelligence Arti­fi­cielle dans le sec­teur de la San­té est un domaine de recherche en pleine expan­sion et pro­mis à un grand ave­nir. Cette nou­velle tech­no­lo­gie a amé­lio­ré la prise en charge des patients et a réduit les coûts d'hospitalisation. Elle a éga­le­ment faci­li­té le tra­vail des équipes médi­cales. La figure sui­vante résume l’ensemble de ses appli­ca­tions cou­rantes au cours des 10 der­nières années. 

Figure 6 : Domaines d’application de l’IA en santé [16] (source : auteur)

3.2 Exemples d’applications

Méde­cine per­son­na­li­sée - IBM WATSON FOR GENOMICS

WATSON FOR GENOMICS est un pro­gramme d’Intelligence Arti­fi­cielle créé par IBM.

Grâce à l'informatique cog­ni­tive, cet outil d’Intelligence Arti­fi­cielle peut en quelques minutes inter­pré­ter les don­nées de séquen­çage géno­mique d’une tumeur à la recherche d’une muta­tion pour ensuite pro­po­ser un trai­te­ment per­son­na­li­sé selon la muta­tion détec­tée [17].

Figure 7 : Logiciel d’IBM Watson for Genomics  (source : IBM Watson for Genomics) [17]

Diag­nos­tic -IDx-DR

IDx-DR est un sys­tème d’Intelligence Arti­fi­cielle déve­lop­pé par la star­tup IDx.

Il est le pre­mier appa­reil à être auto­ri­sé à faire un diag­nos­tic médi­cal par la Food and Drug Admi­nis­tra­tion (équi­valent de l’ANSM pour les Etats-Unis).

Cet algo­rithme de diag­nos­tic détecte pré­co­ce­ment et diag­nos­tique les signes de la réti­no­pa­thie dia­bé­tique grâce à des images réti­niennes [18].

Figure 8 : Le système IDx-DR en action  (source : IDx-DR) [19]

 Pré­ven­tion - QCovid

QCo­vid est un algo­rithme déve­lop­pé par des cher­cheurs de l’Université d’Oxford.

C’est un outil de cal­cul du risque d'hospitalisation ou de décès lié à la Covid-19. Il uti­lise des fac­teurs tels que l'âge, le sexe, l'origine eth­nique et les anté­cé­dents médi­caux pour géné­rer une éva­lua­tion détaillée des risques.

Une autre ver­sion de cet algo­rithme a été déve­lop­pée en 2021 pour cal­cu­ler le risque d'hospitalisations ou de décès lié à la Covid-19 après une ou deux doses de vac­cin [20].

Figure 9 : Page d'accueil du QCovid risk calculator  (source : QCovid) [18]   

Pré­ven­tion - WOEBOT

WOEBOT est un chat­bot d'Intelligence Arti­fi­cielle conçu par un groupe de psy­cho­logues de l'Université de Stan­ford en 2017.

Ce chat­bot aide à sur­veiller la san­té men­tale de ses uti­li­sa­teurs grâce à une exper­tise psy­cho­lo­gique, prin­ci­pa­le­ment en Thé­ra­pie Cog­ni­ti­vo-Com­por­te­men­tale (TCC) et pro­pose des conseils per­ti­nents pour sur­mon­ter leurs difficultés.

Les conver­sa­tions quo­ti­diennes sont brèves et peuvent s’accompagner de vidéos [21].

Figure 10 : Exemple de discussion du chatbot WOEBOT (source : WOEBOT) [22]

Chi­rur­gie Robo­tique - Senhance 

Le sys­tème chi­rur­gi­cal Sen­hance est un sys­tème chi­rur­gi­cal robo­ti­sé de la socié­té Asen­sus Surgical.

Il est des­ti­né à la réa­li­sa­tion de la chi­rur­gie mini-inva­sive. C’est la pre­mière et la seule pla­te­forme lapa­ro­sco­pique numé­rique. 

Équi­pé d'un sys­tème d'oculométrie, il per­met au chi­rur­gien de contrô­ler la vision durant l’intervention sans s'arrêter pour repo­si­tion­ner la camé­ra et d’une rétro­ac­tion hap­tique qui capte la force appli­quée pour mini­mi­ser les traumatismes.

Il per­met éga­le­ment au chi­rur­gien de main­te­nir une pos­ture assise ergo­no­mique tout au long de la pro­cé­dure. Ce sys­tème sta­bi­lise les ins­tru­ments et per­met au chi­rur­gien de repo­si­tion­ner faci­le­ment ses mains pen­dant la chi­rur­gie pour évi­ter toute posi­tion incon­for­table pour effec­tuer des actes délicats.

Il est le seul sys­tème chi­rur­gi­cal robo­ti­sé qui offre des ins­tru­ments de 3mm de dia­mètre [23].

Figure 11 : Le robot chirurgical Senhance  (source : Senhance) [23]

 Méde­cine phy­sique et de réadap­ta­tion - Lokomat 

Loko­mat est un sys­tème robo­ti­sé  par un exos­que­lette de membres infé­rieurs élec­tro-méca­ni­sé d’entraînement à la marche per­met­tant une thé­ra­pie loco­mo­trice effi­cace et moti­vante pour les patients souf­frant d’un défi­cit moteur à la suite d’une atteinte neu­ro­lo­gique notam­ment les séquelles de l' AVC [24]..

Figure 12 : Exosquelette Lokomat  (source : Lokomat) [25]

4. Risques et Limites de l’IA en Santé

L’IA touche plu­sieurs domaines en San­té (diag­nos­tic, trai­te­ment, « mana­ge­ment patient»…), et est donc for­te­ment mise en avant dans les éta­blis­se­ments de santé. 

Cepen­dant sa mani­pu­la­tion n’est pas sans risque et des inci­dents sont, comme pour toutes tech­no­lo­gies, possibles.

Il est donc de la res­pon­sa­bi­li­té de tous (indus­triels, auto­ri­tés régle­men­taires, uti­li­sa­teurs…) de limi­ter ces risques pour dimi­nuer la pro­ba­bi­li­té qu’un acci­dent arrive.

4.1 Définition du risque

Pour le pré­ve­nir, en met­tant en place les dis­po­si­tions néces­saires, il est indis­pen­sable de défi­nir, dans un pre­mier temps, ce qu’est un « risque ».

La com­plexi­té de sa défi­ni­tion pro­vient du fait que selon les contextes et les points de vue, celle-ci peut varier.

Aus­si il peut être défi­ni comme un « Dan­ger éven­tuel, plus ou moins pré­vi­sible, inhé­rent à une situa­tion ou à une acti­vi­té » (Cnrtl) ou encore « (‘L) éven­tua­li­té d'un évé­ne­ment futur, incer­tain ou d'un terme indé­ter­mi­né, ne dépen­dant pas exclu­si­ve­ment de la volon­té des par­ties et pou­vant cau­ser la perte d'un objet ou tout autre dom­mage » (Ineris) [26], [27]. 

S’il est sou­vent asso­cié à son syno­nyme « dan­ger », il ne faut pas les confondre dans la mesure où, même s’ils paraissent inter­chan­geables, la notion de risque amène une notion d’incertitude mesu­rable (pro­ba­bi­li­té) à un effet qui paraî­trait autre­ment avéré.

Par ailleurs, géné­ra­le­ment la socié­té moderne lui asso­cie deux sens dis­tincts : « la pos­si­bi­li­té d’un dan­ger et en même temps les consé­quences poten­tielles occa­sion­nées par ce dan­ger ».

Dans le pre­mier, l’accent est mis sur la source du risque, dans le second, sur la cible expo­sée à celui-ci : le risque com­porte donc deux notions, celle de dan­ger et celle d’exposition.

Pour pré­ve­nir et gérer les risques, il faut consi­dé­rer un évé­ne­ment poten­tiel­le­ment dan­ge­reux comme source de risque, « que s’il est sus­cep­tible de por­ter atteinte à des enjeux humains, envi­ron­ne­men­taux, éco­no­miques (ou) cultu­rels ».

La mesure du risque se fait en éva­luant la gra­vi­té asso­ciée aux dan­gers poten­tiels.

En fonc­tion de ces cri­tères, le risque sera carac­té­ri­sé comme étant accep­table, inac­cep­table (auquel cas des actions devront être menées) et entre les deux, consi­dé­ré comme « tolé­ré » (ou accep­table sous contrôle) (Figure 8).

Figure 8 : Courbe de Farmer (source : ©Académie d'Aix-Marseille ).

Dans le domaine médi­cal, est consi­dé­ré comme un risque tout élé­ment ayant une inci­dence sur la san­té du patient et/ou alté­rant son état géné­ral (han­di­cap, brû­lure, décès…).

Rap­pel brève de la clas­si­fi­ca­tion de risque des DM (Règle­ment 2017/745) :

La nou­velle régle­men­ta­tion euro­péenne 2017/745, classe les DM selon quatre niveaux de risque : classe I, classe IIa, classe IIb et classe III. Cette clas­si­fi­ca­tion prend en compte la durée d’utilisation (tem­po­raire, court et long terme), le carac­tère poten­tiel­le­ment inva­sif et le type d’invasivité, la pos­si­bi­li­té ou non de réuti­li­sa­tion, la visée thé­ra­peu­tique ou diag­nos­tique et la par­tie du corps concer­née. Plus par­ti­cu­liè­re­ment, le logi­ciel com­man­dant un dis­po­si­tif ou agis­sant sur son uti­li­sa­tion, relève de la même classe que le dis­po­si­tif. Si le logi­ciel est indé­pen­dant de tout autre dis­po­si­tif, il est clas­sé en tant que tel. (Ex : Règle 11, les logi­ciels des­ti­nés à four­nir des infor­ma­tions uti­li­sées pour prendre des déci­sions à des fins thé­ra­peu­tiques ou diag­nos­tiques sont consi­dé­rés DM de classe IIa).

4.2 Exemples d’incidents de l’IA en Santé

Diagnostic : L’exemple d’IBM Watson

A la base créée pour répondre à des ques­tions , la tech­no­lo­gie Wat­son a été adap­tée, dans le domaine de la San­té, pour ana­ly­ser toutes les don­nées rela­tives aux patients afin d’aider le méde­cin en pro­po­sant un diag­nos­tic et un trai­te­ment thé­ra­peu­tique. 

Bien vu au départ, l’engouement s'est néan­moins peu à peu affai­bli [28]. Le manque d’apport per­ti­nent com­pa­ré au juge­ment des méde­cins et les erreurs de diag­nos­tic récur­rentes ont peu à peu repous­sé les pro­fes­sion­nels de la san­té : « La tech­no­lo­gie Wat­son était autre­fois syno­nyme de doc­teur arti­fi­ciel ». 

Éta­bli en 2013, le pro­jet « Wat­son for Onco­lo­gy » annu­lé, entraî­nant une perte colos­sale de 62 mil­lions de dol­lars, illustre cette perte d’engouement [29]. La cause étant des recom­man­da­tions inuti­li­sables car incor­rectes voire même très dan­ge­reuses pour le patient. L’un des plus connus : le logi­ciel recom­man­dant aux méde­cins de don­ner à un patient hémor­ra­gique un médi­ca­ment qui aggra­ve­rait ses saignements.

D’après Stat­News, site d'information amé­ri­cain sur la San­té, ces erreurs pro­vien­draient d’un mau­vais appren­tis­sage de l’algorithme : les ingé­nieurs auraient uti­li­sé un faible nombre de don­nées pro­ve­nant de patients fictifs.

Chirurgie Robotique : L’exemple du Robot DA VINCI

Véri­table révo­lu­tion du début des années 2000 , le robot DA VINCI a pour voca­tion d’assis­ter le chi­rur­gien pour réa­li­ser une inter­ven­tion chi­rur­gi­cale « non-inva­sive ». Il est utile pour des loca­li­sa­tions déli­cates telles que la pros­tate ou encore pour réa­li­ser des hys­té­rec­to­mies. Ses pro­messes de réta­blis­se­ment incom­pa­rables aux chi­rur­gies inva­sives l'ont ren­due d’autant plus attractive.

En 2018 était recen­sé plus de 4 500 robots déployés dans le monde, par­mi les­quels 125 en France (« répar­tis à 50-50 entre éta­blis­se­ments publics et pri­vés ») (Figa­ro).

Le pro­blème majeur de ce robot est le nombre d'incidents qu’on lui asso­cie. Aux Etats-Unis, celui-ci a for­te­ment explo­sé entre 2012 et 2014 : d’environ 1 600 cas recen­sés en (2012) le nombre de cas est pas­sé à 6 000 (2013-2014). La jus­tice amé­ri­caine aura même été sai­sie de plus de 3 000 plaintes (2013).

D’après la FDA, cette explo­sion serait dûe au fait que la socié­té amé­ri­caine n’avait pas annon­cé tous les cas d’incidents : c’est seule­ment suite à leur rap­port et la média­ti­sa­tion des pre­mières plaintes que le nombre de cas réper­to­riés a explo­sé. En Europe, l’accord sur la décla­ra­tion d’incidents médi­caux reste néan­moins une mesure de garan­tie supplémentaire.

Les causes prin­ci­pales seraient, outre la for­ma­tion et l'expérience des chi­rur­giens qui les uti­lisent, dûes à des défaillances tech­niques et des pro­blèmes d’isolation pour cer­tains composants. 

Aus­si les inci­dents rele­vés vont, dans le cadre de la défaillance du sys­tème, de la perte des enre­gis­tre­ments vidéo des pro­cé­dures ou du contrôle de l’appareil, à des brû­lures (193 patients recen­sés entre 2000 et 2021) voire une expo­si­tion à des éclats de com­po­sants en cas d’étincelles pen­dant l’opération [30]. En 2015, un rap­port du MIT (Mas­sa­chu­setts Ins­ti­tute of Tech­no­lo­gy) expli­quait que le robot Da Vin­ci était la cause de 144 décès aux USA. 

Mal­gré ces points en 2021 ces robots conti­nuent d’être uti­li­sés et ceux pour plu­sieurs rai­sons :

- Cer­tains consi­dèrent les cas recen­sés comme minimes com­pa­ré aux apports démon­trés :  le chi­rur­gien David Sama­di, pre­mier chi­rur­gien ayant effec­tué aux Etats-Unis une inter­ven­tion de chi­rur­gie robo­tique assis­tée sur la pros­tate, a réa­li­sé avec suc­cès plus de 4 500 opé­ra­tions (chiffre de 2015). 

- Les inci­dents sont majo­ri­tai­re­ment attri­bués aux per­sonnes qui mani­pulent ces appa­reils :  « Ce n'est pas le robot qui est dan­ge­reux mais le chi­rur­gien qui l'utilise », Dr. David Sama­di (inter­view sur la chaîne FOX en 2013).

- L’évolution de sa pra­tique ini­tiale (uro­lo­gie adulte) fait qu’après avoir été adap­tée à une mul­ti­tude de spé­ci­fi­ci­tés, « chi­rur­gies diges­tives adultes, tho­ra­ciques, vas­cu­laires et gyné­co­lo­giques », elle est employée aujourd’hui dans les ser­vices pédia­triques. En juin 2021, pour la 1^ère fois cet outil a même été uti­li­sé dans le ser­vice pédia­trique du CHU Dijon Bour­gogne [31].

Médecine Personnalisée [32]

L’objectif de la méde­cine per­son­na­li­sée est de prendre en compte l’individu dans son entiè­re­té (méta­bo­lisme, envi­ron­ne­ment et mode de vie com­pris) pour trai­ter et pré­ve­nir de façon pré­cise des pathologies.

Dans une inter­view accor­dée au maga­zine Forbes, Anas Dogui, entre­pre­neur et fon­da­teur de la start-up “Ima­geens”, spé­cia­li­sée dans les Dis­po­si­tifs Médi­caux, explique que le déve­lop­pe­ment de l'IA est la clé qui per­met­tra à la méde­cine d’être de plus en plus pré­dic­tive et per­son­na­li­sée [32].

En effet, face au besoin gran­dis­sant d’exploi­ter le nombre de plus en plus éle­vé de don­nées de San­té (Big Data), que l’Homme seul ne peut pas ana­ly­ser l’IA, trans­po­sable à tous les domaines, s’est impo­sée comme solu­tion de choix. Cette aug­men­ta­tion est une consé­quence indi­recte du déve­lop­pe­ment des tech­no­lo­gies de san­té (pro­to­cole d’imagerie, outils de monitorage…).

Si à ce stade des risques autres que ceux asso­ciés à l’IA n’ont pas été iden­ti­fiés pour ce type de méde­cine, des limites ont néan­moins été éta­blies pour [33]: 

- Chaque indi­vi­du, déter­mi­ner un sché­ma médi­cal lui étant propre. L’algorithme se fonde sur une base de don­nées ali­men­tée par une mul­ti­tude d'individus ;

- Assu­rer la fia­bi­li­té des recom­man­da­tions don­nées pour le sys­tème d’IA (cor­recte, ame­nant un apport posi­tif, sans biais …) ;

-  Tes­ter les sys­tèmes en condi­tions réelles sans entra­ver la san­té et la sécu­ri­té des patients (situa­tion réelle : appren­tis­sage concret de l’algorithme) ;

- L’identification des para­mètres ayant ame­né l’IA à tel rai­son­ne­ment (rela­tion cau­sale) et la jus­ti­fi­ca­tion des actions qu’elle recom­mande (indis­pen­sable pour la confiance déci­sion­nelle). Il fau­drait que l’IA ne fasse pas de simples associations/prédictions mais prennent en compte tous les fac­teurs ayant une influence (âge, dangerosité …).

Ces avis et ces inci­dents per­mettent donc de mettre en évi­dence un fait incon­tes­table : il existe des limites, l’utilisation de l’IA n’est pas sans règles. Chaque acteur qui inter­agit avec doit en prendre compte.

Exemples d’incidents

• Diag­nos­tic - Wat­son for Oncolongy

Inci­dents : Erreurs de juge­ment, mau­vaises et dan­ge­reuses recommandations 

Risque : Décès des patients

Limites : Exploi­ta­tion Des DATAS

Indi­ca­teurs : « Perte colos­sale de 62 Mil­lions de Dol­lars »

• Chi­rur­gie Robo­tique - Robot Da Vinci

Inci­dents : Décès des Patients 

Risques : Inci­dents répé­tés non détectés

Limites : For­ma­tion et Expé­rience du chi­rur­gienIndi­ca­teurs : « 144 décès en 2015 » (USA)

4.3 Limites de l’IA

La limite la plus « évi­dente » est celle de la res­pon­sa­bi­li­té : en cas de mau­vais diag­nos­tic, qui tenir res­pon­sable (l’Homme ou la machine) et quels argu­ments avan­cés en faveur de cha­cun ? Péna­le­ment, il n’est pas pos­sible de punir une machine, Quelque soit les argu­ments avan­cés, l’Homme sera-t-il tou­jours tenu pour res­pon­sable ? A l’heure actuelle, cette posi­tion est favorisée.

Concer­nant la déli­mi­ta­tion des rôles de cha­cun, il faut bien com­prendre qu’à la base, les sys­tèmes d’IA res­tent des outils d’aide. Ils ne doivent donc pas entra­ver le tra­vail des pro­fes­sion­nels qui l’utilisent et par consé­quent, les remplacer. 

Une autre limite est celle de la confiance : les patients ont-ils confiance en l’IA ? En son diag­nos­tic ? Si oui, jusqu’à quel point ? Qu’en est-il de leur rela­tion avec les pro­fes­sion­nels de san­té ? Sera-t-elle impactée ? 

D’après une étude publiée sur le site de MBAMCI (2019) non seule­ment « 88% des Fran­çais estiment ne pas être suf­fi­sam­ment infor­més des impacts et usages de l’IA » mais éga­le­ment seul « ¼ (…) est prêt à lui faire confiance si elle est uti­li­sée comme sup­port des méde­cins ». Cette notion de confiance est donc non négli­geable et doit être prise en compte par les acteurs de la san­té [34].

La notion d’éthique [35] : Pour main­te­nir une rela­tion humaine, l’introduction des sys­tèmes d’IA en San­té doit inté­grer des notions d’éthique lors de la prise en charge des patients. En sachant qu’il est pos­sible que les déci­sions prises par l’algorithme ne soient pas adap­tées, il est indis­pen­sable que, non seule­ment celui-ci com­prenne son fonc­tion­ne­ment mais éga­le­ment qu’il puisse expli­quer le pro­ces­sus de déci­sions entre­pris de façon claire et concise (obli­ga­tion déon­to­lo­gique, « le méde­cin doit pou­voir expli­quer à son patient le rai­son­ne­ment d’un diag­nos­tic », per­met­tant dans un même temps de ras­su­rer le patient).

Le cadre de régu­la­tion et les régle­men­ta­tions adop­tées auront une impor­tance majeure dans la tenue de cette notion d’éthique : régu­ler sans entraver.

Une limite toute aus­si impor­tante est celle de l’exploitation des don­nées : les don­nées recueillies ne l'ont pas été pour être uti­li­sées, en pre­mière inten­sion, de cette façon, et ne devraient donc pas for­cé­ment être toutes uti­li­sées. A cette limite peut s’ajouter la notion de consentement. 

L’échec du déve­lop­pe­ment de sys­tèmes IA utiles lors de la pan­dé­mie COVID-19, mal­gré la masse de don­nées récol­tées, en est la preuve même [36]. Mal­gré les nom­breux essais, les cher­cheurs n’ont pas réus­si à déve­lop­per des sys­tèmes d’IA per­met­tant d’aider les méde­cins à lut­ter contre la pan­dé­mie COVID-19 (en ana­ly­sant des images et en appor­tant un avis quant aux déci­sions à mener).

Là où les sys­tèmes IA auraient dû appor­ter leurs preuves, les échecs ful­gu­rants ont fait qu’elles se sont révé­lées inutiles : en rai­son des datas incon­nues, de basse qua­li­té voire même « cor­rom­pues » pour être uti­li­sées au déve­lop­pe­ment de ces outils. Sans comp­ter les cas où ces mêmes datas ont été uti­li­sées plu­sieurs fois par le même logi­ciel, avec des indi­ca­tions (scan­ner debout/assis) asso­ciées par les algo­rithmes à un niveau de gra­vi­té. Autre exemple où l’algorithme, ori­gi­nel­le­ment libre de juge­ment, a pris en compte l’avis des méde­cins ayant déli­vré le diag­nos­tic pour décla­rer le pronostic.

Ces limites imposent un fait impor­tant :  l’utilisateur prend appui sur l’IA qui doit res­ter un outil d’aide et non pas le sup­pléer (s’applique à l'établissement de san­té, avec la fonc­tion du soi­gnant). Dans cette optique, les for­ma­tions et l’expérience des opé­ra­teurs vont être d’une impor­tance clé. Les indus­triels eux devront s’assurer que les outils mis sur le mar­ché soit le plus fiable pos­sible pour limi­ter toute marge d’erreur asso­ciée à une défaillance des sys­tèmes en situa­tions réelles. Outre les inci­dents, le risque majeur est donc que ces limites ne soient pas respectées.

Pour faci­li­ter cette démarche indis­pen­sable, per­met­tant la sécu­ri­té d’emploi de ces outils sur le mar­ché, les indus­triels peuvent se repo­ser sur les sys­tèmes de loi exis­tant.

A l’échelle euro­péenne, en 2021 la Com­mis­sion Euro­péenne a publié une pro­po­si­tion de règle­ment visant à amé­lio­rer le fonc­tion­ne­ment du mar­ché inté­rieur de l’IA notam­ment en uni­for­mi­sant la sécu­ri­té pour répondre à l’intérêt géné­ral, la libre cir­cu­la­tion des ser­vices et bien par exemple, et ce,  sans  « res­tric­tions » impo­sées par les États membres.

Dans ce cadre, la par­tie sui­vante intro­dui­ra cette pro­po­si­tion, ses inté­rêts et pour­quoi il serait inté­res­sant qu’elle soit validée .

Partie II :  Exigences de l’IA en Santé en terme de sécurité associée à la réglementation européenne

1. La réglementation de l’IA en Europe dans la Santé

1.1 Acteurs de la réglementation IA en Europe

Le Conseil Européen

Mis­sions prin­ci­pales : 

Oriente et prio­rise les poli­tiques de l’UE, notam­ment les sujets non trai­tables à l’échelle intergouvernementale.

Com­po­si­tions : 

• Chefs d’État et de gou­ver­ne­ment des pays de l’UE

Le pré­sident du Conseil européen

Le pré­sident de la Com­mis­sion européenne

• La Com­mis­sion Européenne

Mis­sions principales :

Pro­mou­voir l'intérêt géné­ral de l'UE avec des pro­po­si­tions.

Veiller à l’appli­ca­tion de ces textes législatifs. 

Appli­quer les poli­tiques et le bud­get de l'UE.

Com­po­si­tions :

Direc­tion poli­tique : la pré­si­dente + « Col­lège » avec équipe de com­mis­saires (un par État membre) 

Gestion cou­rante des affaires de la Com­mis­sion : com­porte des ser­vices appe­lés « direc­tions géné­rales » (DG)

• Le Par­le­ment Européen

Mis­sions principales :

Com­pé­tences légis­la­tives, bud­gé­taires et de sur­veillance.

Com­po­si­tions :

Le pré­sident du parlement

705 dépu­tés (nombre de sièges variés selon chaque Etat Membre)

• Le Conseil de l’UE

Mis­sions principales :

Per­mettre de por­ter les voix direc­te­ment des Etats Membres de l’UE

Adop­ter la légis­la­tion et coor­don­ner les poli­tiques de l’UE.

Com­po­si­tions :

Ministres natio­naux, en fonc­tion des domaines poli­tiques trai­tés [37].

Le but de l’Union Euro­péenne (UE) est de coor­don­ner des déci­sions de divers domaines de manière una­nime entre les Etats Membres afin de pro­mou­voir les avan­cées et d’améliorer la cohé­sion des  États [38]. L’UE est struc­tu­rée par plu­sieurs orga­nismes, répar­ties de manière hié­rar­chique selon un sché­ma défi­ni, notam­ment dans le cadre d’une pro­po­si­tion (Figure 11).

Figure 11 : Acteurs principaux de l’Union Européenne entrant dans le cadre de la proposition (source : auteur). 

Dans cette situa­tion de pro­po­si­tion, les orga­nismes ont un rôle immi­nent et s’inscrivent dans un devoir de bien fondé :

• D’abord, le Conseil de l’Europe va sou­le­ver une thé­ma­tique avec une pro­blé­ma­tique qui, une fois réso­lue même par­tiel­le­ment, aura des avan­tages sur les citoyens euro­péens : exemple ici avec la régle­men­ta­tion de l’IA.
• La Com­mis­sion Euro­péenne se charge alors d’éta­blir une pro­po­si­tion, forte en argu­ments :  ici pour l’IA, elle sou­lève les termes de sécu­ri­té et leurs détails selon divers domaines. Elle va être appuyée notam­ment par le contrô­leur euro­péen de la pro­tec­tion européenne.
• Ensuite débute la lec­ture de la pro­po­si­tion : elle com­mence par le Par­le­ment euro­péen qui émet un avis sur cette der­nière et l’envoie au Conseil de l’UE. Si tous les 2 sont d' accord, alors il y a adop­tion de la demande. Dans le cas contraire, il y a jusqu'à 2 relec­tures pos­sibles à l’issue de quoi, un tiers inter­vient : il s’agit du comi­té de conci­lia­tion qui pren­dra la déci­sion finale.

Autre point à sou­li­gner, le nou­veau Règle­ment Euro­péen  2017/745 pour les Dis­po­si­tifs Médi­caux (DM) [39] et le nou­veau Règle­ment Euro­péen 2017/746 pour les Dis­po­si­tif de diag­nos­tic médi­cal in vitro (DMDIV) [40]:

• Mise en appli­ca­tion depuis mai 2021, ils restruc­turent la défi­ni­tion ini­tiale du DM en pré­ci­sant notam­ment l’inventaire des DM uti­li­sant de l’IA (cf. par­tie I) et leur classification.
• Encore nou­veau et assez com­pli­qué à réper­to­rier, il faut bien prendre en compte les divers caté­go­ries qui com­prennent de l’IA (Dis­po­si­tif Médi­cal Connec­té, logi­ciel, robots, bases de don­nées …). Le but étant de les clas­ser de la manière la plus pré­cise pos­sible selon leur risque. 
• Pour ces tech­no­lo­gies récentes, afin de les consi­dé­rer comme “solu­tion fonc­tion­nelle”, il en va de la res­pon­sa­bi­li­té des fabri­cants de consi­dé­rer le DM dans toute son inté­gri­té [41].

1.2 Acteurs de la réglementation en France

• L’ Agence Natio­nale de Sécu­ri­té des Médi­ca­ments et des pro­duits de San­té (ANSM)

A ce jour, l’ANSM apporte des avis de sécu­ri­té et de sur­veillance sur cer­tains pro­duits uti­li­sant l’IA et un dos­sier thé­ma­tique sur l’IA uti­li­sé durant la crise Covid-19 [42]. 

La posi­tion de l’ANSM face à la place de l’IA en San­té est qu’ “il n’est pas envi­sa­geable à ce jour de les (DM avec IA) inté­grer à cette clas­si­fi­ca­tion sans plus de pré­ci­sion sur la des­ti­na­tion (ou la reven­di­ca­tion) fixée par le fabri­cant de la solu­tion numé­rique. En effet, les logi­ciels et appli­ca­tions uti­li­sés dans le champ de la san­té ne relèvent pas tous du sta­tut de DM ou de DM DIV” [43].

L’ANSM sti­pule donc qu’il faut une éva­lua­tion au cas par cas pour chaque pro­duit uti­li­sant  une IA. Leur clas­si­fi­ca­tion de manière géné­rale ne pour­rait pas être béné­fique car elle ne pré­ci­se­rait pas toutes les spécificités/fonctionnalités de chaque produit. 

Il est à noter que dans le cadre d’une uti­li­sa­tion de solu­tion numé­rique, “le risque [...] n’est pas un cri­tère de qua­li­fi­ca­tion” [43]. A la dif­fé­rence des règle­ments euro­péens (cf par­tie II.a.), où le risque est un cri­tère fon­da­men­tal de clas­si­fi­ca­tion pour les DM et DMDIV (annexes VIII des règle­ments 2017/745 et 2017/746).

• La Haute Auto­ri­té de San­té (HAS) :

La mis­sion de la HAS est de faire pro­fi­ter au plus vite les patients de ces nou­velles tech­no­lo­gies. Cela passe par leur mis­sion pre­mière qu’est la prise en charge.Pour être trans­pa­rent envers les patients mais éga­le­ment envers les fabri­cants, il doit être connu com­ment sont éva­lués ces produits. 

En novembre 2020,  la HAS a tenu un webi­naire sur le thème “DM & Intel­li­gence  Intel­li­gence arti­fi­cielle : quelles spé­ci­fi­ci­tés pour l'évaluation ?” [44]. Par­mi les infor­ma­tions échan­gées, 2 grands axes ont été expli­qués : les prin­cipes de l’évaluation et les élé­ments spé­ci­fiques pour dépo­ser un dos­sier d’un DM com­pre­nant de l’IA. 

Pour les prin­cipes d’évaluation, inter­ve­nants après le mar­quage CE et sol­li­ci­tés par le fabri­cant [45] :

• La Com­mis­sion Natio­nale d’Evaluation des Dis­po­si­tifs Médi­caux et des Tech­no­lo­gies de San­té (CNEDIMTS) va éva­luer selon des cri­tères pré­cis toutes les infor­ma­tions appor­tées et réper­to­riées dans le dos­sier sou­mis pour la demande de rem­bour­se­ment. Si le rem­bour­se­ment est accep­té, il entre alors dans la Liste des Pro­duits et Pres­ta­tions Rem­bour­sés (LPPR).
• Le for­fait inno­va­tion pro­po­sé par la HAS peut être uti­li­sé pour tout fabri­cant qui juge son pro­duit comme “hors prise en charge de droit com­mun”. Pour autant, les cri­tères régle­men­taires sont les mêmes que ceux étu­diés pour un dos­sier “clas­sique”.
  • Exemple : à exclure de la prise en charge de droit com­mun les DM liés à l’IA à usage réser­vé aux pro­fes­sion­nels de san­té. Le for­fait d’innovation peut ain­si être utilisé.

Evi­dem­ment, tout DM n’ayant pas de fina­li­té médi­cale décla­rée n'entrent pas dans les DM sou­mis à cette éva­lua­tion (l’exemple concret est la montre connectée). 

Pour les élé­ments spé­ci­fiques du dos­sier d’un DM lié à l’IA :

• Il est néces­saire de pos­sé­der des infor­ma­tions spé­ci­fiques de ces tech­no­lo­gies pour appré­hen­der les fonc­tion­na­li­tés : les pro­cé­dés d’apprentissage auto­ma­tique (depuis entraî­ne­ment de don­nées) notamment.
• Une grille des­crip­tive de 42 items en 4 domaines clés a été adoptée : 
  • Fina­li­té d’usage : popu­la­tion visée, fonc­tion­ne­ment et emploi du DM ;
  • Don­nées : des­crip­tion don­nées d’entrée et de sor­tie, infor­ma­tions entraî­ne­ment pour l’IA
  • Modèle : type et moda­li­tés d’interventions de l’Homme
  • Carac­té­ris­tiques fonc­tion­nelles : consé­quences cli­niques et tech­niques avec la per­for­mance, la robus­tesse du sys­tème ou encore l’interprétabilité.

Cette grille se veut évo­lu­tive : aucune obli­ga­tion de rem­plir tous les champs si ceux-ci ne correspondent. 

Actuel­le­ment, dans le cas des dis­po­si­tifs avec IA, la HAS fait sou­vent appel à un cabi­net d’experts sur l’IA. Celui-ci est indé­pen­dant de tout inté­rêt et trans­pa­rent dans leurs consul­ta­tions. Cette aide per­met d’aborder les dos­siers sou­mis de la manière la plus juste possible. 

En février 2021, selon leur fina­li­té d’usage, la HAS a mis en ligne une clas­si­fi­ca­tion pour les solu­tions numé­riques uti­li­sées pour les soins médi­caux ou para­mé­di­caux. Elle se base sur 4 niveaux [43]:

• NIVEAU A : outil ser­vice sup­port soin et par­cours de soins
• NIVEAU B : outil infor­ma­tions géné­rales sur l’utilisateur, for­ma­tions et supports
• NIVEAU C : outil d’aide pour la pré­ven­tion, aide au quo­ti­dien ou encore pour le dépis­tage et les diagnostics.
• NIVEAU D : ges­tion auto­nome de la décision
• Règle­ment géné­ral sur la pro­tec­tion des don­nées (RGPD) :

Le RGPD est d’après, le règle­ment 2016/679, rela­tif à la “pro­tec­tion des per­sonnes phy­siques à l'égard du trai­te­ment des don­nées à carac­tère per­son­nel et à la libre cir­cu­la­tion de ces don­nées “ [46]. Il pré­sente en 11 cha­pitres les droits et obli­ga­tions en termes de sécu­ri­té et de trai­te­ment de don­nées, de trans­pa­rence d’autorités et de dispositions.

En France, c’est la Com­mis­sion Natio­nale de l'Informatique et des Liber­tés (CNIL) qui veille au res­pect du RGPD et accom­pagne l’innovation tout en pré­ser­vant les liber­tés individuelles.

2. La proposition du règlement européen sur l’IA

2.1 D’une réflexion éthique de l’UE à une proposition de règlement européen sur l’IA

Au cours des années, l'UE s'est de plus en plus foca­li­sée sur com­ment elle peut, dans le cadre de l'IA, assu­rer la pro­tec­tion de ses citoyens.

Dans cet axe, la Com­mis­sion Euro­péenne a rédi­gé un docu­ment sur les lignes direc­trices à res­pec­ter, en matière d’éthique, pour obte­nir une IA “digne de confiance” [47]. Pour qu’une IA soit “digne de confiance”, plu­sieurs droits fon­da­men­taux doivent être respectés :

• Le res­pect de l’autonomie humaine ;
• La pré­ven­tion de toute atteinte ;
• Équi­té ;
• Appli­ca­bi­li­té.

Ces droits peuvent être trans­po­sés en bonne pra­tique à adop­ter pour la concep­tion d’une IA : 

• L’action humaine et le contrôle humain ;
• La robus­tesse tech­nique et sécuritaire ;
• Le res­pect de la vie pri­vée et la gou­ver­nance des données ;
• La trans­pa­rence ;
• La diver­si­té, non dis­cri­mi­nante et l’équité ;
• Le bien-être social et environnemental ;
• La res­pon­sa­bi­li­té.

Dans la conti­nui­té de ces bonnes pra­tiques, la Com­mis­sion Euro­péenne pour­suit sa démarche en met­tant en œuvre un pro­jet de régle­men­ta­tion et d’actions en faveur de l’excellence et de la confiance dans l’IA.  

Le 21 Avril 2021 une pro­po­si­tion de règle­ment euro­péen sur l’IA a été publiée. 

Actuel­le­ment, la date de mise en vigueur du texte n’a pas été pré­ci­sée. Cepen­dant, dans le cas où la pro­po­si­tion serait vali­dée, le règle­ment ren­tre­rait en vigueur, 20 jours après la publi­ca­tion au Jour­nal Offi­ciel de l’Union Euro­péenne. Dans un deuxième temps, 12 mois après l’entrée en vigueur du texte, l’Article 71 cor­res­pon­dant aux sanc­tions en cas de non sui­vi du règle­ment sera appli­cable. Enfin, l’ensemble du règle­ment sera appli­cable 24 mois après la mise en vigueur (Figure 12). 

D’autre part, les sys­tèmes d’IA ayant déjà été mis sur le mar­ché devront res­pec­ter le règle­ment dans le cas d’une IA à haut risque. L’annexe III liste l’ensemble des IA qui sont consi­dé­rés par le règle­ment comme à haut risque. La Com­mis­sion euro­péenne se donne le droit de rééva­luer cette liste chaque année. Éga­le­ment, un rap­port d’évaluation devra être trans­mis par les Etats membres por­tant sur les inci­dents et les risques ren­con­trés par les IA mises sur le mar­ché. En consé­quence, une rééva­lua­tion du règle­ment pour­ra être envi­sa­gée. Ce rap­port et ce réexa­men inter­vien­dra dans les trois pre­mières années à par­tir de la mise en appli­ca­tion puis sera recon­duit tous les quatre ans [5]. 

Figure 12 : Frise chronologique récapitulative de la régulation de l’IA en Europe (source : auteurs).

2.2 Les objectifs du règlement

L’objectif de la Com­mis­sion euro­péenne en intro­dui­sant cette pro­po­si­tion de règle­ment est, outre l’enca­dre­ment de l’IA, de faire évo­luer le mar­ché inté­rieur au béné­fice de tous. En effet, la vitesse à laquelle elle évo­lue et ses nom­breuses décou­vertes et inno­va­tions font qu’il est fort pro­bable que, dans les années qui suivent, elle impacte une grande par­tie de la popu­la­tion mon­diale.

Dans sa pro­po­si­tion, la Com­mis­sion euro­péenne intro­duit le terme de « Règle Har­mo­ni­sée ». Celle-ci per­met d’expliciter à quel point il est impor­tant d’harmoniser les règles exis­tantes concer­nant les sys­tèmes d’ IA, leurs mani­pu­la­tions … dans la mesure où c’est une dis­ci­pline “rela­ti­ve­ment” inno­vante, évo­luant constam­ment et à laquelle les dif­fé­rents par­tis concer­nés ne peuvent que se réfé­rer. Pour lier les dif­fé­rents textes juri­diques euro­péens , de nom­breux amen­de­ments existent. Ils per­mettent de lier et de faire réfé­rence à d'autres règle­ments euro­péens existants. 

A noter qu’à ce jour, aucun amen­de­ment  sur la régle­men­ta­tion euro­péenne des DM 2017/745 ou des diag­nos­tics in vitro 2017/746 n’a été réa­li­sé.

Elle indique éga­le­ment qu’il fau­drait har­mo­ni­ser la légis­la­tion : le cadre juri­dique, exis­tant et à venir, défi­nit les termes impor­tants (sys­tèmes haut risque, intel­li­gence arti­fi­cielle…) et exprime l’importance d’avoir des don­nées qui per­mettent d’identifier com­ment fonc­tionnent ces IA. Cela a pour but qu’il n’y ait plus d'ambiguïté et qu’en cas de non-res­pect du règle­ment, les par­tis concer­nés puissent être sanctionnés. 

Cette pro­po­si­tion est un sup­port qui per­met d’intro­duire les enjeux et de don­ner confiance au pro­bable règle­ment en enca­drant l’IA et ses acteurs pour per­mettre une uti­li­sa­tion et un déve­lop­pe­ment en toute sécu­ri­té au sein de l’Union Euro­péenne [5].

2.3 Nouvelle Classification des Risques des systèmes d’IA

Dans le domaine de la San­té, les DM ont une place très impor­tante. Concer­nés par la nou­velle régle­men­ta­tion 2017/745 et 2017/746, les sys­tèmes d’IA cor­ré­lés aux DM sont clas­sés sys­tèmes à haut risque.

L’une des pro­blé­ma­tiques prin­ci­pales de cette pro­po­si­tion est de répondre à l’intérêt géné­ral de sécu­ri­té en pro­té­geant les inté­rêts et droits pro­té­gés par le droit de l’UE. 

En réa­li­sant, pour la pre­mière fois, une approche fon­dée sur les risques, la Com­mis­sion se dit vou­loir éta­blir les règles contrai­gnantes des sys­tèmes IA.

Dans ce contexte, il paraît per­ti­nent d’introduire la clas­si­fi­ca­tion de risques de l’IA et de défi­nir ce qu’est un sys­tème IA à haut risque, dans la mesure où le pro­jet de règle­ment les cible spécifiquement.

L’article 5 de la pro­po­si­tion intro­duit 4 niveaux de risque :

• Risque inac­cep­table : la Com­mis­sion euro­péenne inter­dit la mise sur le mar­ché, la mise en ser­vice et l’utilisation des sys­tèmes d’IA dont le niveau de risque les place comme menace impor­tante pour la sécu­ri­té, le droit des per­sonnes et les moyens de sub­sis­tance des indi­vi­dus et porte ain­si atteinte aux règles d’éthiques défi­nies par le Par­le­ment Européen.

Dans ce cadre sont notam­ment inter­dits les sys­tèmes d’IA qui éva­luent et classent les per­sonnes en fonc­tion de leurs carac­té­ris­tiques per­son­nelles et/ou per­sonnes entraî­nant un trai­te­ment préjudiciable.

• Risque éle­vé : L’utilisation de ce type de sys­tèmes d’IA est for­te­ment régle­men­tée. La Com­mis­sion euro­péenne intro­duit dans la pro­po­si­tion de règle­ment de nom­breuses règles et exi­gences. Le sys­tème d’IA, pour qu’il puisse cir­cu­ler et être uti­li­sé, doit avoir attes­té de sa confor­mi­té aux exi­gences qui le concerne.

Par­mi les nom­breuses exi­gences aux­quelles sont sou­mises les sys­tèmes d’IA, il faut que :

• Soit éta­bli et mis en œuvre la docu­men­ta­tion tech­nique, avant la mise sur le mar­ché et la main­te­nance d’un sys­tème de ges­tion de risque ;
• Soit enre­gis­tré dans la base de don­nées de l’UE, qui est éta­blie et gérée par la Com­mis­sion européenne ;
• L’évaluation de confor­mi­tés soit réa­li­sée par un tiers (ON) ;
• Des per­sonnes phy­siques aient reçu la res­pon­sa­bi­li­té de super­vi­ser le sys­tème IA au moment de sa mise sur le mar­ché et tout le long de sa période d’utilisation ;
• Le sys­tème d’IA ait un niveau appro­prié de robus­tesse, d’exactitude, de cyber­sé­cu­ri­té et de cohé­rence pour garan­tir sa sécu­ri­té (fac­teurs internes et externes).

La liste exhaus­tive des domaines uti­li­sant des sys­tèmes d’IA à haut risque com­prend les infra­struc­tures cri­tiques (sys­tèmes uti­li­sés comme com­po­sant de sécu­ri­té dans la ges­tion et l’exploitation des tra­fics rou­tiers, des éta­blis­se­ments de san­té) ou encore les sys­tèmes per­met­tant l’identification et le main­tien de l’ordre (iden­ti­fi­ca­tion bio­mé­trique à dis­tance « en temps réel »).

• Risque limi­té : Dans ce cadre, la Com­mis­sion euro­péenne pré­voit que les sys­tèmes d’IA appliquent des obli­ga­tions spé­ci­fiques en matière de trans­pa­rence. Il est indis­pen­sable que les uti­li­sa­teurs soient infor­més des risques poten­tiels engen­drés par leurs uti­li­sa­tions et que les conte­nus qu’ils consultent ont été géné­rés par des moyens auto­ma­ti­sés (docu­men­ta­tion et ins­truc­tion claires et concises).

• Risque minime : Vis-à-vis de la pro­po­si­tion, aucune res­tric­tion ou obli­ga­tion sup­plé­men­taire n’est pré­vue (conforme à la légis­la­tion déjà exis­tante). Cepen­dant puisque la majo­ri­té des sys­tèmes d’IA uti­li­sé au sein de l’UE appar­tient à cette caté­go­rie, la Com­mis­sion euro­péenne recom­mande (sur la base du volon­ta­riat) que les four­nis­seurs soient conformes aux exi­gences pour don­ner confiance en leurs systèmes.

Figure 13 : Les actions à mener en fonction du risque associé à l’utilisation des systèmes d’IA  (source : auteur) [5].

La défi­ni­tion des risques reste avant tout une volon­té de la Com­mis­sion Euro­péenne à pro­té­ger ces citoyens. En effet, dans le cadre de la san­té et du bio­mé­di­cal, il est impé­ra­tif que chaque acteur des DM ain­si que les patients puissent connaître les exi­gences sup­plé­men­taires et les modi­fi­ca­tions que cette pro­po­si­tion de règle­ment entraîne dans la concep­tion, l’exploitation, l’évaluation et la sécu­ri­té de l’IA. 

Dans ce contexte, une aide à la com­pré­hen­sion de ce règle­ment semble per­ti­nente [5].

La Com­mis­sion euro­péenne est consciente qu’il faut urgem­ment enca­drer l'usage de l’IA qui ne cesse de se déve­lop­per quel que soit le sec­teur auquel elle est appliquée.

De façon géné­rale, la pro­po­si­tion de règle­ment sur l’IA vise l'identification de la classe de risque des dis­po­si­tifs d’IA, à usage pro­fes­sion­nel, pour pou­voir les enca­drer par la suite. Le niveau de confor­mi­té aux exi­gences régle­men­taires deman­dé est le reflet du niveau de risque esti­mé : d'où la créa­tion d’une nou­velle clas­si­fi­ca­tion des risques. 

La pré­oc­cu­pa­tion majeure pro­vient des sys­tèmes à risques inac­cep­tables et éle­vés, rai­son pour laquelle ils sont for­te­ment détaillés dans ce texte. La pro­po­si­tion s’attarde par­ti­cu­liè­re­ment sur l’utilisation des sys­tèmes bio­mé­triques à dis­tance en temps réel dans des espaces acces­sibles au public. Consi­dé­rés comme des IA à risque éle­vé, elle men­tionne que leurs uti­li­sa­tions sont stric­te­ment régu­lées et auto­ri­sées à titre d’exception. 

A noter les domaines et champs d’activité ne sont pas trai­tés de façon égale, cer­tains (ex : sys­tèmes d’IA déve­lop­pés / uti­li­sés à visé uni­que­ment mili­taires) sont même omis. 

Peu d'éléments intro­duits dans ce texte régle­men­taire sont rela­tifs au sec­teur de la San­té :

-  Une gou­ver­nance ins­ti­tu­tion­nelle dési­gnée, faci­lite l’accès aux algo­rithmes, aux don­nées de san­té (entrai­ne­ment), sans dis­cri­mi­na­tion, tout en garan­tis­sant la sécu­ri­té et le res­pect de la vie pri­vée des patients concer­nés (consi­dé­rant 45) .

- Les enjeux du sec­teur font que les sys­tèmes de diag­nos­tic et d’assistance médi­cale doivent être fiables et pré­cis (consi­dé­rant 28).

D’où la dif­fi­cul­té de situer l’apport de ce texte dans ce domaine d’activité.

Par ailleurs, il n’est pas aisé de déter­mi­ner quelle clas­si­fi­ca­tion assi­gner aux sys­tèmes d’IA. En effet la liste (annexe III) qui désigne, par usage, les sys­tèmes IA à haut risque, n’est pas assez exhaus­tive. Celle-ci, devant être revue pro­chai­ne­ment, n’adresse en aucun cas l’usage des sys­tèmes IA à des fins médi­cales. Il est donc dif­fi­cile d’imaginer com­ment un fabri­cant pre­nant connais­sance de ce texte pour­rait  déter­mi­ner la classe de son système.

Partie III :  Les obligations européennes à respecter pour la sécurité du patient

1. Les exigences attendues pour chaque acteur

1.1 Exploitant, Mandataire, distributeur

Exigences mises en évi­dence par les dif­fé­rents textes de loi :

Outre la notion de risque, la Com­mis­sion euro­péenne dis­tingue les obli­ga­tions impo­sées selon le tiers qui la consulte dans le cadre des sys­tèmes d’IA consi­dé­rés à haut risque :

⇒  Four­nis­seurs : sont res­pon­sables de la mise en confor­mi­té de leurs sys­tèmes vis-à-vis des exi­gences impo­sées par le règle­ment et de la mise en œuvre d’un sys­tème de ges­tion de la qua­li­té. Ils doivent éta­blir et mettre à jour la docu­men­ta­tion tech­nique per­ti­nente et veiller au res­pect des obli­ga­tions concer­nant l’évaluation de la confor­mi­té et l’enregistrement, de l’initiative de prendre des mesures cor­rec­tives et de contac­ter / coopé­rer avec les auto­ri­tés com­pé­tentes quand nécessaire.

Exi­gence géné­rale (avant proposition)

• Réa­li­sa­tion d'essais de pro­duits et contrôle du res­pect de toute condi­tion impo­sée aux four­nis­seurs et en rap­port avec les déci­sions de cer­ti­fi­ca­tion, telle que l'obligation de mettre pério­di­que­ment à jour les don­nées cli­niques. Cela sera éva­lué par les Orga­nismes Noti­fiés périodiquement.
• Chaque cinq ans, les four­nis­seurs doivent démon­trer leurs pro­cé­dures de fabri­ca­tion et autres pro­ces­sus per­ti­nents par un audit sur place par l’Organisme Noti­fié. Cela afin de vali­der la confor­mi­té du produit.
• Au moins chaque douze mois, les four­nis­seurs doivent démon­trer le bon fonc­tion­ne­ment du Sys­tème de Mana­ge­ment de Qua­li­té, véri­fié avec un audit sur place par l’Organisme Noti­fié. De plus, il est néces­saire d’afficher l'application du plan de Sur­veillance Après Com­mer­cia­li­sa­tion.

⇒  Fabri­cants : éga­le­ment res­pon­sables de la conformité.

Exi­gence géné­rale (avant proposition)

• Le Règle­ment 2017/45 pré­cise que le fabri­cant doit :
• Attri­buer à son DM un IUD-ID 
• Enre­gis­trer son DM sur la liste EUDAMED
• Est res­pon­sable des démarches pour obte­nir le mar­quage CE (décla­ra­tion de confor­mi­té UE).
• S’assurer que son DM est conforme aux exi­gences qui le concerne et réa­li­ser les actions cor­rec­tives néces­saires si nécessaire. 
• Mettre en place un sys­tème de ges­tion de la qua­li­té per­met­tant, grâce à des pro­cé­dures, d’assurer un main­tien de la confor­mi­té de la production
• S’assurer qu’une docu­men­ta­tion tech­nique et un sys­tème de ges­tion des risques existe et soit régu­liè­re­ment tenue à jour.
• Pla­ni­fier, réa­li­ser et docu­men­ter l’évaluation cli­nique démon­trant les pro­prié­tés de son DM.
• En cas de risques graves, il a pour res­pon­sa­bi­li­té de pré­ve­nir les auto­ri­tés compétentes.

⇒ Tous Tiers : (dis­tri­bu­teurs, impor­ta­teurs…) met­tant un sys­tème d’IA sur le mar­ché ou en ser­vice, modi­fiant sa des­ti­na­tion ou y appor­tant une modi­fi­ca­tion sub­stan­tielle est sou­mis aux mêmes obli­ga­tions que les fournisseurs.

« Dis­tri­bu­teur », toute per­sonne phy­sique ou morale fai­sant par­tie de la chaîne d'approvisionnement, autre que le fabri­cant ou l'importateur, qui met un dis­po­si­tif à dis­po­si­tion sur le mar­ché, jusqu'au stade de sa mise en service.

« Impor­ta­teur », toute per­sonne phy­sique ou morale éta­blie dans l'Union qui met un dis­po­si­tif pro­ve­nant d'un pays tiers sur le mar­ché de l'Union.

« Man­da­taire », toute per­sonne phy­sique ou morale éta­blie dans l'Union ayant reçu et accep­té un man­dat écrit d'un fabri­cant, situé hors de l'Union, pour agir pour le compte du fabri­cant aux fins de l'accomplissement de tâches déter­mi­nées liées aux obli­ga­tions incom­bant à ce der­nier en ver­tu du pré­sent règlement.

Exi­gence géné­rale (avant proposition)

• Les tiers doivent véri­fier que le dis­po­si­tif porte le mar­quage CE, la décla­ra­tion de confor­mi­té UE et est éti­que­té avec la notice d'utilisation requise (IUD).
• Dans le cas où, le dis­po­si­tif pré­sente un risque grave ou/et est fal­si­fié, les tiers doivent infor­mer l'autorité com­pé­tente de l'État membre dans lequel ils sont établis. 
• Les tiers doivent véri­fier que le dis­po­si­tif est enre­gis­tré dans le sys­tème élec­tro­nique et ajoutent les coordonnées.
• Les tiers doivent assu­rer les condi­tions de sto­ckage ou de trans­port afin de ne  pas com­pro­mettre la conformité.
• Les tiers doivent four­nir un registre des récla­ma­tions, des dis­po­si­tifs non conformes et des rap­pels et retraits aux fabricants. 
• Les tiers doivent mettre en place les mesures cor­rec­tives pour garan­tir la confor­mi­té de pro­duit. Cela en coopé­ra­tion avec le fabricant.
• Les tiers doivent  éli­mi­ner ou, si ce n'est pas pos­sible, atté­nuer les risques pré­sen­tés par des pro­duits qu'ils ont mis sur le marché.
• Les tiers doivent dis­po­ser d'un sys­tème de ges­tion de la qua­li­té pré­voyant des pro­cé­dures qui garan­tissent que la tra­duc­tion des infor­ma­tions est fidèle et à jour
• Au cas où les tiers ont l'intention de mettre le dis­po­si­tif ré-éti­que­té ou recon­di­tion­né à dis­po­si­tion et le four­nir, ils doivent faire une demande, au fabri­cant et à l'autorité com­pé­tente (28 jours avant). 

Les tiers doivent atteindre un niveau appro­prié de tra­ça­bi­li­té des dispositifs.

⇒  Uti­li­sa­teurs : uti­li­sa­tion faite dans le res­pect des ins­truc­tions d’utilisation, s’assurent que les don­nées d’entrée sont per­ti­nentes et qu’en période de fonc­tion­ne­ment, les « résul­tats » sont conformes à ceux pré­vus par le fabricant.

En contre­par­tie, le règle­ment doit garan­tir des condi­tions de concur­rence équi­table quel que soit la pro­ve­nance des four­nis­seurs et leur sys­tème d’ IA.

Chaque acteur doit prendre en compte ces règles éta­blies de manière har­mo­ni­sée afin de par­ti­ci­per à la construc­tion d’une stra­té­gie euro­péenne qui se veut cohé­rente et gage de res­pect envers les liber­tés de droits fon­da­men­taux. Il en va pour tous les domaines qui sou­haitent uti­li­ser et exploi­ter cette tech­no­lo­gie. 

Le rap­pel de ces “obli­ga­tions” per­met de recon­tex­tua­li­ser les attentes pour chaque par­tie, dans le cadre d’un haut niveau de risque.

L’étude des anciens textes de loi, asso­ciée à cette pro­po­si­tion, per­met de mettre en avant les exi­gences à res­pec­ter pour chacun.

En étu­diant  le règle­ment (UE) 2017/745 qui rap­pelle les obli­ga­tions des acteurs de la vie d’un DM et le Code de la San­té Publique, il peut être consta­té que les exi­gences indi­quées dans la pro­po­si­tion sont un résu­mé de celles que ces deux textes ont détaillé [39], [48], [49].

1.2 Professionnel de la Santé (Médecin, Ingénieur Biomédical, Établissement de Santé)

L’accélération des pro­grès tech­no­lo­giques liés à l'IA, du Big Data et de la robo­tique se tra­duit par de nou­velles inter­ro­ga­tions éthiques et exige de poser de nou­veaux repères en matière d’usage.

Les ques­tions de vie pri­vée, de pro­tec­tion des don­nées et de maî­trise des don­nées per­son­nelles prennent une nou­velle dimen­sion, de même que les res­pon­sa­bi­li­tés asso­ciées à des déci­sions prises par des machines. 

Exi­gences spé­ci­fiques aux acteurs exploi­tant des sys­tèmes d’IA :

Méde­cin : Le méde­cin doit être for­mé à l’utilisation d’un Dis­po­si­tif Médi­cal basé sur l'Intelligence Arti­fi­cielle. Il doit être vigi­lant au res­pect des droits du patient lorsqu’il envi­sage d’utiliser un dis­po­si­tif d’IA. Il doit éga­le­ment expli­quer clai­re­ment au patient qu'il a recours à une Intel­li­gence Arti­fi­cielle. Il est essen­tiel de conser­ver pour objec­tif le libre choix des indi­vi­dus en s’assurant des capa­ci­tés de l’utilisateur à faire un choix. 

Le méde­cin doit être capable de por­ter un regard cri­tique sur les ana­lyses, les résul­tats et les recom­man­da­tions four­nis par ces dis­po­si­tifs pour évi­ter les risques liés à l’IA. 

L’utilisation des don­nées per­son­nelles des patients doit être effec­tuée dans le res­pect du secret pro­fes­sion­nel et du règle­ment géné­ral sur la pro­tec­tion des données. 

Ingé­nieur bio­mé­di­cal : Une des mis­sions de l’ingénieur bio­mé­di­cal est de pro­po­ser les bons équi­pe­ments aux bons ser­vices. Lorsque ces der­niers sou­haitent cer­tains types de dis­po­si­tifs uti­li­sant de l’IA, la vigi­lance est de mise, notam­ment sur les aspects de cyber­sé­cu­ri­té et fonc­tion­ne­ment du dis­po­si­tif ][50], [51]. Il est donc essen­tiel de maî­tri­ser les notions d’Intelligence Arti­fi­cielle et de se tenir infor­mé de manière conti­nuelle sur l’aspect de sécu­ri­té des don­nées et les per­for­mances de chaque dis­po­si­tif sou­hai­té. Une coor­di­na­tion est néces­saire avec le ser­vice infor­ma­tique de l’hôpital pour gérer ces aspects.

L’AFIB (Asso­cia­tion Fran­çaise des Ingé­nieurs Bio­mé­di­caux) a pré­sen­té en décembre 2020 un webi­naire sous forme de cinq recom­man­da­tions pour la sécu­ri­té numé­rique des équi­pe­ments bio­mé­di­caux [52] :

• Inté­gra­tion de la sécu­ri­té numé­rique dans les pro­cé­dures d’acquisition : pour cela, l’AFIB pro­pose un ques­tion de 160 ques­tions rela­tives aux confor­mi­tés de régle­men­ta­tion à des­ti­née des fournisseurs ;
• Défi­ni­tion de la col­la­bo­ra­tion dans les éta­blis­se­ments de san­té : des points de vigi­lance mis en avant par l’AFIB sont pro­po­sés afin de créer une col­la­bo­ra­tion entre la Direc­tion des Sys­tèmes d’Information (DSI) pour les achats, les ins­tal­la­tions et la maintenance ;
• Assu­rance de la sécu­ri­té des équi­pe­ments bio­mé­di­caux : véri­fi­ca­tion du res­pect du mar­quage CE ou encore de la ges­tion de la sécu­ri­té des connexion pour la bonne maî­trise des dispositifs ;
• Défi­ni­tion de la cri­ti­ci­té des équi­pe­ments bio­mé­di­caux : pro­po­si­tion de l’AFIB sous forme d’une nota­tion de vul­né­ra­bi­li­té infor­ma­tique en 10 points, trai­tant de la ques­tion sur le code d’accès sécu­ri­té à la réa­li­sa­tion de tests d’intrusion.
• Action rapide en cas de cybe­rat­taque : en se basant sur l’Agence Natio­nale de la Sécu­ri­té des Sys­tèmes d’Information (ANSSI), des avis ont été émis comme ne pas débran­cher le réseau ou encore s’assurer de bien signa­ler les inci­dents. L’AFIB recom­mande en aval de ces avis des for­ma­tions en interne.

Éta­blis­se­ments de san­té : Les éta­blis­se­ments de san­té doivent sécu­ri­ser leurs réseaux infor­ma­tiques pour faire face aux cybe­rat­taques. Chaque éta­blis­se­ment de san­té doit dési­gner un cor­res­pon­dant local de maté­rio­vi­gi­lance. 

Les exi­gences par acteur

• Méde­cin 

• Code de déon­to­lo­gie médi­cale : Rela­tion méde­cin-patient avec 
  • Article 2 : Res­pect de la vie et de la digni­té de la personne.
  • Article 4 : Secret professionnel 
• Ser­ment d’Hippocrate : Res­pect de la vie humaine. 
• Code de la san­té publique : Article L1110-4 ⇒ Res­pect de la vie pri­vée et du secret des informations. 
• Code de la san­té publique : Article L4001-3  ⇒ Le pro­fes­sion­nel de san­té qui décide d'utiliser, pour un acte de pré­ven­tion, de diag­nos­tic ou de soin, un dis­po­si­tif médi­cal com­por­tant un trai­te­ment de don­nées algo­rith­mique dont l'apprentissage a été réa­li­sé à par­tir de don­nées mas­sives s'assure que la per­sonne concer­née en a été infor­mée et qu'elle est, le cas échéant, aver­tie de l'interprétation qui en résulte.

• Ingé­nieur biomédical

• Cyber­sé­cu­ri­té - Ser­vice Informatique
• Lien avec les four­nis­seurs de DM uti­li­sant l’IA
• Audit pour la sur­veillance du parc biomédical
• Connais­sance des risques et vulnérabilités

- Éta­blis­se­ment de santé 

• Règle­ment Géné­ral sur la Pro­tec­tion des Don­nées (RGPD)
• Code de la San­té publique :  R.5212-12 (Maté­rio­vi­gi­lance) 
• Agence natio­nale de la sécu­ri­té des sys­tèmes d'information

Figure 14 :  Obligations à respecter par les professionnels de la santé (Source : auteur)

1.3 Investigation : Retour Terrain 

Pour avoir un retour reflé­tant la situa­tion sur le ter­rain, deux types d’investigation ont été réalisées.

L’une, à des­ti­na­tion des fabri­cants, s’est dérou­lée sous forme d’interview réa­li­sée auprès de deux entre­prises ayant répon­du posi­ti­ve­ment aux sol­li­ci­ta­tions par mails du groupe. Les ques­tions posées ont été adap­tées en fonc­tion des réponses déli­vrées par les inter­viewés. L’objectif était de déter­mi­ner, dans un pre­mier temps, les exi­gences que res­pectent les fabri­cants pour leurs DM et dans un second temps, d’évaluer leur niveau de connais­sances sur la nou­velle pro­po­si­tion et leurs avis sur celle-ci, notam­ment sur l’impact que sa mise en appli­ca­tion aurait poten­tiel­le­ment sur leurs activités.

La seconde, à des­ti­na­tion des exploi­tants, a per­mis, au moyen d’un ques­tion­naire, dis­tri­bué à une sélec­tion de par­ti­ci­pants, d’évaluer leurs niveau de connais­sances, leurs inté­rêts, res­sen­tis et attentes envers les sys­tèmes d’IA, notam­ment en termes de niveau de sécu­ri­té et de confiance. 

Il a ain­si été pos­sible de se ren­sei­gner sur le regard que porte actuel­le­ment le per­son­nel soi­gnant sur ces tech­no­lo­gies d’IA en pleine émergence.

Point de vue des Fabricants :

Entre­prise : A

Dis­po­si­tif : Logi­ciel d’analyse de radio­gra­phies traumatiques 

⇒ Classe IIa ; uti­li­sa­tion à court terme 

Régle­men­ta­tions 

France : 

• RDM 2017/745 ;
• Norme 13485 (SMQ) ;
• Norme 27001 (cyber­sé­cu­ri­té) ; 
• RGPD ;
• DPA = décla­ra­tion sous traitant ;
• Notions de bioé­thique (Loi);

Etats-Unis : 

• Pri­va­cy by design ;
• Confor­mi­té IPA ; 
• FDA.

Connais­sance  de la proposition

• Aucune connais­sance sur la nou­velle proposition.
• Infor­ma­tion syn­thé­ti­sée appor­tée par le groupe de projet.

Avis sur la proposition

• Ques­tion­ne­ment sur l'intérêt de la proposition.
• Avis miti­gés sur l’apport ame­né par la pro­po­si­tion dans le cadre des acti­vi­tés du dispositif.
• La pro­ba­bi­li­té que la socié­té et le DM soient impac­tés par cette pro­po­si­tion semble  faible : pro­po­si­tion très géné­rique, la San­té est à peine citée.

Entre­prise : B

Dis­po­si­tif : Pla­te­forme de co-créa­tion & dis­tri­bu­tion d’algorithme médi­cal dans le sec­teur de l'imagerie 

⇒ Classe IIa

Régle­men­ta­tions 

France :

• RDM 2017/745 ;
• RGPD ;
• ISO 14971 (ges­tion des risque) ;
• ISO 13485 (SMQ) ;
• EN 62304 ;

Régle­men­ta­tion notam­ment aus­si en Suisse (Pour Keros). 

Connais­sance  de la proposition

Prise de connais­sance de la nou­velle pro­po­si­tion : → Char­gé d’affaires à lu le texte et par­ti­ci­per à un évé­ne­ment d’information dessus 

→ Par­ti­ci­pe­ra pro­chai­ne­ment à un groupe de tra­vail orga­ni­sé  par le SNITEM.

Avis sur la proposition

Néces­si­té d’apporter de la cla­ri­fi­ca­tion sur la défi­ni­tion de DM à haut risque → pour pou­voir éva­luer les DM concer­nés par cette nou­velle clas­si­fi­ca­tion des risques.

Char­gé d’affaires régle­men­taire estime que le logi­ciel devrait être consi­dé­ré comme un sys­tème à haut risque → diver­gence de  niveau en fonc­tion du règle­ment 2017/745 et pro­po­si­tion de loi =  est-ce que les niveaux/classes de risques vont s’accorder ? Si oui, éta­blir une adap­ta­tion des moda­li­tés d’évaluation des DM ? 

Ques­tion­ne­ment sur la pertinence : 

→ Majo­ri­té des élé­ments cités dans la pro­po­si­tion retrou­vée dans le règle­ment (= >90% exi­gé l’entreprise le fait déjà)

→ Régle­men­ta­tion pour le sec­teur médi­cal déjà très robuste. Pro­po­si­tion n’apporte pas de nou­vel élé­ment (exi­gences, infor­ma­tions…) [51] 

→ Mise en place  d’un sys­tème paral­lèle d'appel vigi­lance spé­ci­fique aux logi­ciels  = redon­dance (pro­cé­dure de décla­ra­tion à l’ANSM ample­ment satisfaisant)

Inquié­tude : 

Vali­da­tion double audit par ON dif­fé­rents (un pour la régle­men­ta­tion et un spé­ci­fique au logi­ciel  IA ) (nou­veaux ON accrédités)

Impact sur les acti­vi­tés de l’entreprise : pro­po­si­tion vue comme une perte de temps et d’argent.

Ana­lyse : 

A tra­vers ces retours, une visua­li­sa­tion du situa­tion ter­rain pro­fes­sion­nel et des échanges per­ti­nents ont pu être éta­blis. L’IA à toute sa place dans le sec­teur de la San­té Fran­çais, ces inter­views ont été déter­mi­nantes pour com­prendre les enjeux et l’évolution de ces tech­no­lo­gies au sein du territoire.

Il est rap­pe­lé que la pro­po­si­tion ne men­tionne aucu­ne­ment com­ment clas­ser les sys­tèmes d’IA du sec­teur médi­cal. Dans la mesure où la clas­si­fi­ca­tion du Règle­ment 2017/745, intro­dui­sant les exi­gences à res­pec­ter en fonc­tion du niveau de dan­ge­ro­si­té du dis­po­si­tif, classe les logi­ciel d’IA (aide/assistance au diag­nos­tic) comme dis­po­si­tif de classe II à III, il est fort pro­bable que les logi­ciels de diag­nos­tic soit clas­sé comme dis­po­si­tif médi­cal de risque modé­ré à élevé. 

Hors l’absence du domaine médi­cal dans l’annexe III impli­que­rait qu’il soit tous consi­dé­rés comme dis­po­si­tif à risque modé­ré : pas per­ti­nent aux vues des exi­gences deman­dées par les autorités. 

Le res­pect d’un nombre éle­vé d'exigences est deman­dé aux fabri­cants pour pou­voir libé­rer leur pro­duit sur le mar­ché. Garan­tir la sécu­ri­té d’usage et la per­for­mance pour le bien des patients est une obli­ga­tion majeure que res­pectent déjà les industriels.

Cette pro­po­si­tion apporte au final quelques inconvénients : 

• Les exi­gences émises par la pro­po­si­tion en termes de clas­si­fi­ca­tion des risques devraient s’accorder à celles dic­tées dans les règle­ments 2017/745 et 2017/746 pour faci­li­ter sa com­pré­hen­sion et sa trans­po­si­tion aux autres textes réglementaires.
• La mise en place d’audit dédié aux logi­ciels d’IA à haut risque : double audit (ON spé­cia­li­sé IA à haut risque ?) ou ON dédiés aux logi­ciels d’IA éva­luant tous les aspects régle­men­taires exi­gé quel que soit le niveau de risque.

Un point inté­res­sant, qui sera par la suite déve­lop­pé à tra­vers un outil inter­ac­tif, reste néan­moins que la pro­po­si­tion per­met d’apporter de la cohé­rence en syn­thé­ti­sant les obli­ga­tions que chaque acteur doit res­pec­ter et qu’avec une nou­velle clas­si­fi­ca­tion des risques cette pro­po­si­tion cherche à mieux enca­drer les sys­tèmes d’IA, en par­ti­cu­lier ceux à haut risque, dont le dan­ger est plus élevé. 

Ces élé­ments démontrent l'intérêt gran­dis­sant que porte l’Union Euro­péenne, qui a conscience que la tech­no­lo­gie de l’IA se déve­loppe rapi­de­ment : pro­jet de créa­tion du comi­té euro­péen de l’Intelligence Arti­fi­cielle (CEIA) char­gé de “stimu­ler l’élaboration des normes sur l’IA”. 

Les actions qu’elle effec­tue pour créer un envi­ron­ne­ment pro­pice à son déve­lop­pe­ment (libre cir­cu­la­tion cor­ré­lé à la sécu­ri­té d’usage et la pro­tec­tion des don­nées notam­ment) vise à la rendre lea­der mon­diale. Elle n’hésite pour cela pas à accom­pa­gner les fabri­cants et à sou­te­nir les sys­tèmes inno­vants conformes aux valeurs et aux prin­cipes reven­di­qués par l’union euro­péenne (“Bac à sable régle­men­taire, accom­pa­gne­ment de la CNIL…) [54].

2. Développement d’un outil facilitant le respects des exigences imposées aux différents acteurs

Au fil de ce pro­jet, il est appa­ru néces­saire d’établir un outil PDF inter­ac­tif ayant pour objec­tif d’expliciter le lien entre la pro­po­si­tion de régle­men­ta­tion euro­péenne sur l’IA et le sec­teur de la santé. 

En plus d’introduire les apports ame­nés par celle-ci, en expli­ci­tant notam­ment son conte­nu, le docu­ment inter­ac­tif se veut simple d’utilisation et infor­ma­tif de façon à ce qu’un lec­teur néo­phyte puisse com­prendre ins­tinc­ti­ve­ment les notions de base à ce sujet. 

Ce docu­ment inter­ac­tif, à l’instar des autres livrables de ce pro­jet, est dis­po­nible sur la pla­te­forme “Tra­vaux Mas­ter UTC”, acces­sible via le lien DOI indi­qué en bas de page. 

Conclusion

La mul­ti­tude de domaines aux­quels l’IA peut être appli­quée et son contexte évo­lu­tif ont don­né lieu à une réflexion de l’Union Euro­péenne sur sa régle­men­ta­tion : for­mu­la­tion d’une pro­po­si­tion de règle­ment euro­péen sur l’IA visant à la fois à son déve­lop­pe­ment et à la pro­tec­tion des citoyens. 

L’état de l’art a mon­tré qu’actuellement, la régle­men­ta­tion en appli­ca­tion et la pro­po­si­tion actuelle ne fai­sait pas de dis­tinc­tions pré­cises sur les dif­fé­rents sec­teurs d’activités pou­vant uti­li­ser l’IA. 

De plus, la pro­po­si­tion de régle­men­ta­tion, très géné­rale, n’impose pas de règles par­ti­cu­lières pour le domaine de la San­té. Cette géné­ra­li­té régle­men­taire pour­rait être une dif­fi­cul­té pour l’évaluation et la sur­veillance des IA de Santé. 

Le déve­lop­pe­ment de nou­veaux outils et de plans d’action par les auto­ri­tés com­pé­tentes devient donc néces­saire pour amé­lio­rer la com­pré­hen­sion. Le but étant que chaque acteur de la San­té puisse iden­ti­fier ses droits et ses devoirs dans le cas où la pro­po­si­tion de régle­men­ta­tion euro­péenne serait appliquée. 

Dans ce contexte, il n'est pas éton­nant que cer­tains indus­triels émettent des avis diver­gents face à cette pro­po­si­tion : cette pro­po­si­tion de régle­men­ta­tion semble repré­sen­ter un poids en plus à porter. 

Il est à noter qu’il serait inté­res­sant de réa­li­ser une inves­ti­ga­tion à plus grande échelle, incluant notam­ment les acteurs uti­li­sant les sys­tèmes d’IA, pour avoir leurs retours sur la régle­men­ta­tion en place et leurs avis sur le niveau d’exigence qu’ils pensent impac­tant, béné­fi­que­ment ou pas, sur les patients.

Dans tous les cas, dans la mesure où cette pro­po­si­tion n’a pas encore été vali­dée, de nom­breuses modi­fi­ca­tions sont encore pos­sibles. Et même si la pro­po­si­tion venait à être refu­sée au vu du fort engoue­ment que l’UE porte sur le sujet, il est fort pro­bable que dans les années à venir, de nou­veaux textes régle­men­taires viennent assis­ter son exploi­ta­tion.

Références bibliographiques

[1]    M. Zouinar, “Évolutions de l’Intelligence Artificielle : quels enjeux pour l’activité humaine et la relation Humain‑Machine au travail ?,” Activités, no. 17–1, Art. no. 17–1, Apr. 2020, doi : https://doi.org/10.4000/activites.4941.

[2]    A. Olivier, “Intelligence artificielle : que fait l’Union européenne ?,” Touteleurope.eu, Aug. 02, 2021. https://www.touteleurope.eu/economie-et-social/intelligence-artificielle-que-fait-l-union-europeenne/ (accessed Oct. 11, 2021).

[3]    “Clearview AI | The World’s Largest Facial Network,” Clearview AI. https://www.clearview.ai (accessed Dec. 15, 2021).

[4]    Le Figaro avec AFP, “Reconnaissance faciale : un groupe d’ONG attaque Clearview AI dans cinq pays européens,” LE FIGARO, May 27, 2021. Accessed : Oct. 11, 2021. [Online]. Available : https://www.lefigaro.fr/flash-eco/reconnaissance-faciale-un-groupe-d-ong-attaque-clearview-ai-dans-cinq-pays-europeens-20210527

[5]    “Proposition (UE) 2021/0106(COD) de Règlement du Parlement Européen et du Conseil établissant les règles harmonisées concernant l’Intelligence Artificielle (Législation sur l’Intelligence  artificielle) et modifiant certains actes législatifs de l’Union,” Commission Européenne, https://eur-lex.europa.eu, Apr. 2021.

[6]    M. Hossam, “Deep Learning ou Apprentissage Profond : qu’est-ce que c’est ?,” Formation Data Science | DataScientest.com, Sep. 28, 2020. https://datascientest.com/deep-learning-definition (accessed Nov. 05, 2021).

[7]    S. J. Russell, P. Norvig, E. Davis, and D. Edwards, Artificial intelligence : a modern approach, Third edition, Global edition. Boston Columbus Indianapolis New York San Francisco Upper Saddle River Amsterdam Cape Town Dubai London Madrid Milan Munich Paris Montreal Toronto Delhi Mexico City Sao Paulo Sydney Hong Kong Seoul Singapore Taipei Tokyo : Pearson, 2016.

[8]    G. Issenhuth and O. Samyn, “Intelligence artificielle : un cadre règlementaire adapté ? | Cabinet d’avocats d’affaires parisien indépendant | Lmt Avocats,” Mai 2018. https://www.lmtavocats.com/intelligence-artificielle-un-cadre-reglementaire-adapte-613 (accessed Nov. 30, 2021).

[9]    “Le marché de l’IA et son périmètre:,” SAY, vol. N° 5, no. 3, pp. 144–145, Jun. 2021, doi : https://doi.org/10.3917/say.005.0144.

[10]    Artificial intelligence, blockchain and the future of Europe : How disruptive technologies create opportunities for a green and digital economy. European Investment Bank, 2021. doi : https://www.doi.org/10.2867/126279.

[11]    Atawao consulting, Ed., Intelligence artificielle : état de l’art et perspectives pour la France rapport final. Ivry-sur-Seine : DGE, Direction générale des entreprises, 2019.

[12]    Bpifrance, “E-santé : vers un marché de 234,5 milliards de dollars,” Bpifrance, Aug. 11, 2019. https://www.bpifrance.fr/nos-actualites/e-sante-vers-un-marche-de-2345-milliards-de-dollars (accessed Nov. 02, 2021).

[13]    “Plan HealthTech : état des lieux et pistes d’évolution pour les biotech françaises,” BpiFrance, avril 2021. https://www.bpifrance.fr/nos-actualites/plan-healthtech-etat-des-lieux-et-pistes-devolution-pour-les-biotech-francaises (accessed Nov. 02, 2021).

[14]    “Le marché de l’IA et son périmètre:,” SAY, vol. N° 5, no. 3, pp. 144–145, Jun. 2021, doi : https://doi.org/10.3917/say.005.0144.

[15]    M. Néme, “Panorama des startups santé françaises utilisant l’IA,” BpiFrance, juillet 2020. https://lehub.bpifrance.fr/panorama-startups-sante-francaises-ia/ (accessed Nov. 02, 2021).

[16]    M. Matheny, D. Whicher, and S. T. Israni, Eds., Artificial Intelligence in Health Care : The Hope, the Hype, the Promise, the Peril A Special Publication from the National Academy of Medicine. National Academy of Medicine, 2020. Accessed : Nov. 05, 2021. [Online]. Available : https://ehealthresearch.no/files/documents/Rapporter/Andre/2019-12-AI-in-Health-Care.pdf

[17]    “LES HUG UTILISENT L’OUTIL WATSON FOR GENOMICS® D’IBM POUR CONTRIBUER À DES SOINS ONCOLOGIQUES PLUS PERSONNALISÉS,” Hôpitaux universitaires de Genève (HUG), Sep. 11, 2019. [Online]. Available : https://www.hug.ch/sites/interhug/files/presse/2019.09.11_cp_hug_utilisent_ibm_watson_for_genomics.pdf

[18]    “IDx-DR,” Digital Diagnostics. https://www.digitaldiagnostics.com/products/eye-disease/idx-dr/ (accessed Nov. 05, 2021).

[19]    “The first-ever autonomous diagnostic AI system is started. Defines a severe form of diabetes.,” TAdviser.ru, Apr. 2018. https://tadviser.com/index.php/Product:IDx-DR_(the_device_for_diagnostics_of_sight) (accessed Nov. 05, 2021).

[20]    “QCovid^TM risk calculator,” University of Oxford. https://qcovid.org/ (accessed Nov. 05, 2021).

[21]    “Relational Agent for Mental Health,” Woebot Health. https://woebothealth.com/ (accessed Nov. 05, 2021).

[22]    R. Scott White, “When Will Artificial Intelligence Be Good Enough To Help Prevent Suicides ? | by Randall Scott White | Medium,” Medium, Nov. 12, 2017. https://medium.com/@RandyWhitePDX/when-will-artificial-intelligence-be-good-enough-to-help-prevent-suicides-1f4d1fa21048 (accessed Nov. 05, 2021).

[23]    “The First in Digital Laparoscopy | Senhance Surgical System.” https://www.senhance.com/us/digital-laparoscopy (accessed Nov. 05, 2021).

[24]    “Technologie d’assistance motrice robot,” Le Neuro Groupe. https://www.leneurogroupe.org/copie-de-template-fiche-methode (accessed Nov. 05, 2021).

[25]    “Lokomat®Nanos - Système de rééducation démarche by Hocoma | MedicalExpo,” Medical Expo. https://www.medicalexpo.fr/prod/hocoma/product-68750-575453.html (accessed Nov. 05, 2021).

[26]    “RISQUE : Définition de RISQUE,” Centre National de Ressources Textuelles et Lexicales. https://www.cnrtl.fr/definition/risque (accessed Nov. 05, 2021).

[27]    “Comment définir le risque ? | Ineris,” INERIS. https://www.ineris.fr/fr/risques/est-risque/comment-definir-risque (accessed Nov. 05, 2021).

[28]    R. for Ai, “IBM Watson cancer is frequently misdiagnosed, is Artificial Intelligence healthcare really reliable?,” Ready For AI, Aug. 14, 2018. https://readyforai.com/article/ibm-watson-cancer-is-frequently-misdiagnosed-is-artificial-intelligence-healthcare-really-reliable/ (accessed Nov. 05, 2021).

[29]    “Stories of AI Failure and How to Avoid Similar AI Fails,” Lexalytics, Jan. 30, 2020. https://www.lexalytics.com/lexablog/stories-ai-failure-avoid-ai-fails-2020 (accessed Nov. 05, 2021).

[30]    H. Alemzadeh, R. K. Iyer, Z. Kalbarczyk, N. Leveson, and J. Raman, “Adverse Events in Robotic Surgery : A Retrospective Study of 14 Years of FDA Data,” PLoS ONE, vol. 11, no. 4, p. e0151470, Apr. 2016, doi : https://www.doi.org/10.1371/journal.pone.0151470.

[31]    “LE ROBOT DA VINCI XI DESORMAIS UTILISÉ EN CHIRURGIE PEDIATRIE | CHU Dijon Bourgogne,” CHU Dijon Bourgogne, Jun. 29, 2021. https://www.chu-dijon.fr/actualites/2021/06/29/robot-da-vinci-xi-desormais-utilise-chirurgie-pediatrie (accessed Nov. 05, 2021).

[32]    “L’intelligence artificielle, acteur majeur de la médecine du futur,” Forbes France, May 26, 2021. https://www.forbes.fr/business-inside-tv/lintelligence-artificielle-acteur-majeur-de-la-medecine-du-futur/ (accessed Nov. 05, 2021).

[33]    N. J. Schork, “Artificial Intelligence and Personalized Medicine,” in Precision Medicine in Cancer Therapy, vol. 178, D. D. Von Hoff and H. Han, Eds. Cham : Springer International Publishing, 2019, pp. 265–283. doi : https://www.doi.org/10.1007/978-3-030-16391-4_11.

[34]    M. Y. Belmahi, “Intelligence Artificielle en santé ; Mais quelles sont ses limites ?,” MBA MCI, Nov. 29, 2019. https://mbamci.com/intelligence-artificielle-en-sante-mais-quelles-sont-ses-limites-yazid-belmahi/ (accessed Nov. 05, 2021).

[35]    P. Monier, “Intelligence Artificielle et santé : entre performance et éthique,” https://ordiges.fr/. https://ordiges.fr/lintelligence-artificielle-sante-performance-ethique/ (accessed Nov. 05, 2021).

[36]    W. Douglas, “Hundreds of AI tools have been built to catch covid. None of them helped.,” MIT Technology Review, Jul. 30, 2021. https://www.technologyreview.com/2021/07/30/1030329/machine-learning-ai-failed-covid-hospital-diagnosis-pandemic/ (accessed Nov. 05, 2021).

[37]    Anonymous, “Institutions et autres organes de l’UE,” Union Européenne, Jun. 16, 2016. https://europa.eu/european-union/about-eu/institutions-bodies_fr (accessed Nov. 04, 2021).

[38]    “L’UE en bref | Union Européenne,” Institutions de l’Union européenne. https://europa.eu/european-union/about-eu/eu-in-brief_fr (accessed Nov. 04, 2021).

[39]    “Règlement (UE) 2017/745 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux, modifiant la directive 2001/83/CE, le règlement (CE) n° 178/2002 et le règlement (CE) n° 1223/2009 et abrogeant les directives du Conseil 90/385/CEE et 93/42/CEE (Texte présentant de l’intérêt pour l’EEE. ),” Journal officiel de l’Union européenne, https://eur-lex.europa.eu, May 2017. [Online]. Available : http://data.europa.eu/eli/reg/2017/745/oj/fra

[40]    “Règlement (UE) 2017/746 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux de diagnostic in vitro et abrogeant la directive 98/79/CE et la décision 2010/227/UE de la Commission (Texte présentant de l’intérêt pour l’EEE. ),” Journal officiel de l’Union européenne, https://eur-lex.europa.eu, May 2017. [Online]. Available : http://data.europa.eu/eli/reg/2017/746/oj/fra

[41]    V. Boissart, “Impacts du nouveau règlement 2017/745 sur la gestion biomédicale des dispositifs médicaux,” IRBM News, vol. 42, no. 2, p. 100300, Apr. 2021, doi : https://doi.org/10.1016/j.irbmnw.2021.100300.

[42]    “Résultats de votre recherche - ANSM,” ANSM. https://ansm.sante.fr/resultats-de-recherche?global_search%5Btext%5D=intelligence%20artificielle&global_search%5BsafetyNewsSearch%5D=1 (accessed Nov. 05, 2021).

[43]    “Classification fonctionnelle, selon leur finalité d’usage, des solutions numériques utilisées dans le cadre de soins médicaux ou paramédicaux,” HAS, Apr. 2021. [Online]. Available : https://www.has-sante.fr/upload/docs/application/pdf/2021-02/classification_fonctionnelle_selon_leur_finalite_dusage_des_solutions_numeriques_utilisees_dans_le_cadre_de_soins_medicaux_o.pdf

[44]    “DM & Intelligence artificielle : quelles spécificités pour l’évaluation ?,” Nov. 18, 2020. [Online]. Available : https://www.has-sante.fr/upload/docs/application/pdf/2020-11/webinaire_has_dm-nov2020_-_ia.pdf

[45]    “LPPR : Dépôt d’un dossier auprès de la Commission nationale d’évaluation des dispositifs médicaux et des technologies  de santé,” HAS, Aug. 2021. Accessed : Nov. 04, 2021. [Online]. Available : https://www.has-sante.fr/upload/docs/application/pdf/2016-01/guide_fabricant_2016_01_11_cnedimts_vd.pdf

[46]    “Le règlement général sur la protection des données - RGPD | CNIL,” CNIL, May 2018. Accessed : Nov. 05, 2021. [Online]. Available : https://www.cnil.fr/fr/reglement-europeen-protection-donnees

[47]    Groupe d’experts de haut niveau sur l’intelligence artificielle. and European Commission. Directorate General for Communications Networks, Content and Technology., Lignes directrices en matière d’éthique pour une IA digne de confiance. LU : Publications Office, 2019. Accessed : Nov. 05, 2021. [Online]. Available : https://data.europa.eu/doi/10.2759/74304

[48]    “Code de la santé publique,” Ed. Legifrance, Paris, Version consolidée au 16 août 2020. [Online]. Available : https://www.legifrance.gouv.fr/affichCode.do?cidTexte=LEGITEXT000006072665

[49]    G. Promé, “Les rôles et obligations dans le Règlement (UE) 2017/745,” Qualitiso, Feb. 01, 2017. https://www.qualitiso.com/reglement-dm-obligations-roles/ (accessed Dec. 15, 2021).

[50]    B. Leroux, “Biomédical et cybersécurité : des enjeux spécifiques ?,” Advens, Mar. 16, 2021. https://www.advens.fr/fr/ressources/blog/biomedical-et-cybersecurite-des-enjeux-specifiques (accessed Dec. 15, 2021).

[51]    “Ingénierie biomédicale : Enjeux technologiques et cybersécurité,” DSIH, Oct. 18, 2021. https://www.dsih.fr/article/4409/ingenierie-biomedicale-enjeux-technologiques-et-cybersecurite.html (accessed Dec. 15, 2021).

[52]    D. Dubois, “Les cinq recommandations de l’Afib en matière de sécurité numérique des équipements biomédicaux,” DSIH, Dec. 22, 2020. https://www.dsih.fr/article/4039/les-cinq-recommandations-de-l-afib-en-matiere-de-securite-numerique-des-equipements-biomedicaux.html (accessed Dec. 15, 2021).

[53]    “Symptômes, diagnostic et traitement : comment une dose de technologie biométrique peut aider à guérir le système de santé,” IDEMIA, Sep. 28, 2016. https://www.idemia.com/fr/actualite/symptomes-diagnostic-et-traitement-comment-une-dose-de-technologie-biometrique-peut-aider-guerir-le-systeme-de-sante-2016-09-28 (accessed Dec. 16, 2021).

[54]    “Intelligence artificielle : un nouveau règlement européen sur l’IA,” Vie publique.fr, Apr. 29, 2021. https://www.vie-publique.fr/en-bref/279650-nouveau-reglement-europeen-sur-lintelligence-artificielle-ia (accessed Dec. 16, 2021).