Auteure

Contacts

• Meghan MCFADDEN :

Citation

A rap­pe­ler pour tout usage : Meghan MCFADDEN. « Maî­trise des risques des dis­po­si­tifs médi­caux numé­riques embar­quant l'intelligence arti­fi­cielle », Uni­ver­si­té de Tech­no­lo­gie de Com­piègne (France), Mas­ter Ingé­nie­rie de la San­té, Par­cours Dis­po­si­tifs médi­caux et affaires régle­men­taires (DMAR), Mémoire de Stage, https://travaux.master.utc.fr/, réf n° IDS194, juillet 2023, https://travaux.master.utc.fr/formations-master/ingenierie-de-la-sante/ids194/

Résumé

L'intelligence arti­fi­cielle (IA) est une tech­no­lo­gie dont le poten­tiel de trans­for­ma­tion du sec­teur de la san­té est consi­dé­rable, par­ti­cu­liè­re­ment par l'amélioration de la pré­ci­sion du diag­nos­tic et la per­son­na­li­sa­tion du trai­te­ment. Cepen­dant, la com­plexi­té et la nou­veau­té de ces tech­no­lo­gies créent de risques inédits qui doivent être gérés effi­ca­ce­ment pour assu­rer la sécu­ri­té des uti­li­sa­teurs, enga­ger la confiance du public et pro­té­ger la valeur des tech­no­lo­gies ain­si que la péren­ni­té des fabricants.

Pour répondre à ces enjeux, une approche sys­té­ma­tique basée sur les risques devrait être appli­quée à l'ensemble de l'organisation, y com­pris la direc­tion et les déve­lop­peurs tra­vaillant sur ces tech­no­lo­gies. L’objectif de ce pro­jet de stage étant la mise en place d’un tel sys­tème, plu­sieurs outils sont pro­po­sés, y com­pris une car­to­gra­phie des risques, une pro­po­si­tion de pro­ces­sus pour les maî­tri­ser et un sup­port de for­ma­tion des­ti­né aux équipes internes. Enfin, ce rap­port se conclut par un cas d’usage dans le contexte d’une entre­prise com­mer­cia­li­sant un dis­po­si­tif médi­cal numé­rique uti­li­sant l’IA pour pré­dire la concen­tra­tion du médi­ca­ment dans le corps du patient en fonc­tion de ses carac­té­ris­tiques personnelles.

Mots-clefs : dis­po­si­tifs médi­caux numé­riques, intel­li­gence arti­fi­cielle, ges­tion des risques

Abstract

Arti­fi­cial intel­li­gence (AI) is a tech­no­lo­gy with tre­men­dous poten­tial to trans­form the heal­th­care indus­try, par­ti­cu­lar­ly by impro­ving diag­nos­tic accu­ra­cy and per­so­na­li­zing treat­ment. Howe­ver, the com­plexi­ty and novel­ty of these tech­no­lo­gies create unique risks that must be effec­ti­ve­ly mana­ged to ensure user safe­ty, build public trust, and pro­tect the value of the tech­no­lo­gy as well as the lon­ge­vi­ty of the com­pa­nies deve­lo­ping them.

To address these issues, a sys­te­ma­tic risk-based approach should be applied across the entire orga­ni­za­tion, inclu­ding upper mana­ge­ment and deve­lo­pers wor­king on these tech­no­lo­gies. The objec­tive of this inter­n­ship being the imple­men­ta­tion of such a sys­tem, seve­ral tools are pro­po­sed, inclu­ding a map­ping of risks, a pro­po­sal for a pro­cess to control them and a trai­ning pre­sen­ta­tion inten­ded for the teams wor­king on these sys­tems. Final­ly, this report concludes with a case stu­dy car­ried out in the context of a com­pa­ny mar­ke­ting a digi­tal medi­cal device using AI to pre­dict the concen­tra­tion of drugs in the patient's body accor­ding to their per­so­nal characteristics.

Key­words : digi­tal medi­cal devices, arti­fi­cial intel­li­gence, risk management

Téléchargements

Acronymes

AI (anglais) : arti­fi­cial intelligence

CE : confor­mi­té européenne

IA : intel­li­gence artificielle

IT (anglais) : infor­ma­tion technology

NIST (anglais) : Natio­nal Ins­ti­tute for Stan­dards and Technology

OMS : Orga­ni­sa­tion mon­diale de la santé

QCM : ques­tions à choix multiples

RDM : Règle­ment euro­péen 2017/745 rela­tif aux dis­po­si­tifs médicaux

R&D : recherche et développement

RGPD : règle­ment géné­ral sur la pro­tec­tion des données

SAC : sur­veillance après commercialisation

SCAC : sur­veillance cli­nique après commercialisation

SMQ : sys­tème de mana­ge­ment de la qualité

SOUP (anglais) : soft­ware of unk­nown provenance

UE : Union Européenne

Mémoire Complet : Maîtrise des risques des dispositifs médicaux numériques embarquant l'intelligence artificielle

1. Introduction

L'intelligence arti­fi­cielle (IA) peut être défi­nie comme la capa­ci­té d'un sys­tème à effec­tuer des tâches nor­ma­le­ment asso­ciées à l'intelligence humaine [1]. Grâce à l'augmentation de la capa­ci­té de cal­cul ain­si que la dis­po­ni­bi­li­té de grandes quan­ti­tés de don­nées, les algo­rithmes sont désor­mais capables d'atteindre ou de dépas­ser les per­for­mances humaines pour cer­taines tâches [2]. Dans le monde de la san­té, l’innovation por­tée par l’IA est en plein essor dans l’imagerie, la chi­rur­gie robo­tique, le diag­nos­tic, les essais cli­niques, la recherche et déve­lop­pe­ment et la méde­cine per­son­na­li­sée [3].

Néan­moins, l’exploitation des tech­no­lo­gies d'IA com­porte des risques qui peuvent avoir des effets néfastes sur les indi­vi­dus, les orga­ni­sa­tions, les com­mu­nau­tés et la socié­té. Dans l'industrie des dis­po­si­tifs médi­caux, les fabri­cants doivent gérer ces risques afin de pro­té­ger la sécu­ri­té des uti­li­sa­teurs et des patients ain­si que les inté­rêts de leur orga­ni­sa­tion et des par­ties pre­nantes, y com­pris des inves­tis­seurs, tout en s’adaptant au contexte régle­men­taire et nor­ma­tif en pleine évolution.

Ce rap­port pré­sente une étude de cas de mise en place d’un sys­tème de mana­ge­ment des risques au sein de l’entreprise Exact­Cure, une star­tup inno­vante com­mer­cia­li­sant un dis­po­si­tif médi­cal numé­rique, Exa­Med. Cette solu­tion répond à un impor­tant pro­blème de san­té publique : la mau­vaise uti­li­sa­tion des médi­ca­ments, qui engendre plus de 10 000 décès par an en France, soit 3 fois plus que les acci­dents de route [4]. En uti­li­sant des modèles incor­po­rant de l’IA pour simu­ler et illus­trer la poso­lo­gie des médi­ca­ments à par­tir des don­nées du patient, Exa­Med vise à réduire la fré­quence des inter­ac­tions médi­ca­men­teuses, des sur­doses et des sous­doses [5]. Cette tech­no­lo­gie uti­lise des algo­rithmes du type sys­tème expert, qui se base sur des règles déter­mi­nistes pour ému­ler la capa­ci­té de prise de déci­sion des experts humains [3].

Le résul­tat de ce tra­vail est la mise en place d’un sys­tème inter­dis­ci­pli­naire de mana­ge­ment des risques d’un dis­po­si­tif médi­cal numé­rique embar­quant l’IA. Afin de mieux com­prendre le contexte légis­la­tif et nor­ma­tif de la ges­tion des risques de ces tech­no­lo­gies, un état des lieux des dif­fé­rentes régle­men­ta­tions et des normes clés est réa­li­sé. Ensuite, des outils pour iden­ti­fier les risques, mettre en place des pro­ces­sus pour les maî­tri­ser et pour for­mer les équipes internes des orga­ni­sa­tions déve­lop­pant ces sys­tèmes sont pro­po­sés. Fina­le­ment, un retour d’expérience en tant que sta­giaire chez Exact­Cure est détaillé.

2. Contexte socio-économique des dispositifs médicaux numériques utilisant l’intelligence artificielle

De manière géné­rale, l’expression « intel­li­gence arti­fi­cielle » implique l’imitation d’un com­por­te­ment intel­li­gent afin d’effectuer des tâches avec de l’intervention humaine mini­male. Les sys­tèmes d'IA peuvent ten­ter de repro­duire avec pré­ci­sion le rai­son­ne­ment humain pour résoudre un pro­blème ; à l'inverse, ils peuvent igno­rer le rai­son­ne­ment humain et uti­li­ser exclu­si­ve­ment de grands volumes de don­nées pour répondre à la ques­tion d'intérêt [3]. Ces sys­tèmes génèrent des sor­ties telles que des pré­dic­tions et des recom­man­da­tions pour un ensemble d'objectifs défi­nis par l'homme [2].

Il existe de nom­breux types et cas d’usage d'IA avec divers degrés d'autonomie et de com­plexi­té [Figure 1].

Figure 1. Exemples de méthodes et d’applications d'intelligence artificielle (source : auteure).

Des exemples impor­tants de méthodes d’intelligence arti­fi­cielle incluent :

• L'apprentissage auto­ma­tique : ou machine lear­ning en anglais, regroupe une famille de tech­niques de modé­li­sa­tion sta­tis­tique et mathé­ma­tique qui uti­lise une varié­té d'approches pour apprendre et amé­lio­rer auto­ma­ti­que­ment la pré­dic­tion d'un état cible, sans pro­gram­ma­tion expli­cite [3].
• L’apprentissage pro­fond : ou deep lear­ning en anglais, il s’agit d’un sous-type d'apprentissage auto­ma­tique qui se base sur des algo­rithmes d'apprentissage de repré­sen­ta­tion à plu­sieurs niveaux. Ils sont obte­nus en com­po­sant des modules simples mais non linéaires qui trans­forment cha­cun la repré­sen­ta­tion de l’entrée brute en une repré­sen­ta­tion à un niveau supé­rieur [6]. Les modèles d'apprentissage pro­fond démontrent une effi­ca­ci­té excep­tion­nelle dans les tâches de vision par ordi­na­teur, de recon­nais­sance vocale et de trai­te­ment auto­ma­tique du lan­gage naturel.
• Les sys­tèmes experts : Les sys­tèmes experts sont un ensemble d'algorithmes infor­ma­tiques qui s'appuient en grande par­tie sur des règles boo­léennes et déter­mi­nistes pour ému­ler la capa­ci­té de prise de déci­sion des experts humains. Un sys­tème expert est divi­sé en une base de connais­sances, qui code la logique du domaine, et un moteur d'inférence, qui applique la base de connais­sances aux don­nées pré­sen­tées au sys­tème pour four­nir des recom­man­da­tions ou déduire de nou­veaux faits [Figure 2] [3]. Les uti­li­sa­teurs de ces sys­tèmes peuvent ensuite uti­li­ser les infor­ma­tions obte­nues pour avi­ser des déci­sions, telles que la bonne dose de médi­ca­ment à prendre lors de l’automédication.

Figure 2. Fonctionnement d'un système expert (source : auteure).

2.1 Un secteur en croissance

Bien que le concept de l'utilisation d'ordinateurs pour simu­ler un com­por­te­ment intel­li­gent ou la pen­sée cri­tique a été décrite pour la pre­mière fois par Alan Turing en 1950, des avan­cées récentes ont accé­lé­ré ce domaine à la pointe de la tech­no­lo­gie de l'information [7]. En par­ti­cu­lier, les algo­rithmes d'IA sont sou­vent for­més sur des don­nées repré­sen­ta­tives de la popu­la­tion pour fonc­tion­ner à grande échelle. Les avan­cées maté­rielles récentes per­met­tant une plus grande puis­sance de cal­cul ont per­mis de trai­ter et d'analyser de grandes quan­ti­tés de don­nées en temps réel. Les algo­rithmes d'IA deviennent donc de plus en plus com­plexes et sophis­ti­qués, désor­mais capables d'effectuer cer­taines tâches aus­si bien ou même mieux que les humains, telle que la clas­si­fi­ca­tion d'images [8].

Les entre­prises de divers sec­teurs se tournent vers l'IA pour opti­mi­ser l’efficience de leurs opé­ra­tions, réduire leurs coûts et acqué­rir un avan­tage concur­ren­tiel sur le mar­ché. La demande crois­sante d'automatisation entraine une aug­men­ta­tion ful­gu­rante des inves­tis­se­ments dans la recherche et le déve­lop­pe­ment de l'IA, en grande par­tie par de géants mon­diaux de la tech­no­lo­gie tels que Google, Micro­soft, IBM, Ama­zon et Apple. Par consé­quent, la taille du mar­ché mon­dial de l'IA était esti­mée à 120 mil­liards de dol­lars amé­ri­cains en 2022 et devrait atteindre près de 1 600 mil­liards de dol­lars amé­ri­cains d'ici 2030 [Figure 3] [8].

Figure 3. Graphique projetant la croissance du marché de l'intelligence artificielle dans le monde (adaptée de [8]).

Dans le domaine de la san­té, le vieillis­se­ment de la popu­la­tion mon­diale et la pré­va­lence crois­sante des mala­dies chro­niques ont contri­bué à l'augmentation de la demande de diag­nos­tics et à une meilleure com­pré­hen­sion des mala­dies à leurs stades ini­tiaux. Les algo­rithmes d'IA sont de plus en plus inté­grés dans les sys­tèmes de san­té pour pré­dire avec pré­ci­sion les mala­dies à leur stade pré­coce sur la base d'ensembles de don­nées his­to­riques [9].

En 2021, les tech­no­lo­gies d'IA dans le domaine de la san­té avaient une valeur esti­mée à envi­ron 11 mil­liards de dol­lars amé­ri­cains dans le monde. Les pré­vi­sions indiquent que le mar­ché dans ce sec­teur repré­sen­te­ra près de 188 mil­liards de dol­lars amé­ri­cains d'ici 2030, aug­men­tant à un taux de crois­sance annuel com­po­sé de 37 % [10].  

La part de mar­ché gran­dis­sante et la média­ti­sa­tion de l'IA s'accompagnent de nou­velles pré­oc­cu­pa­tions du public. Selon une enquête menée aux États-Unis, la prin­ci­pale inquié­tude concer­nant l'utilisation accrue de l'IA dans la san­té était les menaces liées à la sécu­ri­té et à la vie pri­vée. En Europe, une enquête a révé­lé que les patients seraient plus confiants en uti­li­sa­tion de l'IA en com­bi­nai­son avec des juge­ments d'experts plu­tôt que des déci­sions prises uni­que­ment par l'IA [10].

2.2 ExactCure : contexte d’une start-up commercialisant un dispositif médical numérique basé sur l’intelligence artificielle

Cette étude a été réa­li­sée dans le cadre d'un stage en tant que char­gée affaires régle­men­taires pour Exact­Cure, une star­tup niçoise fon­dée en 2018 par Fré­de­ric Dayan, pré­sident-direc­teur géné­ral, Fabien Astic, direc­teur scien­ti­fique, et Syl­vain Beni­to, direc­teur de la recherche et déve­lop­pe­ment (R&D).

Organisation de la société

Avec ses 22 employés et deux sta­giaires, Exact­Cure est actuel­le­ment clas­sée comme une très petite entre­prise. Trois pôles d’activité sont pré­sents au sein de la société :

• Le ser­vice R&D : ce ser­vice est res­pon­sable du déve­lop­pe­ment des res­sources et des don­nées uti­li­sées, ain­si que d’autres pro­jets annexes. Ils déve­loppent les modèles uti­li­sés dans le cœur de cal­cul du pro­duit, dont le volet IA.
• Le ser­vice IT (infor­ma­tion tech­no­lo­gy en anglais) : ce ser­vice est res­pon­sable de la concep­tion, du déve­lop­pe­ment et du déploie­ment des appli­ca­tions qui consti­tuent les inter­faces uti­li­sa­teur du pro­duit (web et mobile). Ils sont éga­le­ment char­gés de rece­voir les com­men­taires des clients et d'assurer le fonc­tion­ne­ment du produit.
• Le ser­vice qua­li­té et affaires régle­men­taires : ce ser­vice est char­gé d'assurer la confor­mi­té du pro­duit à toutes les exi­gences néces­saires pour obte­nir et main­te­nir l'accès au mar­ché. Il est mené par une Res­pon­sable Qua­li­té et Affaires Règle­men­taires, que j’ai accom­pa­gnée en tant que sta­giaire char­gée affaires réglementaires.

Présentation du produit ExaMed

Com­mer­cia­li­sée en France depuis 2020, Exa­Med, la solu­tion logi­cielle d’ExactCure, a pour but de répondre à une impor­tante pro­blé­ma­tique de san­té publique : la mau­vaise uti­li­sa­tion des médi­ca­ments. Qu'elle soit cau­sée par un mau­vais dosage, la non-obser­vance du trai­te­ment pres­crit, ou une inter­ac­tion inat­ten­due entre plu­sieurs molé­cules, le més­usage des médi­ca­ments est res­pon­sable d'environ 10 000 décès par an en France, soit 3 fois plus que les acci­dents de la route [4].

Exa­Med four­nit des simu­la­tions per­son­na­li­sées de la concen­tra­tion des médi­ca­ments dans le corps de chaque patient en tenant compte des fac­teurs tels que son âge, son sexe, son état hépa­tique et son géno­type. Ce logi­ciel est donc un type de « jumeau numé­rique » : à par­tir des don­nées déri­vées de carac­té­ris­tiques clai­re­ment défi­nies, il per­met de modé­li­ser une enti­té réelle et sou­vent com­plexe, telle qu’un patient spé­ci­fique [Figure 4] [11].

Figure 4. Schéma du fonctionnement des jumeaux numériques (source : auteure).

Exa­Med pos­sède plu­sieurs fina­li­tés médi­cales qui le qua­li­fient de dis­po­si­tif médi­cal, notam­ment [12] :

• Amé­lio­rer la com­pré­hen­sion du patient des médicaments ;
• Aider les pro­fes­sion­nels de san­té à conseiller, pres­crire et suivre les trai­te­ments médicamenteux ;
• Réduire les risques de més­usage de médicaments ;
• Amé­lio­rer l’observance thérapeutique.

Exact­Cure pro­pose deux moda­li­tés d’utilisation d’ExaMed : une appli­ca­tion mobile des­ti­née aux patients [Figure 5] et une inter­face web dédiée aux pro­fes­sion­nels de san­té [Figure 6].

Figure 5. Capture d'écran de l'application mobile ExaMed (source : ExactCure).

Figure 5 montre un exemple du gra­phique affi­ché pour un patient qui envi­sage de prendre une dose exces­sive de para­cé­ta­mol. L'horloge indique l'heure à laquelle le médi­ca­ment pren­dra effet ain­si que le moment où les effets se dis­si­pe­ront. Le patient est donc en mesure de com­prendre la rela­tion entre la concen­tra­tion du médi­ca­ment dans son corps et l'efficacité thé­ra­peu­tique. Il a éga­le­ment la pos­si­bi­li­té de consi­gner son état de san­té dans la rubrique « Com­ment je me sens main­te­nant ? ». Cette infor­ma­tion est ensuite trans­mise au pro­fes­sion­nel de san­té asso­cié à son compte.

Figure 6. Capture d'écran de l'interface du professionnel de la santé affichant la même simulation de médication qu'à la Figure 5 (source : ExactCure).

En mon­trant la concen­tra­tion de médi­ca­ment dans le corps du patient en fonc­tion du temps, cette inter­face per­met aux pro­fes­sion­nels de san­té de véri­fier qu'ils pres­crivent une dose sûre et effi­cace. Ils peuvent éga­le­ment suivre le trai­te­ment de leurs patients.

L’application Exa­Med fait appel à ExaT­win, un logi­ciel acces­soire de type ser­vice Web qui intègre des algo­rithmes uti­li­sant l'intelligence arti­fi­cielle du type sys­tème expert pour agré­ger des sources scien­ti­fiques et indus­trielles. Ces algo­rithmes uti­lisent les carac­té­ris­tiques indi­vi­duelles des patients comme cova­riables pour créer des simu­la­tions phar­ma­co­ci­né­tiques personnalisées.

Projets de développement

Exact­Cure déve­loppe de nou­velles fonc­tion­na­li­tés pour élar­gir les cas d'usage de sa solu­tion. En par­ti­cu­lier, un pro­jet appe­lé Inter­act­win vise à pré­dire les inter­ac­tions poly­mé­di­ca­men­teuses en pre­nant en compte des inter­ac­tions résul­tant de pres­crip­tions com­plexes, sou­vent com­po­sées d’une dizaine de médi­ca­ments ou plus. Ce pro­jet a per­mis à Exact­Cure de rem­por­ter le concours i-Nov 2022 et le prix asso­cié de 4,9 mil­lions d'euros [13].

Exact­Cure vise éga­le­ment à déployer sa solu­tion dans davan­tage d'environnements, y com­pris les hôpi­taux. Pour ce faire, il s’est asso­cié avec des acteurs signi­fi­ca­tifs du logi­ciel médi­cal. Par exemple, en novembre 2022, Exact­Cure a noué un par­te­na­riat avec Phi­lips à la suite d'un concours orga­ni­sé au Cam­pus Pari­San­té, l'emportant sur de nom­breuses star­tups euro­péennes. Ce par­te­na­riat leur confère le sta­tut de col­la­bo­ra­teur, leur per­met­tant d'intégrer la pla­te­forme de ges­tion de don­nées Phi­lips Health­Suite et de tirer par­ti de son éco­sys­tème pour four­nir une solu­tion de san­té com­plète aux pro­fes­sion­nels en milieu hos­pi­ta­lier [13]. Un autre objec­tif est d’intégrer les pro­duits d’ExactCure dans des logi­ciels pro­fes­sion­nels exis­tants comme le Vidal Sen­ti­nel, outil d'analyse du risque des pres­crip­tions hos­pi­ta­lières [14].

2.3 Problématique et enjeux

Dans le cadre d’une entre­prise com­mer­cia­li­sant un dis­po­si­tif médi­cal dans l’Union euro­péenne (UE), la mis­sion prin­ci­pale en tant que char­gée des affaires régle­men­taires est de veiller au res­pect des obli­ga­tions des régle­men­ta­tions afin d’obtenir le mar­quage CE (Confor­mi­té Euro­péen). Cette cer­ti­fi­ca­tion per­met la libre cir­cu­la­tion dans le mar­ché euro­péen et atteste la confor­mi­té des dis­po­si­tifs médi­caux en termes de sécu­ri­té et de per­for­mance. Cette tâche est gui­dée par les normes qui assurent la confor­mi­té avec les exi­gences régle­men­taires et l’interopérabilité sur les mar­chés inter­na­tio­naux. La bonne com­pré­hen­sion de ces docu­ments est essen­tielle pour mener à bien un pro­jet de com­mer­cia­li­sa­tion d’un dis­po­si­tif médical.

Pour Exact­Cure, le règle­ment (UE) 2017/745 rela­tif aux dis­po­si­tifs médi­caux (RDM) est le fil conduc­teur d’une stra­té­gie de mise sur le mar­ché dans l’UE. Le règle­ment exige que les DM soient déve­lop­pés et fabri­qués confor­mé­ment à l'état de l'art, qui repose sur les prin­cipes de ges­tion des risques, de sécu­ri­té de l'information, de cycle de vie, de véri­fi­ca­tion et de vali­da­tion de sa confor­mi­té [15].

Mis sur le mar­ché en 2020, Exa­Med a été auto-cer­ti­fié par Exact­Cure pour obte­nir le mar­quage CE en tant que dis­po­si­tif médi­cal de classe I au titre de la Direc­tive 93/42/CEE rela­tive aux dis­po­si­tifs médi­caux. Avec la mise en appli­ca­tion du RDM, ce pro­duit pas­se­ra bien­tôt en classe IIa. Ce chan­ge­ment de classe implique des exi­gences accrues pour prou­ver la sécu­ri­té et l'efficacité du dis­po­si­tif, ce qui signi­fie que Exa­Med néces­si­te­ra une cer­ti­fi­ca­tion par un orga­nisme noti­fié pour renou­ve­ler son mar­quage CE [15].

Dans le contexte régle­men­taire des dis­po­si­tifs médi­caux en constante évo­lu­tion, les par­ti­cu­la­ri­tés inhé­rentes à l’IA et l'histoire limi­tée de l'utilisation de ces tech­no­lo­gies pré­sentent des défis uniques pour les déve­lop­peurs et régu­la­teurs. Les sys­tèmes basés sur l'IA dif­fé­rent des sys­tèmes numé­riques tra­di­tion­nels, pro­gram­més pour pro­duire des sor­ties spé­ci­fiques en fonc­tion des règles sta­tiques et bien défi­nies, de trois manières [16] :

1. Appren­tis­sage : les sys­tèmes peuvent accu­mu­ler des don­nées pour éva­luer les résul­tats du trai­te­ment et faire des pré­dic­tions afin d'améliorer les résul­tats pour les patients. Vu que le logi­ciel Exa­Med uti­lise des algo­rithmes de type sys­tème expert sans appren­tis­sage auto­ma­tique, cette carac­té­ris­tique n’est pas appli­cable dans le cadre de ce projet.
2. Auto­no­mie : ces sys­tèmes ont le poten­tiel de fonc­tion­ner avec une super­vi­sion réduite ou même sans la super­vi­sion du clinicien.
3. Inex­pli­ca­bi­li­té : en rai­son de la com­plexi­té des sta­tis­tiques impli­quées et des grands ensembles de don­nées uti­li­sés, la jus­ti­fi­ca­tion des résul­tats pro­duits par de tels sys­tèmes pour­rait ne pas être faci­le­ment com­prise par les déve­lop­peurs eux-mêmes ni des pro­fes­sion­nels de san­té bien for­més, et encore moins par le grand public.

Ces dif­fé­rences donnent lieu à un ensemble de risques propres aux sys­tèmes d'IA, notam­ment des risques « socio­tech­niques » [17]. Ces risques pro­viennent de la façon dont les humains inter­agissent avec ces tech­no­lo­gies, y com­pris la capa­ci­té des humains de les juger ou de les éva­luer [18]. Des exemples notables incluent :

• La trans­pa­rence : la capa­ci­té de com­prendre les résul­tats don­nés et éva­luer leur conformité
• L’interprétabilité : la capa­ci­té de déter­mi­ner si les sor­ties peuvent être uti­li­sées pour prendre des décisions. 

En rai­son de ces enjeux et de la per­cep­tion de la fia­bi­li­té des dis­po­si­tifs médi­caux embar­quant l’IA, l’engagement de la confiance du public est un enjeu clé pour les déve­lop­peurs de ces tech­no­lo­gies. Pour ce faire, ain­si que pour répondre aux exi­gences régle­men­taires pour la mise sur le mar­ché des dis­po­si­tifs médi­caux, il est essen­tiel de com­prendre et de gérer effi­ca­ce­ment les risques associés.

La ges­tion des risques est éga­le­ment un élé­ment clé du déve­lop­pe­ment et de l'utilisation res­pon­sables des dis­po­si­tifs médi­caux incor­po­rant l'IA. Des pra­tiques res­pon­sables de ges­tion des risques peuvent aider à ali­gner les déci­sions concer­nant la concep­tion, le déve­lop­pe­ment et les uti­li­sa­tions du sys­tème d'IA sur l'objectif et les valeurs visés. La mise en œuvre de la ges­tion des risques liés à l'IA peut encou­ra­ger des com­por­te­ments et des actions res­pon­sables au sein des orga­ni­sa­tions. Les équipes internes impli­quées dans la concep­tion, le déve­lop­pe­ment et le déploie­ment de l'IA peuvent ensuite abor­der le pro­ces­sus en tenant compte du contexte et des consé­quences poten­tielles, qu’elles soient posi­tives ou négatives.

La pro­blé­ma­tique de ce stage est donc la ques­tion sui­vante : com­ment assu­rer un sys­tème effi­cace de ges­tion des risques au sein d’une entre­prise com­mer­cia­li­sant un dis­po­si­tif médi­cal numé­rique basé sur l’intelligence artificielle ?

J’ai dû confron­ter un cer­tain nombre d’enjeux lors de ce stage :

• Parce que la ges­tion des risques d’un dis­po­si­tif médi­cal est inti­me­ment liée à son déve­lop­pe­ment, une approche inter­dis­ci­pli­naire avec les équipes des déve­lop­peurs était nécessaire ;
• Le pro­duit étant déjà sur le mar­ché, un sys­tème exis­tant a dû être pris en compte et adapté ;
• En rai­son de la nature inno­vante du pro­duit, peu de res­sources telles que des études de cas de pro­duits com­pa­rables étaient à ma disposition ;
• En tant que fabri­cant d’un dis­po­si­tif médi­cal de type logi­ciel, la socié­té est tenue de se confor­mer aux règle­ments et normes détaillés dans le cha­pitre 3 de ce mémoire, y com­pris le RDM, le Règle­ment géné­ral sur la pro­tec­tion des don­nées, le Règle­ment euro­péen 2021/0106 sur l’intelligence arti­fi­cielle, ISO 13485, ISO 14971, ISO 62304, ISO 62366-1, ISO 23894 et ISO 42001 ;
• Avec une com­po­sante d'intelligence arti­fi­cielle, le sys­tème de ges­tion des risques doit être adap­té pour tenir compte des risques uniques de ces sys­tèmes mal­gré un his­to­rique limi­té de leur uti­li­sa­tion et un manque de normes har­mo­ni­sées associées.

3. Maîtrise des risques des dispositifs médicaux numériques utilisant l’intelligence artificielle

Comme tous les dis­po­si­tifs médi­caux, les dis­po­si­tifs médi­caux incor­po­rant l'IA peuvent induire des risques impor­tants, tels que des erreurs de diag­nos­tic ou de recom­man­da­tions de trai­te­ment, d'atteintes à la vie pri­vée et d'autres dom­mages [3]. Les risques liés à l'IA peuvent être clas­sés en fonc­tion de leur durée (à long ou à court terme), de leur pro­ba­bi­li­té (éle­vée ou faible), de leur éten­due (sys­té­mique ou loca­li­sée) et impact (éle­vé ou faible) [4].

La sécu­ri­té de dis­po­si­tifs médi­caux inté­grant l'IA a récem­ment été remise en cause dans des solu­tions déjà dis­po­nibles sur le mar­ché aux États-Unis et en Europe. Le manque de vali­da­tion externe des sys­tèmes (le même ensemble de don­nées étant uti­li­sé pour le déve­lop­pe­ment et la vali­da­tion) peut conduire à des sur­es­ti­ma­tions de leur pré­ci­sion. L’évaluation des sys­tèmes d’IA par des par­ties externes est dif­fi­cile en rai­son de l'hétérogénéité des para­mètres uti­li­sés et du manque de dis­po­ni­bi­li­té des ensembles de don­nées et du codage qui per­met­traient de repro­duire les études effec­tuées par les fabri­cants [19].

Ces écueils induisent des risques pour les usa­gers, patients et pro­fes­sion­nels de san­té, ain­si que pour les orga­nismes qui com­mer­cia­lisent ces dis­po­si­tifs. Comme pour les autres risques liés aux dis­po­si­tifs médi­caux, le four­nis­seur reste res­pon­sable de l’identification, contrôle et sui­vi des risques. La confiance du public dans leur pro­duit dépend donc d'un sys­tème de ges­tion des risques bien pla­ni­fié et efficace.

La ges­tion des risques néces­site une approche sys­té­ma­tique, docu­men­tée et gui­dée par la régle­men­ta­tion et les normes per­ti­nentes [Figure 7]. Comme de nom­breuses res­sources existent pour pla­ni­fier ce sys­tème, cette sec­tion ne pré­sente que les prin­ci­pales régle­men­ta­tions et normes et leur per­ti­nence pour les dis­po­si­tifs médi­caux numé­riques à com­po­sante IA.

Figure 7. Schéma du paysage réglementaire et normatif de la gestion des risques des dispositifs médicaux intégrant l'intelligence artificielle (source : auteure).

3.1 Aperçu du paysage réglementaire en Europe

3.1.1 Règlement européen 2017/745 relatif aux dispositifs médicaux

Bien que le RDM ne traite pas spé­ci­fi­que­ment les par­ti­cu­la­ri­tés d'IA, la règle­men­ta­tion s'applique à tous les sys­tèmes d'IA qua­li­fiés de dis­po­si­tifs médi­caux. Un grand nombre de DM embar­quant l’IA ont déjà reçu le mar­quage CE en ver­tu des direc­tives pré­cé­dentes [20].

De nom­breux logi­ciels qui, selon la Direc­tive 93/42/CEE rela­tive aux dis­po­si­tifs médi­caux, appar­te­naient à la classe de risque la plus faible pas­se­ront désor­mais à une classe de risque plus éle­vée sous le RDM. En rai­son de l’Annexe VIII 6.3, Règle 11 du RDM, la plu­part des dis­po­si­tifs d'IA seront clas­sés dans la classe IIa ou IIb car ils four­nissent des infor­ma­tions uti­li­sées pour prendre des déci­sions à des fins thé­ra­peu­tiques ou diag­nos­tics. Contrai­re­ment aux dis­po­si­tifs de classe I, ils devront donc subir une éva­lua­tion de confor­mi­té par un orga­nisme notifié.

L'article 10 du RDM exige de tous les fabri­cants de dis­po­si­tifs médi­caux qu'ils éta­blissent, docu­mentent, mettent en œuvre et main­tiennent un sys­tème de ges­tion des risques. L'Annexe I du règle­ment four­nit plus de détails sur ces exi­gences, indi­quant que ce pro­ces­sus doit être conti­nu, ité­ra­tif et mené tout au long du cycle de vie d'un dis­po­si­tif [15].

L'annexe I, cha­pitre I sti­pule que les risques doivent être réduits autant que pos­sible sans nuire au rap­port bénéfice/risque. Le règle­ment défi­nit le risque comme « la com­bi­nai­son de la pro­ba­bi­li­té d'occurrence d'un dom­mage et de la gra­vi­té de ce dom­mage ». La déter­mi­na­tion du rap­port bénéfice/risque est défi­nie comme « l'analyse de toutes les éva­lua­tions du béné­fice et du risque pou­vant être per­ti­nentes pour l'utilisation du dis­po­si­tif aux fins pré­vues, lorsqu'il est uti­li­sé confor­mé­ment à la des­ti­na­tion indi­quée par le fabri­cant ». La ges­tion des risques doit éga­le­ment prendre en compte les infor­ma­tions sur la pro­duc­tion et la sur­veillance post-com­mer­cia­li­sa­tion pour se confor­mer à ces exi­gences [15].

Dans l'ensemble, confor­mé­ment à la régle­men­ta­tion, une docu­men­ta­tion appro­fon­die des pro­cé­dures de ges­tion des risques est requise. Le dos­sier tech­nique de chaque dis­po­si­tif doit inclure les résul­tats du pro­ces­sus de ges­tion des risques com­pre­nant l'analyse béné­fice-risque, les mesures de contrôle de risque et le rap­port pério­dique actua­li­sé de sécu­ri­té. Toute la docu­men­ta­tion sur les risques pour chaque pro­duit doit être tra­cée, conser­vée et faci­le­ment disponible.

3.1.2 Règlement général sur la protection des données

Entré en appli­ca­tion le 25 mai 2018, le Règle­ment géné­ral sur la pro­tec­tion des don­nées (RGPD) vise à pro­té­ger la vie pri­vée des citoyens dans l'UE et l'Espace éco­no­mique euro­péen. Le RGPD est un élé­ment impor­tant du droit euro­péen pro­té­geant les droits de l'homme, en par­ti­cu­lier l'article 8 de la Charte des droits fon­da­men­taux de l'Union euro­péenne [21].

Ce règle­ment a trois objec­tifs prin­ci­paux [21] :

• ren­for­cer les droits des personnes ;
• res­pon­sa­bi­li­ser les acteurs trai­tant des données ;
• ren­for­cer la coopé­ra­tion entre les auto­ri­tés de pro­tec­tion des données.

L'article 5 du RGPD pro­pose les prin­cipes du trai­te­ment des don­nées et pré­cise que les don­nées doivent être trai­tées de manière loyale et trans­pa­rente vis-à-vis de la per­sonne concer­née et que les don­nées doivent être exactes et à jour. Dans le domaine de l'IA, les prin­cipes d'équité, de trans­pa­rence et d'exactitude des don­nées sont étroi­te­ment liés à ces exigences.

L'article 35 exige éga­le­ment une ana­lyse d'impact sur la pro­tec­tion des don­nées, c'est-à-dire une ana­lyse des risques décou­lant du trai­te­ment de don­nées et une éva­lua­tion de la pro­por­tion­na­li­té entre les risques exis­tants et les avan­tages du traitement.

Par­mi les cri­tères de mesure du risque, il faut tenir compte des para­mètres de pro­tec­tion des don­nées (confi­den­tia­li­té, inté­gri­té et dis­po­ni­bi­li­té) ain­si que de l'impact pos­sible sur les autres droits fon­da­men­taux de la personne.

Dans le cas d'un sys­tème d'IA, un exemple de droit fon­da­men­tal est le prin­cipe de non-dis­cri­mi­na­tion, qui doit être éva­lué dans la phase de test et de pro­gram­ma­tion de l'algorithme. Dans ces phases, il est néces­saire de véri­fier qu'aucune valeur dis­cri­mi­na­toire n'a été trou­vée inté­grée dans le code lui-même.

3.1.3 Règlement 2021/0106 sur l’intelligence artificielle (AI Act)

La Com­mis­sion euro­péenne juge essen­tiel d'établir des régle­men­ta­tions au niveau euro­péen pour le déve­lop­pe­ment et déploie­ment de l’IA, garan­tis­sant que les citoyens euro­péens puissent tirer par­ti des tech­no­lo­gies qui adhèrent aux valeurs, droits et prin­cipes fon­da­men­taux de l'Union [20].

Le 21 avril 2021, une pro­po­si­tion de règle­ment euro­péen sur l'IA a été publiée [22]. Au moment de la rédac­tion de ce rap­port, la date d'entrée en vigueur du texte n'est pas pré­ci­sée. Même si le texte est encore en cours de révi­sion, il est déjà recon­nu comme ayant un impact signi­fi­ca­tif sur le cadre orga­ni­sa­tion­nel des entre­prises [19]. En rai­son de ce que l'on appelle « l’effet Bruxelles », le pro­ces­sus par lequel les régle­men­ta­tions de l'Union euro­péenne influencent l'élaboration des poli­tiques et des régle­men­ta­tions mon­diales lorsque les orga­nismes opé­rant à l'échelle inter­na­tio­nale adoptent les normes de l'UE, comme ce fut le cas du RGPD. Ce nou­veau règle­ment façon­ne­ra sans aucun doute l'avenir pré­vi­sible de la régle­men­ta­tion de l'IA dans l'UE et dans le monde [23].

Comme le règle­ment sur les dis­po­si­tifs médi­caux, la pro­po­si­tion de règle­ment sur l’IA uti­lise une approche basée sur les risques. Les tech­no­lo­gies d'IA sont clas­sées en 4 niveaux dif­fé­rents [Figure 8].

Figure 8. Classification de risque selon le règlement européen sur l'IA (source : auteure).

Risque inac­cep­table : Tous les sys­tèmes d'IA consi­dé­rés comme une menace pour la sécu­ri­té, les moyens de sub­sis­tance et les droits fon­da­men­taux des citoyens seront inter­dits. Des exemples sont la nota­tion sociale par les gou­ver­ne­ments, les bases de don­nées de recon­nais­sance faciale et les jouets uti­li­sant l'assistance vocale pour encou­ra­ger les com­por­te­ments dan­ge­reux [24].

Risque éle­vé : Une tech­no­lo­gie est consi­dé­rée comme étant à haut risque si elle est des­ti­née à être uti­li­sée comme com­po­sant de sécu­ri­té d’un pro­duit cou­vert par les actes légis­la­tifs d’harmonisation de l’Union énu­mé­rés à l’annexe II, ou consti­tue lui-même un tel pro­duit. Si le pro­duit dont le com­po­sant de sécu­ri­té est le sys­tème d’IA, il est sou­mis à une éva­lua­tion de la confor­mi­té par un tiers [25].

Les sys­tèmes d'IA iden­ti­fiés comme à haut risque com­prennent ceux uti­li­sés dans les infra­struc­tures cri­tiques (par exemple, les trans­ports), qui pour­rait mettre la sécu­ri­té des citoyens en dan­ger ; la for­ma­tion sco­laire ou pro­fes­sion­nelle, qui peut déter­mi­ner l'accès à l'éducation et le par­cours pro­fes­sion­nel de la vie d'une per­sonne (par exemple, la nota­tion des exa­mens) ; et les com­po­sants de sécu­ri­té des pro­duits (par exemple, l'application d’IA dans la chi­rur­gie assis­tée par robot).

Les sys­tèmes d'IA à haut risque seront sou­mis à des obli­ga­tions strictes avant de pou­voir être mis sur le mar­ché, y com­pris [24]:

• des sys­tèmes adé­quats d'évaluation et de contrôle des risques ;
• l'enregistrement des acti­vi­tés pour assu­rer la tra­ça­bi­li­té des résultats ;
• une docu­men­ta­tion détaillée four­nis­sant toutes les infor­ma­tions néces­saires sur le sys­tème et son objec­tif pour que les auto­ri­tés com­pé­tentes puissent éva­luer sa conformité ;
• des infor­ma­tions claires et adé­quates four­nies à l'utilisateur ;
• des mesures de sur­veillance humaine appro­priées pour mini­mi­ser les risques,
• et un niveau éle­vé de robus­tesse, de sécu­ri­té et d'exactitude.

Risque limi­té : Les sys­tèmes d'IA à risque limi­té, tels que les chat­bots, seraient sou­mis à des obli­ga­tions de trans­pa­rence spé­ci­fiques. Par exemple, les uti­li­sa­teurs doivent être conscients qu'ils inter­agissent avec une machine afin de pou­voir prendre des déci­sions éclai­rées concer­nant ces inter­ac­tions [24].

Risque mini­mal : Les sys­tèmes d'IA pré­sen­tant un risque mini­mal, tels que les jeux vidéo com­pa­tibles avec l'IA ou les filtres anti-spam, pour­raient être uti­li­sés sans res­tric­tion dans le cadre du règle­ment. La grande majo­ri­té des sys­tèmes d'IA actuel­le­ment uti­li­sés dans l'UE entrent dans cette caté­go­rie [24].

Impact sur la gestion des risques des dispositifs médicaux

Dans l'UE, les sys­tèmes d'IA éti­que­tés « sys­tèmes à haut risque », y com­pris la plu­part des dis­po­si­tifs médi­caux, devront être cer­ti­fiés sous le nou­veau règle­ment [Figure 9] [26]. Cela signi­fie que des règles sup­plé­men­taires s'appliqueront aux dis­po­si­tifs médi­caux en plus des exi­gences du RDM. En pra­tique, l'organisme noti­fié res­pon­sable de l'évaluation de la confor­mi­té au RDM pro­cé­de­ra éga­le­ment à l'évaluation de la confor­mi­té au nou­veau règle­ment sur l’IA [20]. Le RDM est inclus dans la liste de la légis­la­tion d'harmonisation de l'Union dans l'annexe II du pro­jet de règle­ment [20].

Figure 9. Processus à réaliser pour les systèmes d'intelligence artificielle à haut risque sous le règlement européen sur l’IA( figure adaptée de [24]).

Un chan­ge­ment est consi­dé­ré comme sub­stan­tiel lorsqu'il a un effet sur la sécu­ri­té et/ou les per­for­mances du sys­tème, les reven­di­ca­tions, l'utilisation pré­vue, ou la confor­mi­té aux régle­men­ta­tions applicables.

Les cri­tères de cer­ti­fi­ca­tion peuvent s'appuyer sur des normes dites « har­mo­ni­sées » qui défi­ni­ront en détail les exi­gences tech­niques néces­saires [26]. Bien que l’application de ces normes ne soit pas tech­ni­que­ment obli­ga­toire, le res­pect sera consi­dé­ré comme une pré­somp­tion de confor­mi­té à la régle­men­ta­tion européenne.

Le pro­ces­sus de ges­tion des risques à mettre en place pour les tech­no­lo­gies à haut risque est défi­ni à l'article 9 du pro­jet de règle­ment. Confor­mé­ment aux exi­gences du RDM, ce pro­ces­sus doit être ité­ra­tif et conti­nu, se dérou­ler sur l'ensemble du cycle de vie et impli­quer des per­sonnes com­pé­tentes vis-à-vis du pro­duit, de sa tech­no­lo­gie et de son uti­li­sa­tion. De même, l'acceptabilité des risques rési­duels indi­vi­duels et du risque rési­duel glo­bal doit être prise en compte.

La démons­tra­tion de la maî­trise des risques doit être réa­li­sée au moyen de tests avec des cri­tères de réus­site pré­dé­fi­nis. Les tests ont trois objec­tifs prin­ci­paux. Pre­miè­re­ment, ils peuvent aider à iden­ti­fier les mesures de ges­tion des risques les plus appro­priées en amé­lio­rant la com­pré­hen­sion des risques. Deuxiè­me­ment, les tests per­mettent de garan­tir que les sys­tèmes d'IA fonc­tionnent de manière cohé­rente pour l'usage auquel ils sont des­ti­nés. Ceci est par­ti­cu­liè­re­ment impor­tant pour garan­tir que les don­nées uti­li­sées pour for­mer ces sys­tèmes reflètent avec pré­ci­sion les pro­blèmes ren­con­trés lors de l'utilisation dans le monde réel. Enfin, les tests garan­tissent que les sys­tèmes d'IA répondent aux exi­gences énon­cées au cha­pitre 2 du règle­ment, notam­ment la trans­pa­rence, la pré­ci­sion, la robus­tesse et la cyber­sé­cu­ri­té [22].

3.2 Normes clés pour la gestion des risques des dispositifs médicaux numériques

La ges­tion des risques des dis­po­si­tifs médi­caux est un sujet bien trai­té par des normes exis­tantes. Comme de nom­breuses res­sources sont dis­po­nibles pour l'interprétation et la mise en œuvre de ces normes, cette sec­tion pré­sente seule­ment un bref résu­mé de la per­ti­nence de chaque norme pour la ges­tion des risques des dis­po­si­tifs médi­caux uti­li­sant l’IA. Un pro­ces­sus pour leur appli­ca­tion pra­tique est pro­po­sé au cha­pitre 4.

3.2.1 ISO 13485:2016 « Systèmes de management de la qualité — Exigences à des fins réglementaires »

Consi­dé­rée comme essen­tielle et dif­fi­ci­le­ment contour­nable pour les fabri­cants de dis­po­si­tifs médi­caux, la norme ISO 13485:2016 « Dis­po­si­tifs médi­caux — Sys­tèmes de mana­ge­ment de la qua­li­té — Exi­gences à des fins régle­men­taires » met un accent par­ti­cu­lier sur la res­pon­sa­bi­li­té d'intégrer les pra­tiques de ges­tion des risques [27].

Dans le cadre d'un sys­tème de mana­ge­ment de la qua­li­té (SMQ) pour assu­rer un pro­duit de qua­li­té, les prin­cipes de ges­tion des risques doivent être appli­qués. Les fabri­cants doivent déter­mi­ner et s'assurer de la com­pé­tence des per­sonnes impli­quées avant le déve­lop­pe­ment [27].

Selon les exi­gences rela­tives aux sys­tèmes infor­ma­ti­sés de la norme ISO 13485:2016 4.16, le déve­lop­pe­ment pour la col­lecte et le trai­te­ment des don­nées, pour l'étiquetage, ain­si que pour la for­ma­tion et le test des modèles doit être vali­dé [27].

3.2.2 ISO 14971:2019 : « Application de la gestion des risques aux dispositifs médicaux » 

Obli­ga­toire pour la confor­mi­té à l’ISO 13485, la norme ISO 14971:2019 « Dis­po­si­tifs médi­caux – Appli­ca­tion de la ges­tion des risques aux dis­po­si­tifs médi­caux » per­met d’évaluer l’ensemble des situa­tions dan­ge­reuses asso­ciées à l’exploitation d’un dis­po­si­tif médical.

Le pro­ces­sus de ges­tion des risques enca­dré par cette norme consiste à iden­ti­fier les dan­gers ain­si que les séquences ou com­bi­nai­sons d'événements rai­son­na­ble­ment pré­vi­sibles et pou­vant entraî­ner une situa­tion dan­ge­reuse. Un dan­ger est une source poten­tielle de dom­mage, tan­dis qu'une situa­tion dan­ge­reuse est une cir­cons­tance dans laquelle des per­sonnes, des biens et/ou l'environnement sont expo­sés à un ou plu­sieurs dan­gers. Pour qu'une situa­tion dan­ge­reuse se pro­duise, il doit y avoir une séquence pré­vi­sible d'événements qui y conduisent [28].

Au fur et à mesure qu'un dis­po­si­tif médi­cal embar­quant un sys­tème d’IA est conçu et déve­lop­pé, des risques appa­raissent à chaque étape du cycle de vie. La néces­si­té de contrô­ler chaque risque iden­ti­fié peut être consi­dé­rée comme une don­née d’entrée de concep­tion. A l'inverse, une spé­ci­fi­ca­tion d'exigence logi­cielle résul­tant d'un besoin uti­li­sa­teur peut se tra­duire par un besoin de maî­trise d'un risque cor­res­pon­dant. Chaque entrée de concep­tion est donc un besoin de contrô­ler un risque, et le pro­ces­sus de concep­tion cor­res­pon­dant est la mesure de contrôle du risque.

Le guide ISO/TR 24971 « Dis­po­si­tifs médi­caux — Recom­man­da­tions rela­tives à l'application de l'ISO 14971 » per­met de mieux com­prendre les recom­man­da­tions de cette norme [29].

3.2.3 ISO 62304:2006 Logiciels de dispositifs médicaux — Processus du cycle de vie du logiciel

Le pro­ces­sus de ges­tion des risques des dis­po­si­tifs médi­caux est bien trai­té par l'ISO 14971, mais cer­taines exi­gences sup­plé­men­taires en matière de ges­tion des risques sont néces­saires pour les logi­ciels. En par­ti­cu­lier, il faut iden­ti­fier des fac­teurs logi­ciels liés aux dan­gers. Pour répondre à ce besoin, l'ISO 62304 uti­lise ISO 14971 comme réfé­rence nor­ma­tive [30]. D’après cette norme, éta­blir la sécu­ri­té et l'efficacité d'un dis­po­si­tif médi­cal conte­nant un logi­ciel néces­site de connaître l'objectif du logi­ciel et de démon­trer que son uti­li­sa­tion répond à ces inten­tions sans entraî­ner de risques inac­cep­tables [30].

La ques­tion de savoir si le logi­ciel est un fac­teur contri­bu­tif à un dan­ger est déter­mi­née au cours de l'activité d'identification des dan­gers du pro­ces­sus de ges­tion des risques. Les dan­gers qui pour­raient être indi­rec­te­ment cau­sés par les logi­ciels (par exemple, en four­nis­sant des infor­ma­tions trom­peuses qui pour­raient entraî­ner l'administration d'un trai­te­ment inap­pro­prié) doivent être pris en compte pour déter­mi­ner si le logi­ciel est un fac­teur contributif.

Les fabri­cants qui uti­lisent des biblio­thèques de logi­ciels (ce qui est presque tou­jours le cas pour les logi­ciels avec l’apprentissage auto­ma­tique) doivent spé­ci­fier et vali­der ces biblio­thèques en tant que SOUP (en anglais : soft­ware of unk­nown pro­ve­nance).

La déci­sion d'utiliser un logi­ciel pour contrô­ler les risques est prise lors de l'activité de contrôle des risques. Le pro­ces­sus de ges­tion des risques des logi­ciels requis dans cette norme doit être inté­gré dans le pro­ces­sus de ges­tion des risques confor­mé­ment à la norme ISO 14971 [30].

3.2.4 ISO 62366-1 Dispositifs médicaux — Partie 1 : Application de l'ingénierie de l'aptitude à l'utilisation aux dispositifs médicaux

ISO 62366-1:2015 décrit un pro­ces­sus per­met­tant aux fabri­cants de DM d'analyser, de spé­ci­fier, de déve­lop­per et d'évaluer l’aptitude à l’utilisation de leurs pro­duits [31]. Ce pro­ces­sus favo­rise la concep­tion d'une inter­face uti­li­sa­teur qui per­met aux uti­li­sa­teurs de com­prendre rapi­de­ment com­ment inter­agir avec un pro­duit de la manière la plus effi­cace et sans erreur.

La norme se concentre sur les erreurs d'utilisation qui peuvent se pro­duire dans des condi­tions nor­males ain­si que sur l'identification et la prise en compte des risques asso­ciés lors du pro­ces­sus de concep­tion. Ensuite, des pro­cé­dures de test four­nissent des preuves d'une uti­li­sa­tion sûre. Si la vali­da­tion montre que les risques liés à l'utilisation sont inac­cep­tables ou que de nou­veaux risques d'utilisation ont été intro­duits, d'autres mesures de contrôle des risques doivent être mises en œuvre. La norme peut être uti­li­sée pour iden­ti­fier mais n'évalue ni n'atténue les risques asso­ciés à une uti­li­sa­tion anor­male déli­bé­rée par l’utilisateur.

L’ISO 62366-1 exige que les fabri­cants carac­té­risent avec pré­ci­sion les uti­li­sa­teurs pré­vus, l'environnement d'utilisation pré­vu et les patients visés, y com­pris leurs indi­ca­tions et contre-indi­ca­tions. Il faut iden­ti­fier éga­le­ment la for­ma­tion, l'expérience dans les domaines médi­caux et les connais­sances tech­niques des uti­li­sa­teurs pré­vus [31]. Ces infor­ma­tions sont indis­pen­sables en tant que don­nées d’entrée pour le pro­ces­sus de concep­tion et l’identification des risques, en par­ti­cu­lier pour les sys­tèmes d'IA qui néces­sitent des connais­sances spé­cia­li­sées pour com­prendre les résultats.

3.3 Contexte normatif de l'intelligence artificielle en évolution

Bien qu'il existe de nom­breuses normes et meilleures pra­tiques pour aider les orga­ni­sa­tions à atté­nuer les risques des logi­ciels tra­di­tion­nels, les risques posés par les sys­tèmes d'IA sont à bien des égards uniques. Le règle­ment euro­péen 2021/0106 sur l’intelligence arti­fi­cielle a pré­vu un rôle impor­tant pour les normes tech­niques dans la gou­ver­nance de l'IA. Un cer­tain nombre de normes sont en cours d'élaboration ou ont été récem­ment publiées afin d'aider les fabri­cants à se confor­mer aux exi­gences énon­cées. Les deux normes décrites ci-des­sous ont été choi­sies pour la réa­li­sa­tion de ce pro­jet en rai­son de leur per­ti­nence directe pour la ges­tion des risques.

3.3.1 Apports de la norme ISO 23894:2023 sur le management des risques

Les normes inter­na­tio­nales ont des défi­ni­tions sen­si­ble­ment dif­fé­rentes du mot « risque ». Dans la norme ISO 31000 et les normes asso­ciées, le « risque » implique un écart par rap­port aux objec­tifs de l’organisation, qu'il soit posi­tif ou néga­tif [32]. Dans d'autres normes, telles que l'ISO 14971, le « risque » implique uni­que­ment des résul­tats néga­tifs poten­tiels de l’utilisation d’un pro­duit, tels que des pro­blèmes liés à la sécu­ri­té. Cette dif­fé­rence d'orientation peut être source de confu­sion lorsqu'il s'agit de com­prendre et de mettre en œuvre un pro­ces­sus de ges­tion des risques conforme [33]. Cepen­dant, du fait que ces deux approches prennent en compte le mana­ge­ment du risque au niveau de l'organisation et la ges­tion du risque lié à la sécu­ri­té des pro­duits, elles sont com­plé­men­taires pour les fabri­cants de dis­po­si­tifs médicaux.

Publiée en mars 2023 et se basant sur ISO 31000 comme réfé­rence nor­ma­tive, l'ISO/IEC 23894 « Tech­no­lo­gies de l’information — Intel­li­gence arti­fi­cielle — Recom­man­da­tions rela­tives au mana­ge­ment du risque » pro­pose des lignes direc­trices pour le mana­ge­ment des risques liés au déve­lop­pe­ment et à l'utilisation de l'IA. Les direc­tives pro­po­sées par cette norme peuvent être adap­tées à n'importe quelle orga­ni­sa­tion et à son contexte com­mer­cial. Il four­nit éga­le­ment des conseils sur la manière dont les orga­ni­sa­tions peuvent inté­grer le mana­ge­ment des risques dans leurs acti­vi­tés et fonc­tions com­mer­ciales axées sur l'IA [33].

Les prin­ci­paux avan­tages de l'ISO 23894 pour les fabri­cants de dis­po­si­tifs médi­caux uti­li­sant l’IA se trouve dans ses annexes, qui incluent des exemples concrets de mise en œuvre et d'intégration effi­caces de la ges­tion des risques tout au long du cycle de vie du déve­lop­pe­ment de l'IA. Ils four­nissent éga­le­ment des infor­ma­tions détaillées sur les sources de risques spé­ci­fiques à l'IA [33].

Dans l'ensemble, l'utilisation de l'ISO 23894 peut aider les par­ties pre­nantes à déve­lop­per des stra­té­gies effi­caces de ges­tion des risques pour l'IA dans les dis­po­si­tifs médi­caux, en pro­mou­vant le déploie­ment sûr et res­pon­sable de ces tech­no­lo­gies pour main­te­nir la confiance dans leur utilisation.

3.3.2 ISO 42001 : Intelligence artificielle — Système de management

Paral­lè­le­ment à diverses normes abor­dant les prin­ci­paux défis de l'IA, le comi­té ISO pour l'intelligence arti­fi­cielle éla­bore actuel­le­ment une norme pour l'IA avec la dési­gna­tion ISO 42001 [34]. Elle sera une norme de « sys­tème de ges­tion », qui four­nit un cadre de bonnes pra­tiques et décrit les pro­ces­sus qu'une orga­ni­sa­tion peut suivre pour atteindre ses objec­tifs. L'ISO 42001 met l'accent sur l'intégration d'un sys­tème de ges­tion de l'IA dans les struc­tures exis­tantes de l'organisation afin de favo­ri­ser le déve­lop­pe­ment de sys­tèmes d'IA dignes de confiance. De tels sys­tèmes sont capables de répondre aux attentes des par­ties pre­nantes de manière fiable et ont des carac­té­ris­tiques éprou­vées telles que la sécu­ri­té, la confi­den­tia­li­té, la sûre­té et la transparence.

Dans l'annexe B de la norme, qui traite des direc­tives de mise en œuvre des contrôles de l'IA, il est fait men­tion de mesures de contrôle des risques spé­ci­fiques concer­nant l'IA. En par­ti­cu­lier, il est obli­ga­toire que la docu­men­ta­tion des don­nées uti­li­sées dans l'organisation inclue le pro­ces­sus de label­li­sa­tion des don­nées pour la for­ma­tion et les tests [35].

En termes d'évaluation de l'impact des sys­tèmes d'IA sur les groupes et les indi­vi­dus, la norme men­tionne plu­sieurs domaines tels que l'équité, la res­pon­sa­bi­li­té, la fia­bi­li­té, la trans­pa­rence, l'explicabilité, l'accessibilité et la sécu­ri­té. La norme couvre éga­le­ment les effets com­muns aux sys­tèmes logi­ciels en géné­ral, tels que l'environnement, la dés­in­for­ma­tion poten­tielle et les éven­tuels pro­blèmes de sécu­ri­té et de san­té [35].

L'annexe C est par­ti­cu­liè­re­ment per­ti­nente pour la ges­tion des risques, car elle traite des objec­tifs orga­ni­sa­tion­nels et des sources de risques liés à l'IA.

Dans son ensemble, l'ISO 42001 pro­pose aux orga­ni­sa­tions des conseils sur les normes et les pro­ces­sus néces­saires pour déployer des sys­tèmes d'IA fiables. Cette norme sera sûre­ment per­ti­nente à mettre en place par tous les déve­lop­peurs de sys­tèmes d'IA à haut risque, y com­pris les sys­tèmes inté­grés aux dis­po­si­tifs médicaux.

4. Proposition de méthode de travail pour la maîtrise des risques

Dans le cadre de ce stage, j'ai pu tra­vailler dans un cadre régle­men­taire et nor­ma­tif dense et en pleine expan­sion, mais encore défaillant sur plu­sieurs fronts. Comme détaillé dans le cha­pitre pré­cé­dent, les efforts pour régle­men­ter et har­mo­ni­ser les bonnes pra­tiques rela­tives à l'IA sont en cours. Cepen­dant, il est désor­mais impé­ra­tif pour les entre­prises déve­lop­pant ces tech­no­lo­gies de bien pla­ni­fier les pro­cé­dures et les déci­sions concer­nant leur concep­tion, leur déve­lop­pe­ment et leurs uti­li­sa­tions pré­vues afin d'éviter de prendre du retard dans un ave­nir qui approche à grands pas.

Dans ce cha­pitre, je pro­pose des stra­té­gies de mana­ge­ment et de ges­tion des risques qui incitent les orga­ni­sa­tions et leurs équipes qui conçoivent, déve­loppent et déploient les dis­po­si­tifs médi­caux inté­grant l'IA à réflé­chir de manière plus cri­tique aux impacts néga­tifs et posi­tifs poten­tiels. Ces démarches contri­bue­ront à ren­for­cer la fia­bi­li­té et, à son tour, à culti­ver la confiance du public dans l’utilisation de ces produits.

4.1. Processus à mettre en œuvre pour la maitrise des risques

Pour enga­ger la confiance des usa­gers finaux et ache­teurs, atteindre les objec­tifs de crois­sance, res­ter com­pé­ti­tif et pro­té­ger la valeur des dis­po­si­tifs médi­caux uti­li­sant l’IA, il est cru­cial de mettre en place des mesures de mana­ge­ment et de ges­tion des risques. Selon un groupe de tra­vail sur la régle­men­ta­tion de l'IA dans la san­té mené par l'Organisation mon­diale de la san­té (OMS), la ges­tion des risques doit être basée sur une approche qui prend en compte toutes les phases de la vie d'un sys­tème d'IA et qui traite les risques asso­ciés, tels que les vul­né­ra­bi­li­tés en matière de cyber­sé­cu­ri­té, le sous-ajus­te­ment (« under­fit­ting » en anglais), et les biais [36].

Pour créer un pro­duit digne de la confiance de ses uti­li­sa­teurs, il faut que cette approche par les risques intègre tous les niveaux de l'organisation, de sa direc­tion aux équipes déve­lop­pant le pro­duit, ain­si que les par­ties pre­nantes externes. Basée sur les normes et règle­ments décrits ci-des­sus, je pro­pose un pro­ces­sus qui s’articule autour de la ges­tion des risques des sys­tèmes d'IA, y com­pris les menaces pour les orga­ni­sa­tions qui les déve­loppent [Figure 10]. Cette pra­tique est enca­drée par le pro­ces­sus de pilo­tage ain­si que les inter­ac­tions avec les par­ties pre­nantes, deux pra­tiques com­plé­men­taires et indis­pen­sables pour répondre aux objec­tifs de res­pon­sa­bi­li­té et de transparence.

Alors que le pro­ces­sus de ges­tion des risques peut se dérou­ler sépa­ré­ment du sys­tème de mana­ge­ment de la qua­li­té et se concen­trer uni­que­ment sur les risques de sécu­ri­té de leur pro­duit pour les uti­li­sa­teurs [28], le pro­ces­sus pro­po­sé par ce mémoire intègre éga­le­ment les risques pour l'organisation et ses par­ties pre­nantes. Cette approche glo­bale est par­ti­cu­liè­re­ment per­ti­nente pour les déve­lop­peurs de dis­po­si­tifs médi­caux uti­li­sant l'IA en rai­son de l’importance de l’engagement de la confiance du public et des uti­li­sa­teurs pour la sur­vie de l'entreprise.

Figure 10. Proposition de processus à mettre en œuvre pour la maîtrise des risques (source : auteure).

4.1.1 La gestion et le management des risques

Au cœur des efforts de ges­tion des risques, cette par­tie du pro­ces­sus repose sur la mise en place de pro­cé­dures sys­té­ma­tiques d'identification, de trai­te­ment, d'évaluation et de sui­vi des risques. Les pro­cé­dures de test repré­sentent éga­le­ment une par­tie essen­tielle. Ces acti­vi­tés doivent être soi­gneu­se­ment docu­men­tées dans un for­mat qui faci­lite la tra­ça­bi­li­té et l'examen, y com­pris lors des audits internes et externes. Un exemple de for­mat est une feuille de cal­cul qui per­met de trier les don­nées par phase de déve­lop­pe­ment, type de risque et/ou com­po­sant logiciel.

Pour mettre en place ce sys­tème, il est indis­pen­sable de col­la­bo­rer avec l'ensemble du per­son­nel concer­né pour s'assurer que les mesures prises sont com­pa­tibles avec leur façon de tra­vailler. Ces mesures devraient être inté­grées dans les pro­ces­sus exis­tants autant que pos­sible. Par exemple, un sys­tème de tickets uti­li­sé par l'équipe de déve­lop­peurs peut être adap­té pour inclure des infor­ma­tions sur la ges­tion des risques sur chaque ticket.

Identification des risques

Afin de trai­ter autant de risques pré­vi­sibles que pos­sible, un pro­ces­sus d'identification sys­té­ma­tique déclen­ché tôt dans le déve­lop­pe­ment et pour­sui­vi au cours du cycle de vie du pro­duit est essen­tiel. L’identification pré­coce des risques per­met de défi­nir les besoins de l'utilisateur du pro­duit et les don­nées d’entrée de concep­tion. Cela garan­tit que les acti­vi­tés de contrôle de concep­tion et de ges­tion des risques sont syn­chro­ni­sées, favo­ri­sant ain­si une concep­tion à sécu­ri­té intrinsèque.

Comme pour d’autres dis­po­si­tifs médi­caux, l’identification des risques doit com­men­cer avec l’identification des uti­li­sa­teurs, des uti­li­sa­tions pré­vues et des més­usages rai­son­na­ble­ment pré­vi­sibles du dis­po­si­tif [29]. Ensuite, les carac­té­ris­tiques rela­tives à la sécu­ri­té sont réper­to­riées [29], tels que la qua­li­té et per­ti­nence des don­nées uti­li­sées pour for­mer le sys­tème, l’autonomie du sys­tème (est-ce qu’un humain véri­fie les résul­tats ?) et les risques résul­tants des mesures de sécu­ri­té elles-mêmes.

Étant don­né que les prin­cipes de base de la ges­tion des risques sont simi­laires pour l'IA et d'autres tech­no­lo­gies, les tech­niques et méthodes exis­tantes telles que les taxo­no­mies des risques, les bases de don­nées d'incidents et l'analyse de sce­na­rii peuvent être uti­li­sées [37]. En revanche, en rai­son de la com­plexi­té et de la nou­veau­té de nom­breux algo­rithmes d'IA, cette démarche devrait s’appuyer sur l’expertise les membres de l'équipe impli­qués dans le déve­lop­pe­ment du produit.

Selon le Natio­nal Ins­ti­tute for Stan­dards and Tech­no­lo­gy (NIST) aux États-Unis, une atten­tion par­ti­cu­lière doit être por­tée à cer­taines par­ties sen­sibles de la ges­tion des risques pour les sys­tèmes d'IA, y com­pris [17] :

• Dif­fi­cul­té de com­pré­hen­sion : des risques peuvent sur­ve­nir de la nature opaque des sys­tèmes d'IA (expli­ca­bi­li­té ou inter­pré­ta­bi­li­té limi­tée), du manque de trans­pa­rence ou de docu­men­ta­tion dans le déve­lop­pe­ment et le déploie­ment, ou des incer­ti­tudes inhé­rentes aux sys­tèmes d'IA.
• Risques au cours du cycle de vie de l'IA : L'évaluation des risques à dif­fé­rentes étapes du cycle de vie de l'IA peut pro­duire des résul­tats divers, car cer­tains risques peuvent s'amplifier à mesure que les sys­tèmes d'IA évo­luent. De plus, dif­fé­rents par­ti­ci­pants impli­qués dans le cycle de vie de l'IA peuvent avoir des pers­pec­tives dis­tinctes sur le risque. Par exemple, un déve­lop­peur d’un logi­ciel incor­po­rant l'IA, tels que des modèles pré­for­més, peut voir les risques dif­fé­rem­ment par rap­port à une per­sonne res­pon­sable de la mise en œuvre du même modèle dans un scé­na­rio spé­ci­fique. Ces per­sonnes peuvent ne pas plei­ne­ment recon­naître les risques uniques asso­ciés à leurs cas d'utilisation par­ti­cu­liers, qui peuvent dif­fé­rer de ceux iden­ti­fiés par le déve­lop­peur d'origine.
• Risque dans des contextes réels : bien que la mesure des risques liés à l'IA dans un envi­ron­ne­ment contrô­lé puisse four­nir des infor­ma­tions impor­tantes avant le déploie­ment, ces mesures peuvent dif­fé­rer des risques qui émergent dans des contextes opé­ra­tion­nels réels.

Afin de faci­li­ter le pro­ces­sus d'identification des risques, des listes de sources de risques pro­po­sées par les normes per­ti­nentes, telles que l’ISO 24971 et l’ISO 23894 [29], [33], peuvent être utiles. Bien que ces listes ne puissent pas être consi­dé­rées comme exhaus­tives, elles peuvent consti­tuer un point de départ pour des dis­cus­sions avec des per­sonnes spé­cia­li­sées dans une tech­no­lo­gie spé­ci­fique. Pour four­nir une réfé­rence sup­plé­men­taire, une car­to­gra­phie des sources de risque basée sur des normes per­ti­nentes est pro­po­sée à la fin de cette section.

Il est impor­tant de noter que l’identification des risques doit être mise à jour régu­liè­re­ment avec les infor­ma­tions résul­tant de la sur­veillance post-com­mer­cia­li­sa­tion [15], [22].

Estimation et évaluation des risques

Pour les risques liés à la sécu­ri­té d'un dis­po­si­tif médi­cal, l'estimation du risque fait réfé­rence à l'estimation de la pro­ba­bi­li­té d'occurrence d'un dom­mage et de la gra­vi­té de ce dom­mage [28]. L’évaluation des risques désigne la déter­mi­na­tion du carac­tère accep­table ou non d'un risque [22].

Selon le pro­jet de loi sur l'IA, l'estimation et l'évaluation des risques devraient se concen­trer sur les risques sus­cep­tibles d'apparaître lorsque le sys­tème d'IA à haut risque est uti­li­sé confor­mé­ment à sa des­ti­na­tion et dans des condi­tions de mau­vaise uti­li­sa­tion. Pour pré­pa­rer cette acti­vi­té, les four­nis­seurs doivent uti­li­ser les infor­ma­tions iden­ti­fiées lors de la pre­mière étape, y com­pris les uti­li­sa­teurs poten­tiels, les uti­li­sa­tions pré­vues et les més­usages rai­son­na­ble­ment pré­vi­sibles [22]. Ces der­niers peuvent être iden­ti­fiés grâce à des études d'aptitude à l’utilisation, des retours d'experts ain­si des don­nées his­to­riques du dis­po­si­tif et des dis­po­si­tifs similaires.

Traitement des risques

L'annexe I du règle­ment 2017/745 rela­tif aux dis­po­si­tifs médi­caux ain­si que la pro­po­si­tion de règle­ment sur l’IA four­nissent l'ordre de prio­ri­té que les fabri­cants doivent prendre en compte lors de la sélec­tion des solu­tions les plus appro­priées [15], [22] :

1. Éli­mi­ner ou réduire les risques autant que pos­sible grâce à une concep­tion et une fabri­ca­tion sûre ;
2. Mesures de pro­tec­tion adé­quates pour les risques qui ne peuvent pas être éli­mi­nés (par exemple, alarmes) ;
3. Four­nir des infor­ma­tions ou une for­ma­tion des uti­li­sa­teurs pour la sécu­ri­té et divul­guer tout risque résiduel.

Le fabri­cant doit docu­men­ter les risques rési­duels, en tenant plei­ne­ment compte des risques liés au déploie­ment du pro­duit d'IA et en infor­mant les uti­li­sa­teurs finaux des impacts néga­tifs poten­tiels de l'interaction avec le sys­tème [17]. Des stra­té­gies pour infor­mer les uti­li­sa­teurs des risques rési­duels pour­raient com­prendre des manuels d'utilisation et des ins­truc­tions qui traitent expli­ci­te­ment des risques rési­duels et four­nissent des consignes sur la manière d'atténuer ces risques. Un autre exemple est des noti­fi­ca­tions d’avertissement qui sont faci­le­ment visibles et com­pré­hen­sibles pour les utilisateurs.

Selon le RDM, des mesures doivent être prises pour réduire tous les risques iden­ti­fiés, pas seule­ment ceux ini­tia­le­ment jugés inac­cep­tables [15]. Il s'agit d'une dif­fé­rence impor­tante avec la loi sur l'IA, qui pré­cise qu'il suf­fit de docu­men­ter les risques accep­tables sans prendre de mesures pour les trai­ter [22].

Procédures de test

Comme énon­cée pré­cé­dem­ment, la pro­po­si­tion de règle­ment sur l’IA exige que des pro­cé­dures de test soient uti­li­sées pour véri­fier l’efficacité des mesures de contrôle de risque. Le règle­ment pré­cise que ces essais doivent avoir lieu le cas échéant, à tout moment du pro­ces­sus de déve­lop­pe­ment et, en tout état de cause, avant la mise sur le mar­ché [22].

Le para­graphe 7 pré­cise que les four­nis­seurs doivent tes­ter leurs sys­tèmes d'IA à haut risque par rap­port à des métriques et des seuils pro­ba­bi­listes préa­la­ble­ment défi­nis qui sont appro­priés à l'objectif visé par le sys­tème. Les « seuils pro­ba­bi­listes » repré­sentent un type par­ti­cu­lier de métrique éva­luant une pro­prié­té sur une échelle pro­ba­bi­liste avec un ou plu­sieurs seuils pré­dé­fi­nis [22].

En rai­son des appli­ca­tions variées des tech­no­lo­gies d’IA et du manque de pra­tiques éta­blies, aucune ligne direc­trice uni­ver­selle ne peut être four­nie concer­nant la sélec­tion des mesures ou des seuils à uti­li­ser. Par consé­quent, les four­nis­seurs doivent navi­guer dans l'incertitude et recon­naître que les mesures uti­li­sées pré­cé­dem­ment peuvent ne pas être appli­cables à l'avenir. C'est vrai­sem­bla­ble­ment la rai­son pour laquelle la norme parle de « métriques préa­la­ble­ment défi­nies » [37].

Suivi des risques

D’après le RDM, la ges­tion des risques doit être mis à jour régu­liè­re­ment en fonc­tion des infor­ma­tions de pro­duc­tion et sur­veillance après com­mer­cia­li­sa­tion. Ces der­nières devront être uti­li­sées pour iden­ti­fier la fré­quence des dan­gers et rééva­luer ain­si le risque glo­bal, le rap­port bénéfice/risque et le carac­tère accep­table du risque [15].

Pour les dis­po­si­tifs médi­caux embar­quant l'IA, un sys­tème de col­lecte et d'analyse des don­nées sur les évé­ne­ments indé­si­rables, les plaintes et les com­men­taires des uti­li­sa­teurs, des pro­fes­sion­nels de la san­té et des autres par­ties pre­nantes doit être mis en place. Ce sys­tème devrait inclure un pro­ces­sus et des canaux de trai­te­ment des récla­ma­tions pour cap­tu­rer et éva­luer les infor­ma­tions rela­tives aux per­for­mances du dis­po­si­tif et aux risques. Les per­for­mances des algo­rithmes d'IA dans des contextes cli­niques réels doivent être sur­veillées et éva­luées en per­ma­nence pour véri­fier le bon fonc­tion­ne­ment des algo­rithmes et iden­ti­fier tout écart par rap­port au com­por­te­ment atten­du. Par exemple, les dif­fé­rences entre les don­nées uti­li­sées dans le déve­lop­pe­ment d'un algo­rithme et celles appli­quées dans le monde réel peuvent entraî­ner une dérive des don­nées (« data drift » en anglais) [38].

Enregistrement et consultation

L'organisation devrait éta­blir, enre­gis­trer et main­te­nir un sys­tème de col­lecte et de véri­fi­ca­tion des infor­ma­tions sur le pro­duit pen­dant et après le déploie­ment. Selon la norme ISO 23894, ses infor­ma­tions doivent ensuite être éva­luées en rap­port à la fia­bi­li­té du sys­tème d'IA [33].

En par­ti­cu­lier, l'organisme doit éva­luer s'il existe des risques pré­cé­dem­ment non détec­tés ou si des risques pré­cé­dem­ment iden­ti­fiés ne sont plus accep­tables. Ces acti­vi­tés devraient être enre­gis­trées afin d’assurer la tra­ça­bi­li­té des fac­teurs tels que la métho­do­lo­gie, le per­son­nel impli­qué et si les objec­tifs ont été atteints ou non.

4.1.2 Processus de pilotage

Une ges­tion effi­cace des risques est réa­li­sée grâce à un enga­ge­ment orga­ni­sa­tion­nel aux niveaux supé­rieurs et peut néces­si­ter un chan­ge­ment cultu­rel au sein d'une orga­ni­sa­tion. Les déve­lop­peurs de dis­po­si­tifs médi­caux inté­grant l'IA doivent éta­blir et main­te­nir les rôles, les res­pon­sa­bi­li­tés et la culture appro­priés pour que la ges­tion des risques soit efficace.

Les petites et moyennes entre­prises peuvent être confron­tées à des défis sup­plé­men­taires en fonc­tion de leurs capa­ci­tés et de leurs res­sources [17].

4.1.3 Processus de communication et de concertation

Ce pro­ces­sus com­prend l'identification et l'engagement des par­ties pre­nantes, la pro­mo­tion d'une sur­veillance sys­té­mique, ité­ra­tive et dyna­mique des risques et la dif­fu­sion pério­dique d'informations. La com­mu­ni­ca­tion et la consul­ta­tion servent à aider les par­ties pre­nantes à com­prendre les risques, les prin­cipes de prise de déci­sion ain­si que les rai­sons pour les­quelles cer­taines actions sont néces­saires [32].

4.2 Cartographie des risques associés à l’intelligence artificielle

Les entre­prises com­mer­cia­li­sant des dis­po­si­tifs médi­caux inté­grant l’IA doivent iden­ti­fier et tenir compte des dif­fé­rentes sources de risque au cours du cycle de vie du dis­po­si­tif. La caté­go­ri­sa­tion de ces risques à l'aide d'une approche hié­rar­chique peut aider les orga­ni­sa­tions à mieux les recon­naître et les gérer.

Selon une étude réa­li­sée par le NIST et basée sur des docu­ments de réfé­rence com­pre­nant la pro­po­si­tion du règle­ment euro­péen sur l’IA, il existe trois caté­go­ries prin­ci­pales de sources de risques liées aux sys­tèmes d'IA [17] :

1. Carac­té­ris­tiques tech­niques de concep­tion : cette caté­go­rie com­prend tous les fac­teurs qui sont sous le contrôle direct des déve­lop­peurs. Les exemples incluent l'exactitude et les mesures connexes telles que la pré­ci­sion et les taux de faux posi­tifs et de faux néga­tifs. Un autre exemple est les sources d'erreur sta­tis­tique qui pour­raient être mesu­rées en appli­quant les algo­rithmes en déve­lop­pe­ment. Enfin, les don­nées géné­rées à par­tir d'expériences conçues pour éva­luer les per­for­mances du sys­tème entrent éga­le­ment dans cette caté­go­rie et peuvent inclure des tests d'hypothèses cau­sales, des éva­lua­tions de la robus­tesse aux attaques, etc.
2. Attri­buts socio­tech­niques : Il s'agit de de la per­cep­tion des repré­sen­ta­tions de modèles, y com­pris si le résul­tat four­ni est suf­fi­sant pour éva­luer la confor­mi­té (trans­pa­rence), si les opé­ra­tions du modèle peuvent être faci­le­ment com­prises (expli­ca­bi­li­té) et si elles four­nissent une sor­tie qui peut être uti­li­sé pour prendre une déci­sion signi­fi­ca­tive (inter­pré­ta­bi­li­té). En géné­ral, tout juge­ment ou l'évaluation d'un sys­tème d'IA, ou de sa sor­tie, qui est fait par un humain entre dans cette caté­go­rie. Cette caté­go­rie com­prend éga­le­ment les biais humains, telles que l’effet expé­ri­men­ta­teur et les pré­ju­gés sociaux [18]. De plus, les efforts d'identification des risques doivent tenir compte du fait que les humains peuvent sup­po­ser que les sys­tèmes d'IA fonc­tionnent bien ou sont plus objec­tifs que les humains dans tous les contextes [33].
3. Poli­tiques et prin­cipes direc­teurs : Cette caté­go­rie fait réfé­rence à des valeurs socié­tales plus larges, telles que la vie pri­vée, la res­pon­sa­bi­li­té, l'équité et la jus­tice. Ces fac­teurs sont dif­fi­ciles à mesu­rer de manière cohé­rente dans tous les domaines en rai­son de leur dépen­dance au contexte.

Afin de créer la car­to­gra­phie des risques, ce cadre a été com­bi­né avec les élé­ments sui­vants pro­po­sés dans l’annexe B de la norme ISO 23894 [Figure 11] [33] :

• Com­plexi­té de l'environnement : La com­plexi­té de l'environnement d'un sys­tème d'IA déter­mine la gamme de situa­tions poten­tielles que le sys­tème pour­rait ren­con­trer dans son contexte opé­ra­tion­nel. Au cours du pro­ces­sus de concep­tion et de déve­lop­pe­ment, il est essen­tiel d'identifier les situa­tions per­ti­nentes que le sys­tème est cen­sé gérer afin que les don­nées de for­ma­tion et de test couvrent ces situa­tions. En cas de com­pré­hen­sion par­tielle en rai­son d'une grande com­plexi­té, on ne peut pas sup­po­ser que toutes les situa­tions per­ti­nentes aient été prises en compte. Ce niveau d'incertitude est une source de risque.
• Niveau d’autonomie : Les sys­tèmes d'IA peuvent fonc­tion­ner avec dif­fé­rents niveaux d'automatisation, allant du contrôle total par un opé­ra­teur humain à l'automatisation com­plète. Selon le cas d'utilisation, les déci­sions auto­ma­ti­sées peuvent avoir un effet sur la sûre­té, l'équité ou la sécurité.

Figure 11. Catégories de sources de risques liés à l'intelligence artificielle (source : auteure).

Cer­tains risques liés aux sys­tèmes d'IA sont com­muns à d'autres types de logi­ciels, par exemple :

• les pro­blèmes de confi­den­tia­li­té liés à l'utilisation de don­nées pour for­mer des sys­tèmes d'IA ;
• les impli­ca­tions éner­gé­tiques et envi­ron­ne­men­tales asso­ciées aux demandes infor­ma­tiques en ressources ;
• les pro­blèmes de sécu­ri­té liés à la confi­den­tia­li­té, l'intégrité et la dis­po­ni­bi­li­té du sys­tème et de ses don­nées de for­ma­tion et de sortie ;
• et la sécu­ri­té géné­rale du logi­ciel et du maté­riel sous-jacents pour les sys­tèmes d'IA [17].

Tous les par­ti­ci­pants enga­gés dans le cycle de vie de l'IA portent une res­pon­sa­bi­li­té col­lec­tive dans la concep­tion, le déve­lop­pe­ment et le déploie­ment d'un pro­duit fiable qui cor­res­pond à son objec­tif. Compte tenu de la com­plexi­té de nom­breux sys­tèmes d'IA, il est essen­tiel d'impliquer les experts qui déve­loppent ces tech­no­lo­gies dans la ges­tion des risques, en par­ti­cu­lier dans l'identification et l'atténuation des risques. L'une des prin­ci­pales mis­sions de ce stage était donc cen­trée sur la col­la­bo­ra­tion inter­dis­ci­pli­naire avec les équipes IT et R&D afin de déve­lop­per des stra­té­gies effi­caces et glo­bales de ges­tion des risques.

En par­ti­ci­pant au pro­ces­sus de ges­tion des risques du DM, les déve­lop­peurs peuvent contri­buer aux déci­sions concer­nant les risques liés au logi­ciel. Ces déci­sions peuvent inclure, mais sans s'y limiter :

• la four­ni­ture de res­sources maté­rielles adé­quates pour prendre en charge le logiciel ;
• le cloi­son­ne­ment des fonc­tions entre maté­riel et logiciel ;
• l'utilisation pré­vue de l'ensemble du DM et l'utilisation pré­vue des inter­faces uti­li­sa­teur du logiciel ;
• l'évitement des logi­ciels inuti­le­ment com­plexes [39].

4.3 Support de formation à la gestion des risques et QCM destinés aux équipes internes

Afin de faci­li­ter l’implication des équipes internes dans la ges­tion des risques, une for­ma­tion sur l’introduction à la ges­tion des risques a été réa­li­sée [Figure 12].

Figure 12. Extrait du support de formation sur la gestion des risques (source : auteure).

Le but de cette for­ma­tion était de s'assurer que tous les membres de l'équipe dis­po­saient des infor­ma­tions de base néces­saires pour par­ti­ci­per à la ges­tion des risques, y com­pris l'identification et l'évaluation des risques.

Le sup­port de cette for­ma­tion et le for­mu­laire de ques­tions à choix mul­tiples (QCM) qui sert à tes­ter la com­pré­hen­sion de l'équipe interne sont dis­po­nibles en télé­char­ge­ment. Le QCM a été créé en pre­nant en compte les infor­ma­tions les plus sus­cep­tibles d'être source de confu­sion pour les novices en la matière, comme la néces­si­té de réduire tous les risques, même ceux qui sont a prio­ri négli­geables [Figure 13].

Figure 13. Extrait du QCM accompagnant la formation sur la gestion des risques (source : auteure).

 La com­plé­tude du QCM peut ser­vir de preuve de la for­ma­tion conti­nue du per­son­nel lors des audits, par exemple pour la cer­ti­fi­ca­tion ISO 13485 [27].

5. Retour d’expérience en tant que chargée des affaires réglementaires au sein de l’entreprise ExactCure

À la suite d’une pre­mière expé­rience en affaires régle­men­taires pour une socié­té phar­ma­ceu­tique amé­ri­caine, j'étais intri­guée par les enjeux liés aux évo­lu­tions de la régle­men­ta­tion en Europe, notam­ment dans le monde des dis­po­si­tifs médi­caux. J'ai choi­si d'intégrer la deuxième année du mas­ter Ingé­nie­rie de la san­té, par­cours dis­po­si­tifs médi­caux et affaires régle­men­taires à l'Université de Tech­no­lo­gie de Com­piègne car ce pro­gramme appor­te­rait les connais­sances et expé­riences néces­saires pour deve­nir une pro­fes­sion­nelle dans le domaine. Après un pro­jet explo­rant les enjeux liés aux thé­ra­pies numé­riques, je me suis rapi­de­ment inté­res­sée à la régle­men­ta­tion des dis­po­si­tifs médi­caux numé­riques et à l'intelligence arti­fi­cielle en particulier.

Le 20 février 2023, j’intégrais l’entreprise Exact­Cure en tant que sta­giaire Char­gée des affaires régle­men­taires à Nice, France. Avant tout, ce stage était l'occasion idéale d'acquérir une expé­rience pra­tique dans la régle­men­ta­tion des dis­po­si­tifs médi­caux numé­riques embar­quant l’intelligence arti­fi­cielle. Étant don­né que le pro­duit Exa­Med était déjà com­mer­cia­li­sé en tant que pro­duit de classe I en ver­tu de la Direc­tive 93/42/CEE, j’ai éga­le­ment pu contri­buer à la tran­si­tion vers le RDM et le pas­sage à la classe IIa. Ces deux expé­riences sont des atouts indé­niables pour déve­lop­per les com­pé­tences néces­saires d'un pro­fes­sion­nel dans le contexte régle­men­taire actuel des dis­po­si­tifs médi­caux en Europe.

5.1 Missions et livrables réalisés

Afin d'aborder ces enjeux et de pro­po­ser des solu­tions, j'ai uti­li­sé la roue de Deming pour défi­nir une méthode de tra­vail [Figure 14]. En tant que nou­velle venue dans une struc­ture exis­tante, il conve­nait de com­men­cer par l’étape d’analyse du sys­tème exis­tant et d’identification des écarts avec les objec­tifs de l’entreprise, notam­ment le renou­vel­le­ment du mar­quage CE (« Check »).

Figure 14. Roue de Deming utilisé pour planifier la démarche de réalisation des missions de ce stage (source : auteure).

À la suite de l'examen de la docu­men­ta­tion exis­tante d'ExactCure et des exi­gences régle­men­taires per­ti­nentes pour leur pro­duit, j'ai pu iden­ti­fier un cer­tain nombre de mis­sions et de docu­ments à créer ou mettre à jour. Ces mis­sions et les livrables asso­ciés sont résu­més dans Tableau 1.

Tableau 1. Missions et livrables complétés lors de ce stage (source : auteure).

Mis­sion	Livrable(s) asso­ciés
Contri­buer à l’évolution des dos­siers tech­niques du dis­po­si­tif médi­cal logi­ciel d’ExactCure pour une tran­si­tion vers le nou­veau règle­ment MDR	Pro­ces­sus de ges­tion des risques Plan de ges­tion des risques Dos­sier de ges­tion des risques Poli­tique d’acceptabilité des risques
Par­ti­ci­per aux acti­vi­tés d’évaluation clinique	Plan de sur­veillance cli­nique après commercialisation
Assu­rer le main­tien de la veille régle­men­taire, la sur­veillance post com­mer­cia­li­sa­tion et la matériovigilance	Plan de sur­veillance après com­mer­cia­li­sa­tion Rap­port pério­dique actua­li­sé de sécurité
Réa­li­ser les tests fonc­tion­nels du DM Exact­Cure selon les scé­na­rios de tests	Rap­ports de tests

En tra­vaillant sur l'ensemble de ces livrables, j'ai pu assu­rer la syn­chro­ni­sa­tion entre les pro­cé­dures et les plans de ges­tion des risques, de sur­veillance après com­mer­cia­li­sa­tion et de sur­veillance cli­nique après com­mer­cia­li­sa­tion. Chaque rap­port résul­tant tient compte des don­nées et des conclu­sions des autres processus.

Ces mises à jour du dos­sier tech­nique aide­ront Exact­Cure à atteindre les per­for­mances pré­vues en conce­vant et en déve­lop­pant son pro­duit selon ces pro­cé­dures. Cela favo­ri­se­ra la sécu­ri­té d’ExaMed et garan­ti­ra que les avan­tages cli­niques l'emportent sur les risques indi­vi­duels et cumulés.

5.2 Bilan personnel et professionnel du stage

Au cours de ce stage, j'ai acquis un éven­tail de com­pé­tences pré­cieuses. Tout d'abord, j'ai déve­lop­pé une com­pré­hen­sion appro­fon­die du cadre régle­men­taire régis­sant les dis­po­si­tifs médi­caux embar­quant l'IA, en par­ti­cu­lier les exi­gences en matière de ges­tion des risques. Cela impli­quait d'étudier les textes per­ti­nents, telles que les régle­men­ta­tions et les normes détaillées au cha­pitre 2. Je suis deve­nue com­pé­tente dans la conduite d'évaluations et l'analyse des risques asso­ciés aux tech­no­lo­gies d'IA, en tenant compte de fac­teurs tels que l'utilisation pré­vue. De plus, j'ai acquis une exper­tise dans l'élaboration d'un plan de ges­tion des risques com­plet pour assu­rer un pro­ces­sus de ges­tion des risques conti­nu et ité­ra­tif tout au long du cycle de vie de l'appareil. En consa­crant du temps aux acti­vi­tés connexes à la ges­tion des risques, j'ai éga­le­ment pu acqué­rir de l'expérience dans la créa­tion de docu­ments impor­tants pour ce pro­ces­sus, notam­ment le plan de SAC, de SCAC ain­si que le rap­port pério­dique actua­li­sé de sécurité.

Grâce à une col­la­bo­ra­tion inter­dis­ci­pli­naire avec l'équipe d'ExactCure, com­pre­nant des ingé­nieurs, des déve­lop­peurs et la direc­tion de l'entreprise, j'ai déve­lop­pé des com­pé­tences en com­mu­ni­ca­tion effi­cace sur les ques­tions régle­men­taires et de qua­li­té. En uti­li­sant ma créa­ti­vi­té et mon empa­thie pour les membres de mon équipe, j'ai pu créer un outil de for­ma­tion qui faci­lite la com­pré­hen­sion d'un sujet com­plexe. En don­nant cette for­ma­tion à l'ensemble de l'entreprise de manière inter­ac­tive et ouverte, j'ai pu mettre en pra­tique mes com­pé­tences de pré­sen­ta­tion et mieux com­prendre les pers­pec­tives de mes collègues.

Afin d'améliorer encore mes com­pé­tences dans les affaires régle­men­taires, il y a des domaines dans les­quels je sou­haite acqué­rir des connais­sances sup­plé­men­taires. Notam­ment, je compte appro­fon­dir ma com­pré­hen­sion des régle­men­ta­tions inter­na­tio­nales sur l’IA et des efforts d'harmonisation. J’aimerais acqué­rir davan­tage d’expérience pra­tique dans la conduite de la sur­veillance post-com­mer­cia­li­sa­tion et l'évaluation des don­nées de per­for­mance réelles des dis­po­si­tifs médi­caux embar­quant l’IA. De plus, je cherche à ren­for­cer ma com­pré­hen­sion des consi­dé­ra­tions éthiques de l'IA, telles que les biais algo­rith­miques et les pro­blèmes de confi­den­tia­li­té, afin d'assurer une mise en œuvre res­pon­sable et trans­pa­rente de l'IA dans le domaine médi­cal. Enfin, je m’engage à me tenir au cou­rant des avan­cées de la tech­no­lo­gie de l'IA et de ses impli­ca­tions pour les affaires réglementaires.

Dans l'ensemble, la com­bi­nai­son de ce stage et de ma for­ma­tion théo­rique m'a per­mis d'acquérir les com­pé­tences et les connais­sances néces­saires pour la pro­chaine étape de ma car­rière. Le diplôme résul­tant de ces efforts atteste de ma volon­té de rele­ver les défis uniques des affaires régle­men­taires, en par­ti­cu­lier dans le domaine des dis­po­si­tifs médi­caux numé­riques embar­quant l’IA.

6. Conclusion

L'IA offre des oppor­tu­ni­tés d'innovation sans pré­cé­dent dans le domaine des dis­po­si­tifs médi­caux. Néan­moins, l’utilisation de ces tech­no­lo­gies intro­duit éga­le­ment de nou­veaux risques, tels que les erreurs poten­tielles, les risques de biais et inéga­li­tés accrues en matière de san­té, la manque de trans­pa­rence et confiance, et la vul­né­ra­bi­li­té au pira­tage et à la confi­den­tia­li­té [40].

Sans contrôles des risques appro­priées, les sys­tèmes d'IA peuvent ampli­fier des résul­tats inéqui­tables ou indé­si­rables pour les indi­vi­dus, les orga­ni­sa­tions, les com­mu­nau­tés et la socié­té dans son ensemble. Un manque de confiance résul­tant com­porte des consé­quences signi­fi­ca­tives pour les orga­ni­sa­tions qui déve­lop­pe­ment ces tech­no­lo­gies ain­si que pour leurs par­ties pre­nantes. En revanche, avec des contrôles appro­priés, les sys­tèmes d'IA peuvent appor­ter des béné­fices signi­fi­ca­tifs, créer de la valeur et amé­lio­rer la qua­li­té des soins.

Dans le cadre de ce stage, une revue de la régle­men­ta­tion et des normes clés a été entre­prise afin d'inventorier les exi­gences en matière de ges­tion des risques de l'intelligence arti­fi­cielle pour les dis­po­si­tifs médi­caux. Grâce à une expé­rience pra­tique chez Exact­Cure, j'ai pu déve­lop­per une approche sys­té­ma­tique pour mettre en œuvre un sys­tème de ges­tion des risques qui répond à ces exi­gences. Une repré­sen­ta­tion visuelle de ce pro­ces­sus, une car­to­gra­phie des risques et une for­ma­tion des­ti­née aux équipes internes ont été éla­bo­rés pour aider d'autres entre­prises à mettre en œuvre ces stratégies.

À mesure que les tech­no­lo­gies d'IA pro­gressent et deviennent de plus en plus répan­dues dans l'industrie des dis­po­si­tifs médi­caux, il est essen­tiel pour les four­nis­seurs de ces tech­no­lo­gies de por­ter une atten­tion par­ti­cu­lière aux risques connus et émer­gents. Une approche sys­té­ma­tique basée sur les risques devrait être appli­quée à l'ensemble de l'organisation, y com­pris la direc­tion et les déve­lop­peurs tra­vaillant sur ces tech­no­lo­gies. En inté­grant la ges­tion des risques à chaque niveau de l'organisation et à chaque étape de concep­tion et de déve­lop­pe­ment du pro­duit, les entre­prises com­mer­cia­li­sant les dis­po­si­tifs médi­caux uti­li­sant l’IA peuvent assu­rer la péren­ni­té de leur tech­no­lo­gie et pro­té­ger le suc­cès de l’entreprise ain­si que la sécu­ri­té des patients.

Références bibliographiques

[1]  International Organization for Standardization, « ISO/IEC 2382:2015 Technologies de l’information — Vocabulaire », ISO. https://www.iso.org/fr/standard/63598.html (consulté le 9 mai 2023).

[2]  International Organization for Standardization, « ISO/IEC 22989:2022 Technologies de l’information — Intelligence artificielle — Concepts et terminologie relatifs à l’intelligence artificielle », ISO, juillet 2022. https://www.iso.org/fr/standard/74296.html (consulté le 16 juin 2023).

[3]  M. Micheny, S. Thadaney Israni, M. Ahmed, et D. Whicher, « AI in Healthcare : The hope, the hype, the promise, the peril », National Academy of Medicine, déc. 2019. Consulté le : 20 avril 2023. https://ehealthresearch.no/files/documents/Rapporter/Andre/2019-12-AI-in-Health-Care.pdf

[4]  Y.-M. Quemener, « Médicaments. Plus de 10 000 morts par an à cause d’un mauvais usage », Ouest-France.fr, 22 mars 2018. https://www.ouest-france.fr/sante/medicaments/medicaments-plus-de-10-000-morts-par-cause-d-un-mauvais-usage-5637782 (consulté le 24 mai 2023).

[5]  ExactCure, « ExactCure – Artificial Intelligence for Personnalized Health », 2020. https://www.exactcure.com/?lang=fr (consulté le 4 décembre 2022).

[6]  R. Miotto, F. Wang, S. Wang, X. Jiang, et J. T. Dudley, « Deep learning for healthcare : review, opportunities and challenges », Brief. Bioinform., vol. 19, n^o 6, p. 1236‑1246, nov. 2018, doi : https://doi.org/10.1093/bib/bbx044.

[7]  V. Kaul, S. Enslin, et S. A. Gross, « History of artificial intelligence in medicine », Gastrointest. Endosc., vol. 92, n^o 4, p. 807‑812, oct. 2020, doi : https://doi.org/10.1016/j.gie.2020.06.040.

[8]  Precedence Research, « Artificial Intelligence (AI) Market Size, Growth, Report 2022-2030 », janvier 2023. https://www.precedenceresearch.com/artificial-intelligence-market (consulté le 20 avril 2023).

[9]  Grand View Research, « Artificial Intelligence In Healthcare Market Size Report, 2030 ». https://www.grandviewresearch.com/industry-analysis/artificial-intelligence-ai-healthcare-market (consulté le 1 juin 2023).

[10] C. Stewart, « Artificial intelligence (AI) in healthcare market size worldwide from 2021 to 2030 », Statista, août 2022. https://www.statista.com/statistics/1334826/ai-in-healthcare-market-size-worldwide/ (consulté le 20 avril 2023).

[11] J.-C. Granry, « Les jumeaux numériques : un avenir majeur de la simulation en santé », La Rev’SimS, n^o 3, 2021, doi : https://doi.org/10.48562/REVSIMS-2021-0007.

[12] ExactCure, « Notice du dispositif médical ExaMed ». https://www.exactcure.com/wp-content/uploads/2021/12/Notice_ExaMed_V3-1.pdf (consulté le 10 janvier 2023).

[13] G. Cloarec, « ExactCure et ses jumeaux numériques se déploient (aussi) dans le logiciel médical », La Tribune, 1 juin 2023. https://region-sud.latribune.fr/innovation/2023-06-01/exactcure-et-ses-jumeaux-numeriques-se-deploient-aussi-dans-le-logiciel-medical-964444.html (consulté le 7 juin 2023).

[14] B. Marty, « VIDAL Sentinel, outil d’analyse du risque des prescriptions hospitalières, intègre le service de la startup ExactCure, spécialisée dans la simulation médicamenteuse personnalisée », Vidal Group, Communiqué de presse, juillet 2021. https://www.vidalfrance.com/filestorage/repository/wp-content/download/CP/CP_VIDAL_EXACTCURE_juin2021.pdf (consulté le 19 juin 2023).

[15] Journal officiel de l’union européenne, « Règlement  (UE)  2017/745  du Parlement  Européen  et  du  Conseil  -  du  5  avril  2017  -  relatif  aux  dispositifs  médicaux,  modifiant  la  directive 2001/83/CE,  le  règlement  (CE)  no 178/ 2002  et  le  règlement  (CE)  no 1223/ 2009  et  abrogeant  les  directives  du  Conseil  90/385/CEE  et  93/42/CEE », mai 2017. Consulté le : 10 octobre 2022. https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:32017R0745

[16] P. Baird, E. Hoefer, J. Lewelling, et R. Turpin, « Machine Learning AI in Medical Devices », 2020, Consulté le : 9 mai 2023. https://www.bsigroup.com/en-US/medical-devices/resources/Whitepapers-and-articles/machine-learning-ai-in-medical-devices/

[17] G. Raimondo et L. Locascio, « AI Risk Management Framework : AI RMF (1.0) », National Institute of Standards and Technology, Gaithersburg, MD, NIST AI 100-1, janv. 2023. Consulté le : 4 juin 2023. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf

[18] N. Norori, Q. Hu, F. M. Aellen, F. D. Faraci, et A. Tzovara, « Addressing bias in big data and AI for health care : A call for open science », Patterns, vol. 2, n^o 10, p. 100347, oct. 2021, doi : https://doi.org/10.1016/j.patter.2021.100347.

[19] E. Niemiec, « Will the EU Medical Device Regulation help to improve the safety and performance of medical AI devices ? », Digit. Health, vol. 8, p. 20552076221089080, mars 2022, doi : https://doi.org/10.1177/20552076221089079.

[20] W. Choi, M. van Eck, et C. van de Heijden, « Legal analysis : European legislative proposal draft AI act and MDR/IVDR », Hooghiemstra & Partners, juin 2022. https://hooghiemstra-en-partners.nl/report-ai-act-in-relation-to-mdr-and-ivdr/?lang=en (consulté le 5 mai 2023).

[21] Journal officielle de l’Union Européenne, « Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) », avr. 2016. http://data.europa.eu/eli/reg/2016/679/oj/fra (consulté le 10 janvier 2023).

[22] Journal officielle de l’Union Européenne, « Proposition de règlement du parlement européen et du conseil établissant des règles harmonisées concernant l’intelligence artificielle (législation sur l’intelligence artificielle) et modifiant certains actes législatives de l’Union. », 21 avril 2021. https://eur-lex.europa.eu/legal-content/FR/TXT/HTML/?uri=CELEX:52021PC0206 (consulté le 13 juin 2023).

[23] « Risk Management for Artificial Intelligence/Machine Learning medical devices », Qserve, 3 août 2022. https://www.qservegroup.com/eu/en/i1260/risk-management-for-artificial-intelligencemachine-learning-medical-devices (consulté le 15 mai 2023).

[24] European Commission, « Regulatory framework proposal on artificial intelligence », Digital EU, 31 mai 2023. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (consulté le 5 juin 2023).

[25] S. Lemarchand, J. Dauzier, et M. Auoad, « La proposition de règlement sur l’intelligence artificielle », Les Echos, 29 novembre 2022. https://www.lesechos.fr/partenaires/dla-piper/la-proposition-de-reglement-sur-lintelligence-artificielle-1883760 (consulté le 19 avril 2023).

[26] C. Mambueni, « Be involved in writing voluntary standards for artificial intelligence », AFNOR Group, 15 février 2022. https://www.afnor.org/en/news/shaping-european-ai-leadership/ (consulté le 30 mai 2023).

[27] International Organization for Standardization, « ISO 13485:2016 Dispositifs médicaux — Systèmes de management de la qualité — Exigences à des fins réglementaires », ISO. https://www.iso.org/fr/standard/59752.html (consulté le 10 janvier 2023).

[28] International Organization for Standardization, « ISO 14971:2019 Dispositifs médicaux — Application de la gestion des risques aux dispositifs médicaux », ISO. https://www.iso.org/fr/standard/72704.html (consulté le 10 janvier 2023).

[29] International Organization for Standardization, « ISO/TR 24971:2020 Dispositifs médicaux — Recommandations relatives à l’application de l’ISO 14971 », ISO, 14 juillet 2020. https://www.iso.org/fr/standard/74437.html (consulté le 13 mai 2023).

[30] International Organization for Standardization, « NF EN 62304 Logiciels de dispositifs médicaux - Processus du cycle de vie du logiciel », Afnor EDITIONS. https://www.boutique.afnor.org/fr-fr/norme/nf-en-62304/logiciels-de-dispositifs-medicaux-processus-du-cycle-de-vie-du-logiciel/fa140619/790 (consulté le 13 mai 2023).

[31] International Organization for Standardization, « IEC 62366-1:2015 Dispositifs médicaux — Partie 1 : Application de l’ingénierie de l’aptitude à l’utilisation aux dispositifs médicaux », ISO. https://www.iso.org/fr/standard/63179.html (consulté le 15 juin 2023).

[32] International Organization for Standardization, « ISO 31000 — Management du risque », ISO, 10 décembre 2021. https://www.iso.org/fr/iso-31000-risk-management.html (consulté le 10 mai 2023).

[33] International Organization for Standardization, « ISO/IEC 23894:2023 Technologies de l’information — Intelligence artificielle — Recommandations relatives au management du risque », ISO. https://www.iso.org/fr/standard/77304.html (consulté le 11 avril 2023).

[34] International Organization for Standardization, « ISO/IEC FDIS 42001 Technologies de l’information — Intelligence artificielle — Système de management », ISO. https://www.iso.org/fr/standard/81230.html (consulté le 12 juin 2023).

[35] M. Levene, « How ISO/IEC 42001 guides organisations toward Trustworthy AI », AI Standards Hub, 9 février 2023. https://aistandardshub.org/iso-iec-42001-trustworthy-ai/ (consulté le 12 juin 2023).

[36] S. Pujari, B. Mariano, A. Labrique, et S. Swaminathan, « Overview of regulatory concepts on artificial intelligence for health », International Telecommunication Union Working Group on Regulatory Considerations on AI for Health, sept. 2022. https://www.itu.int/en/ITU-T/focusgroups/ai4h/Documents/del/DEL02-A20220922-%28Prepub%29.pdf

[37] J. Schuett, « Risk Management in the Artificial Intelligence Act », Eur. J. Risk Regul., p. 1‑19, févr. 2023, doi : https://doi.org/10.1017/err.2023.1.

[38] B. Sahiner, W. Chen, R. K. Samala, et N. Petrick, « Data drift in medical machine learning : implications and potential remedies », Br. J. Radiol., p. 20220878, mars 2023, doi : https://doi.org/10.1259/bjr.20220878.

[39] International Organization for Standardization, « IEC/TR 80002-1:2009 Logiciels de dispositifs médicaux — Partie 2 : Validation des logiciels pour les systèmes de qualité des dispositifs médicaux », ISO. https://www.iso.org/fr/standard/60044.html (consulté le 10 mai 2023).

[40] K. Lekadir, G. Quaglio, et A. Tselioudis Garmendia, « Artificial intelligence in healthcare – Applications, risks, and ethical and societal impacts », European Parliament, LU, 2022. Consulté le : 26 mai 2023. https://data.europa.eu/doi/10.2861/568473