IDS114 - Étiquetage des images et autres tâches quotidiennes dans l'équipe de projet d'intelligence artificielle
Catégories
Les projets ou stages publiés auxquels vous accédez sont des rapports d'étudiants et doivent être pris comme tels. Il peuvent donc comporter des imperfections ou des imprécisions que tout lecteur doit admettre et donc supporter. Il ont été réalisés pendant les périodes de formation et constituent avant-tout des travaux de compilation bibliographique, d'initiation et d'analyse sur des thématiques associées aux concepts, méthodes, outils et expériences sur les démarches qualité dans les organisations ou sur les technologies en santé.
Si, malgré nos précautions, vous avez des raisons de contester ce droit de diffusion libre, merci de nous en faire part (master@utc.fr), nous nous efforcerons d'y apporter une réponse rapide. L'objectif de la présentation des travaux sur le web est de permettre l'accès à l'information et d'augmenter ainsi la qualité des échanges professionnels.
Nous ne faisons aucun usage commercial des travaux de projet ou de stage publiés, par conséquent les citations des informations et l'emploi des outils mis à disposition sont totalement libres. Dans ce cas, nous vous demandons de respecter les règles d'éthique en citant explicitement et complètement vos sources bibliographiques.
Bonne lecture...
Auteur
Contacts
- ZHANG Bin : zhangbin998428@gmail.com
Citation
A rappeler pour tout usage : Bin ZHANG, « Étiquetage des images et autres tâches quotidiennes dans l'équipe de projet d'intelligence artificielle », Université de Technologie de Compiègne (France), Master Ingénierie de la Santé, Parcours Technologies Biomédicales et Territoires de Santé (TBTS) et Dispositifs Médicaux et Affaires Réglementaires (DMAR), Mémoire de Stage, réf n° IDS114, Septembre 2021, https://travaux.master.utc.fr/formations-master/ingenierie-de-la-sante/ids114/
Résumé
Carestream Health est une entreprise de dispositifs médicaux de renommée mondiale, pleinement présente dans le domaine des systèmes d'imagerie médicale et des technologies informatiques. L'équipe du projet d'intelligence artificielle où j'ai effectué mon stage est une partie importante du département de recherche de l'entreprise. Les recherches de l'équipe portent principalement sur l'apprentissage en profondeur en imagerie médicale, qui est appliqué à l'intelligence artificielle sur les dispositifs d'imagerie médicale, et l'étiquetage d'images est une étape importante du projet d'apprentissage en profondeur. Par conséquent, ce projet de stage consiste donc à travailler au sein d'une équipe de projet d'intelligence artificielle pour effectuer l'étiquetage d'images afin de fournir des jeux de données pour les projets d'apprentissage en profondeur, et aux autres tâches quotidiennes telles que la conception et la réalisation des expériences et les tâches temporaires sur la base de données d'images médicales de l'équipe. Ce mémoire présente l'objectif de l'étiquetage d'images dans cette équipe de projet d'intelligence artificielle, les méthodes de mise en œuvre, les problèmes éventuels et les améliorations, ainsi que la mise en œuvre de certaines autres tâches quotidiennes. Cela donnera possiblement aux autres équipes travaillant sur l'apprentissage en profondeur de nouvelles idées pour améliorer leur processus d'étiquetage d'images.
Abstract
Carestream Health is a globally renowned medical device company with a full presence in the field of medical imaging systems and information technology. The artificial intelligence project team where I did my internship was a key part of the company's research department. The team's main research focus is on deep learning in medical imaging, which is applied to the artificial intelligence on medical imaging devices, and image labeling is an important step in the deep learning project. Therefore, this internship project is to work within an artificial intelligence project team to perform image labeling to provide datasets for deep learning projects, and to perform other daily tasks such as designing and conducting experiments and temporary tasks on the medical image database. This paper will present the purpose of image labeling in this artificial intelligence project team, the implementation methods, possible problems and improvements, as well as the implementation of some other daily tasks. This may give other teams working on deep learning new ideas to improve their image labeling process.
Téléchargements
Étiquetage des images et autres tâches quotidiennes dans l'équipe de projet d'intelligence artificielle
Mémoire Complet :
Étiquetage des images et autres tâches quotidiennes dans l'équipe de projet d'intelligence artificielle
Remerciements
Tout d'abord, je tiens à remercier mon école - UTC. La formation en ingénierie de la santé que j'ai reçue ici est le point de départ de tout ce qui sera décrit dans ce mémoire. La connaissance que m'apportent Mme. CLAUDE Isabelle, M. FARGES Gilbert, M. PROT Jean-Matthieu et d'autres enseignants est le socle nécessaire à la bonne réalisation de ce projet de stage. Surtout Mme. CLAUDE en tant que suiveuse de mon stage, j'ai eu son ferme soutien pour l'organisation systématique de toutes les missions et la communication continue pendant le stage.
Deuxièmement, je tiens à remercier l'équipe de projet d'intelligence artificielle dans le département de recherche de l'entreprise Rayco Medical (filiale de Carestream Health) de m'avoir offert cette rare opportunité de stage. Ce qu'il convient de mentionner ici, c'est la coopération et l'assistance de mes collègues (GONG Wayne, SUN Ken, ZHANG Jane, ZHAO Sixue) pendant le processus d'étiquetage d'images et dans mon travail quotidien, ainsi que les conseils de mon tuteur M. CHEN Dexter pour chacune de mes tâches.
Enfin, je tiens à remercier les auteurs cités dans ce mémoire. Leurs travaux ont joué un rôle important de guide et ont constitué la base de la réalisation de ce mémoire.
Liste d'abréviations
IA - Intelligence Artificielle
DR - Digital Radiography
CR - Computed Radiography
CNN - Convolutional Neural Network
RGB - Red Green Blue
FOV - Field Of View
Introduction
Dans le cadre du Master 2 Ingénierie de la Santé, parcours « Technologies biomédicales et Territoires de santé » de l'Université de Technologie de Compiègne, mon stage de fin d'études est effectué à l'équipe deprin projet d'intelligence artificielle dans le département de recherche de l'entreprise Rayco Medical (filiale de Carestream Health), qui me permet d'apprendre les connaissances concernant les activités du département de recherche dans une entreprise de dispositifs médicaux et de mettre en pratique ce que j'ai acquises pendant mes études.
Carestream Health est une entreprise de dispositifs médicaux de renommée mondiale, qui fournit des systèmes d'imagerie médicale et dentaire et leurs solutions informatiques ainsi que des systèmes d'imagerie par rayons X pour les contrôles non destructifs, et des matériaux avancés pour les marchés du film de précision et de l'électronique dans le monde entier. Avec plus d'un millier de technologies informatiques et d'imagerie médicale et dentaire brevetées, l'entreprise se concentre sur l'innovation et le développement technologiques et est un acteur influent dans le domaine de l'imagerie médicale [1].
Ce projet de stage a démarré en mars 2021 et a duré 6 mois. J'ai effectué mon stage dans l'équipe de projet d'IA, au sein du département de recherche de l'entreprise. Les recherches de l'équipe portent principalement sur l'apprentissage en profondeur en imagerie médicale, qui est appliqué à l'intelligence artificielle sur les dispositifs d'imagerie médicale. Et l'étiquetage d'images est une étape importante dans un projet d'apprentissage en profondeur, où les images étiquetées peuvent être utilisées comme des jeux de données pour entraîner des modèles d'algorithme d'apprentissage en profondeur, ce qui est la base d'un projet d'apprentissage en profondeur. Par conséquent, mon stage consiste principalement à travailler dans l'équipe de projet d'IA sur l'étiquetage d'images, qui est important pour presque tous les projets de l'équipe, ainsi que d'autres tâches quotidiennes telles que la conception et la réalisation des expériences sur la détermination des paramètres des équipements des projets et les tâches temporaires sur la base de données d'images médicales de l'équipe.
Ce mémoire présente l'objectif de l'étiquetage d'images dans cette équipe de projet d'IA, les méthodes de mise en œuvre, les problèmes éventuels et les améliorations, ainsi que la mise en œuvre de certaines autres tâches quotidiennes. Il vise à résumer une méthodologie efficace pour l'étiquetage d'images basée sur le logiciel existant et à expliquer comment éviter certains problèmes fréquents dans le processus, et à décrire les autres tâches quotidiennes que j'ai fait dans l'équipe de projet d'IA.
1. Présentation de l'organisme
1.1 Carestream
1.1.1 Présentation
Rayco (Shanghai) Medical Products Company fait partie de Carestream Health. Dans le monde entier, Carestream Health fournit des systèmes d'imagerie médicale et dentaire et leurs solutions informatiques ainsi que des systèmes d'imagerie par rayons X pour les contrôles non destructifs, et des matériaux avancés pour les marchés du film de précision et de l'électronique. Carestream a son siège à Rochester, aux États-Unis, possède des succursales dans plus de 170 pays à travers le monde et possède plus de 1000 technologies informatiques et d'imagerie médicales et dentaires brevetées. L'entreprise a toujours été dans une position concurrentielle avec une variété d'avancées technologiques en imagerie et en traitement médical [1].
Le prédécesseur de Carestream est Eastman Kodak Medical Group, qui hérite de la fière histoire d'innovation de Kodak et a accumulé de nombreuses années d'expérience dans le domaine de l'imagerie médicale. L'équipe mondiale de Carestream de plus de 6 000 employés dans environ 150 pays partage tous un engagement à dépasser les attentes des clients. Cet objectif particulier commence par le leadership de Carestream qui alimente la croissance de l'entreprise en tenant sa promesse d'aider les clients à faire leur travail mieux, plus rapidement et de manière plus rentable [2]. Carestream a été acquise par Onex en 2007, qui est l'une des sociétés d'investissement les plus importantes et les plus prestigieuses au Canada. Les ventes de l'entreprise en 2015 ont atteint 2,141 milliards de dollars américains, se classant au sixième rang mondial pour la part de marché de l'imagerie médicale [3].
Figure 1 : Le bâtiment de Carestream (source : auteur)
Carestream possède une expertise en radiologie, en santé et en technologies médicales et de l'information pour aider les professionnels de la santé à améliorer les soins aux patients tout en augmentant la satisfaction des médecins. L'entreprise dispose d'une équipe de vente et de service mondiale, d'une plate-forme de produits solide, d'une solide position sur le marché et d'une marque réputée - s'engage à aider les professionnels de la santé à contrôler les coûts et à maximiser les investissements [2].
L'environnement de travail de l'entreprise est très confortable, la pression globale n'est pas trop forte, l'atmosphère est relativement détendue et chacun prend généralement au sérieux les tâches qu'il doit finir. Dans certains cas, les employés avec des tâches resteront volontairement et travailleront des heures supplémentaires pour accomplir les tâches qu'ils devraient finir. En cas de forte pression du projet, presque tout le monde dans l'entreprise fera des heures supplémentaires. Cependant, dans le temps relativement libre entre les projets, l'entreprise organisera également des activités de team building pour améliorer les relations entre collègues et augmenter la communication, afin que chacun puisse être plus agréable dans la passation du travail à l'avenir.
1.1.2 Les valeurs
L'entreprise mène ses propres activités commerciales sur la base de cinq valeurs.
Participer activement et pleinement autoriser
L'entreprise est une équipe d'employés pleinement autorisés, actifs et unis, travaillant pour réaliser une vision commune. Les dirigeants s'engagent à créer un environnement où chacun est soutenu, valorisé et apprécié.
Le client d'abord, le service d'abord
Servir les clients est l'intention et la mission initiales de l'entreprise. Les entreprises comprennent leurs besoins et recherchent constamment des moyens innovants et significatifs pour dépasser leurs attentes et leur permettre de réussir.
Agir de manière appropriée et suivre les règles
La société s'engage à améliorer l'expérience client grâce à la confiance, au respect et à l'intégrité mutuels et à fournir aux clients des produits, des solutions et des services de la plus haute qualité. L'entreprise réalise un développement durable à long terme grâce à une innovation continue, un processus efficace et des pratiques commerciales socialement responsables et conformes.
Décision rapide, action d'abord
L'entreprise n'est pas piégée par les dogmes, elle prend des décisions rapides sur la base de données, suit les règles et met tout en œuvre.
Respecter les responsabilités et avoir le courage d'assumer
L'entreprise est responsable de ses actes et a la responsabilité de tenir ses promesses. L'entreprise encourage l'aventure réfléchie et apprend des échecs, car elle s'efforce de viser l'excellence dans tout ce qu'elle fait.
1.1.3 Produits
Carestream propose les produits suivants en imagerie médicale [4]:
- Radiographie numérique ou Digital Radiography (DR)
La gamme complète de détecteurs DR, de radiographies mobiles, de salles de radiographie, de fluoroscopie et de solutions de rénovation DR de Carestream combine des composants compatibles et évolutifs pour répondre aux besoins d'aujourd'hui et positionner les clients pour le développement de demain.
Figure 2 : Produit de Carestream : Radiographie numérique (source : [4])
- Radiographie informatisée ou Computed Radiography (CR)
Les systèmes CR de Carestream peuvent s'adapter aux petits cabinets privés aux hôpitaux et centres d'imagerie de taille moyenne. Compacts et fiables, les systèmes CR de Carestream s'adaptent au budget du client et s'intègrent parfaitement à leur flux de travail.
Figure 3 : Produit de Carestream : Radiographie informatisée (source : [4])
- Logiciel
Propulsé par Eclipse. Eclipse est le moteur qui pilote le logiciel d'imagerie CR et DR de Carestream. Eclipse utilise la technologie d'IA et des algorithmes propriétaires pour augmenter considérablement la valeur de l'ensemble de la chaîne d'imagerie, de la capture au diagnostic.
Figure 4 : Produit de Carestream : Interface du logiciel d'imagerie (source : [4])
- Système d'impression d'imagerie
Les systèmes d'imagerie laser DRYVIEW de Carestream offrent un portefeuille complet d'imagerie diagnostique qui permet de répondre facilement et à moindre coût aux besoins des clients actuels et futurs.
Figure 5 : Produit de Carestream : Système d'impression d'imagerie (source : [4])
- Film et produit chimique
Carestream propose une large gamme d'offres de films et de produits chimiques allant de la radiographie générale et de la mammographie aux applications angiographiques, orthopédiques et thoraciques, ainsi que des solutions de films pour la recherche en sciences de la vie.
Figure 6 : Produit de Carestream : Film et produit chimique (source : [4])
- Équipement de protection individuelle
Le CARESTREAM Shield aide à protéger les professionnels de la santé contre les aérosols de fluides corporels expulsés de manière aiguë.
Figure 7 : Produit de Carestream : Équipement de protection individuelle (source : [4])
- Film dentaire
Avec les films dentaires de Carestream, vous pouvez avoir confiance en de superbes images de diagnostic intra-orales et extra-orales rapidement, facilement et de manière fiable.
Figure 8 : Produit de Carestream : Film dentaire (source : [4])
1.2 Équipe de projet d'intelligence artificielle
L'équipe de projet d'IA où j'ai fait mon stage est une partie importante du département de recherche de l'entreprise. Les recherches de l'équipe portent principalement sur l'apprentissage en profondeur en imagerie médicale, qui est appliqué à l'intelligence artificielle pour les dispositifs d'imagerie médicale, tels que la radiographie numérique. Mon tuteur, Monsieur Dexter est le chef de l'équipe, il est responsable de la planification du personnel de l'équipe et de la répartition des travaux et de l'inspection de l'avancement du projet. Chaque membre de l'équipe participe à au moins un projet. En m'incluant, il y a actuellement trois stagiaires dans l'équipe qui sont chargés d'aider les employés réguliers à faire certaines tâches au sein du projet. Mon travail principal dans l'équipe est l'étiquetage d'images, qui sera expliquée en détail dans le prochain chapitre.
En tant que principale direction de recherche de l'équipe, l'apprentissage en profondeur est un algorithme d'apprentissage automatique complexe qui peut apprendre les lois intérieures et les niveaux de représentation d'échantillons de données. Dans le même temps, les informations obtenues au cours du processus d'apprentissage sont d'une grande aide pour l'interprétation de données telles que du texte, des images et des sons. Son objectif ultime est de permettre aux machines d'avoir la capacité d'analyser et d'apprendre comme les humains, et de reconnaître des données telles que du texte, des images et des sons. Le modèle d'apprentissage en profondeur est entraîné à l'aide d'un grand nombre de jeux de données étiquetés et d'une architecture de réseau neuronal contenant de nombreuses couches [5].
L'apprentissage en profondeur est un sous-ensemble de l'apprentissage automatique en IA qui imite le fonctionnement du cerveau humain dans le traitement des données et la création de modèles à utiliser dans la prise de décision. Les modèles d'apprentissage en profondeur peuvent traiter des données non structurées et non étiquetées sans supervision humaine, qui est différent de l'apprentissage automatique traditionnel [6]. Les réseaux de neurones convolutifs (CNN) sont l'un des réseaux de neurones profonds les plus populaires, qui conviennent parfaitement au traitement de données bidimensionnelles (telles que des images), qui fonctionnent en extrayant des caractéristiques directement de l'image [7].
Figure 9 : Comparaison de l'apprentissage en profondeur et de l'apprentissage automatique (source : [8])
1.2.1 Un projet en cours : Assistant d'invite de positionnement du patient en radiographie numérique
C'est un projet actuellement en cours par notre équipe de projet, j'aide parfois le porteur de projet à traiter des données expérimentales (sur Excel). Ce projet implique un mécanisme qui utilise la technologie de traitement d'images à des fins médicales. L'apprentissage en profondeur est largement utilisé dans ce projet.
Étant donné que l'application de systèmes d'imagerie médicale tels que les systèmes de radiographie numérique devient de plus en plus populaire, les systèmes d'imagerie médicale sont devenus un outil important pour les travailleurs médicaux pour effectuer un diagnostic [9]. Cependant, la complexité des systèmes d'imagerie médicale est de plus en plus élevée, et sa qualité d'imagerie est étroitement liée au positionnement du système et du patient. Par conséquent, la qualité d'imagerie du système dépend dans une large mesure de la qualité des opérateurs du système.
Afin que le système d'imagerie médicale obtienne une qualité d'imagerie satisfaisante, l'opérateur du système d'imagerie médicale a besoin de recevoir une formation professionnelle. De plus, les opérateurs ont également besoin de beaucoup de pratique pendant longtemps pour maîtriser les spécifications d'exploitation du système d'imagerie médicale. Cependant, même si les spécifications d'exploitation sont maîtrisées, les opérateurs doivent toujours maintenir un niveau de concentration élevé lors des examens médicaux. Mais le travail clinique à long terme amènera l'opérateur à produire des erreurs de fatigue inévitables. Dans certains cas, même si l'opérateur a terminé le positionnement correct, lorsque l'opérateur quitte le patient pour l'opération suivante, le patient se déplace peut-être de manière inattendue et provoquer une erreur de positionnement. A ce moment, parce que l'opérateur est loin du patient, l'erreur n'est souvent pas détectée à temps. En prenant le système DR comme exemple, le positionnement incorrect du patient par l'opérateur amène parfois le système à définir des paramètres d'exposition inappropriés, et la qualité d'image obtenue peut être trop mauvaise pour répondre aux exigences de diagnostic.
Ce projet vise à fournir un mécanisme qui permet d'assister les activités médicales grâce à l'information de guidage pour éviter les problèmes ci-dessus le plus tôt possible, afin de réduire la charge de travail des opérateurs médicaux. Plus précisément, ce projet fournit un système de guidage pour les dispositifs d'imagerie médicale, qui comprend :
- Un module d'acquisition d'images configuré pour acquérir une image spatiale du dispositif d'imagerie médicale et de l'objet qu'il vise ;
- Un module de traitement d'informations configuré pour extraire des informations caractéristiques dans l'image spatiale ;
- Un module de détermination de position configuré pour déterminer le positionnement de l'objet en fonction des informations caractéristiques ;
- Un module de classification configuré pour classer selon les informations caractéristiques ;
- Et un module de présentation d'informations, qui est configuré pour générer et présenter des informations de guidage selon le positionnement et la classification.
En somme, ce système permet d'obtenir, de traiter et de tirer les informations caractéristiques du positionnement du patient, puis de générer les informations de guidage et de les fournir à l'opérateur du système d'imagerie médicale avant exposition pour éviter une mauvaise qualité d'image.
2. Présentation des missions réalisées
2.1 Étiquetage d'images
L'étiquetage d'images est défini comme la tâche d'annoter une image avec des étiquettes, impliquant généralement un travail manuel et, dans certains cas, une aide assistée par ordinateur. Les étiquettes sont prédéterminées par les ingénieurs d'apprentissage en profondeur et sont pour donner au modèle de vision par ordinateur des informations sur ce qui est affiché dans l'image. Le processus d'étiquetage des images aide également les ingénieurs en apprentissage profond à identifier les facteurs importants qui déterminent la précision et l'exactitude globales de leur modèle. Les exemples à considérer incluent les éventuels problèmes de nommage et de classification, comment représenter les objets occlus, comment traiter les parties de l'image qui sont méconnaissables, etc [10].
Pour l'étiquetage d'images traditionnel, les ingénieurs appliquent une série d'étiquettes en appliquant des cadres de délimitation aux objets connexes, afin d'étiqueter l'image (voir Figure 10). Dans ce cas, les piétons sont marqués en bleu, les taxis sont marqués en jaune et les camions sont marqués en jaune. Ce processus est ensuite répété sur différentes images et en fonction du cas d'utilisation commerciale et du projet, la quantité d'étiquettes sur chaque image peut varier. Certains projets n'ont besoin que d'une seule étiquette pour présenter le contenu d'une image entière (par exemple, la classification des images). D'autres projets peuvent exiger que plusieurs objets soient étiquetés dans une seule image, chaque objet avec une étiquette différente [10].
Figure 10 : Étiquetage d'images : Cadres de délimitation appliqués pour identifier les types de véhicules et les piétons (source : [10])
L'étiquetage d'images est actuellement très demandé en raison du développement rapide et de l'utilisation généralisée de l'IA et de l'apprentissage automatique. Les développements dans ces domaines ont conduit à étiqueter de plus en plus d'images. La vision par ordinateur des modèles d'apprentissage en profondeur et d'apprentissage automatique permet de visualiser différents objets à travers des vidéos et des images, c'est pourquoi il est préférable de les étiqueter avec des techniques spéciales, et si c'est réalisé à grande échelle, elles peuvent être utilisées comme données pour un apprentissage ultérieur du modèle [11].
L'une des principales utilisations des images étiquetées est d'entraîner différents algorithmes d'apprentissage en profondeur et d'apprentissage automatique à travers elles, ce qui aide à son tour les machines à apprendre les différents modèles et à les stocker dans sa mémoire virtuelle. Ces images étiquetées sont ensuite associées entre elles via le modèle d'algorithme et utilisées pour identifier différentes situations réelles et analyser la similitude de ces données. Pour cette raison, la plupart des travaux effectués se font à travers des outils de l'étiquetage d'images en ligne [11].
L'étiquetage des données est une étape essentielle dans une tâche d'apprentissage en profondeur. La qualité des données d'apprentissage détermine la qualité du modèle. Il en va de même pour l'étiquetage d'images, le résultat du modèle dépend des étiquettes que nous alimentons lors de sa phase d'apprentissage. L'étiquetage des données est une tâche qui nécessite beaucoup de travail manuel. Dans la plupart des cas, il est difficile de trouver un jeu de données ouvert approprié pour le projet, les ingénieurs devront donc faire eux-mêmes le processus d'étiquetage des données [12].
Les projets d'étiquetage d'images commencent par identifier et demander aux annotateurs d'effectuer les tâches d'annotation. Les annotateurs doivent être parfaitement formés sur les spécifications et les directives de chaque projet d'étiquetage, car chaque entreprise a des exigences différentes. Une fois que les annotateurs sont formés à l'étiquetage des données, ils commenceront à étiqueter de nombreuses images sur une plateforme de données d'entraînement dédiée à l'étiquetage d'images. L'étiquetage est en effet un processus qui prend beaucoup de temps, mais plus les ingénieurs se consacrent à l'étiquetage d'images, plus leur modèle peut être précis. Une plateforme de données d'entraînement est un logiciel conçu pour fournir tous les outils nécessaires pour le type d'étiquetage souhaité, et est généralement équipé de plusieurs outils qui permettent aux annotateurs de décrire des formes complexes pour l'étiquetage d'images [13].
Les besoins de chaque entreprise en étiquetage d'images sont modifiés en fonction des produits d'apprentissage en profondeur qu'elle souhaite lancer. Dans Carestream, l'étiquetage d'images dont je suis responsable dans notre équipe de projet concerne les images radiographiques thoraciques, pour étiqueter les zones des poumons, de l'omoplate, de la clavicule, de la ligne de la peau et des douze vertèbres thoraciques.
Logiciel utilisé
Le logiciel d'étiquetage d'images utilisé par notre entreprise est « COCO Annotator », qui est très simple, rapide et efficace. L'image étiquetée est automatiquement stockée dans le dossier prédéfini au format « png » pour une visualisation facile.
Figure 11 : Le logiciel d'étiquetage d'images utilisé par Carestream : COCO Annotator (source : auteur)
Pour lancer l'étiquetage d'images, l'utilisateur doit d'abord définir la catégorie de étiquettes d'image : estomac, omoplate, clavicule, ligne de peau, première vertèbre thoracique à douzième vertèbre thoracique et l'ensemble des vertèbres thoraciques. Une fois que les catégories d'étiquette sont définies, ces catégories peuvent être utilisées directement par l'utilisateur lorsque l'image est étiquetée.
Figure 12 : COCO Annotator : Créer des catégories (source : auteur)
Ensuite, l'utilisateur doit créer un jeu de données, qui génère également automatiquement un dossier pour stocker les images étiquetées, et ajouter la catégorie d'étiquette d'images requise au jeu de données. Une fois que le jeu de données est défini, il apparaît directement sur l'interface du logiciel, puis l'utilisateur peut ajouter des images non étiquetées au dossier généré automatiquement, en conséquence, ces images apparaissent également directement dans le jeu de données du logiciel. L'utilisateur n'a qu'à cliquer sur le jeu de données créé pour sélectionner l'image et lancer l'étiquetage de l'image.
Figure 13 : COCO Annotator : Créer et configurer un jeu de données (source : auteur)
Lors de l'étiquetage d'images, beaucoup de boutons de fonction sont fréquemment utilisés (voir l'encadré rouge de la figure 14). Par exemple, le bouton crayon est utilisé pour dessiner le contour de l'étiquette, une fois qu'une figure fermée est formée, la zone d'étiquette sera automatiquement formée. Le bouton gomme peut effacer la mauvaise zone d'étiquette. Le bouton main verte permet d'ajuster la forme de la zone d'étiquette en étirant. Le bouton enregistrer permet d'enregistrer l'image incomplètement étiquetée de l'utilisateur en temps réel. Toutes les catégories d'étiquettes ajoutées sont affichées sur le côté droit de l'interface. Cliquez sur le signe plus sur le côté droit de la catégorie d'étiquettes pour commencer l'étiquetage de cette catégorie.
Figure 14 : COCO Annotator : Interface d'opération d'étiquetage d'images (source : auteur)
Poumon
Le contour des poumons peut être approximativement étiqueté en fonction de l'ombre de l'air dans les poumons. Cependant sur l'image radiographique, étant donné que le cœur et la colonne vertébrale couvrent une partie de la zone des poumons, une partie du contour des poumons ne peut pas être vue clairement, il est donc nécessaire de prédire de manière appropriée le contour d'une partie des poumons pour faire l'étiquette terminée. Il convient de noter que parfois l'ombre de l'air dans l'estomac est trop proche de l'extrémité inférieure des poumons, ce qui brouille le jugement de l'utilisateur sur le contour des poumons.
Figure 15 : Étiquetage d'images de poumons (source : auteur)
Omoplate
Le contour de l'étiquette est déterminé en fonction de la différence de couleur entre les os et les tissus environnants sur l'image radiographique et la position anatomique de l'omoplate. L'étiquetage d'omoplate doit être très prudent, car parfois l'extrémité supérieure de l'omoplate est mélangée à d'autres os et il est difficile de la distinguer. Cependant, les omoplates des deux côtés d'une personne sont généralement symétriques et les côtés gauche et droit peuvent être comparés pour aider à déterminer le contour de l'étiquette.
Figure 16 : Étiquetage d'images d'omoplate (source : auteur)
Clavicule
La clavicule est généralement plus visible sur l'image radiographique, et sa position et sa forme sont relativement fixes. Il n'est pas difficile de déterminer son contour de l'étiquette en fonction de la différence de couleur entre les os et les tissus environnants. Mais parfois, l'intérieur de la clavicule est confondu avec la jonction des côtes et des vertèbres, et le principe de symétrie s'applique également à ce cas.
Figure 17 : Étiquetage d'images de la clavicule (source : auteur)
Ligne de peau
Le contour de l'étiquette de la ligne de peau est déterminé en fonction de la zone de couverture de la peau, ce qui signifie que la majeure partie de la zone de l'image radiographique thoracique se situe dans le contour de la ligne de peau. Il convient de noter que parfois la ligne de peau près du cou et des épaules est un peu floue, doit donc être prudemment distinguée.
Figure 18 : Étiquetage d'images de la ligne de peau (source : auteur)
Douze vertèbres thoraciques
Le contour de l'étiquette des douze vertèbres thoraciques est déterminé en fonction de la position anatomique de chaque vertèbre thoracique et le contour extérieur global des douze vertèbres thoraciques doit également être étiqueté. Parfois, le contour des espaces entre les vertèbres thoraciques est flou, dans ce cas, la position des côtes peut aider à juger de la position et du contour des vertèbres thoraciques, car les côtes et les vertèbres thoraciques sont en correspondance un à un.
Figure 19 : Étiquetage d'images des douze vertèbres thoraciques (source : auteur)
2.2 Concevoir et mener des expériences
Étant donné que dans la mise en œuvre de certains projets, une caméra dédiée à la prise de vue d'images de profondeur est nécessaire, et ces images RGB et images de profondeur doivent être utilisées pour déboguer le modèle d'apprentissage en profondeur. De plus, il existe souvent des écarts entre les paramètres d'usine et les paramètres réels dans ce type de caméra. Afin que ces écarts n'affectent pas l'avancement des projets, certains paramètres réels de ce type de caméra, tels que le champ de vision et la déviation d'alignement en profondeur, doivent être déterminés par des expériences.
Champ de vision
Le champ de vision définit la zone maximale de l'échantillon que la caméra peut imager. La taille de l'angle de champ détermine le champ de vision de l'instrument optique, plus l'angle de champ est grand, plus le champ de vision est grand [14]. Dans cette expérience, l'expérimentateur doit mesurer les angles de champ horizontaux et verticaux. En mesurant la distance « a » et la distance « b » dans l'environnement réel (voir Figure 20), puis en utilisant la fonction trigonométrique inverse, la valeur de l'angle de champ est obtenue. Il faut effectuer 5 séries d'expériences dans des différents environnements, ensuite calculer les angles de champ séparément et prendre la valeur moyenne comme résultat final.
Figure 20 : Principe de la mesure de l'angle de champ (source : auteur)
Déviation d'alignement en profondeur
La caméra de profondeur prend l'image RGB et l'image de profondeur de la scène actuelle en même temps avec une seule exposition, mais en général, la position de chaque pixel d'entre eux n'est pas un à un. C'est-à-dire il existe un écart entre la coordonnée d'un pixel sur l'image RGB et sa coordonnée sur l'image de profondeur., qui est la déviation d'alignement en profondeur à analyser dans cette expérience.
L'expérimentateur fixe d'abord le plan cible, puis déplace la caméra pour le fixer à trois distances du plan cible (1m, 1,5m, 2m), ensuite prend et enregistre l'image RGB et l'image de profondeur du plan cible à cette distance. Trois points caractéristiques facilement reconnaissables doivent être déterminés sur l'image, tels que des coins de mur ou des coins de table, puis le logiciel « ImageJ » est utilisé pour calculer le nombre de pixels (distance de la coordonnée) entre les mêmes points caractéristiques sur les deux types d'images. L'expérience doit être répétée 5 fois à chaque distance, et la déviation d'alignement en profondeur de chaque point caractéristique doit être moyennée et son écart-type doit être calculé.
Figure 21 : Processus expérimental et présentation des résultats de déviation d'alignement en profondeur (source : auteur)
En conclure, la performance d'alignement en profondeur de ce type de caméra est bonne : en général, le même point caractéristique dans l'image RGB et l'image de profondeur n'est qu'à moins de 5 pixels l'un de l'autre. La sélection du troisième point caractéristique (la colonne jaune dans la figure 21) est trop proche du verre, l'image de profondeur prise par la caméra est donc interférée, par conséquent, sa déviation d'alignement en profondeur est grande, mais ce genre de situation n'est pas représentatif.
2.3 Autres tâches temporaires
L'organisation de la base de données d'images médicales de l'équipe de projet est une série de tâches importantes. Étant donné qu'au cours du projet, un grand nombre d'images médicales sont nécessaires pour entraîner les modèles d'apprentissage en profondeur. L'équipe de projet doit donc affecter régulièrement du personnel aux hôpitaux qui coopèrent avec l'entreprise pour collecter des images radiographiques d'une position spécifique du corps humain et recueillir des informations connexes sur ces images, afin de compléter la base de données d'images médicales. Cependant, les images médicales collectées aux hôpitaux sont toujours désordonnées et inutilisables, il est donc nécessaire d'organiser ces images médicales et d'enregistrer leurs informations connexes, puis de les intégrer dans la base de données d'images médicales de l'équipe de projet.
La base de données est une collection d'informations organisées qui peuvent être facilement accessibles, gérées et mises à jour. Le système de base de données est très important pour l'équipe de projet car il stocke toutes les images médicales et les informations connexes utilisées par l'équipe de projet, et présente ces informations à tous les membres de l'équipe de projet de manière claire et organisée [15].
Ces tâches sont toujours effectuées sur Excel. Chaque image radiographique a un numéro d'identification spécifique et unique, et le numéro d'identification de chaque image radiographique doit être associé aux informations connexes de cette image, telles que le numéro du patient, son âge, son sexe et sa posture prise, etc. Et ces informations doivent être enregistrées dans le fichier Excel pour consulter. En même temps, ces images médicales sont classées en fonction de la position de prise de vue, de la date de prise de vue et de l'hôpital d'où elles proviennent, et téléchargées vers l'emplacement prédéfini sur le serveur de l'équipe de projet, afin que les membres de l'équipe de projet puissent les utiliser quand ils en ont besoin.
3. Analyse et évaluation d'étiquetage d'images
Étant donné que l'étiquetage d'images est utilisé pour entraîner des modèles d'apprentissage en profondeur associés au projet et que la qualité des modèles dépend généralement de la qualité des étiquettes d'images, les étiquettes d'images doivent correspondre le plus précisément possible à la zone réelle de l'organe sur l'image radiographique, afin de permettre au modèle d'apprentissage en profondeur de fonctionner normalement dans le projet.
Cependant, l'étiquetage d'images est un travail manuel qui nécessite beaucoup de temps et d'énergie, et beaucoup d'images doivent être étiquetées ainsi que chaque image est différente, il est donc inévitable que les étiquettes d'image soient inexactes. De légères ou de petites inexactitudes n'affectent généralement pas la qualité du modèle d'apprentissage en profondeur, mais un désalignement grave ou de grandes inexactitudes affectent la qualité du modèle. Donc, tant qu'il n'y a pas de problème avec la qualité du modèle entraîné, la qualité de l'étiquetage d'images est considérée comme qualifiée, mais cette exigence n'est souvent pas si facile à satisfaire. Par conséquent, afin de garantir l'exactitude de l'étiquetage d'images, il est nécessaire de se vérifier mutuellement avec un autre ingénieur qui effectue aussi l'étiquetage d'images dans l'équipe pour éliminer les erreurs évidentes sur l'étiquette de l'image. S'il y a malheureusement des problèmes avec le modèle d'apprentissage en profondeur entraîné, les ingénieurs algorithmiques de l'équipe trouveront ces problèmes et nous laisseront trouver les images mal étiquetées, puis demanderont à des experts médicaux de réétiqueter ces images avec nous.
Généralement, les problèmes suivants se produisent dans l'étiquetage d'images :
Désalignement du contour du squelette
Ce type de problème apparaît généralement dans l'étiquetage de l'omoplate et de la clavicule. Étant donné que la résolution de certaines images radiographiques n'est pas très bonne, une partie du contour de l'omoplate est confondue avec les environs et difficile à distinguer, ce qui entraîne un désalignement de l'étiquette. Et parfois, le contour de la moitié supérieure de l'omoplate chevauche la clavicule ou les côtes, ce qui aggrave ce problème (voir Figure 22).
En concernant la clavicule, parfois, le contour de l'intérieur de la clavicule chevauche partiellement la jonction des côtes et des vertèbres, ce qui la rend difficile à distinguer (voir Figure 23).
Figure 22 : Exemple de difficultés à distinguer le contour de l'omoplate (source : auteur)
Figure 23 : Exemple de difficultés à distinguer le contour de la clavicule (source : auteur)
Il existe les solutions suivantes pour éviter autant que possible ces problèmes :
- Avec la colonne vertébrale comme ligne médiane, la clavicule et l'omoplate sont symétriques. Cette symétrie peut être utilisé pour comparer la gauche et la droite de la clavicule et l'omoplate. Parfois, le contour de gauche est difficile à distinguer, mais le contour de droite est relativement clair.
- Lorsque le contour est difficile à distinguer, un moniteur d'imagerie médicale à plus haute résolution peut être utilisé pour l'observation. Mais il faut faire attention à la fréquence d'utilisation, car d'autres personnes de l'équipe de projet en ont également besoin.
- Dans l'interface d'étiquetage du logiciel, l'image fait l'objet de plusieurs zooms avant et arrière pour permettre à l'œil de voir plus clairement les limites du contour.
- Si nécessaire, il est possible de demander l'aide d'experts médicaux au sein de l'équipe de projet.
Désalignement du contour des organes
Ce type de problème se produit généralement dans l'étiquetage de la ligne de peau et des poumons, en particulier la ligne de peau. La résolution de l'image radiographique est particulièrement importante dans l'étiquetage de la ligne de peau, car même si la résolution de l'image est normale, le contour de la ligne de peau n'est parfois pas trop clair. De plus, la résolution de certaines images est faible et l'étiquetage de la ligne de peau est très difficile dans ce cas. Par conséquent, lors de l'étiquetage de la ligne de peau, il est généralement nécessaire de demander l'utilisation d'un moniteur d'imagerie médicale haute résolution et, si nécessaire, de demander l'aide d'experts médicaux plus expérimentés.
En ce qui concerne l'étiquetage des poumons, il y a parfois des ombres dans l'estomac sous les poumons (voir Figure 24), ce qui affecte l'étiquetage du contour des poumons. Cependant, il y a généralement un certain espace entre les poumons et l'estomac qui peut être vu sur l'image, il est donc peu probable que de tels problèmes se produisent.
Figure 24 : Exemple des ombres dans l'estomac affectant l'étiquetage des poumons (source : auteur)
Désalignement des vertèbres thoraciques
Parfois, la première vertèbre thoracique est manquée et la deuxième est donc confondue avec la première, déplaçant la position de toutes les vertèbres thoraciques vers le bas, et la première vertèbre lombaire est également confondue avec la douzième vertèbre thoracique. Ce type de problème est une erreur de niveau relativement faible qui peut être facilement trouvée lors d'une vérification mutuelle. Comme la première vertèbre thoracique a ses caractéristiques correspondantes et qu'elle est attachée à la première côte, ce type de problème a donc peu de chances de se produire, à condition de regarder attentivement et de garder l'esprit clair.
Apport du stage
Carestream est une entreprise de dispositifs médicaux de renommée mondiale, pleinement présente dans le domaine de l'imagerie médicale et des technologies informatiques. Je suis très honoré de pouvoir effectuer mon stage de fin d'études ici. C'est aussi ma première expérience professionnelle, et elle m'a permis d'orienter ma carrière. Grâce à ce stage, j'ai acquis un bon aperçu du secteur des dispositifs médicaux en Chine et j'ai appris quelles sont les savoirs-faire et les compétences dont j'ai encore besoin pour pouvoir travailler dans une entreprise de dispositifs médicaux.
Au cours de mon stage, j'ai appris des connaissances de base sur l'IA et l'apprentissage en profondeur, et j'ai pleinement maîtrisé la compétence d'étiquetage d'images, de même que j'ai acquis une compréhension plus pratique des dispositifs médicaux de l'entreprise et des dispositifs médicaux présents sur le marché, tels que les systèmes d'imagerie à rayons X. En aidant mes collègues à réaliser leurs projets d'ingénierie, j'ai appris beaucoup de compétences en gestion de projet dans des situations pratiques et j'ai compris la différence entre les projets d'ingénierie dans les entreprises et les projets académiques dans les universités. J'ai également appris à communiquer efficacement avec les autres membres d'une équipe de projet et à améliorer l'efficacité de l'équipe en s'entraidant.
Mais je reconnais aussi mon manque de connaissances en programmation, comme Python et C++, deux des langages les plus importants dans le développement de dispositifs médicaux. Et je devrais être plus audacieux et proactif pour demander l'aide de l'équipe lorsque je ne peux pas résoudre un problème par moi-même.
Bien que les défis et les problèmes rencontrés dans un environnement professionnel soient plus pratiques et plus variés, toutes les connaissances acquises dans la formation en ingénierie de la santé à l'UTC m'ont donné la confiance nécessaire pour pouvoir les gérer. En particulier, les connaissances de base sur les dispositifs médicaux, la physiologie des systèmes et l'imagerie médicale m'ont beaucoup aidé à comprendre et à mettre en œuvre le contenu de mon travail.
Après ce stage, je devrai continuer à acquérir des connaissances connexes en programmation, puis chercher un emploi en recherche et développement dans une entreprise de dispositifs médicaux. Cependant, je suis également intéressé par des emplois dans les domaines de la vente, des affaires réglementaires et de la gestion de la qualité et je suis très impatient de commencer une nouvelle aventure.
Dans l'ensemble, je suis très reconnaissant pour tout ce que j'ai appris et rencontré ici, et pour une équipe de projet aussi unie et efficace.
Conclusion
L'apprentissage en profondeur est un algorithme d'apprentissage automatique plus complexe, et les modèles d'apprentissage en profondeur entraînés sur un grand nombre de jeux de données étiquetés sont largement utilisés dans l'intelligence artificielle des dispositifs médicaux d'aujourd'hui, comme la reconnaissance d'images et le diagnostic assisté. L'étiquetage d'images est une étape importante de la tâche d'apprentissage en profondeur. Il s'agit essentiellement d'annoter des données d'image avec des étiquettes, généralement mise en œuvre par des logiciels en ligne. Les images étiquetées sont utilisées comme des jeux de données par l'équipe de projet pour entraîner des modèles d'apprentissage en profondeur. La qualité de l'étiquetage d'images détermine donc la qualité des modèles d'apprentissage en profondeur associés au projet. Afin d'assurer la qualité de l'étiquetage d'images, les solutions suivantes sont généralement mises en place :
- Comparaison gauche-droite en utilisant la symétrie du squelette humain
- Observation avec un moniteur d'imagerie médicale à plus haute résolution
- Zoomer et dézoomer de façon répétée sur les images pour permettre à l'œil de voir plus clairement les limites du contour
- Demander l'aide d'experts médicaux au sein de l'équipe de projet
En même temps, au sein de l'équipe de projet d'IA, des expériences fréquentes sont nécessaires pour tester les paramètres des équipements ou pour vérifier les conclusions à court terme. Il est également important que la base de données d'images soit correctement complétée et gérée, ce qui augmente la traçabilité des données et améliore considérablement l'efficacité de l'équipe de projet.