TELEMEDECINE ISIFC 2 e année Année universitaire 2011-2012

TELEMEDECINE ISIFC 2 e année Année universitaire 2011-2012 La réalité augmentée en médecine Professeur : M. Lapayre Etudiants : Boris LIBAUD et Johan MARTINS

I. Introduction La réalité augmentée est un concept assez nouveau, elle consiste à superposer une image de synthèse et une image réelle. On entend par là un système informatique qui rend possible la superposition d un modèle virtuel 3D ou 2D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Elle désigne les différentes méthodes qui permettent d'incruster de façon réaliste des objets virtuels dans une séquence d'images réelles. Principe Concrètement, le logiciel analyse les images filmés par la caméra et avec un algorithme parvient à détecter les zones fixes, les décors et peut ensuite intégrer des objets 3D dans cet univers. Le principe de la réalité augmentée est simple : il s'agit de superposer en temps réel un objet virtuel en 3D sur une image filmée. C'est ainsi qu'on "augmente" la réalité en y ajoutant des objets qui n'y sont pas présents réellement. Plusieurs éléments sont nécessaires pour parvenir à ce résultat : - Un support (aussi appelé marqueur) : cela peut aller d'une image sur papier à un monument en passant par la boîte de céréales ou même un visage... - Une caméra qui va se charger de filmer le support et qui va envoyer l'image à un ordinateur - Un ordinateur qui va effectuer deux tâches distinctes. Dans un premier temps il va reconnaître le support grâce à un logiciel de reconnaissance d'image puis, dans un second temps, il va ajouter à cette image l'objet en 3D prévu pour correspondre au support. Les calculs sont effectués en temps réel afin que les mouvements de l'objet en 3D soient en adéquation avec les mouvements du support devant la caméra. - Enfin, il faut bien sûr un écran qui va restituer l'image "composite" générée par l'ordinateur, à savoir le support "augmenté" des objets 3D ajoutés par l'ordinateur. Le concept de réalité augmentée vise donc à accroître notre perception du monde réel, en y ajoutant des éléments fictifs. Elle touche de plus en plus de domaines : jeux vidéo, cinéma, télévision, industries, médical et on va s intéresser plus particulièrement aux applications médicales. 1

II. Réalité augmentée en médecine La réalité augmentée apporte d importants progrès en télémédecine et en chirurgie. Ces technologies permettent de travailler et de poser des diagnostics à distance, de simuler l opération, de guider le praticien ou encore de reconstituer l anatomie du patient. En effet, elle permet d aider le chirurgien au diagnostic et lui permet de planifier le futur geste chirurgical. La réalité augmentée peut également être utilisée lors de thérapie comportementales pour soigner des phobies. En médecine, l intérêt premier de la réalité augmentée est qu elle permet de voir les structures anatomiques que l œil humain ne parvient pas à voir soit à cause d un mauvais emplacement de la zone à observer, soit à cause d une grosse tumeur qui cache les structures anatomiques. Pour cela, il existe plusieurs méthodes : soit l image de synthèse est directement superposée sur l organe ou la région à opérer ou soit l image de synthèse est superposée à l image réelle de façon indirecte. Et ici l organe est filmé en temps réel, les images sont retransmises sur un écran puis une image de synthèse est superposée à l image réelle. Il existe déjà plusieurs dispositifs médicaux qui utilisent ces techniques. Des chercheurs de l'université de Caroline du Nord se sont ainsi intéressés au guidage de la biopsie du sein, à l'aide d'images ultrasonores, directement visualisées par-dessus la poitrine de la patiente. Un système d'apprentissage a aussi été proposé en obstétrique par Tobias Sielhorst et Nacir Navab, de l'université de Munich. Ce système permet aux étudiants d'apprendre à insérer les deux parties du forceps dans le vagin de la mère, sans blesser celle-ci ni l'enfant. Des images virtuelles sont superposées à un mannequin, à l'intérieur duquel une sphère représentant la tête de l'enfant est contrôlée par un bras robotisé. Les forceps sont munis de capteurs optiques qui permettent de connaitre la position des instruments à l'intérieur du mannequin à partir de leurs mouvements détectés depuis l'extérieur. [2] (Voir vidéo [3]) Figure 1. Réalité augmentée pour l'extraction du nouveau-né 2

Egalement pour aider les astronautes à accomplir des échographies, l Agence Spatiale Européenne a mis en place un procédé d assistance par réalité augmentée qui pourra être utilisée sur Terre pour d autres procédures médicales. Le système CAMDASS : en portant des lunettes de réalité augmentée, L'Agence Spatiale Européenne a développé une nouvelle technologie nommée CAMDASS (Computer Assisted Medical Diagnosis and Surgery System) qui pourrait aider les astronautes à accomplir des échographies. Il suffit de mettre sur la tête des lunettes de réalité augmentée et ainsi l astronaute voit des instructions avec des schémas qui se superposent à son patient afin qu il positionne au mieux la sonde échographique. Figure 2. CAMDASS : Echographie à distance Le but est donc d obtenir de meilleures images par échographie afin que les astronautes récoltent des données plus précises pour que les médecins au sol établissent un diagnostic plus affiné en cas de maladie de l un des membres d équipage. Figure 3. Equipement du système CAMDASS 3

Cette technologie peut être aussi utilisée sur Terre. En effet elle permettrait d avoir un diagnostic rapide pour toutes les populations éloignées d'hôpitaux ou dans les déserts médicaux. Et on peut imaginer également une intervention chirurgicale urgente qui serait guidée via cette réalité augmentée avec les conseils d un médecin spécialiste ne pouvant être sur place, par exemple dans le cas de catastrophes naturelles. [4] On peut aussi superposer des données d imagerie ultrasons directement sur le corps du patient. Le médecin peut ainsi visualiser dans un même espace ses actions et leurs conséquences. Une caméra filme le patient et l'information fournie par le modèle virtuel du patient est superposée sur l'image vidéo. Le chirurgien peut donc voir le patient en transparence. [5] Figure 4. Affichage des organes sur la peau du patient via la réalité augmentée On peut aussi superposer une aiguille virtuelle avec une aiguille réelle. Lorsque l on introduit l aiguille dans la peau du patient, on ne voit pas son extrémité donc ici on peut suivre le trajet de l aiguille à l intérieur du corps grâce à la réalité augmentée. [6] Figure 5. Représentation de l'aiguille sous la peau en réalité augmentée 4

III. Un exemple de dispositif de réalité augmentée en médecine : VeinViewer [6] La société Christie Medical Holdings a mis en place un nouveau dispositif depuis 2008 appelé VeinViewer. Il utilise la réalité augmentée pour aider les médecins à mieux localiser les veines des patients. La recherche de vaisseaux sanguins étant parfois compliqués selon les morphologies et la zone du corps ciblée, ce dispositif permet ainsi de visualiser concrètement le positionnement des veines. Le principe utilisé dans cet appareil n'est autre que la réflexion et l'absorption du rayonnement infrarouge. Des infrarouges d'une longueur d'onde d'environ 850nm sont envoyés en direction de la zone ciblée. Selon les obstacles rencontrés par le rayonnement, il y aura soit réflexion soit absorption. Ici, si le rayonnement rencontre du sang il sera absorbé alors que si il rencontre des tissus environnants il sera plus ou moins réfléchi. L'appareil reçoit ces informations en récupérant les rayonnements réfléchis et forme ainsi une image de la zone qui est directement projetée sur la peau du patient. Plus les zones réfléchissent les rayons plus elles sont représentées en vert sur la peau, les zones d'absorption sont quant à elles non lumineuses ce qui permet un grand contraste pour mieux visualiser les vaisseaux sanguins. Ceci peut être inversé grâce à une option «inverse» afin de faire paraître les veines en vertes sur un fond sombre. L'affichage est assuré par des rayons de longueur d'onde entre 500-550nm. Voici comment se manifeste cette représentation sur la peau du patient en mode normal : Figure 6. Projection des veines sur la peau via VeinViewer 5

Grâce aux nuances de verts qu'offre ce dispositif, il est possible de visualiser différentes caractéristiques anatomiques. Il permet de visualiser les vaisseaux sanguins, et leurs bifurcations, situées à moins de 10mm de la surface de la peau mais également de visualiser toujours à cette même distance, les valves, le remplissage et l'éjection du sang ainsi que la présence de complications tel que les hématomes liés à de mauvaises piqûres accidentelles. Il est important de savoir que le dispositif permet de voir tout ceci en temps réel, il est sans cesse en train de rafraîchir l'image qu'il envoie, c'est à dire que si on appuie par exemple sur la peau du patient, le déplacement des veines ou l'obstruction de celles ci sera visible directement en temps réel. Cet appareil est très utilisé par les chirurgiens ou les infirmiers dans le cadre de tout processus nécessitant l'insertion d'une aiguille dans une veine tel que pour les intraveineuses. Il existe différents types de dispositif VeinViewer qui ont cependant les mêmes caractéristiques principales. Ils sont utilisables sur tous les patients (il n'y pas de revendications), ils ont un mode «fine» permettant d'afficher une image plus détaillée (très utilisé en pédiatrie et en sclérothérapie), un mode «inverse» expliqué précédemment et 3 tailles de fenêtres d'affichage différentes. Les 3 types de dispositifs se différencient dans leur conception mécanique : Le VeinViewer Vision est un dispositif facile à déplacer, alimenté sous secteur ou par une batterie d'une durée de 3h et permettant à l'utilisateur d'avoir les mains libres. Figure 7. Dispositif VeinViewer Vision 6

Le VeinViewer Vision (XTND) est un dispositif fixé sur une table ou contre un mur, branché sur le secteur et permettant lui aussi à l'utilisateur d'avoir les mains libres. Il est très utile pour les espaces restreints. Figure 8. Dispositif VeinViewer Vision (XTND) Le VeinViewer Flex est un dispositif portable pesant même pas 1kg, il fonctionne avec une batterie d'environ 2h ou sous secteur cependant il ne permet pas à l'utilisateur d'avoir les mains libres. Figure 9. Dispositif VeinViewer Flex 7

IV. Réglementation Aujourd'hui, la réalité augmentée est majoritairement utilisée au niveau des mobiles pour afficher des informations supplémentaires sur un lieu, un prospectus... Etant donné qu'elle est associée au mobile, elle doit respecter la loi Informatique et Libertés du 6 janvier 1978, modifiée par une loi du 6 août 2004 et une déclaration à la Cnil est nécessaire. Cette loi permet d'éviter l'utilisation de données personnelles associées à certaines applications de réalité augmentée ou même de la localisation géographique pouvant être connue grâce à l'intégration de mini GPS dans les mobiles. Cependant, au niveau du domaine médical, il n'y a pas vraiment de réglementation générale aux dispositifs de réalité augmentée, elle est appropriée à chaque type de dispositif de la même façon que le matériel biomédical. Par exemple, dans le cadre du projet VeinViewer, des précautions doivent être prises au niveau du rayonnement infrarouge utilisé pour éviter un échauffement voire des brûlures au niveau de la peau et des yeux. Ici, le rayonnement infrarouge utilisé est très proche de celui du visible (850nm) donc il y a aucun risque d'utilisation, le dispositif ne nécessite donc pas de précautions particulières. V. Conclusion La réalité augmentée est une technique qui se développe de plus en plus dans le monde multimédia notamment à travers les mobiles. Cet outil se développe également dans le domaine médical où l'ajout d'objets virtuels dans le monde réel permet par exemple la mise en place d'interfaces délivrant des informations non accessibles en temps normal tel que la position de certains organes en transparence de la peau du patient. Il permet également d'afficher des interfaces de guidage pour certains opérations tel que l'échographie afin que des personnes non spécialisées dans le domaine puisse pratiquer ces opérations à distance. Ces nouveaux outils sont soumis à la même réglementation que tous les dispositifs biomédicaux déjà existants. 8

Bibliographie [1] BEYOU V. La réalité augmentée au service de la médecine. [en ligne]. Internet et Réseaux : http://suite101.fr/article/la-realite-augmentee-au-service-de-la-medecine-a21378 [2] MOREAU R. Le simulateur d accouchement BirthSIM : un outil complet pour la formation sans risque en obstétrique. [en ligne]. L Institut National des Sciences Appliquées de Lyon : http://hal.inria.fr/docs/00/26/77/71/pdf/these_richard_moreau.pdf [3] Navab-Sielhorst, TUM. Utilisation de la RA pour l'apprentissage de l'extraction de l'enfant aux forceps. [en ligne]. http://www.loria.fr/~gsimon/livre/videos.html [4] ESA news. Augmented reality promises astronauts instant medical knowhow. [en ligne]. European Space Agency : http://www.esa.int/esacp/semhstsxxxg_index_0.html [5] BLANC S. Art et chirurgie : «une innovation majeure». [en ligne]. OWNI Sciences : http://ownisciences.com/2010/04/22/ar-et-chirurgie-une-innovation-majeure/ [6] SOLERI L., AYACHE N., NICOLAU S., et al. Traitement d images médicales pour la planification, la simulation et l aide intra-opératoire des actes chirurgicaux. [en ligne]. IRCAD/EITS : http://www-sop.inria.fr/asclepios/publications/soler/soler_electrique_204.pdf [7] CHRISTIE Company. [en ligne]. CHRISTIE : http://www.christiedigital.com/enus/pages/default.aspx