HABILITATION À DIRIGER DES RECHERCHES. présentée devant. L Université de Rennes 1 Institut de Formation Supérieure en Informatique et en Communication

Transcription

1 HABILITATION À DIRIGER DES RECHERCHES présentée devant L Université de Rennes 1 Institut de Formation Supérieure en Informatique et en Communication par Christian Barillot Fusion de Données et Imagerie 3D en Médecine soutenue le 10 Septembre 1999 devant le jury composé de MM. Claude Labit Président Nicholas Ayache Rapporteur Philippe Cinquin Rapporteur Max Viergever Rapporteur Patrick Bouthemy Examinateur Jean-Marie Scarabin Examinateur Terry M. Peters Examinateur

2

3 Fusion de données et imagerie 3D en médecine. i Résumé Beaucoup d'efforts de recherche en imagerie médicale 3D ont été dirigés vers la définition d outils efficaces et rapides de traitement, de mise en correspondance et de visualisation. Des résultats très encourageants sont disponibles pour améliorer l accès et l utilisation médicale du contenu des images. L objectif de mon travail a été d élargir le champ d utilisation des méthodes de fusion de données à des fins d applications précises (radiothérapie, chirurgie de l épilepsie, neurochirurgie conventionnelle, neuro-imagerie cognitive, etc.). L amélioration de l utilisation des données 3D conduit à un effort de recherche plus poussé dans le domaine de la fusion d informations. Le problème de fusion de données est posé ici dans un contexte d aide à l interprétation des images où l utilisateur intervient dans la boucle de décision. Il est abordé à la fois sous l angle de la combinaison d images et/ou de données génériques: problème du recalage multimodalités et la mise en correspondance d images entre individus (modèles de déformation appliqués au cerveau humain), sous l angle de l identification de structures anatomiques présentes sur les images (segmentation et étiquetage sémantique) et enfin sous l angle de la représentation 3D des différentes informations. Cette problématique est appliquée et illustrée dans le domaine de l imagerie cérébrale à la fois sous son aspect d aide à la clinique (neurochirurgie, neuroradiologie) et sous son aspect d aide à la recherche en neurosciences cognitives. Des perspectives sont enfin tracées concernant les besoins en matière de coopération entre méthodes numériques d analyse d images et méthodes de représentation symboliques du contenu de ces images. Mots Clés Fusion de données, Imagerie médicale, Imagerie multimodalités, Modèles déformables, Segmentation d images, Visualisation 3D, Imagerie cérébrale

4 ii C. Barillot Abstract Many research efforts in 3D medical imaging have been directed towards the definition of efficient and fast processing, matching and display tools. Some very promising results are already available allowing a better access and a better use of the contents of medical images. The objective of the works presented here was to extend the use of existing data fusion methods toward their application in medicine (radiation therapy, epilepsy surgery, conventional neurosurgery, etc.). Data fusion facilitates a better use of 3D image data by providing methods for the fusion of data from multiple modalities e.g., multimodal registration and fusion between anatomical and functional data, the fusion of data from different patients or with a priori knowledge (models and/or atlases) and the recognition of complex anatomical structures and their symbolic identifications, when they are not explicitly described by the image contents. Three aspects of data fusion are considered here with a particular emphasis on brain imaging. The first one concerns the combination of images and/or generic data; specifically, methods for multimodality registration and matching of data from different individuals by means of warping models. The second aspect concerns the identification of anatomical structures. Finally, the paper presents a state of the art of 3D display technique to render the combined data. Perspectives are presented concerning the links between these numerical fusion procedures and their complementary symbolic procedures (data bases and knowledge representation systems). Keywords Data Fusion, Medical Imaging, Multimodality Imagery, Deformation Models, Image Segmentation, 3D Display.

5 Fusion de données et imagerie 3D en médecine. iii Table des Matières INTRODUCTION 1 Contexte 1 Problématique de recherche 4 CHAPITRE 1: RECALAGE D IMAGES Contexte et État de l Art Concepts de Base Le type de recalage et ses différents référentiels Les étapes du processus de recalage les structures homologues (9) Le type de transformation (.) la fonction de similarité (, la méthode d optimisation (;) Contribution au domaine Recalage interactif d images Approche générique de recalage automatique intra-sujet Recalage Automatique IRM - Scanner X - TEP Recalage Automatique IRM - MEG Recalage Automatique IRM - Angiographies X 3D Recalage d images inter-sujets Problématique et État de l Art 36

6 iv C. Barillot Recalage inter-sujet : contribution au domaine 42 CHAPITRE 2 : SEGMENTATION D IMAGES POUR LA RECONNAISSANCE DE STRUCTURES ANATOMIQUES Problématique et Etat de l Art Segmentation du cerveau Contexte Méthode Classification des tissus du cerveau Contexte Méthode Segmentation des Replis corticaux Contexte Travail réalisé 73 CHAPITRE 3: VISUALISATION ET INTERACTION 3D Problématique et État de l Art Rendu de volume par lancer de rayon Systèmes et applications de Visualisation des résultats de Fusion Fusion de données IRM et MEG Système distribué de visualisation et de fusion 91 PERSPECTIVES ET CONCLUSION 101

7 Fusion de données et imagerie 3D en médecine. v Table des Illustrations Figure 1: Approche coopérative entre méthodes d analyse et de traitement d images pour l aide à l interprétation d images médicales... 4 Figure 2 : Fusion Intra-Individu : Étapes méthodologiques pour la constitution et la représentation d une base de données relative à un patient... 5 Figure 3 : Fusion Inter-Individuelle : Étapes méthodologiques pour la constitution d un modèle morphologique numérique provenant de sujets différents... 6 Figure 4 : Les procédures de recalage et les différents référentiels qu elles mettent en jeux.13 Figure 5 : Procédure de recalage interactive mettant en correspondance les données multimodales d un patient (Scanner X, IRM et Angiographie X) au sein d un même référentiel Figure 6 : Définition du Quadrillage Proportionnel de Talairach basé sur la localisation des commissures Antérieures et Postérieures visibles dans le plan inter-hémisphérique Figure 7: Fusion de données multimodalités Figure 8: Recalage multimodalités rigide Figure 9 : Fusion d information IRM et Scanner X après recalage multimodalités basé sur la méthode de recalage entre surfaces Figure 10 : Fusion d information IRM et TEP après recalage multimodalités basé sur la méthode de recalage entre surfaces Figure 11 : Exemple de répartition d erreur moyenne de localisation de 11 structures anatomiques Figure 12 : Adaptation de la procédure de recalage générique pour la mise en correspondance de données IRM et MEG Figure 13: Exemple de recalage IRM-MEG Figure 14: Exemple de recalage entre données IRM et Angiographie X 3D Figure 15 : Champ de déformation original et estimé Figure 16 : Illustration des ambiguïtés existantes lors d une opération de recalage entre deux sujets lorsque l on observe localement les replis corticaux Figure 17 : Superposition des traces sulcales en fonction de la mesure de similarité

8 vi C. Barillot Figure 18 : Coopération entre les différentes approches de segmentation d images développées et leurs contextes de coopération dans des systèmes de fusion Figure 19 : Segmentation du cerveau par la méthode floue Figure 20: Visualisation 3D des volumes de probabilité d appartenance aux matières grises et blanches et au système ventriculaire Figure 21 : Résultat du calcul des courbures du volume IRM et de la procédure d amincissement des zones de courbures positives Figure 22 :Sillons décrits par la méthode des rubans actifs Figure 23 : Classification des méthodes de représentation 3D en imagerie médicale Figure 24 : Exemple d une hiérarchie décrivant des objets spatiaux volumétriques et la liste d affichage associée Figure 25 : Exemple de représentation par rendu de volume utilisant le mode objet volumétrique Figure 26 : Principe de combinaison entre scènes graphique et volumétrique Figure 27 : Principe de la visualisation par lancer de rayon actif utilisant un volume paramétrique (texture 3D) Figure 28: Rendu de volume 3D de données fusionnées PET-IRM (gauche) et MEG-IRM (droite) par plaquage de texture 3D Figure 29 : Coopération entre méthodes de recalage, de segmentation d images et de visualisation 3D pour l aide à la localisation et à l interprétation d activités spatiotemporelles en EEG et MEG Figure 30: Fusion de données MEG/IRM utilisant la modélisation analytique des sillons.. 89 Figure 31 : Représentation de l activation des zones du langage (mentalisation vocale) par l utilisation des deux modes de représentations Figure 32 : Organisation d un système d atlas électronique centré utilisateur Figure 33 : Implémentation des trois niveaux de traitement de l information dans le cadre d une application de fusion de données pour l aide à l interprétation d images multimodales et/ou multi-sujets Figure 34 : Exemple de visualisation de résultats de recalage entres modules de représentation volumétrique et le navigateur sur l atlas de Talairach Figure 35 : Visualisation mixte de données graphiques (sillons en haut à gauche) et de données volumétriques (résultat de l extraction de la surface médiane d un sillon dans le lobe frontal) Figure 36 : Mise en concurrence de méthodes de fusion inter-sujets pour la définition d espaces probabilistes adaptés à l observation d activations cérébrales spécifiques. 104

9 Fusion de données et imagerie 3D en médecine 1 Introduction Contexte Une multitude d images Les deux dernières décades ont vu une prolifération de nouvelles modalités d imagerie tridimensionnelle qui permettent d observer l anatomie et des processus fonctionnels. Ces modalités incluent le Scanner X, l IRM (Imagerie par Résonance Magnétique), l angiographie numérique, la TEP (Tomographie par Émission de Positons), la TEPS (Tomographie par Émission de Photons Simples) voire même aujourd hui la MEG (Magnéto-Encéphalo-Graphie) ou l angiographie X 3D (Morphomètre 3D). Elles produisent des informations anatomiques (c.a.d structurelles) et physiologiques (c.a.d fonctionnelles) complémentaires sur un même sujet. Cependant, cette augmentation d informations disponibles pour réaliser le diagnostic doit être suivie par une amélioration équivalente de la quantité des données que l utilisateur doit intégrer et interpréter. Les protocoles diagnostiques traditionnels n ont pas suivi la même progression et se révèlent souvent inadaptés à l utilisation conjointe de cet ensemble d informations. Ainsi, la manière traditionnelle dont le médecin utilise les données contenues dans ces images est trop souvent sous optimale et un nombre important d informations complémentaires se trouve alors exclu du processus de décision clinique. Mieux les exploiter Pour modifier cette tendance, le médecin doit posséder non seulement les images sources mais également les outils pour les interpréter. Le mécanisme de

10 2 C. Barillot compréhension des images reste très complexe et porte non seulement sur une comparaison entre ces images mais également sur la connaissance des organes représentés et de leurs interactions, que ces interactions soient de nature anatomique ou fonctionnelle. Il est aujourd hui convenu qu en dehors de l émergence de nouvelles modalités, c est en particulier l apparition de techniques permettant l utilisation conjointe de toutes les informations, qui fera avancer la qualité de prise en charge du patient. Considérons par exemple la reconnaissance de structures anatomiques complexes comme les gyri corticaux ; ceux-ci n ont pas de représentation explicite sur les données images, et pourtant c est à travers leur représentation dans ces images (ici l IRM) que le chirurgien pourra mieux élaborer sa stratégie opératoire où encore que le chercheur en neurosciences pourra mieux interpréter les activations fonctionnelles qu il aura recueillies. La prise en charge d un patient épileptique dans le cadre d une intervention chirurgicale (chirurgie de l épilepsie) est un autre exemple qui illustre la complexité du processus de décision. Cette complexité est en particulier liée à l hétérogénéité des données. L émergence de nouvelles techniques de neuro-imagerie a largement modifié les données du problème [Fried 1995 ; Sitoh and Tien 1998]. Ainsi, l angiographie constituait, jusqu à la fin des années 70, l unique source de données morphologique à la disposition du chirurgien [Lunsford 1988 ; Musolino and Dellatolas 1971; Musolino et al. 1990; Pecker et al ]. L arrivée des nouvelles images cérébrales, bien que complétant avantageusement l angiographie, a induit une complexité d interprétation bien supérieure en raison du nombre d images générées et de leur caractère numérique. En effet ces images, pour être mieux utilisées, doivent être recueillies et exploitées de façon numérique 1. Cette complexité est à la fois d ordre matériel, organisationnel et culturel. Il y a vingt ans, le planning d une chirurgie de l épilepsie s appuyait principalement sur la sémiologie, l électroencéphalographie (EEG) de surface et de profondeur, dans ce cas appelé StéréoÉlectroEncéphaloGraphie (SEEG) [Bancaud et al ; Buser et al. 1973] et l angiographie. Aujourd hui s ajoute à cela parfois le Scanner X, mais plus souvent l IRM, la MEG, la TEP, la TEPS voire même plus récemment l IRM fonctionnelle [Anninos et al ; Baumgartner and Deecke 1990 ; Crisp et al ; Duncan et al ; Fried 1995 ; Morioka et al. 1995; Müller-Gärtner et al. 1 Ce qui pose en premier lieu des problèmes d infrastructure informatique au sein des services hospitaliers concernés : problème de transmission et d archivage des images (PACS : Picture Archiving and Communication Systems), problèmes de système d information,... [Gibaud et al. 1998a].

11 Fusion de données et imagerie 3D en médecine ; Otsubo et al. 1992; Péria et al. 1994; Sitoh and Tien 1998; Zubal et al ]. Ces nouvelles données invitent naturellement à encore plus de précision sur la cartographie anatomique et fonctionnelle sur mesure que le médecin doit faire du patient et nécessitent la mise en place autour des équipes médicales de pôles de compétences transversales venant notamment du domaine de l informatique, du traitement du signal et de l image. Cela permet l émergence de méthodes algorithmiques mieux adaptées au contexte applicatif (par exemple la représentation de sources d activités fonctionnelles aux abords de sillons du cortex, ces sillons étant eux mêmes des amers utilisés lors des procédures chirurgicales). Mais l insertion de ces outils d aide à l interprétation et à la décision dans le processus clinique pose notamment le problème de la validation et de l évaluation des méthodes proposées [Ayache 1998]. Une aide à leur utilisation La tache de compréhension des images dans nombre de cas ne dépend pas uniquement de telle ou telle méthode de traitement, d analyse ou encore de recalage d images mais demande également une connaissance préalable des structures anatomiques et des relations géométriques et physiologiques. De ce constat, on peut en déduire que la recherche en matière de méthodes de fusion de données doit constituer une priorité. Cela passe par l établissement d un processus de coopération entre des méthodes issues du domaine de la vision par ordinateur (Figure 1). Ces méthodes permettent soit, la mise en correspondance d images venant de capteurs et de sujets différents (méthodes de recalage d images), soit l extraction de caractéristiques images pertinentes pour mieux segmenter les structures d intérêt, soit enfin l élaboration de nouvelles techniques pour mieux observer ces données (Figure 2 et Figure 3). A cela vient s ajouter la nécessité d intégrer, dans des systèmes d information, les données ainsi recueillies et générées afin de mieux leur conserver leur cadre d exploitation. Cette phase sera indispensable à l établissement de véritables systèmes d aide à l interprétation et à la décision. Le champ de recherche qui en découle, sur lequel j ai travaillé et qui est abordé dans ce document est extrêmement riche et concerne en particulier i) la fusion de données en imagerie multimodalités morphologique et fonctionnelle, comme la combinaison d images et de données génériques (recalage multimodalités et mise en correspondance de données entre sujets), ii) l identification de structures anatomiques présentes sur les images (segmentation et étiquetage sémantique) et iii)

12 4 C. Barillot la visualisation 3D des différentes informations (représentation des résultats de fusion). Problématique de recherche Domaine d application Dans ce cadre général, ma recherche a été orientée, dans un contexte de fusion de données, vers le développement de méthodes de traitement, d analyse et de représentation d images à des fins d aide à l interprétation d images médicales. Dans ce cas, l utilisateur est supposé faire partie de la boucle de décision. J ai choisi d adopter une démarche générique de coopération entre les différentes phases de traitement, d analyse ou de représentation, comme schématisé sur les Figure 2 et Figure 3 (démarche horizontale), plutôt qu a une démarche focalisée sur une ou plusieurs méthodes de traitement (démarche verticale). Recalage Multi- Capteurs Données Recalées Données Originales Segmentation Données Segmentées Modélisation Données Modélisées Recalage Déformable Connaissances a priori Modèle Numérique Connaissances a posteriori Figure 1: Approche coopérative entre méthodes d analyse et de traitement d images pour l aide à l interprétation d images médicales.

13 Fusion de données et imagerie 3D en médecine 5 Pour ce qui est du domaine applicatif, les résultats de ma recherche ont le plus souvent concernés le domaine de l imagerie cérébrale. Le souci de finalisation des méthodes proposées ainsi que la richesse de ce domaine explique ce choix. En effet le domaine de l imagerie cérébrale à vue dans la dernière décennie l émergence de deux grands axes d applications : la neuro-imagerie clinique qui comprend la neurochirurgie, la neuroradiologie et la neurologie la neuro-imagerie cognitive pour le domaine de la recherche en neurosciences. Ces deux axes ont d ailleurs tendance à se rejoindre lorsque des problèmes de neuro-imagerie fonctionnelle se posent. Imagerie Anatomique et Fonctionnelle IRM EEG/SEEG Angiographie 2D/3D SPECT Scanner X MEG PET Recalage multi-modalité Anatomique Cadre Instrumentral Marqueurs Externes Segmentation et Etiquetage Caractéristiques Géométriques Caractéristisques Statistiques Classification Matrices de Recalage Etiquettes Anatomiques Visualisation/Interaction 3D Visu Multi-Objets/Volumes Visu Graphique/Voxels Etiquetage Interactif Scénari Prototypes Base de Données Patient Figure 2 : Fusion Intra-Individu : Étapes méthodologiques pour la constitution et la représentation d une base de données relative à un patient à partir de données multimodales anatomiques et fonctionnelles.

14 6 C. Barillot Base de Données Patient i Base de Données Patient i+n Modèle de Déformation Affine ordre supérieur Modèle Numérique 3D Figure 3 : Fusion Inter-Individuelle : Étapes méthodologiques pour la constitution d un modèle morphologique numérique provenant de sujets différents. Malgré une finalité différente, les problèmes méthodologiques sous-jacents se retrouvent le plus souvent. Ainsi, les outils nécessaires à l établissement d une cartographie fonctionnelle du cerveau sont très semblables qu il s agisse de mieux comprendre le fonctionnement cérébral (neuro-imagerie cognitive) ou de mieux préparer une intervention chirurgicale dans une région à hauts risques fonctionnels (cartographie pré-chirurgical). L avantage de retrouver dans un même domaine cette diversité applicative est de pousser le plus souvent la recherche méthodologique vers des solutions plus génériques (moins ad hoc ) et d éviter par là même de tomber dans le piège d un trop grand particularisme, piège naturel lorsque l on s intéresse à un domaine applicatif sensible et lorsque l on collabore avec des partenaires, médecins ou chercheurs, impatients d exploiter ces nouveaux outils.

15 Fusion de données et imagerie 3D en médecine 7 Approches méthodologiques Mes efforts de recherche en imagerie 3D médicale, ont d abord été dirigés vers la définition d outils de visualisation efficaces et rapides qui sont utilisables aujourd hui [Barillot 1993; Robb and Barillot 1988 ; Robb and Barillot 1989 ]. Mais au delà de l utilisation des techniques de représentation 3D, l amélioration de l utilisation des données 3D passe par plus de coopération entre méthodes d analyse et de traitement d images. Je me suis donc intéressé à la comparaison d informations multi-capteurs (fusion multimodalités, fusion d informations anatomofonctionnelles, ), à la fusion d informations multi-patients ou venant de connaissances a priori (modèles) et enfin à la reconnaissance de structures anatomiques complexes qui ne sont pas explicitement décrites par le contenu des images. Organisation du document Le problème du recalage d images constitue le centre de gravité des systèmes d aide à l interprétation d images médicales morphologiques et fonctionnelles. Pour cette raison, je présenterai dans une première partie les concepts à la base des différentes approches de recalage présentes dans la littérature. Je m intéresserai ensuite à l approche générique de recalage rigide d images que nous avons développé et à son application sur différents aspects de mise en correspondance rigide entre examens IRM, Scanner X, TEP, MEG, et Angiographie 3D. Je présenterai ensuite différents travaux auxquels j ai participé concernant les aspects de recalage inter-sujets (non linéaire). La deuxième partie de ce document traitera des aspects plus spécifiques à l analyse d image et à son application pour l identification de structures anatomiques cérébrales (cerveau, matières grises et blanches, cortex et sillons corticaux). Enfin, je terminerai sur la présentation des aspects de représentation 3D des résultats de fusion. Cette partie, chronologiquement apparue antérieurement aux précédentes (dans la littérature comme dans mon travail de recherche), plutôt qu une fin en soit, apparaît plus aujourd hui comme un outil indispensable à une meilleure observation des données traitées ou recueillies, au service des différentes étapes du processus d aide à l interprétation.

16 8 C. Barillot

17 Fusion de données et imagerie 3D en médecine 9 Chapitre 1 Recalage d images 1.1 Contexte et Etat de l Art La connaissance neuro-anatomique d'un sujet est une donnée qui, dans le domaine de l imagerie cérébrale, joue un rôle primordial, tant pour la compréhension des processus fonctionnels et/ou pathologiques mis en jeu, que pour l'élaboration de stratégies de traitement adaptées. L'apparition de nouvelles sources d'imagerie comme la tomodensitométrie et l'imagerie par résonance magnétique, a largement contribué à enrichir cette connaissance. Il est cependant nécessaire de remarquer qu'aucune source d'imagerie, si précise soit elle, ne peut mettre en évidence la totalité des structures anatomiques connues et répertoriées dans les atlas de neuro-anatomie. Il est donc très important, pour le médecin, de localiser ces structures à partir des images extraites des différents examens. En effet comme exprimé précédemment, c'est à travers une synthèse précise de ces différents examens que le médecin peut aujourd'hui identifier correctement les structures anatomiques mises en jeu et définir une thérapeutique adaptée. Ainsi ces dernières années, de nombreux groupes de recherche ont reconnu le besoin de combiner les images provenant de modalités différentes et ont développé des systèmes pour atteindre ce but. Les principales applications traitées concernent la combinaison d imageries fonctionnelles métaboliques (TEP, TEPS, IRMf) ou électrophysiologiques (MEG, EEG) avec des représentations anatomiques (Scanner

18 10 C. Barillot X, Angiographie X, IRM, Atlas), ou encore de la combinaison d images anatomiques entre elles, à des fins d interprétation d'images et de planning/suivi thérapeutique. Dans ce domaine, de nombreuses solutions ont été proposées et fournissent des réponses qualitativement satisfaisantes lorsqu elles utilisent un cadre de stéréotaxie ou dans une moindre mesure, des marqueurs externes ou des repères anatomiques. On peut citer par exemple [Adams et al ; Chiron 1989; Collignon et al ; Collignon et al. 1993; Evans et al. 1991; Ge et al ; Hill et al. 1993; Jiang et al. 1992; Lemieux and Jagoe 1994 ; Lemieux et al. 1994a ; Lemoine et al. 1991; Lemoine et al ; Malandain et al ; Maurer and Fitzpatrick 1993; Maurer et al. 1993; Pelizzari et al. 1989; van den Elsen et al ; van den Elsen et al. 1993; Woods et al. 1993]. La précision de ces méthodes est très variable : de moins d un millimètre pour l emploi de cadres de stéréotaxie, à plusieurs millimètres pour les marqueurs externes, en passant par la précision du voxel pour les méthodes basées sur la mise en correspondance de structures anatomiques homologues, comme par exemple entre le Scanner X et l IRM (les déformations liées aux imageurs étant supposées corrigées). Les possibilités de combiner des données provenant de patients différents restent plus confidentielles et résultent pour la plupart de recherches récentes. Pour apporter une solution à ce problème, des structures anatomiques telles que CA-CP 1 ont été utilisées il y a 30 ans par le Professeur J. Talairach [Talairach et al. 1967; Talairach and Tournoux 1988; Talairach and Tournoux 1993]. Cette approche est toujours d actualité pour fusionner des bases de données cérébrales par des procédures informatiques (par exemple [Evans et al. 1992a; Evans et al. 1992b ; Fox et al. 1985; Friston et al. 1989; Ge et al ; Lemoine 1991 ; Lemoine et al. 1991; Steinmetz et al. 1989; Vérard et al. 1997]). Sur une base toujours interactive, Bookstein utilise également des points caractéristiques pour calculer son modèle de déformation non linéaire (Thin Plate Splines) [Bookstein 1989; Bookstein 1991]. Enfin d autres méthodes, plus autonomes et complètement tridimensionnelles, utilisant des caractéristiques-image ont été développées pour effectuer un recalage élastique entre sujets. Parmi celles-ci on peut citer [Bajcsy and Kovacic 1989; Bajcsy et al ; Christensen et al ; Collins et al ; Dann et al. 1989; Davatzikos 1997 ; Ge et al ; Gee et al ; Sandor and Leahy 1997; Thirion 1996b ]. La littérature sur ce thème est très abondante, même si elle se limite à celle qui ne concerne que les données cérébrales. Une description complète des méthodes 1 CA : Commissure Antérieure, CP : Commissure Postérieure

19 Fusion de données et imagerie 3D en médecine 11 présentes dans la littérature, par sa longueur, sortirait du cadre de ce document, je me limiterai donc à une présentation des concepts qui sous-tendent ce domaine, et qui forment la trame des travaux auxquels j ai participé. Néanmoins, le lecteur intéressé pourra se reporter aux articles cités ci-dessous pour trouver une revue quasi exhaustive de la littérature sur ce thème. Ainsi [Gerlot and Bizais 1988] donne une première classification des méthodes de recalage dans le domaine médical. [Brown 1992] fait un large tour d horizon des méthodes de recalage d images, tous domaines applicatifs confondus. Elle propose également une classification des différentes approches rencontrées. Centrés sur l imagerie médicale, [Maurer and Fitzpatrick 1993] s attachent à une définition précise des termes du domaine et se particularisent par une présentation complète des méthodes utilisées dans le contexte neurochirurgical (cadre de stéréotaxie, atlas du cerveau,...). [van den Elsen et al. 1993], complété récemment par [Maintz and Viergever 1998], s attachent à réaliser une revue complète et à fournir une classification des méthodes employées dans le domaine de l imagerie médicale. Les aspects plus spécifiques de la chirurgie assistée par ordinateurs sont par ailleurs traités dans [Lavallée 1996]. Ces différents états de l art donnent à eux quatre plusieurs centaines de références, ce qui démontre l extrême vitalité de ce thème. 1.2 Concepts de Base Les notions de fusion d images et de recalage (respectivement fusion et registration en anglais) se superposent voire se confondent assez souvent dans la littérature (sans oublier corrélation ou encore d autres termes anglais comme matching, warping, fitting ou alignment ). Il me paraît important ici de bien dissocier ces différents concepts. La notion de recalage est associée à la définition d une correspondance point à point entre les coordonnées d un point dans un espace à celle d un autre point dans un autre espace (aussi appelé référentiel), cette correspondance n étant pas tenue d être une bijection. Dans le domaine médical, cette notion se trouve renforcée par le fait que ces points correspondent tous à un point anatomique. La notion de recalage peut être résumée par la définition suivante : Considérons I s et I d deux images (source et destination) à mettre en correspondance et deux structures homologues 9 s et 9 d extraites de ces images. La procédure de recalage consiste à trouver la transformation. : 9 9 qui recale un amer M de 9 s en son correspondant.m dans 9 d. s d

20 12 C. Barillot Par généralisation, cette transformation s applique alors aux images support I s et I d de la manière suivante : (I d (x 1, y 1, z 1 ) =. I s (x 2, y 2, z 2 )]). Pour une méthode d optimisation ; donnée, la transformation. G 3 est calculée en minimisant l expression suivante: Argmin,. G ( 9s) 9d G 3; ou, est la fonction de similarité et (G 3 les paramètres de la transformation Le type de recalage et ses différents référentiels La nature des procédures de recalage dépend en premier lieu du nombre de modalités et de sujets mis en jeu, c est à dire du nombre et de la nature des mesures. Un sujet peut être lui-même un modèle (par exemple de type atlas) et une modalité. Un recalage est également caractérisé par les référentiels mis en jeu. Trois classes de référentiels peuvent être distingués (voir Figure 4) : les référentiels liés au sujet (ou au patient), généralement rassemblés sous le terme référentiel anatomique. Un exemple typique est le référentiel de Talairach [Talairach and Tournoux 1988]. les référentiels liés aux images (dans lesquels les structures homologues sont généralement définies). les référentiels liés aux instruments dans lesquels les outils sont définis (cadre de stéréotaxie par exemple). C est généralement sur la base de ces trois classes de référentiels que les applications de fusion sont définies. Elles consistent à mettre en correspondance un ou plusieurs de ces référentiels. Le Tableau 1 donne un certain nombre d exemples d applications rencontrées en fonction de la dualité modalité/sujet.

21 Fusion de données et imagerie 3D en médecine Les étapes du processus de recalage Qu elle s inscrive dans le cadre d une application interactive ou totalement automatique, une procédure de recalage suit généralement le même schéma et réclame la définition de 4 critères : 1. les structures homologues (9) incluant leur dimensionnalité et leur nature, cela correspond à la notion de feature space dans [Brown 1992] et aux critères Dimensionality (I) et Nature of registration basis (II) dans [Maintz and Viergever 1998]. 2. le type de transformation (.), il correspond à la notion de search space et de transformation class dans [Brown 1992] et aux critères Nature (III) et Domain (IV) de transformation dans [Maintz and Viergever 1998]. 3. la fonction de similarité (,), elle correspondant à la notion de similarity metric dans [Brown 1992]. 4. la méthode d optimisation (;), elle correspondant à la notion de search strategy dans [Brown 1992] et aux critères Optimization procedure (VI) dans [Maintz and Viergever 1998]. Référentiel Image Référentiel Instrumental Référentiel Sujet p(i,j,k) p(x,y,z) p(u,v,w) Figure 4 : Les procédures de recalage et les différents référentiels qu elles mettent en jeux : le référentiel image dans lequel sont les données représentées, le référentiel instrumental dans lequel les données des effecteurs sont représentées et enfin le référentiel sujet, ou patient, dans lequel les cibles sont définies.

22 14 C. Barillot Une Modalité Plusieurs Modalités Un Sujet (recalage intra-sujet) Contrôle post opératoire Suivi de pathologie Suivi du traitement Complémentarité entre sources d images : Confrontation anatomique ou anatomie/fonction Contrainte sur les algorithmes de reconstruction/restauration (par ex. MEG, EEG, IRMf) Chirurgie assistée par ordinateur (recalage per-opératoire) Planning thérapeutique assisté par ordinateur Plusieurs Sujets (recalage inter-sujets) Recalage avec un atlas Segmentation guidée par un modèle Normalisation spatiale : Construction d atlas (de modèles) Étude de pathologie au sein d une population Cartographie fonctionnelle du cerveau humain ( Human Brain Mapping ). Normalisation anatomo-fonctionnelle Tableau 1 : Exemples d applications rencontrées, nécessitant l utilisation de méthodes de recalage d images, en fonction de la cardinalité des attributs {modalité, sujet} les structures homologues (9) Les structures homologues sont des informations extraites des images et qui servent de base pour le calcul de la transformation. Ces structures sont caractérisées par leur dimensionalité (dimension de leur espace de description, au sens paramétrique du terme), par la dimension de leur espace d évolution (espace euclidien le plus souvent) et enfin par leur nature (voir Tableau 2). Leur nature dépend le plus souvent du cadre applicatif dans lequel elles sont utilisées. Les structures à référentiels externes sont encore aujourd hui les plus utilisées en raison soit, de leur simplicité de mise en œuvre (marqueurs externes), soit de leur précision [Barnett et al ; Ge et al ; Henri et al ; Kall et al. 1996; Laitinen et al ; Lemieux and Jagoe 1994 ; Lemieux et al. 1994b; Maurer et al ;

23 Fusion de données et imagerie 3D en médecine 15 Neelin et al ; Pennec and Thirion 1995 ; Sandeman and Gill 1995 ; Smith et al ]. Dans cette catégorie on trouve les cadres de stéréotaxies qui constituent encore l étalonnage des méthodes de recalage [Bohm et al ; Brown 1979 ; Evans et al ; Galloway and Maciunas 1990; Galloway et al ; Goerss et al ; Heilbrun 1988 ; Kandel 1989 ; Lemieux et al. 1994b ; Peters et al ; West et al. 1997]. Le caractère généralement très robuste de ces méthodes les destinent encore souvent aux applications cliniques. Les solutions utilisant des structures intrinsèques, à l exception du recalage dit de Talairach [Talairach and Tournoux 1988], nécessitent souvent d avoir recours à des procédures de traitement d images. Ces procédures sont parfois simples, elles complexifient néanmoins la procédure de recalage et même, dans certain cas, la rendent moins robuste à l usage. Cela explique pourquoi les méthodes basées sur ce principe sont encore aujourd hui moins souvent utilisées dans un contexte clinique. Pourtant, ces méthodes ont souvent l avantage d être plus automatiques et permettent d obtenir des résultats souvent plus précis que des procédures cliniques standards [Hemler et al. 1995; West et al ]. Les méthodes utilisant des structures homologues du type implicites (moments, axes principaux) sont quant à elles souvent simples à mettre en œuvre mais souvent au détriment de la précision et de la robustesse. En effet ces méthodes sont très sensibles aux disparités locales des structures homologues ; c est le cas des données manquantes que l on retrouve par exemple en imagerie fonctionnelle quantitative (PET, SPECT) [Gerlot and Bizais 1992] Le type de transformation (.) Le type de transformation définit la classe des transformations qui régit le recalage entre les deux structures homologues. Ces transformations peuvent être de natures linéaires ou non-linéaires. Transformation linéaire Une transformation linéaire se définie de la sorte : x A x b = n n, ou A n est une application linéaire de dimension nxn, et b n est un vecteur de translation de dimension nx1. Ces transformations linéaires peuvent être rigides, affines, polynomiales d ordre supérieur à 1, polynomiales par morceaux avec contraintes de continuité d ordre C m (splines par exemple), paramétriques,... :

24 16 C. Barillot Transformation Rigide : c est une transformation affine qui préserve les distances entre les points (isométrie). Dans ce cas, A n est une matrice de rotation (A n = R n ), elle a les propriétés suivantes : AA T =A T A=I et deta=+1. Dans le cas d une symétrie nous avons deta=-1. Ce type transformation est le Caractéristiques des Structures Homologues (9) Dimension intrinsèque Dimension de l espace d évolution 0D : Point : 9=Constante 1D : Contour ; 9=f(u) 2D : Surface ; 9=f(u,v) 3D : Volume ; 9=f(u,v,w) nd : Hypersurface ;9=f(u1, u2,..., u n ) 2D : Discret ou continu (image, surface, projection,...) ; 9 R 2 3D : Discret ou continu (volume, hypersurface), spatio-temporel (2D+t); 9 R 3 nd : Hypersurface, Spatio-temporel (3D+t) ; 9 R n Nature Références Externes Références Intrinsèques marqueurs externes (pastilles, implants,...) cadres stéréotaxiques Explicites références anatomiques (structures de références) caractéristiques images : intensités et ses dérivées partielles (gradients, courbures,...) régions d images segmentées Implicites (scalaires ou vecteurs de caractéristiques statistiques) moments axes principaux Tableau 2 : Propriétés régissant les caractéristiques des structures homologues en fonction de ses dimensions, des dimensions de son espace d évolution et de la nature de ce qu elle représentent.

25 Fusion de données et imagerie 3D en médecine 17 plus couramment employée dans une situation de recalage multimodalités (un sujet - plusieurs modalités) Transformation Affine : c est une similitude, c est à dire une transformation rigide à laquelle on ajoute une affinité S n (A n = S n R n ; s ij =0 pour i j). Dans le cas particulier ou les coefficients s ii, i=1...n sont identiques, S n est appelée homothétie. S n porte alors les facteurs d échelles selon les différentes directions de l espace d évolution. Cette transformation est employée à la fois pour des recalage de données multimodales (cas ou le facteur d échelle est mal connu), et pour des recalages inter-sujets (dans la phase initiale). Une extension de cette transformation concerne l utilisation de transformations affines par morceaux, utilisées dans le cas de recalage inter-sujets. La méthode du Quadrillage Proportionnel de Talairach en est l exemple le plus connu [Talairach and Tournoux 1988]. Transformation Projective : C est une transformation rigide (ou affine) qui permet de transformer 9 s R n vers un espace de dimension inférieure 9 d R n-m (pour plus de détails sur cette classe de transformation, le lecteur peut se référer à [Faugeras 1993]). Le cadre général d utilisation de cette transformation est principalement pour des recalages 3D/2D, comme par exemple le recalage de radiographies sur des données Scanner X ou IRM [Bainville et al ; Betting and Feldmar 1995 ; Gottesfeld Brown and Boult 1996; Henri et al ; Lavallée et al ; Lemieux and Jagoe 1993 ]. Pour ces 3 premiers types de transformation, la formulation utilisée est une formulation linéaire du type :. p d = S R p s + T, où p d I d, p s I s ; p s, p d et T (vecteur de translation) sont de dimension [n, 1], R (matrice de rotation) et S (matrice de facteur d échelle) de dimension [n, n], n étant la dimension de l espace d évolution. L écriture de cette transformation est généralement simplifiée par l utilisation des transformations homogènes [Newman and Sproull 1988], qui permet de rassembler ces différentes transformation dans la même matrice M, où dans le cas 3D (n=3) M se forme de la manière suivante : r r r t s ' ' ' pd M ps; M M1 S; M1 r r r t ; S 0 s ; p r r r t 0 0 s p' 1 ' p 2 ; ds, p' 3 w

26 18 C. Barillot, pi avec w s =1, pi (dans le cas rigide et affine, on prend w=1) et où r ij, t i et s i w sont respectivement les coefficients de rotation, de translation et de facteur d échelle. De cette manière la transformation. : p s p d s exprime: p m p. d i ij s j j Dans le cas d une transformation projective recalant par exemple une structure 3D sur une structure 2D, on définit une matrice M 2 dont les coefficients m 2ij sont constants et dépendent des équations reliant 9 s à 9 d. Dans ce cas le coefficient w d 1. Ainsi pour une projection perspective sur le plan (z==c+b), M 2 prend la valeur suivante : c c 0 0 p M p M M M M d d; 2 ; = = c b 1 c où c est un coefficient de projection (distance focale par exemple). Ainsi nous avons :, p,,, di d ij i s ; j d. i w j p m p p Transformation non linéaire Cette classe de transformation est représentée sous la forme de champs denses de déformation (déformation libre), à chaque point de la structure homologue est associé un vecteur de : p d =p s s ). Dans ce cas, la cohérence entre des vecteurs de déplacements voisins (régularisation) est assurée au sein même de la procédure d optimisation, soit par des heuristiques [Collins et al. 1995; Collins et al. 1994b; Collins 1994; Collins and Evans 1997] soit par des modèles physiques [Bajcsy and Kovacic 1989; Bajcsy et al. 1983; Bro-Nielsen and Gramkow 1996; Christensen 1994; Christensen et al. 1996; Christensen et al. 1995; Gee et al. 1993] ou probabilistes [Ashburner et al. 1997; Gee 1996; Gee et al. 1995a; Gee et al. 1995b]. Cette classe de transformations concerne principalement les applications de recalage inter-sujets mais aussi les applications de recalage intramodalité, lorsque

27 Fusion de données et imagerie 3D en médecine 19 les images subissent des déformations lors de leur construction (par exemple en IRM fonctionnelle). Une analyse plus détaillée de cette classe de transformation est donnée en la fonction de similarité (,) La fonction de similarité définie le critère objectif (coût) utilisé pour estimer la qualité du recalage entre les deux structures homologues. Ces fonctions peuvent être de natures très variées. On distingue néanmoins trois grandes familles : D une part les méthodes basées sur la définition d une géométrie intrinsèque (cadre de stéréotaxies, certains cas de marqueurs externes, équations de plans dans l espace 3D) [Henri et al. 1991; Lemieux and Jagoe 1994; Lemoine 1991; Lemoine et al. 1991; Lunsford 1988; Maurer et al. 1993; Neelin et al. 1993; Peters et al. 1986; Strother et al. 1994; van den Elsen et al. 1991]. Les méthodes basées sur des critères euclidiens (distances, aires, volumes). Dans cette famille, le critère de la distance est couramment employé notamment pour les méthodes qui utilisent la distance de chamfer [Barrow et al. 1977; Borgefors 1986; Borgefors 1988]. Cette mesure de similarité est alors souvent utilisée avec des structures homologues extraites de phases de segmentation d images (surfaces de structures par exemple) [Chen et al. 1987; Collignon et al. 1993; Hill et al. 1991; Jiang et al. 1992; Lemoine et al. 1994; Leszczynski et al. 1995; Levin et al. 1988; Pelizzari et al. 1989; Péria et al. 1994; Thomas et al. 1996; van Herk and Kooy 1994]. Une autre famille de fonction de similarité concerne les méthodes qui utilisent les intensités-image (ou ses dérivés). Il peut s agir de méthodes à base de calcul de corrélations dans le domaine spatial [Collins et al. 1992; Herbin et al. 1989; Junck et al. 1990; Peli et al. 1987; Pratt 1978; Rosenfeld and Kak 1982; van den Elsen et al. 1995; Venot and Leclerc 1984] ou de Fourrier [Alliney and Morandi 1986; de Castro and Morandi 1987; Kuglin and Hines 1975; Lee et al. 1987], de méthodes à base de calcul de variances ou encore de méthodes à base d analyse d histogrammes (mesure d entropie relative ou de variance par exemple) [Collignon et al. 1995; Maes et al. 1997; Studholme et al. 1996; Viola 1995; Wells et al. 1996a] et plus rarement de mesures de flots optique [Barber et al. 1995; Ge 1995; Meunier et al. 1996]. Cette famille de fonction de similarité permet souvent l obtention de meilleurs résultats en terme de précision mais induit aussi un temps de calcul plus élevé.

28 20 C. Barillot Il est également possible d ajouter à ces fonctions de similarité des critères qui permettent de les rendre plus robustes au bruit contenu dans les mesures des structures homologues [Black and Rangarajan 1996; Nikou et al. 1998; Schwartz et al. 1996] la méthode d optimisation (;) La méthode d optimisation définie la manière selon laquelle la fonction de similarité atteint son coût minimum. Là encore, les méthodes utilisées peuvent être très variées. Sans prétention d exhaustivité, on peut néanmoins les classer en quelques grandes familles : a) les approches quadratiques ou semi-quadratiques. Ces méthodes nécessitent ou non l estimation des dérivées partielles de la fonction objective (moindres carrés, descente de gradient, Newton-Raphson, Levenberg-Marquartdt, méthode du simplex, méthode de Powell). Ces méthodes, qui sont les plus utilisées dans la littérature du domaine (voir [Maintz and Viergever 1998] à ce sujet), sont complètement et clairement décrites dans [Press et al. 1992]. Toutes ces méthodes supposent une fonctionnelle quasi convexe autour de la solution optimale. Une autre approche assez rencontrée est la méthode ICP ( Iterative Closest Point ), qui autour de la solution peut-être assimilée à une approche quadratique [Besl and McKay 1992; Feldmar and Ayache 1994; Feldmar and Ayache 1996; Maurer et al. 1995; Simon et al. 1995; Subsol et al. 1996]. Ces différentes méthodes sont donc bien adaptées lorsque l on est en présence d un problème bien contraint : forte ressemblance des structures homologues, fonctions de similarités adaptées, quasi unicité de la solution, initialisation proche de la solution,... Pour se rapprocher de ces contraintes, beaucoup d auteurs utilisent des schémas de résolution hiérarchique (multi-échelles, multi-résolutions) [Rosenfeld 1984; Terzopoulos 1986], parmi ceux-ci on peut citer [Bajcsy and Kovacic 1989; Collins et al. 1992; Davis 1982; Lemieux et al. 1994b; van den Elsen et al. 1995]. b) les approches stochastiques ou statistiques. Ces méthodes sont en théorie souvent plus robustes à la présence de données bruitées ( outliers en anglais) mais aussi plus compliquées à mettre en œuvre et plus demandeuses en ressources de calcul. Dans cette famille, on peut trouver des méthodes aussi variées que le recuit simulé ou ICM ( iterative

29 Fusion de données et imagerie 3D en médecine 21 conditional modes ) [Besag 1986; Kirkpatrick et al. 1983; Liu et al. 1994; Nikou et al. 1998; Studholme et al. 1997], et les méthodes génétiques (issues de l intelligence artificielle) [Cross et al. 1996; Hill et al. 1994; Jacq and Roux 1995; Kruggel and Bartenstein 1995], de recherche stochastique [Miller et al. 1993; Viola 1995; Wells et al. 1996a]. c) les approches structurelles. Sous cette classe, on peut ranger les méthodes à base d arbres ou de graphes [Dong and Boyer 1996; Gmur and Bunke 1990; Maintz et al. 1996; Mangin 1995; Sanfeliu 1990; Scott and Longuet-Higgins 1991; Shapiro and Brady 1992; van den Elsen et al. 1995] ou encore de programmation dynamique [Barillot 1984; Fuchs et al. 1977; Keppel 1975; Milios 1989; Parizeau and Plamondon 1990]. Ces approches consistent à traiter le problème d optimisation de manière globale et exhaustives. Elles sont coûteuses en temps calcul, car elles nécessitent de parcourir l ensemble des solutions possibles. Elles assurent par contre la convergence de la solution vers le minimum global de la fonctionnelle de similarité. d) les approches heuristiques. Ces approches sont par nature difficiles à classifier. On peut ranger dans cette catégorie les solutions interactives qui consistent à minimiser visuellement des critères de proximités entre les structures homologues [Evans et al. 1988; Kapouleas et al. 1991; Lemoine et al. 1991; Maguire et al. 1991; Pietrzyk et al. 1994; Seitz et al. 1990]. Enfin, comme le précise Maintz et al [Maintz and Viergever 1998], nombres d applications mettent en œuvre successivement plusieurs schémas de minimisation (notamment dans le cadre de schémas hiérarchiques) en fonction de la proximité de la recherche à l optimum et du coût calculatoire que l on est prêt à accepter. 1.3 Contribution au domaine Mon travail dans ce domaine s est orienté dans trois directions. Deux d entre elles ont concerné l étude de méthodes de recalage rigide, basées sur l utilisation de repères anatomiques qui pouvaient être des points, des surfaces ou encore des volumes. Le troisième axe de recherche concernait les aspects de recalage intersujets.

30 22 C. Barillot Dans le cadre de la thèse de Didier Lemoine [Lemoine 1991] et à travers le développement d un environnement interactif de recalage, l objectif était de fournir une solution simple permettant de mettre en correspondance, dans un contexte neurochirurgical et sur une plate-forme informatique minime (x386 et système DOS à l époque des travaux), des données anatomiques multimodales Scanner X, IRM et Angiographies 2D. Ces données étaient pour les deux premières non disponibles sous la forme de volumes 3D. Nous voulions de plus pouvoir associer à ces données anatomiques des informations contextuelles venant de l atlas de Talairach, avec une précision équivalante à celle obtenue par l utilisation de marqueurs externes non invasifs (précision de l ordre de 4 à 5 mm). Cette solution permettait en outre de mettre en œuvre une procédure simple de recalage interpatients basé sur le principe du quadrillage proportionnel de Talairach (transformation affine par morceaux). Sur la base de l expérience acquise lors de ces travaux, Didier Lemoine et moimême avons ensuite travaillé autour d une approche générique de recalage rigide automatique basé sur la définition de structures homologues surfaciques, à l aide principalement de critères de distances et d une minimisation utilisant la méthode de Powell dans un cadre hiérarchique multirésolutions [Barillot et al. 1995; Lemoine et al. 1994]. Ce schéma de recalage a été appliqué pour le recalage de données Scanner X, IRM et PET, et adapté pour le recalage MEG / IRM et Angiographies 3D / IRM [Grova 1997; Guérin 1995; Schwartz et al. 1996]. L évaluation de ce travail à été réalisée dans le cadre du projet nord-américain intitulé Retrospective Intermodality Image Registration Techniques, placé sous la responsabilité du Prof. M.J. Fitzpatrick (Univ. Vanderbilt, Nashville, TN, USA) et financé par le National Institute of Health (NIH) [West et al. 1996; West et al. 1997]. La troisième partie de mon activité de recherche en matière de recalage concerne le problème du recalage inter-sujets. Ce travail s est fait principalement par l encadrement partiel d une thèse (Lionel LeBriquer [Le Briquer 1997]) et de deux chercheurs post-doctorants, l un venant de l Université de Pennsylvanie à Philadelphie (J.C. Gee, Laboratoire du Pr. R. Bacjsy) pour la période 94-95, l autre venant de l Institut Neurologique de Montréal à l Université McGill (L. Collins, Laboratoire du Pr. A. Evans), pour la période

31 Fusion de données et imagerie 3D en médecine Recalage interactif d images [Barillot et al. 1990; Lemoine 1991; Lemoine et al. 1991] Comme cité plus haut, ce travail avait pour objectif de faciliter et d améliorer la précision des procédures de mise en correspondance basée principalement sur la superposition manuelle de films ou de reprographies [Pecker et al. 1979]. Un second objectif était de définir un référentiel unique pour un sujet sur la base duquel différentes acquisitions étaient recalées (Scanner X, IRM, Angiographies X). Ce référentiel patient était basé sur la définition du Quadrillage Proportionnel de Talairach et permettait donc la fusion de données provenant de plusieurs sujets (atlas de Talairach ou autres sujets) (Figure 5). Recalage sur la Base du Quadrillage Proportionnel de Talairach L objectif de ce travail de fusion 3D multi-sujets est de définir une référence géométrique commune aux données relatives à un patient et aux données d un atlas. Cette étude nous a conduits à retenir le choix du quadrillage proportionnel de Talairach [Lemoine et al. 1991; Talairach and Tournoux 1988] (voir Figure 6). Une fois définis les paramètres géométriques d'un patient (les coefficients d'anamorphose), le recalage d'une modalité d'examen consiste à pouvoir référencer chaque image dans un repère lié au quadrillage proportionnel. L'imagerie par résonance magnétique (IRM) étant la seule modalité sur laquelle CA et CP sont facilement identifiables, c'est cet examen qui permet de définir le quadrillage IRM Scanner X Angio X Référentiel Patient i Q.P. de Talairach Référentiel Patient j Figure 5 : Procédure de recalage interactive mettant en correspondance les données multimodales d un patient (Scanner X, IRM et Angiographie X) au sein d un même référentiel patient : le référentiel de Talairach permettant la mise en correspondance entre différents sujets (l atlas de Talairach pouvant être un de ces sujets).

32 24 C. Barillot Figure 6 : Définition du Quadrillage Proportionnel de Talairach basé sur la localisation des commissures Antérieures et Postérieures visibles dans le plan interhémisphérique. Le quadrillage proportionnel défini 12 sous-volumes (6 par hémisphère) à partir des dimensions de la boîte englobante du cerveau. Chaque sous volume se déforme par une transformation affine propre (transformation affine par morceaux). proportionnel du patient et qui est recalé en premier. Le recalage des autres modalités d'examen s'appuie sur les données IRM. A l aide de procédures interactives, le plan inter-hémisphérique est défini sur l IRM en utilisant les différentes incidences d acquisition. La position de ce plan est ensuite utilisée comme une des structures homologues impliquées dans le processus de recalage inter-modalités et inter-sujets. Recalage IRM, Scanner X, Angiographie X La procédure de recalage multimodalités consistait à mettre en correspondance le Scanner X ou l angiographie X sur les données IRM. Les structures homologues utilisées étaient le plan inter-hémisphérique ainsi que des contours de structures, visibles dans ce même plan, sélectionnés à la fois sur l IRM, sur le Scanner X ou sur l Angiographie : milieu de l os et contours des ventricules pour le Scanner X, et délimitation des contours de la tête, de l artère péricalleuse et de l ampoule de Galien pour l angiographie X. Les données angiographiques étaient constituées de projections de face et de profil. Tout en déterminant la géométrie de projection, une incertitude persistait quant à la définition du plan inter-hémisphérique sur cette modalité [Lemoine et al. 1991]. La phase d optimisation se faisait par la mise en correspondance explicite des plans inter-hémisphériques pris sur les différentes

33 Fusion de données et imagerie 3D en médecine 25 modalités : estimation d un paramètre de translation et de deux paramètres de rotation. Elle se faisait également sur la base de critères subjectifs de mise en correspondance, tels que la distance minimale, entre les contours sélectionnés et ceux reportés sur les différentes images, deux paramètres de translations et un paramètre de rotation étaient alors définis, la transformation recherchée étant dans ce cas rigide. Représentation des résultats de fusion Son rôle était de permettre la fusion visuelle des données mises en correspondance, images in-vivo ou images de l'atlas. L'atlas de Talairach avait été numérisé et apparaissait sous forme de séries de planches anatomiques dans les trois directions privilégiées du quadrillage proportionnel. La solution de fusion choisie consistait à désigner un point sur une image en entrée (in-vivo ou atlas), de calculer et d'afficher le point correspondant sur des images en sortie. L'application recherchait alors la coupe la plus proche sur laquelle on peut afficher le point en sortie (voir Figure 7). a) b) Figure 7: Fusion de données multimodalités: a) IRM (en haut à gauche) et Scanner X (en haut à droite) et multi-sujets: Atlas de Talairach (en bas) par l utilisation du quadrillage proportionnel. b) résultat du recalage entre l IRM 3D, l atlas de Talairach et l angiographie en face et profil. Le point fusionné se trouve dans la vallée sylvienne.

34 26 C. Barillot Une procédure de validation générale de cette application avait été mise en œuvre en évaluant plus particulièrement le degré de précision obtenu ; en effet, il n'est pas suffisant de proposer au médecin un simple report de coordonnées, mais il faut être capable de définir un intervalle de confiance, relatif à ce report. Les résultats obtenus ont mis en évidence une erreur maximale allant de quelques millimètres pour le Scanner X au demi-centimètre dans le cas de l'angiographie stéréotaxique (géométrie à 5 mètres) [Lemoine 1991] Approche générique de recalage automatique intra-sujet A partir de cette expérience, nous nous sommes intéressé dans un deuxième temps à une méthode de recalage multimodalités automatique basée sur une phase de segmentation initiale, suivie d un recalage linéaire global dans un cadre itératif Figure 8: Recalage multimodalités rigide utilisant une méthode de recalage automatique sur les volumes à mettre en correspondance à partir d une phase de minimisation hiérarchique (utilisant la méthode de Powell) de la distance entre les surfaces des deux structures homologues.

35 Fusion de données et imagerie 3D en médecine 27 multi-échelles. Le principe de cette approche générique est décrit sur la Figure 8 en prenant pour exemple le recalage IRM / Scanner X. Cette approche a d abord été appliquée pour le recalage de données Scanner X, IRM et TEP puis appliquée au recalage IRM / MEG et enfin au recalage IRM / Angiographie X 3D (Morphomètre 3D). Elle a de plus été évaluée dans le cadre d un projet multi-centrique du NIH américain ( National Institute of Health ) Recalage Automatique IRM - Scanner X - TEP Comme le montre la Figure 8, cette méthode s appuie sur la segmentation préalable des structures homologues entre les modalités à mettre en correspondance. Dans le cas du recalage IRM - Scanner X (Figure 9), la structure homologue considérée est la peau, entre l IRM et le TEP (Figure 10), la structure homologue est le cerveau. Pour la surface de la tête, la segmentation est réalisée par des opérations morphologiques 3D simples (seuillage, érosion, dilatation, composantes connexes), pour celle du cerveau la procédure de segmentation utilisée est décrite au paragraphe Afin de se rapprocher de la solution optimale, une phase initiale de recalage peut être introduite. Celle-ci peut se faire soit par une analyse en composante principale et un alignement des centres de gravités et axes principaux d inertie des volumes de base homogènes étudiés (après segmentation), soit par l utilisation de descripteurs spécifiques liés aux données sources (orientations générales des coupes par rapport au patient par exemple) comme on peut le trouver dans les entêtes des images reçues au format DICOM 1 [Gibaud et al. 1998a; Parisot 1995]. Cette opération préalable a l avantage de procurer une bonne approximation des valeurs initiales des 6 paramètres pi recherchés pour le recalage rigide: 3 en translation et 3 en rotation. Les facteurs d échelle pouvant exister, sont directement déduits des données sources à partir des tailles de pixels. 1 DICOM 3.0 : The ACR/NEMA Standard Home Page :

36 28 C. Barillot Figure 9 : Fusion d information IRM et Scanner X après recalage multimodalités basé sur la méthode de recalage entre surfaces. En haut, la visualisation 3D utilise le mode texture 3D décrite en 3.2 (paramètre Scanner X superposé sur l IRM). En bas, deux applications de visualisation 3D sont synchronisées pour mettre en correspondance leurs pointeurs 3D respectifs (cf ).

37 Fusion de données et imagerie 3D en médecine 29 Une phase d optimisation multi-résolutions est ensuite réalisée. Elle est basée sur le calcul dans un espace discret, de la distance Euclidienne entre tous les points du volume source et la surface la plus proche de la structure à recaler (appelée structure destination). Ce calcul de distance utilise une implémentation spéciale de la transformée en distance de Chamfer en prenant un voisinage 5X5X5 et une normalisation adaptée [Borgefors 1988 ; Schwartz et al. 1996]. Le meilleur recalage est trouvé lorsque pour P (P={p 0,.., p 6 }) l ensemble des 6 paramètres considérés, la somme des distances entre points de la structure destination et points de la structure source atteint un minimum. Cette phase de minimisation est basée sur l utilisation de l algorithme de Powell [Powell 1964] qui permet de trouver les minima sur les pn (n=6), directions mutuellement conjuguées de l ensemble de paramètres P. Les hypothèses faites sont que les 6 paramètres pi sont tous linéairement indépendants et que la fonction de coût utilisée puisse être approximée par une fonction quadratique autour de la solution, ce qui implique que la valeur initiale ne soit pas trop éloignée du minimum recherché. Ce dernier point justifie l initialisation par la recherche des composantes principales ou par l utilisation des descripteurs. Figure 10 : Fusion d information IRM et TEP après recalage multimodalités basé sur la méthode de recalage entre surfaces. La visualisation 3D utilise le mode texture 3D décrite en 3.2 (paramètre TEP superposé sur l IRM). Pour accélérer la convergence sans dégrader la qualité de l initialisation, une procédure multi-résolution est utilisée ou le minimum est calculé à chaque étape et sert de contrainte (valeur initiale et espace de recherche réduit) pour la minimisation à la résolution immédiatement supérieure. La Figure 9 et la Figure 10 montrent des résultats réalisés à partir de cette méthode entre des données Scanner X, TEP et IRM.

38 30 C. Barillot Validation de la procédure de recalage La validation de cette procédure s est principalement faite dans le cadre de notre participation au projet international multi-centriques retrospective intermodality registration project placé sous la responsabilité du Pr. J.M. Fitzpatrick (Univ. Vanderbilt, Nashville, TN, USA) et financé par le National Institute of Health (NIH). Ce projet consistait à faire expérimenter, en aveugle, par une douzaine d équipes à travers le monde leur méthode de recalage intra-patient sur le même jeu de données, issues de protocoles d acquisitions cliniques. Ce projet, d une durée de 18 mois nous a permis de valider nos algorithmes de recalage sur des données IRM, Scanner X et PET, de mieux cerner les bornes d utilisation de ces méthodes et a pu démontrer la fiabilité de l approche que nous proposions (se situant dans la moyenne haute des algorithmes testés) [West et al. 1996; West et al. 1997]. Cette procédure consistait à évaluer les méthodes à partir de trois modalités d examens (TEP, Scanner X et IRM) sur des données de 5 à 7 patients relevant de chirurgie et sur lesquels des référentiels externes avaient été fixés (marqueurs implantés dans le crâne et cadres de stéréotaxie). Deux types d images ont été générés : les images originales et pour les données IRM, les images après correction des déformations géométriques issues de l acquisition [Chang and Fitzpatrick 1992]. En effet un des aspects importants de cette étude consistait à évaluer l importance de la calibration des données (principalement de l IRM) au regard des résultats de recalage. Les images ont été transmises aux différents sites évaluateurs après effacement des traces des référentiels externes sur les images. Chaque site retournait ses résultats de recalage, exprimés dans un référentiel commun lié aux images, pour être comparé aux données considérées comme étalon issues du recalage avec les cadres de stéréotaxie. L estimation de la précision de chaque recalage s est faite par rapport à la localisation de 11 structures anatomiques équitablement réparties dans le volume cérébral. La somme des différences de localisation entre les données étalons et celles issues de chaque sites fournissait une quantification des écarts de recalage propres à chaque méthode. Il apparaissait ainsi que les approches les plus performantes relevaient assez souvent d approches basées sur la mise en correspondance de volumes et la mesure de similarité sur des informations images (corrélation, information mutuelle). L erreur moyenne était située autour du voxel pour le Scanner X et la TEP voire légèrement moins avec l utilisation des données corrigées. Dans notre cas, cette étude nous a permis de mieux connaître le comportement de notre méthode dans des conditions d utilisation variées. Les erreurs moyennes mesurées variaient autour de 1 voxel pour le recalage Scanner X-IRM à deux voxels pour le recalage PET-IRM voire un peu moins avec

39 Fusion de données et imagerie 3D en médecine 31 Optic chiasm Junction of fourth ventricle with aqueduct Error in mm 5,00 4,00 3,00 2,00 1,00 0,00 T1r PD T2 Optic chiasm Whole head Left occipital horn Right occipital horn Maximum aperture of fourth ventricle Whole head Apex of left Sylvian fissure Apex of right Sylvian fissure Left occipital horn Left globe Right globe Right occipital horn Junction of central sulcus with midline Figure 11 : Exemple de répartition d erreur moyenne de localisation de 11 structures anatomiques test dans le cas du recalage Scanner X avec l IRM en T1, T2 et PD, après correction des déformations géométriques (résultats extraits de [West et al. 1997]). des données IRM géométriquement corrigées. La Figure 11 donne un exemple de la répartition de l erreur moyenne de notre méthode après recalage un Scanner X - IRM, l erreur est mesurée sur les différentes régions anatomiques étudiées. Cette étude a permit à une grande échelle de réaliser une évaluation quantitative d un nombre important de méthodes. Il faut cependant reconnaître qu une évaluation ne serait être exhaustive sans la prise en compte de critères plus qualitatifs comme la robustesse de la méthode (incluant par exemple sa sensibilité à la phase d initialisation), son degré d interactivité voire encore le degré d expertise requis pour la mettre en œuvre et enfin le temps de calcul. Sur ce dernier point, une indication des temps de calcul était fournie par les sites évaluateurs mais sans pour autant que les quantités indiquées ne puissent réellement être immédiatement comparables, les critères de calcul étant trop flous.

40 32 C. Barillot Recalage Automatique IRM - MEG La même approche générique a été adaptée dans le cadre de la thèse de Denis Schwartz [Schwartz 1998] au problème du recalage entre données IRM et MagnétoEncéphaloGraphie (MEG). Cet axe de recherche en matière de fusion intraindividuelle concerne le problème de la cartographie fonctionnelle d une région cérébrale. Les systèmes d acquisition de données fonctionnelles ne permettent pas en règle générale, l observation simultanée de l anatomie sous-jacente aux fonctions. Ceci est encore plus critique avec des systèmes d acquisition neurophysiologiques comme la MEG. Dans ce cas, il est nécessaire de concevoir des systèmes capables d aider à l interprétation des localisations réalisées en MagnétoEncéphaloGraphie. Plus encore lorsque ces localisations sont le résultat de processus spatio-temporels, les méthodes de recalage multimodalités sont des moyens efficaces pour atteindre cet objectif [Barillot et al. 1996; Schwartz et al. 1996; Singh et al. 1998; van den Elsen et al. 1991; Wang et al. 1994] (voir exemples Recalage Initial Optimisation Analyse Multirésolution Échantillonnage du «Headshape» Rejet des points aberrants Fin Figure 12 : Adaptation de la procédure de recalage générique pour la mise en correspondance de données IRM et MEG. Dans ce cas, une des structures homologue est formée de points évoluant dans l espace 3D (contour crânien), et l algorithme de minimisation inclus une phase robuste d élimination de points statistiquement aberrants [Schwartz et al. 1996].

41 Fusion de données et imagerie 3D en médecine 33 Figure 13). Cette nouvelle version de la méthode de recalage automatique consiste à mettre en correspondance la surface de la tête numérisée en MEG (à l aide d un numériseur 3D) avec la surface de la peau extraite d'un volume IRM (Figure 12). Avant chaque acquisition, un référentiel sujet est défini (à l aide de 5 points anatomiques prédéfinis) et recueilli en utilisant un numériseur 3D (de type Polhemus 1 ). Ce référentiel correspond à la position initiale du sujet par rapport aux capteurs de la MEG pour une série d acquisitions données, ce référentiel devant être acquis à chaque repositionnement du sujet. La forme de la tête ( contour crânien ou headshape en anglais) est ensuite recueillie à l aide de ce même numériseur. Cette forme contient entre 2000 et 4000 points et est supposée inclure des informations anatomiques avec un fort potentiel de fusion (orbites des yeux, nez, contours du crâne). La forme de la tête n est recueillie qu une seule fois et est considérée comme constante pour les différentes acquisitions faites chez ce sujet. En effet, comme le référentiel patient est connu par rapport aux capteurs, les points du contour crânien sont dès lors, eux aussi référencés par rapport à ces mêmes capteurs. Une fonction objective est ensuite définie, représentant la distance entre ces deux surfaces. La minimisation de cette fonction objective est réalisée en utilisant un algorithme de minimisation basé comme précédemment, sur la méthode de Powell mais incluant une phase robuste qui consiste à éliminer au cours de la procédure de minimisation, les points du contour crânien statistiquement trop éloignés d une position moyenne (au sens de la variance) [Schwartz et al. 1996]. Cette méthode permet de réaliser un recalage avec une procédure plus fiable que la procédure standard existant sur le système MEG actuellement disponible. Cette précision a été évaluée sur des données test autour de 2 à 3 mm. Des approches similaires ont été utilisées pour recaler de données fonctionnelles TEP, TEPS avec des données IRM lorsqu'aucune information anatomique fiable n est recueillie (pas d images en transmission par exemple) (par exemple [Lavallée et al. 1994; Mangin et al. 1994; Péria et al. 1994]). Ce type d approche est également envisageable dans des applications de neuro-navigation où le patient doit être recalé à partir d un positionneur 3D optique ou mécanique par rapport à un environnent instrumental (pinces, microscope,...) [DiGioia et al ; Edwards et al ; Henri et al ; Lavallée et al. 1994; Peters et al ; Sandeman and Gill 1995 ; Taylor et al. 1996]. 1

42 34 C. Barillot Figure 13: Exemple de recalage IRM-MEG ou les localisations MEG sont superposées avec l anatomie du sujet venant de l IRM (sillons du cortex à droite, volume IRM à gauche) Recalage Automatique IRM - Angiographies X 3D Un dernier aspect relatif à la combinaison de données images provenant du même sujet a concerné l étude de méthodes de mise en correspondance appliquées à de nouvelles sources d imagerie comme l angiographie X 3D (Morphomètre 3D,...) [Heautot et al. 1998; Rougee et al ; Trousset et al ]. L objectif était de permettre la mise en correspondance d'informations anatomiques cérébrales visibles à l'irm, et d'informations morphologiques vasculaires visibles au Morphomètre 3D. Ce dernier système permet l'acquisition de bases de données 3D isotropes du réseau vasculaire cérébral. Ces deux imageurs fournissent des informations complémentaires sur la morphologie du cerveau qu'il est nécessaire de fusionner afin de permettre une meilleure exploitation des données issues de chaque imageur. Plus particulièrement, il convient de faciliter l exploration des régions corticales où la confrontation de l IRM avec l anatomie vasculaire permet de lever des ambiguïtés quant à l identification de ces régions corticales (par exemple, le cortex auditif). Pour réaliser cela nous avons développé une méthode originale combinant nos expériences passées en matière de recalage automatique d images et de segmentation de structures anatomiques cérébrales (voir Figure 14).

43 Fusion de données et imagerie 3D en médecine 35 La méthode s appuie sur l hypothèse que la majeure partie des vaisseaux visibles sur les angiographies X 3D prennent place soit à la surface du cerveau soit dans ses replis (sillons). Dans le cadre de notre méthode générique, l adaptation à ce problème spécifique consistait à déterminer comme structure source 9s les points de la surface du cerveau et les points inclus dans les sillons corticaux : 9s = Surf(CERV) (CERV MLvv + ) avec Surf(V) la fonction prenant la surface du volume V, CERV = (GM WM) le volume du cerveau composé de l union des volumes de matière blanche (WM) et de matière grise (GM) comme défini en 2.2.2, et MLvv + le sous volume contenant les voxels ayant une valeur du MLvv positive comme définie en 2.4.2, ces voxels étant considérés comme appartenant au volume délimitant les sillons corticaux. La fonction de similarité utilisée est la distance euclidienne discrète (distance de Figure 14: Exemple de recalage entre données IRM et Angiographie X 3D, avec à droite la distance entre la surface du cortex et le point de vaisseau le plus proche

44 36 C. Barillot chamfer modifiée : voisinage 5x5x5 et coefficient multiplicateur à l intérieur de la surface) entre 9 s et 9 d (9 d comprenant tous les points appartenant aux vaisseaux). Afin d améliorer localement les résultats, une deuxième fonction de similarité est utilisée. Elle consiste à ajouter au critère de distance un coût fonction de la courbure locale des surfaces d iso-intensité (valeur du MLvv) afin de rapprocher au mieux le centre des vaisseaux des surfaces médianes des sillons. La fonction d optimisation utilise là encore la méthode de Powell. Des résultats sont montrés sur la Figure Recalage d images inter-sujets Problématique et État de l Art On assiste depuis quelques années au développement d'atlas informatiques du cerveau permettant de remédier à certaines des limitations des atlas papiers classiques. En particulier, des méthodes de recalage non linéaires ont été développées. Elles se concentrent sur la modélisation de la variabilité morphologique interindividuelle et la conception de modèles de déformation capables de rendre compte de cette variabilité [Mazziotta et al. 1993; Mazziotta et al. 1995]. Un des objectifs recherchés à travers le développement de méthodes de recalage inter-sujets, dans le domaine cérébral, est de pouvoir utiliser l information mise en correspondance à des fins de segmentation et d étiquetage de structures anatomiques. L hypothèse qui est faite est que l on dispose d un sujet (atlas) sur lequel des structures ont été détectées et que ces étiquettes peuvent être reportées sur un autre sujet d étude sous l hypothèse que l on dispose d une relation totale entre les points de l atlas (source) et les points du sujet à étudier (destination). Cet objectif est très ancien en médecine et était généralement traité par des atlas papiers avec une prise en compte de transformations le plus souvent assez simples. L exemple le plus connu dans ce sens est l atlas de Talairach auquel l auteur a adjoint une transformation spécifique : le recalage CA-CP et le quadrillage proportionnel [Talairach et al. 1967; Talairach and Tournoux 1988; Talairach and Tournoux 1993], on peut citer dans ce contexte les ouvrages comme [Schaltenbrand and Wahren 1977 ; Thompson 1988; von Economo 1929 ]. Un autre objectif est d utiliser ce même cadre formel pour mieux analyser et interpréter des fonctions cérébrales observées à travers l imagerie cérébrale (TEP, TEPS, MEG/EEG, IRMf). En effet, les liens entre anatomie et organisation fonctionnelle sont souvent mal connus : pouvoir dans le cadre de l imagerie neuro-

45 Fusion de données et imagerie 3D en médecine 37 fonctionnelle superposer sur le même substrat anatomique des enregistrements fonctionnels provenant de sujets différents peut permettre de mieux comprendre cette organisation fonctionnelle. Dans ce cas, la variabilité anatomique inhérente entre individus vient perturber cette interprétation, ce qui conduit à vouloir la soustraire pour mieux accéder à la variabilité fonctionnelle (sous l hypothèse que les deux variabilités ne soient pas corrélées). Une meilleure connaissance de cette relation anatomie-fonction intéresse en premier lieu le chercheur en neurosciences cognitives mais également le chirurgien qui voudra, à travers des protocoles précis, mieux délimiter une région fonctionnelle sensible avant d intervenir dans cette région. Ainsi, même si leurs objectifs diffèrent, chercheurs et médecins se rejoignent pour demander de meilleurs outils méthodologiques afin de résoudre, ou au moins mieux aborder, le problème de la fusion anatomo-fonctionnelle. Un nombre croissant de travaux tendent à aborder ce problème, on peut citer par exemple [Bajcsy and Kovacic 1989; Bookstein 1989; Christensen 1994; Collins 1994; Davatzikos 1997; Evans et al. 1992a; Friston et al. 1995; Gee 1996; Sandor and Leahy 1997; Thirion 1998; Thompson and Toga 1996b]. Comme pour les méthodes traitant le recalage linéaire, le principe général des méthodes de recalage non linéaire consiste à définir des caractéristiques similaires entre cerveaux, généralement visualisées à partir de l IRM, puis à calculer une transformation. (champ de déplacement, transformation polynomiale ou spline) entre un cerveau de référence et un cerveau à étudier. Ainsi par ce biais, il devient possible de reporter, dans un sens comme dans l autre mais pas nécessairement sous la forme d une bijection, des étiquettes (étiquetage de structures, localisation d activations,...) entre le cerveau de référence (source) et le cerveau étudié (destination). Tout le problème est bien entendu de trouver une transformation qui conserve grossièrement la topologie des régions cérébrales tout en s adaptant à des variations locales de cette topologie. Ainsi, on pourrait faire un parallèle entre cerveaux et visages, globalement ils se ressemblent tous mais dès que l on les observe en détails, ils diffèrent. De la même façon, la topologie du cerveau varie localement. Ainsi un sillon fait d une seule entité chez un sujet, peut se présenter en plusieurs parties chez un autre sujet voire être absent chez un troisième, cette différence se retrouvant même parfois entre deux hémisphères d un même cerveau [Ono et al. 1990]. Les différentes méthodes existantes recherchent généralement une s ) (@.) en chaque point du volume (champs dense de déformation ou base spline ou polynomiale) et se différencient le plus souvent par leur fonction de similarité (,). Comme nous sommes en présence de transformations qui peuvent être hautement non linéaires, la fonction de similarité comporte généralement deux

46 38 C. Barillot termes : un terme de similarité lié aux données (attache aux données) et un terme de régularisation qui assure la continuité locale de la transformation (à un ordre variable selon les cas). Ainsi, le problème du recalage décrit précédemment d une façon générale sous la forme : devient : Argmin,. G ( 9s) 9d G 3; Argmin, E S G ( p ), p G ; p 9, p 9 G 3; où ESp p p s s d s s d s s d G ( ), décrit l énergie d attache aux données associées à la fonction de similarité S, et E[@ G ] l énergie de régularisation sur la classe des transformations trouvées (@.). Transposé dans le cadre bayésien (dans un cadre par exemple markovien, utilisant une énergie de Gibbs), G ( ps), pd définit la vraisemblance et E[@ G ] la connaissance a priori que l on a sur le champ de déformation [Christensen et al. 1995; Gee et al. 1995a] : p( p, p )@ dp@ p(, ) p ( ps, pd ). s d Les méthodes existantes dans la littérature se présentent généralement soit sous l angle de la fonction de régularisation utilisée (par exemple [Bajcsy and Kovacic 1989; Bookstein 1991; Christensen et al. 1996]) soit sous l angle de la fonction d attache aux données (par exemple [Collins et al. 1996; Thirion 1998]). Régularisation par introduction de modèles mécaniques Concernant ces termes de régularisation, une des méthodes les plus couramment employées consiste à utiliser des a priori issus de modèles mécaniques humain [Bajcsy and Kovacic 1989; Bajscy and Broit 1982; Bro-Nielsen and Gramkow 1996; Christensen et al. 1996; Davatzikos 1997; Miller et al. 1993; Sandor and Leahy 1997]. Ces propriétés mécaniques ne s appuient pas pour autant sur des caractéristiques mécaniques réalistes des tissus ou encore moins sur la

47 Fusion de données et imagerie 3D en médecine 39 morphogenèse du cerveau. R. Bajcsy et al. constituent des précurseurs dans ce domaine. Ces méthodes utilisent une intuition physique simple derrière le concept de fusion élastique. Supposons la tâche manuelle de déformer une balle en caoutchouc pour lui faire épouser la forme d un objet quelconque. La modification de la forme de cette balle est réalisée par l application de forces externes qui commencent par déformer grossièrement la balle sur l objet, pour ensuite affiner les déformations aux formes plus précises de l objet. Ces deux procédures sont répétées jusqu à ce que la forme de la balle ressemble suffisamment à celle de l objet. C est un algorithme analogue qui est utilisé pour déformer un atlas anatomique 3D sur les structures anatomiques présentes sur des images cérébrales [Bajcsy et al. 1983; Bajcsy and Kovacic 1989; Dann et al. 1989; Gee et al. 1993]. Le résultat est un atlas individualisé du cerveau d un sujet sur lequel peuvent être réalisées des analyses quantitatives. En traitant cet atlas comme un objet élastique, le problème du recalage local est réduit à un problème d élasticité, dès que sont spécifiées les forces externes appliquées, ainsi que les conditions de déplacement aux limites. L équation de mouvement de Navier permet d exprimer la déformation élastique linéaire et isotrope d un corps homogène en terme de composantes de déplacement [Timoshenko and Goodier 1951]: 2 u ( ) div ( u) F= 0 où F sont les forces externes distribuées à travers le corps élastique, u étant l estimation du vecteur de déplacement, et étant des constantes d élasticité (coefficients de Lamé). Les conditions de déplacement aux limites sont déterminées sans être nécessairement reliées à la manière dont les forces externes sont calculées. Comme la tâche de recalage consiste à mettre des régions en correspondance, les forces externes sont définies comme une fonction liée aux similarités locales, S. Généralement cette fonction de similarité mesure une corrélation normalisée des gradients des images. Cependant, outre la complexité algorithmique de la méthode, celle-ci est basée uniquement sur des informations locales. En effet, la mesure de similarité ne peut être étendue pour couvrir des régions plus grandes. Pour cette raison, des grandes différences entre objets ne peuvent être détectées. Ce constat explique l utilisation à la fois de recalage globaux initiaux (axes d inertie [Bajcsy and Kovacic 1989], cadre de stéréotaxie [Davatzikos 1997]), de procédures itératives de recherche des déformations, et la mise en place de processus multi-

48 40 C. Barillot résolutions pour le recalage élastique. Dans une approche multi-résolutions, seules les disparités faibles (au regard de la résolution) sont corrigées à un niveau donné, de plus celles-ci peuvent être très vite lissées. Dans le même temps, le parcours de l espace des résolutions permet la détection et la correction de déformations très variées. Néanmoins, cette méthode conserve la topologie des objets déformés ce qui n est pas nécessairement, comme nous l avons vu auparavant, l objectif recherché dans le contexte du recalage de cerveaux de sujets différents. Suivant la même inspiration, Miller et al., suivis par d autres, utilisent un modèle fluide pour régulariser leur solution (équation de Navier-Stokes), l attache aux données restant liée aux termes de corrélation des intensités des images [Bro- Nielsen and Gramkow 1996; Christensen et al. 1995; Miller et al. 1993]. Cette approche permet de prendre plus facilement en compte des déplacements importants, elle permet également d introduire des discontinuités locales. Cependant, l équation à résoudre étant hautement non linéaire, sa résolution doit donc être approchée, ce qui conduit généralement à des temps de calcul très long. Enfin, même si cette approche permet de prendre en compte des déformations plus complexes, elle conserve néanmoins en principe la topologie des objets. Régularisation par utilisation de bases d interpolation Dans ce cadre, on peut inscrire les travaux de Bookstein, et de ceux qui s en sont inspirés, ils sont basés sur l utilisation des splines de plaque mince (Thin Plate Splines : TPS). Ces méthodes consistent à trouver une déformation minimisant la distance entre deux ensembles de points (9 i ={p 1,..., p n } ; i {s,p}) [Bookstein 1989; Bookstein 1991; Evans et al. 1991; Rohr et al. 1996]. Elles assurent le recalage des deux ensembles de points et fournit une interpolation lisse du champ de déformation dans tout le reste de l espace, ce lissage étant imposé par la base TPS. Le problème de ce type d approche est de choisir suffisamment de points pour que la mise en correspondance soit correcte sans pour autant alourdir la procédure de sélection de ces points (> 30) et introduire trop d incertitudes dans le positionnement de ces points. Friston [Friston et al. 1995] définit une classe de transformations sous la forme de la somme de fonctions de base ayant des propriétés de régularité, d indépendance et si possible d orthogonalité (par exemple descripteurs de Fourier pour le recalage inter-sujets). Cependant, le volume important de données et de fonctions de base, rend cette méthode difficile à implanter et délicate à utiliser : le choix des fonctions de base n est pas forcément adéquat.

49 Fusion de données et imagerie 3D en médecine 41 Similarité entre ensembles de surfaces Sandor et al. et Thomson et al., dans deux développements différents, utilisent des contraintes venant de surfaces ou de segments de surfaces segmentées à l intérieur du cerveau (sillons, ventricules, contours du cerveau). La transformation est déterminée dans la mise en correspondance entre ces surfaces (critères de distance par exemple) et est propagé au reste du volume soit par l utilisation de modèles élastiques mécaniques (modèle de Navier) [Sandor and Leahy 1997] soit par l utilisation de superquadriques [Thompson and Toga 1996b]. Szeliski et Lavallée ont défini dans leur approche octree spline [Szelisky and Lavallée 1994; Szelisky and Lavallée 1996] une méthode de recalage de deux surfaces dans un espace tridimensionnel. Ils recherchent la meilleure déformation spline entre les deux surfaces. Le schéma de minimisation est à la fois hiérarchique (utilisation de fonctions splines hiérarchiques) et robuste par l élimination brutale de points aberrants. Enfin, le coût en temps calcul est réduit par l utilisation d une carte de distance discrète codée dans l octree-spline. Thirion [Thirion 1998; Thirion 1996b], dans la méthode des démons, propose une approche, à l origine proche de celle de MacDonald [MacDonald et al. 1994; MacDonald et al. 1998] et qui consiste à rechercher des forces d attraction ou de répulsion entre points appartenant aux bordures de structures à recaler (cerveau dans ce cas). Ces forces sont définies en fonction du coté de la bordure ou ce point se trouve. Cette approche s est ensuite étendu à tous les points d un volume, une bordure pouvant en effet être considérée comme une surface d iso-intensité. Elle peut être formalisée comme étant régie par une fonction d attache aux données liée au flot optique, flot optique modifié afin de stabiliser son calcul dans des régions homogènes (c.-à.-d. à faible gradient) [Thirion 1998]. Dans ce cas, la régularisation est faite par l utilisation d un filtrage Gaussien sur le champ trouvé, et ceci à chaque étape du cadre de résolution hiérarchique, le filtrage Gaussien étant alors assimilé sur le plan théorique à la régularisation d un champ dense par une fonction d élasticité linéaire [Bro-Nielsen and Gramkow 1996]. Méthodes heuristiques Collins et al. [Collins et al. 1994b; Collins et al. 1996a; Collins et al. 1995] ont pour leur part, introduit une approche originale qui consiste à déterminer en chaque point d un volume IRM une déformation libre résultante de la corrélation des intensités-image et de leurs gradients (attache aux données), régularisée de manière heuristique par une procédure itérative de lissage des vecteurs de déformations

50 42 C. Barillot trouvés : moyennage des champs voisins, limitation des amplitudes de déformation à chaque étape. Cette étape s inscrit elle aussi dans un schéma hiérarchique par la construction d une pyramide multirésolution Gaussienne. La convergence vers la solution est assurée par un recalage linéaire initial dans l espace de Talairach. Un des grands mérites de ce travail réside dans l évaluation extensive qui en a été faite [Collins and Evans 1997; Mazziotta et al. 1995] et des capacités de la méthode à prendre en compte des contraintes nouvelles comme nous le verrons dans la suite de ce document [Collins et al. 1998; Collins et al. 1996b] Recalage inter-sujet : contribution au domaine Mon activité de recherche dans ce domaine s est inscrit dans la continuité des travaux menés sur la base du recalage par le Quadrillage Proportionnel de Talairach ( 1.3.1) afin de mettre en œuvre et de mieux évaluer le domaine de validité de méthodes qui a priori, sont mieux adapté pour résoudre le problème du recalage de données cérébrales entre sujets différents. Ce travail a principalement été guidé par l encadrement de deux chercheurs postdoctorants, travaillant sur cette thématique, l un venant de l Université de Pennsylvanie à Philadelphie (J.C. Gee, Laboratoire du Pr. R. Bacjsy) pour la période 94-95, l autre venant de l Institut Neurologique de Montréal à l Université McGill (L. Collins, Laboratoire du Pr. A. Evans), pour la période Modélisation bayesienne du processus de fusion Dans le premier cas, nous avons travaillé sur la formulation probabiliste du processus de fusion interindividuel, exprimé dans un cadre bayesien. Comme il est dit plus haut, le problème du recalage est de trouver une transformation. (champ de déplacement) associant deux structures homologues 9 s et 9 d (source et destination) et mettant en correspondance un vecteur d observation x de 9 s en son correspondant.(x) dans 9 d. On sait que cette hypothèse a des limites. En effet des structures anatomiques sont présentes chez certains individus sans nécessairement l être chez d autres (sillons marginaux, replis corticaux,...). Il en découle qu a la différence de l estimation de mouvement entre deux images, il n existe pas dans ce cas de transformation exacte associant 9 s et 9 d. La recherche d une telle transformation trouve néanmoins sa justification dans le fait qu a un niveau macroscopique, les structures importantes du cortex se retrouvent. Nous avons inclus dans les vecteurs d observation, en chaque point des volumes, non seulement l intensité-image de ces points mais également leurs dérivées ou leur composée

51 Fusion de données et imagerie 3D en médecine 43 (gradients, courbures) et des informations structurelles (de type régions ou de type points de références anatomiques - landmarks ) permettant de mieux contraindre le processus de fusion [Gee et al. 1995a; Gee et al. 1995b]. L introduction de ces contraintes multiples a dans un premier temps, été testée dans le cadre de l utilisation de modèles mécaniques (équations de Navier). Nous y avons montré comment une meilleure coopération entre cette méthode de recalage élastique et les méthodes d analyse d image décrites plus loin, peut rendre plus précis le processus de fusion inter-sujets [Gee et al. 1994]. Par la suite, le formalisme bayesien a été introduit et testé dans des contextes de régularisations variées (membrane, plaque mince). Exprimé dans le contexte bayésien, le problème de recalage revient à maximiser une distribution a posteriori (MAP) du champ de vecteurs de déplacement connaissant les observations (9 s et 9 d ). Selon la loi de Bayes, la distribution a posteriori P(. {9 s, 9 d }) est faite d une combinaison de la vraisemblance des observations P({9 s, 9 d }.) (terme d attache aux données) et d un a priori sur le champ à estimer P(.) (terme de régularisation ou connaissance a priori sur la déformation recherchée) : P. 9, 9 d s P 9d, 9 s. P. P 9, 9 d s Le terme P({9 s, 9 d }) est indépendant de. et peut donc être ignoré dans l étude de la loi a posteriori. Le modèle a priori traduit la confiance attachée à la transformation en absence d observations alors que la distribution a posteriori représente la version modifiée que l on a de cette confiance, à la vue des observations. Afin de le résoudre, ce problème peut être traduit dans un cadre énergétique : U(., {9 d, 9 s }) = U ext (., {9 d, 9 s }) + U int (.) où U ext et U int, respectivement les énergies d attache aux données (énergie externe) et de régularisation (énergie interne), sont des fonctions d énergie de Gibbs correspondant respectivement à la vraisemblance et à l a priori : P. 9, 9 exp U., 9, 9. d s d s L hypothèse mécanique (équations de Navier) intervient dans le terme de régularisation (énergie interne) [Gee 1996]. Dans notre cas, le potentiel de Gibbs

52 44 peut également être celui d une membrane ( v plaque mince vv d les données sources (x 9 s ) une réalisation de.. C. Barillot 2 2 dx ) ou d une x, x étant un vecteur d observation sur Dans notre cas nous avons proposé de décomposer x en plusieurs sous observations : x={g, g, k, c, p} où g représente les niveaux de gris des images, g les gradients, k les courbures, c les régions pré-segmentées comme des classes de tissus par exemple (matière grise, matière blanche, LCR) et p les points de références (amers ou landmarks ). Pour ce qui concerne les quatre premières sous-observations (M g, g, k, c}), l énergie de Gibbs, associée à chaque observation, est définie directement en lien avec la fonction de similarité choisie : S 9 U ext (., {9 d, 9 s }) = exp ( ), 9 s s M M d M dm La fonction de similarité S utilisée est la corrélation des vecteurs d observation. Pour ce qui concerne le potentiel associé aux observations des points de références (p), transformant p de 9 s en p dans 9 d par.,.(p) étant supposé être une distribution centrée autour de p, l énergie est définie de la manière suivante : U ext (., {9 d, 9 s }) = exp.( p) p' 2I 2 2 I étant le coefficient caractérisant la distribution gaussienne qui estime l incertitude existante sur le mesure de p. La résolution de ce système hautement non convexe se fait en utilisant la méthode des éléments finis. Cette approche unifiée permet de rassembler dans un même cadre formel les approches de type mécanique, celles basées sur l utilisation d amers et celles utilisant une mesure de similarité basée sur la corrélation. Il est de plus possible de comparer différents estimateurs ainsi que plusieurs types de régularisation [Gee 1996; Gee et al. 1995a]. Parmi ces différents estimateurs, nous avons utilisé l estimateur du champ moyen en échantillonnant la distribution a posteriori par un échantillonneur de Gibbs, cet échantillonneur étant approximé par des techniques de Monte-Carlo. On peut voir décrit dans [Gee et al. 1995a] comment cet échantillonneur est utilisé pour estimer la variance associée à la transformation.. Cela montre l influence du modèle a priori sur l estimation et la confiance que l on peut avoir dans la solution trouvée :

53 Fusion de données et imagerie 3D en médecine 45 plus la variance de l estimation est grande, plus l a priori (énergie interne du modèle) intervient dans l estimation et donc moins les données ne fournissent d informations pertinentes pour le recalage. Ainsi, on peut constater sur la Figure 15 que les régions à faible confiance sont les régions de matière blanche et plus généralement celles comportant des gradients de faible intensité, résultant de la sorte en une corrélation locale des intensités relativement lisses. L ajout d amers dans ces régions, comme des informations sur la classe des tissus, réduira donc cette incertitude. Prise en compte de contraintes corticales dans le processus de fusion Dans la deuxième étude menée avec Louis Collins, en collaboration avec A. Evans de l Univ. McGill de Montréal, notre objectif a été d approfondir la partie expérimentale du problème de fusion interindividuelle afin de mieux définir les caractéristiques images nécessaires pour mieux contraindre le système de fusion élastique. Comme décrit précédemment, la méthode de recalage utilise d abord un recalage affine à 9 paramètres pour aligner les deux volumes en maximisant une Source Destination Champ Original Champ Estimé Variance du Champ Estimé Figure 15 : Champ de déformation original et estimé ou la fonction de corrélation normalisée des niveaux de gris de l image a été utilisée comme fonction de similarité. Le champ affiché est estimé par la méthode du champ moyen, ainsi que l amplitude de la variance associée à ce champ.

54 46 C. Barillot fonction objective basée sur la similarité des gradients de l image après filtrage Gaussien. L erreur de recalage résiduelle existante est assimilée à une composante non linéaire existante entre deux structures homologues identiques (même si comme nous l avons discuté auparavant, cette hypothèse est grossière, on peut en voir une illustration sur la Figure 16). La compensation de cette déformation non linéaire se fait en déformant à différentes échelles (construites sur la base d une pyramide Gaussienne) une grille 3D du volume source vers le volume destination. En chaque nœud de cette grille, on recherche un recalage local entre les deux volumes sur la base d une transformation composée de 3 composantes de translation (vecteur de déplacement), cette transformation minimisant une fonction objective calculée uniquement sur le voisinage local considéré. La transformation trouvée est régularisée en moyennant itérativement cette transformation avec les déplacements voisins et par une limitation de son amplitude pour la garder inférieure à un seuil lié au niveau de résolution de travail. Cette approche est itérée à chaque niveau d échelle de telle sorte que le recalage non linéaire se raffine au fur et à mesure que l on descend dans la pyramide Gaussienne. Cette méthode est plus amplement décrite sous le nom d ANIMAL dans [Collins et al. 1995; Collins et al. 1996a; Collins and Evans 1997]. Même si la fonction de similarité utilisée à chaque étape de processus de recalage non linéaire peut être paramétrable, dans sa version originale, cette fonction est restée limitée au calcul de la corrélation croisée des gradients de l image à chaque niveau de la pyramide (donc après lissage par le filtre Gaussien). Sans modifier la structure de cette méthode de recalage qui a démontré son efficacité dans nombre d études expérimentales, notre travail a consisté à rechercher une meilleure adaptation de la mesure de similarité (attache aux données) afin de mieux contraindre le recalage dans des régions ou l on sait que la mise en correspondance est délicate, comme les régions corticales, notamment en raison de la faiblesse des hypothèses initiales dans ces régions (on retrouve d ailleurs ce constat dans d autres travaux récents comme [Davatzikos 1997; Ge et al. 1995]). De plus nous avons essayé d évaluer si amélioration il y avait et de quantifier son degré. En plus des caractéristiques classiques (intensité-image, amplitude du gradient), nous avons introduit des caractéristiques basées sur la géométrie différentielle sous l hypothèse que les ambiguïtés de recalage dans les régions corticales peuvent être réduites sensiblement par l utilisation d une mesure de géométrie différentielle d ordre supérieur. Pour cela nous avons utilisé l opérateur Lvv moyen (MLvv) [Florack et al. 1992] qui, comme décrit en 2.4, permet de distinguer les sillons des gyri du cortex cérébral. Cependant, cette information de nature dense ne peut

55 Fusion de données et imagerie 3D en médecine 47 répondre à tous les problèmes rencontrés dans les régions corticales (voir Figure 16). C est pourquoi nous avons également introduit dans la fonction de similarité des informations venant explicitement des traces des sillons, en surface comme en profondeur [le Goualher 1997]. Nous avons donc utilisé la méthode du ruban actif pour extraire ces traces (voir 2.4, [Le Goualher et al. 1997]). Cette approche a été utilisée à la fois sur des données réelles (9 sujets différents), mais également sur des données simulées. Dans ce cas un cerveau a été déformé 5 fois de manière aléatoire garantissant ainsi l hypothèse d identité topologique entre structures homologues (correspondance 1 à 1). Deux mesures ont été introduites pour valider ce travail pour quantifier l erreur résiduelle en fonction de la fonction de similarité utilisée. Une mesure du taux de recouvrement sur les classes matière grise et matière blanche et une mesure indiquant la distance moyenne entre les traces externes de 16 sillons (8 par hémisphères) délimités par un expert sur les différents cerveaux de l étude. On peut voir, sur la Figure 17, le résultat visuel du recouvrement des sillons en fonction de la fonction de similarité utilisée. On pourra se reporter à [Collins et al. 1996b ; le Goualher 1997] pour plus de détails sur les résultats numériques obtenus. Numériquement, la différence est réellement significative sur les données simulées alors qu elle ne l est beaucoup moins sur les données réelles, même si la fonction de similarité utilisant conjointement MLvv et gradients tend à être meilleure. Ce travail reste malgré tout très instructif au regard de la faible différence que l on peut observer entre les performances respectives des méthodes de recalage linéaire et des méthodes de recalage non linéaire. Trop peu d études sur le sujet existent dans la littérature. Une évaluation fine de toute méthode de recalage non linéaire devrait prendre en compte des critères de recouvrement cortical et non pas seulement des critères de recouvrement d intensité où encore de classe de tissus, même si ces derniers sont néanmoins instructifs. Ce travail met en évidence la fragilité de l hypothèse d identité des structures homologues lorsque l on s intéresse au cortex cérébral. Une autre explication, plus conjoncturelle celle-là, de la très faible amélioration due à la prise en compte de traces de sillons tient au fait que l algorithme de recalage non linéaire introduit ces contraintes comme des informations denses et non pas comme des conditions aux limites du champ de déformation. Une amélioration de cette partie est proposée dans [Collins et al. 1998] ou les contraintes sulcales ne sont plus lissées dans la pyramide Gaussienne. Cette nouvelle version réduit sensiblement la dispersion des sillons sur la surface du cortex sans pour autant aboutir à une mise en correspondance parfaite.

56 48 C. Barillot De ces deux expériences complémentaires, nous pouvons conclure qu en plus de la nécessité de bien formuler le processus de fusion élastique (par exemple sous forme bayesienne), les contraintes anatomiques (amers) doivent également être mieux prises en compte dans le système de fusion non linéaire. Figure 16 : Illustration des ambiguïtés existantes lors d une opération de recalage entre deux sujets lorsque l on observe localement les replis corticaux. Cette figure représente une superposition de quelques éléments des tracés corticaux de deux sujets (a et b). Les surface médianes des sillons centraux, précentraux et frontaux supérieurs de ces deux sujets sont représentés. Le sujet b à été recalé linéairement sur le sujet a [Collins et al. 1994a].On peut alors observer que la partie inférieure du sillon central du sujet b se trouve superposée sur la partie inférieure du sillon postcentral du sujet a. Cette différence même minime, entraîne cependant une erreur lors de la recherche de la transformation non linéaire, en effet localement les informations liées aux dérivées partielles des images correspondent (gradients, courbure) alors que sémantiquement les structures diffèrent.

57 Fusion de données et imagerie 3D en médecine 49 Figure 17: Superposition des traces sulcales en fonction de la mesure de similarité utilisée, dans le cas de données simulées (haut) et sur des données réelles (10 sujets, bas).

58 50 C. Barillot

59 Fusion de données et imagerie 3D en médecine 51 Chapitre 2 Segmentation d images pour la reconnaissance de structures anatomiques 2.1 Problématique et Etat de l Art Au delà des méthodes décrites ci-dessus qui permettent de mettre en correspondance des structures de provenances différentes (de capteurs ou d individus), un autre problème consiste à définir sémantiquement et le plus exactement possible, une structure d intérêt. Cet aspect est crucial pour rendre plus efficace les procédures de fusion. Comme présenté dans l introduction, c est en effet dans un cadre de coopération étroit entre méthodes d analyse d images et méthodes de recalage, que le processus de fusion pourra être optimisé. Ainsi, l amélioration des méthodes de fusion élastique passe aujourd hui, plus par l apport de contraintes nouvelles que par la définition d un potentiel de régularisation ou d un modèle mécanique nouveau entre ces amers. Ces contraintes nouvelles interviennent dans le calcul des similarités inter-sujets comme par exemple des références anatomiques représentant plus précisément les données à fusionner,. Dans ce contexte, le problème de la reconnaissance 3D de structures anatomiques cérébrales prend un relief particulier. Ainsi, l apport d outils de segmentation efficaces et rapides est souvent requis dans le domaine de l imagerie neuro-fonctionnelle pour améliorer

60 52 C. Barillot l interprétation et même la reconstruction des données fonctionnelles. Pour exemple, dans le problème de reconstruction d activités électriques et magnétiques cérébrales (MEG, EEG), les algorithmes de reconstruction ont besoin de modèles de plus en plus précis de la tête et du cerveau du sujet exploré, afin de mieux modéliser les frontières des milieux traversés voire aussi les conductivités de ces mêmes milieux (os, LCR, matière grise, matière banche) [Anogianakis et al ; Cuffin 1993 ; Dale and Sereno 1993; Hamalainen and Sarvas 1989; Schwartz 1998; Thevenet 1992]. Dans une application d aide au planning chirurgical, voire d aide à l intervention chirurgicale, l objectif sera par exemple la détection de structures ou de régions pathologiques (lésions, malformations vasculaires, dysfonctionnement neurologique comme en épilepsie) et leur localisation par rapport à d autres structures normales environnantes qui serviront alors d amers lors de l intervention (ventricules cérébraux, cortex, sillons, gyri,...) [Grimson et al ; Peters et al ; Schwartz et al. 1998; Smith et al ; Taylor et al ; Trobaugh et al ]. Dans ce contexte, on voit bien que le problème n est pas seulement d'extraire des caractéristiques image (contours, régions, textures ou des sous-ensembles délimitant des régions comme défini dans [Duda and Hart 1973]) mais aussi d identifier des objets délimitant des régions anatomiques, de les nommer (affectation d'étiquettes) tout en tenant compte du fait que ces objets ne sont que très rarement décrits de manière unique dans une seule image (en 2D comme en 3D). Le propos de ce document n est bien sûr pas de faire un état des lieux complet des méthodes de segmentation d images, même en se limitant au domaine de l imagerie cérébrale. La littérature est très abondante sur ce domaine, on pourra se reporter par exemple vers [Bezdek and al. 1993; Clarke et al. 1995; Deriche and Faugeras 1996 ; Haralick and Shapiro 1985; McInerney and Terzopoulos 1996; Torre and Poggio 1986; Zijdenbos and Dawant 1994 ] ou encore vers les ouvrages suivants : [Blake and Isard 1998 ; Cocquerez and Philipp 1995 ; Pratt 1978 ; Rosenfeld and Kak 1982 ; Singh et al. 1998; ter Haar Romeny 1994 ], voire même vers des sites web 1,2. Ces différentes méthodes sont généralement classées en plusieurs grandes familles : 1 MGH CMA Brain Segmentation in MRI : 2 USC Vision Bibliography (Rosenfeld ) :

61 Fusion de données et imagerie 3D en médecine 53 Méthodes basées sur l analyse des dérivées partielles de l image (approches contours). Dans ce cas le but est de détecter les éléments-images (pixels ou voxels) de bord par une mesure de la discontinuité des niveaux de gris et d utiliser ces primitives soit pour une identification directe soit pour un traitement postérieur. De nombreuses méthodes ont été proposées pour résoudre ce problème se caractérisant toutes par la manière plus ou moins explicite qu elles ont de définir les types de transitions recherchées, on peut citer par exemple [Canny 1986; Deriche 1987; Haralick and Shapiro 1985; Liu 1977; Marr and Hildreth 1980; Shen and Castan 1986; Torre and Poggio 1986]. Méthodes basées sur l analyse et le traitement non linéaire de l histogramme des images (seuillage, morphologie mathématique, recherche de composantes connexes,...). Le travail par exemple de Serra [Serra 1982] permet de définir un cadre formel utile pour regrouper et expliciter les outils qui en découlent. De nombreux travaux en imagerie cérébrale s en sont inspirés (par exemple [Allain 1993; Bömans et al. 1990; Brummer et al. 1991; Höhne and Hanson 1992 ; Mangin et al. 1998; Vérard et al. 1997; Ylä-Jääski et al ]). Méthodes basées sur la détection/classification de régions. Ces méthodes consistent à regrouper des ensembles d éléments-images, le plus souvent connexes, sur la base de similarités communes (textures, densités, gradients spatiaux ou temporels,...). Ces méthodes se distinguent des précédentes car elles nécessitent généralement l utilisation de plusieurs images complémentaires pour établir leur classification, ce qui pose des problèmes spécifiques de fusion de données dit de bas niveau [Bloch and Maitre 1994]. Ce problème de classification de régions est résolu soit par l utilisation d approches statistiques bayésiennes [Duda and Hart 1973] ou markoviennes [Geman and Geman 1984 ; Leahy et al. 1989], soit en utilisant les théories de l incertain (flou, croyance) [Cannon et al. 1986; Shafer 1976 ; Zadeh 1965 ]. Segmentations basées sur l utilisation d objets déformables. Le principe de ces méthodes consiste à faire évoluer une forme nd (1D : contour, 2D : surface,...) suivant un processus itératif de minimisation d une fonctionnelle. Cette fonctionnelle est généralement caractérisée par une énergie, ou une somme d énergies, associée à la forme de l objet (énergie interne) et à sa réalisation dans l image (énergie externe). Le minimum de la fonctionnelle caractérise un état stable de l objet déformable. Cette notion a été introduite par Kass et al. [Kass et al. 1988] et vient souvent compléter les approches de type détection de contours. Cette méthode est de plus en plus utilisée dans le

62 54 C. Barillot contexte de l imagerie médicale, on pourra trouver dans [McInerney and Terzopoulos 1996] une revue d applications utilisant cette approche. Une autre classe de modèles déformables concerne les méthodes fonctionnant par projection des composantes de la déformation dans un sous-espace particulier. Dans ce domaine, on retrouve les approches à base de décomposition modale comme les descripteurs de Fourier [Staib and Duncan 1991; Staib and Duncan 1992], ou de décomposition statistique (méthodes ACP) [Cootes et al ; Cootes et al ; Kervrann and Heitz 1994] ou encore de bases modales issues de la mécanique (couple masse-ressort) [Martin et al. 1998; Nastar and Ayache 1993; Nastar and Ayache 1996; Pentland and Sclaroff 1991; Sclaroff and Pentland 1995]. Enfin, on pourra également ranger dans cette famille de méthodes de segmentation basées sur l utilisation d objets déformables, les méthodes décrites au chapitre pour des tâches de segmentation guidées par un atlas, illustrant en cela la très forte complémentarité existante dans un schéma de fusion entre les tâches de segmentation et de recalage. Approches pyramidales (définition d un cadre hiérarchique de segmentation). Ces méthodes, aussi appelées approches multi-résolutions ou espace-échelle ( scale-space en anglais), permettent la description hiérarchique de l information originale [Koenderink 1984; Marr and Hildreth 1980 ]. Tout comme pour les aspects d optimisation décrits aux chapitres , et 1.3.3, pour des tâches de segmentation, ces approches sont basées à la fois sur la création de l espace des résolutions, sur la définition des primitives pertinentes pour une tâche de segmentation donnée et sur l évolution de leur comportement dans cet espace. [ter Haar Romeny 1994] donne une bonne description de méthodes rencontrées dans ce domaine. Approches numériques/symboliques. Suite à l évolution des possibilités offertes par le traitement symbolique de l information, de nouvelles approches proposent de combiner des opérateurs de traitement d images bas-niveaux avec des connaissances sur les outils utilisés et sur la nature des structures recherchées (forme, position,...). Ces méthodes procèdent généralement par la modélisation du processus de coopération entre les différents outils d extraction de primitives images (approches multiagents, réseaux bayésiens, méthodes à base de connaissance, méthodes de type black-board,...) [Arman and Aggarwal 1993 ; Bianchi et al ; Boucher et al. 1998; Clément et al ; Clément and Thonnat 1993 ; Gong and Kulikowski 1995 ; Jolion 1994 ; Sucar and Gillies 1994 ]. Certaines de ces approches ont été appliquées dans le domaine de l imagerie cérébrale, par exemple [Clark et

63 Fusion de données et imagerie 3D en médecine 55 al ; Dellepiane et al ; Ehricke 1991 ; Forte 1991 ; Le Goualher et al. 1998; Li et al ; Mangin et al ; Menhardt and Schmidt 1988 ; Raya 1990 ; Robinson et al ; Sokolowska and Newell 1986 ; Sonka et al ]. Par manque de formalisme, ces approches souvent pertinentes dans leur contexte de développement, apparaissent souvent comme difficiles à généraliser et à appliquer dans d autres contextes. Les connaissances introduites, tout comme la manière avec laquelle elles le sont, apparaissent le plus souvent comme assez spécifiques. Ainsi, à travers les thèses de Frédéric Lachman [Lachmann 1992] et de Georges Le Goualher [le Goualher 1997], mes travaux se sont portés sur la détection et l étiquetage de structures présentes au sein des images. Ce travail s est même plus particulièrement focalisé sur le traitement des données IRM pour la reconnaissance de structures cérébrales comme le cerveau, les tissus de la sphère cérébrale (Matière Grise -GM, Matière Blanche - WM, Liquide céphalo-rachidien - LCR) et les primitives corticales (gyri, sillons). Ce travail a notamment consisté en la définition de méthodes permettant la reconnaissance de structures cérébrales par l analyse des contours et des dérivées des intensités-images, comme les courbures, pour la segmentation du cerveau ou la segmentation des replis corticaux. L analyse des relations statistiques que partagent les voxels a permis la segmentation et la classification des tissus du cerveau. Enfin, l emploi de modèles déformables a été utilisé pour la modélisation des sillons. Ces différents développements se sont surtout attachés à faire coopérer ces approches entre elles pour aboutir à des schémas de segmentation adaptés, comme par exemple pour la classification des matières grises et blanches, ou la modélisation des replis corticaux (Figure 18). Comme explicité sur la Figure 1, toutes ces étapes collaborent à la mise en place d'un système de fusion de données ; on pourra le voir illustré dans le chapitre suivant ( Chapitre 3).

64 56 C. Barillot Analyse Gaussienne espace-échelle (et ses dérivées) (G*I) Segmentation floue du Cerveau Classification des Tissus Cérébraux Lvv Segmentation des replis corticaux (sillons, gyri) Visualisation Visualisation Recalage Recalage Visualisation Visualisation Recalage Recalage Contrainte Anatomique Contrainte Anatomique Visualisation Visualisation Recalage Recalage Contrainte Anatomique Contrainte Anatomique Figure 18 : Coopération entre les différentes approches de segmentation d images développées et leurs contextes de coopération dans des systèmes de fusion. 2.2 Segmentation du cerveau Contexte La segmentation du cerveau est une étape pré-requise pour un nombre important d'applications. Elle peut constituer une fin en soi ou, plus généralement, être l'étape initiale d'une chaîne de traitements plus complexe. Dans ce cas, cette étape a pour objectif de localiser l'interface LCR/Matière Grise, surface délimitant l'intérieur de l'extérieur du cerveau. La littérature concernant cet aspect est abondante et ce problème reste encore un sujet de recherche pour de nombreuses équipes. La délimitation manuelle de cette interface par un expert est la solution triviale à ce problème et est sans doute encore utilisée par de nombreux groupes de recherches sans expériences particulières en traitement d image. Cette tâche est particulièrement fastidieuse pour l'utilisateur et nécessite une forte connaissance a priori pour interpréter les sections bidimensionnelles d'une surface aussi complexe que celle du cortex cérébral. Les résultats souffrent donc d'une variabilité interopérateurs et nécessitent une intervention très longue (2 à 3 heures) de l'expert [Long et al ; Wells et al. 1996b]].

65 Fusion de données et imagerie 3D en médecine 57 Méthodes basées sur l analyse de l histogramme Les méthodes automatiques (ou semi-automatiques) de localisation de l'interface LCR/Matière Grise peuvent être basées sur une technique d'extraction de surfaces d iso-intensité (isophotes dans un volume). Dans ce cas, une méthode très répandue est la méthode des "Marching Cubes" [Cline et al ; Lorensen and Cline 1987 ; van Gelder and Wilhems 1994] qui fournit une surface passant par les voxels d'une intensité donnée, cette surface est formée de triangles, structures faciles à visualiser par des algorithmes de synthèse d images standards (voir 3.1). La valeur d'isointensité, donnée par l'expert, conditionne entièrement le résultat dans ce type d'approche. De plus, ce type d'algorithme est particulièrement sensible au bruit présent dans l'acquisition et à l'effet d'ombrage 1. En effet, en présence de cet artefact, l'interface LCR/Matière Grise n'est plus caractérisé par une valeur d'isointensité : le niveau de gris de cette interface varie dans l'espace. Enfin, dans la pratique, l'extraction de l'iso-surface est souvent réalisée à partir d'une région d'intérêt ou d'une segmentation réalisée au préalable. Pour cela, les algorithmes combinant seuillage, morphologie mathématique et recherche de composantes connexes sont les plus populaires pour résoudre l'extraction du cerveau [GEMS ; Höhne and Hanson 1992; Mangin et al. 1998; Vérard et al. 1997; Ylä-Jääski et al. 1991]. La démarche la plus simple consiste à opérer la séquence suivante : seuillage, érosion binaire 3D, recherche de la composante connexe, dilatation conditionnelle 3D et enfin remplissage de la structure obtenue. Cependant, l'opération d'ouverture (érosion puis dilatation) réalisée pour extraire le cerveau a pour conséquence d'éliminer les "excroissances" de la structure. Anatomiquement, ces excroissances peuvent correspondre aux sommets des gyri. Intrinsèquement, cette approche fournie donc un résultat "approximatif" de la géométrie réelle de l'interface LCR/Matière Grise qui peut s avérer porteur d artefact lorsque la forme segmentée doit être réintroduite dans un schéma de traitement. Néanmoins, cette approche est souvent suffisante pour des applications se limitant à la visualisation du cortex cérébral, compte tenu du fait que la segmentation peut être obtenue dans un temps relativement court et que par nature elle élimine tout élément non fortement connexe à la structure principale. Ces approches basées sur la définition d'un seuil ou d'un intervalle de niveaux de gris sont adaptées à des acquisitions pour lesquelles le contraste entre les différents 1 voir note page 67

66 58 C. Barillot tissus est bon, le rapport signal à bruit fort et l'effet d'ombrage négligeable. Dans la pratique, ces conditions ne sont pas toujours réunies. La détection de l'interface LCR/Matière Grise peut également être posée comme un problème de détection de contours. Généralement, cette détection est réalisée en étudiant les propriétés différentielles de l'image, ce qui a pour conséquence de supprimer la sensibilité de l'algorithme à l'effet "d'ombrage". Dans ce domaine on peut citer les travaux de [Barillot et al. 1991; Bömans et al. 1990; Ehricke 1990; Kapouleas 1990; Ylä-Jääski et al. 1991]. Enfin, l'utilisation des contours actifs devient un champ d'investigation de plus en plus important concernant la segmentation du cerveau [Atkins and Mackiewich 1996 ; MacDonald et al. 1998; Snell et al ; Thompson and Toga 1996b ; Vérard 1996 ]. Pour exemple, l'utilisation d'un assemblage de surfaces actives permet d'obtenir une segmentation du cerveau en ses constituants les plus importants (hémisphères, cervelet). Cependant, ces méthodes nécessitent souvent des prétraitements importants (détection de contours, recherche de composantes connexes, etc.) et une initialisation du modèle à proximité de la solution finale, mais par contre elle s avère bien robuste à des configurations variées à la fois sur le plan anatomique et sur le plan des images traitées. Pour notre part, la méthode que nous avons utilisée, combine la détection de contours et une recherche de composantes connexes afin d'obtenir des contours fermés sans application d'une procédure ultérieure de fermeture des contours. L'incertitude sur la localisation exacte de l'interface LCR/Matière Grise est gérée en affectant des coefficients d'appartenance flous aux voxels situés dans un voisinage de la frontière détectée Méthode [Barillot et al. 1991; Lachmann 1992]. La méthode développée procède en trois phases : une phase de détection de contours, une phase de croissance de région et une phase de relaxation floue. Phase de détection de contours Nous avons utilisé le filtre de Marr-Hildreth [Marr and Hildreth 1980], encore appelé Laplacien d'une Gaussienne ou L.o.G.. Ce filtre, invariant par rotation, isotrope, présente l'avantage de fournir des contours fermés. La détection de contours consiste à localiser les passages par zéro de la dérivée seconde de la fonction d'intensité (correspondant au point d'inflexion du profil d'intensité). Le

67 Fusion de données et imagerie 3D en médecine 59 calcul des propriétés différentielles, consiste à transformer la collection discrète I(i,j,k) représentant le volume IRM 3D en une fonction continue et infiniment différentiable I(x), x=[u,v,w]. Cette transformation est rendue possible par la convolution de l image originale par filtre Gaussien G(x, I) continûment différentiable. On appelle espace-échelle l'écart type I du filtre Gaussien qui introduit une dimension spatiale dans le calcul des dérivées partielles [Florack et al. 1992; ter Haar Romeny et al. 1991; Witkin 1983 ]. Ainsi, dans notre cas en utilisant la propriété de séparabilité du filtre Gaussien, et la propriété de commutation entre la différentiation et l'opération de convolution, l image des contours I LoG s écrit [Lachmann 1992; le Goualher 1997] : 2 2 ILoG x, I G x, I I x G x, I I ( x) où 2 correspond au Laplacien d une fonction. Les volumes que nous traitons ont généralement une résolution spatiale de 0,94 mm (volume isotrope). Nous effectuons sur ces volumes une détection de contours dans un espace-échelle défini expérimentalement à I=1.25mm. Cet espaceéchelle permet d'introduire un lissage spatial suffisant pour réduire la sensibilité du filtrage au bruit, tout en conservant une largeur d'excitation du filtre convenable pour les objets anatomiques sous-jacents. L'augmentation du facteur d'échelle (passage de 1,25mm à 1,7mm et plus) conduit quasi systématiquement à une sous détection des contours (lissage spatial trop fort), tandis que la diminution du facteur échelle conduira à une sensibilité au bruit accrue. Cette valeur de I=1.25mm est apparue expérimentalement comme une valeur optimale. On obtient ainsi une carte binaire v I x l'appartenance d'un voxel v x à la structure recherchée. Recherche de composantes connexes : 3 bin x LoG \ ( ) 0 indiquant Afin d'obtenir l'ensemble Cerv bin, sous ensemble de 3 bin, représentant la carte binaire de la structure cerveau, une recherche de composante connexe sur 3 bin est effectuée à partir d'un point germe situé à l'intérieur du cerveau. La procédure de croissance de région est contrôlée par un taux de connexité limite T lim. Ce taux de connexité est défini comme étant le rapport entre le nombre de voisins non nuls du voxel d'intérêt sur le nombre total de voisins de ce voxel. Aussi, l'ensemble Cerv bin sera représenté par l'ensemble des voxels de 3 bin c-connexes au point germe,

68 60 C. Barillot vérifiant T c (v x ) > T lim, où T c (v x ) est le taux de connexité du voxel v x et c la connexité choisie (6, 18 ou 26). Afin de rendre plus robuste cette procédure, un contrôle sur les niveaux de gris des voxels appartenant à la structure Cerv bin a été introduit. La carte binaire du cerveau devient donc l'ensemble des voxels de 3 bin c-connexes au point germe, vérifiant T c (v x ) > T lim, I(x)>S b et I(x)<S h où I(x) est l'intensité du voxel v x, S b et S h respectivement le seuil bas et le seuil haut sur l'intensité [le Goualher 1997]. Nous utilisons un taux de connexité T lim =85%. Les seuils haut et bas sont déterminés très simplement par l'utilisateur à partir de l'observation d'un ensemble de coupes du volume IRM. Une opération de remplissage est ensuite effectuée sur la carte binaire Cerv bin représentant le cerveau, afin de combler les cavités de cet ensemble. Relaxation floue Comme on l'a indiqué dans le paragraphe précédent, les frontières de Cerv bin sont situées anatomiquement entre la frontière LCR/Matière Grise et l'interface Matière Grise/Matière Blanche. Dès lors, le problème est maintenant d'étendre spatialement le masque binaire Cerv bin afin d'intégrer les voxels situés à proximité du contour détecté. Afin de gérer l'incertitude (liée à l'effet de volume partiel et au détecteur utilisé) sur la position de la frontière anatomique délimitant le cerveau, une probabilité d'appartenance au cerveau peut être affectée aux voxels que l'on va rajouter dans Cerv bin. La méthode consiste à utiliser la logique floue [Kaufmann 1973; Zadeh 1965] pour gérer cette incertitude, en affectant un coefficient d'appartenance flou aux voxels que l'on va ajouter à Cerv bin. La procédure de calcul de Cerv fuzzy (le masque flou du cerveau) consiste à étendre Cerv bin jusqu'à la "surface crête" de l image. Cette procédure réintègre donc l'ensemble des voxels situés dans le voisinage des frontières de Cerv bin. Plus exactement, cette extension réintègre l'ensemble des voxels situés entre le contour détecté par le filtrage et la "ligne" de partage des eaux de l image I LoG. Cette extension permet d'obtenir un sur-ensemble de la structure cerveau. L'ensemble obtenu est alors rempli conditionnellement au complémentaire de 3 bin afin de combler certaines cavités sans pour autant réintégrer des structures voisines du cerveau (comme la dure-mère par exemple). Finalement, les coefficients d'appartenance au cerveau sont calculés pour les différents voxels du masque étendu. Le coefficient d'appartenance d'un voxel est inversement proportionnel à sa valeur dans I LoG. Le calcul est implanté de façon à garantir une croissance continue

69 Fusion de données et imagerie 3D en médecine 61 Figure 19 : Segmentation du cerveau par la méthode floue. En haut : sections transversales du volume IRM original, En bas : coupes du cerveau segmenté par la méthode floue. Les points situés dans le voisinage du cerveau ont un coefficient d'appartenance à la "structure cerveau" faible. Le masque contient de façon exhaustive la matière grise et la matière blanche. et monotone des coefficients d'appartenance de l'extérieur du cerveau vers l'intérieur. Cette étape, permet donc d'obtenir une carte Cerv fuzzy indiquant pour chaque voxel son coefficient d'appartenance au cerveau. Cette carte est ensuite appliquée au volume original I(i,j,k), afin de pondérer les niveaux de gris du volume original par leur degré d'appartenance à la structure cerveau (voir Figure 19).

70 62 C. Barillot Discussion Sur le plan expérimental, cette procédure de segmentation a été validée dans trois contextes différents. Nous avons, dans un premier temps, utilisé cette approche dans le cadre du projet NIH de Vanderbilt, projet décrit au [Laroche 1996]. Dans ce cas, les segmentations devaient servir à la définition des structures homologues pour le recalage. La difficulté venait de la variété des données à traiter (IRM en T1, en T2, et en densité de proton), avec des protocoles d acquisition différents de ceux pratiqués lors des études de faisabilité. Sur 7 sujets traités, répartis en 34 volumes, un seul échec a été rencontré (données en T2 rectifié) et 3 ont conduit à des segmentations non directement utilisables dans le contexte du recalage (un en T2 et 2 en densité de proton). Un deuxième cadre de validation a concerné notre participation à un projet national et multicentriques du GIS (Groupement d Intérêt Scientifique) Sciences de la Cognition (responsable I. Bloch, ENST, Paris) [Bloch and al. 1998]. L objectif de ce projet était de mettre à disposition d équipes d utilisateurs, des logiciels de segmentation du cerveau et de les utiliser sur des données IRM d origines multiples. Le critère d évaluation était principalement visuel (2D et 3D) et faisait ressortir un fonctionnement assez robuste de notre algorithme (1 seul échec réel) mais une impression de sous-segmentation due à la phase de relaxation floue. Il faut remarquer que cette impression de sous-segmentation est accentuée par les paramètres de visualisation 3D utilisés pour observer le résultat (seuils de la visualisation). Ce jugement est néanmoins cohérent avec le choix initial qui était d être plutôt conservateur dans la segmentation obtenue afin d obtenir un masque garantissant une bonne conservation des différentes courbures du cortex, même si cela doit se faire dans certains cas au détriment de critères visuels sur la qualité de la représentation 3D. Une troisième étude de validation a été effectuée dans le cadre de la thèse de Georges le Goualher [le Goualher 1997]. Nous avons étudié la reproductibilité des résultats pour un sujet particulier. Dans cette expérience, un sujet sain (homme de 45 ans) a passé 5 IRM. Les acquisitions ont été réalisées en utilisant le protocole 3D SPGR de General Electric sur une machine Signa 1,5T (Orientation Sagittale, FOV=25cm, TR=33ms, TE mini, Flip=30). La résolution spatiale dans la coupe est de 0,98x0,98 mm; l'épaisseur des coupes est de 1,24 mm. Ces coupes sont reformatées afin d'obtenir des volumes isotropes de résolution 0,98 mm, et subissent une transformation linéaire de l histogramme pour être codées sur 8 bits. Une acquisition a été prise comme référence et les quatre autres ont été recalées

71 Fusion de données et imagerie 3D en médecine 63 Examens / Paramètres E1 E2 E3 E4 E5 S b S h Pop Cerv bin Pop Cerv fuzzy Tableau 3 : Test de reproductibilité des résultats de la segmentation du cerveau linéairement sur le volume de référence [Collins et al. 1994a] et reformatées selon l'orientation standard en utilisant une interpolation trilinéaire. On obtient ainsi 5 volumes qui sont théoriquement rigoureusement identiques. Les segmentations sur les 5 examens ont été réalisées en prenant un taux de lissage I=1,25mm, un taux de connexité limite T lim =85% (sur un 26-voisinage). Les deux premières lignes du Tableau 3 indiquent respectivement le seuil bas (S b ) et le seuil haut (S h ) utilisés pour contrôler la procédure de recherche de composante connexe. Les deux dernières lignes indiquent la population en voxels du masque binaire (sous-ensemble du "vrai" cerveau) et celle du masque flou (sur-ensemble du "vrai" cerveau). L'inspection visuelle des résultats a montré une bonne reproductibilité des résultats. Des erreurs peuvent cependant apparaître au niveau du cervelet (du fait de sa structure très ramifiée). Ces erreurs peuvent être corrigées en modifiant le taux de connexité. Le tableau montre que la procédure de relaxation floue réintègre une quantité de voxels équivalente à la population du masque binaire Cerv bin. La moyenne de la population du masque flou est de voxels, avec un écart-type de voxels. L'écarttype représentant 0,3% de la population totale, on a pu donc conclure à une bonne reproductibilité des résultats malgré le reformatage des données. D une manière générale, on peut constater qu à l utilisation, la procédure de dilatation floue permet de gérer l'incertitude liée à la détection de la limite externe du cerveau. Le masque obtenu contient le cerveau de façon exhaustive. Les paramètres principaux contrôlant cet algorithme sont le facteur de lissage du filtre Gaussien, le taux de connexité et les seuils sur les niveaux de gris. Généralement les paramètres comme le taux de lissage et le seuil de connexion varient très rarement (I=1,25 mm et T lim =85%). Les seuils haut et bas sont déterminés de façon interactive par l'utilisateur et constituent la contrainte la plus forte dans la pratique au regard du temps de calcul nécessaire pour ajuster un couple de paramètres

72 64 C. Barillot (quelques minutes sur une Sparc20). Si une amélioration doit être trouvée, elle se situe sans doute dans cette phase. Une solution peut être d analyser l histogramme de l image et de définir une heuristique pour le choix de ces seuils (voir [Allain 1993 ; Vérard 1996 ; Vérard et al. 1997]). Il est également envisageable de mettre en place une procédure itérative (dichotomique par exemple) contrôlée par le nombre de points appartenant au masque du cerveau, cette quantité s avère, dans nos test, très discriminante sur la réussite ou non de la procédure de segmentation. La procédure qui vient d être décrite sert ensuite de contraintes aux autres phases d identification de structures cérébrales (classification des tissus et modélisation des sillons - 2.4). 2.3 Classification des tissus du cerveau Contexte La classification des tissus composant le cerveau (matière grise, matière blanche,) est un problème largement abordé dans la littérature : ainsi plus de 90 citations concernant cet aspect apparaissent dans [Bezdek and al. 1993]. Le lecteur peut également se référer à des travaux plus récents comme [Gesù and Romeo 1994 ; Laidlaw et al. 1998; Li et al ; Liang 1993; Liang et al ; Vandermeulen et al ; Yan et al ; Zijdenbos and Dawant 1994 ]. De même que la segmentation du cerveau, l'extraction des différents tissus composant le cerveau est une étape nécessaire dans de nombreuses applications. Ainsi, l'étude quantitative des volumes associés aux différents tissus cérébraux permet de détecter ou de suivre certaines pathologies comme la schizophrénie ou la sclérose en plaque par exemple [Johnston et al ; Shenton et al ; Zijdenbos et al. 1998]. L'extraction explicite des différents tissus peut également être intégrée dans la préparation d'un acte chirurgical ou dans sa réalisation [Kikinis et al. 1991]. Plus récemment, l'extraction de la matière grise a été utilisée comme contrainte anatomique pour la localisation des signaux fonctionnels [Bezdek and al ; Dale and Sereno 1993 ; Levin et al ; Schwartz et al. 1999]. De nombreuses méthodes de classification de tissus cérébraux, proposées dans la littérature sont basées sur des techniques de regroupement de voxels possédant des caractéristiques identiques. L'incorporation, dans le schéma de classification, d'interactions spatiales entre voxels voisins, permet de réduire la sensibilité au bruit de l'algorithme de classification. Cela est généralement réalisé grâce à l utilisation

73 Fusion de données et imagerie 3D en médecine 65 de méthodes statistiques (classification Bayesienne ou approche Markovienne) [Choi et al ; Lachmann and Barillot 1992 ; Leahy et al ; Liang 1993; Liang et al. 1994; Snyder et al ; Vandermeulen et al ] ou à partir de systèmes à base de règles [Raya 1990] ou de réseaux de neurones [Adali and Wang 1994 ; Amartur et al ; Toulson and Boyce 1992 ; Zijdenbos et al. 1994]. Cependant beaucoup de ces approches réalisent la classification sous une forme supervisée (ce qui nécessite une phase d apprentissage) et utilisent des informations multi-spectrales (T1, T2, densité de protons) afin de disposer d'informations complémentaires nécessaires à la partition du volume IRM. L'utilisation de l'information multi-spectrale nécessite alors de multiplier les acquisitions, ainsi que les pré-traitements : un recalage linéaire est nécessaire entre les différentes acquisitions. Enfin, la sensibilité de l'algorithme de classification à l'effet d'ombrage justifie parfois l utilisation d un pré-traitement (correction des inhomogénéités à l'aide de fantômes [Axel et al ; Gohagan et al. 1987] ou de filtrages [Chang and Fitzpatrick 1992 ; Dawant et al ; Johnston et al ; Lim and Pfefferbaum 1989 ; Sled et al. 1998]). La variation spatiale des niveaux de gris, associée aux différents tissus, peut également être prise en compte dans l'algorithme de classification comme dans les méthodes de classifications adaptatives [Wells et al. 1996b; Yan and Karp 1995] Méthode [Lachmann 1992; Lachmann and Barillot 1992] L objectif dans ce travail était d effectuer une partition du cerveau soit directement à partir du volume IRM, soit après extraction par l algorithme de segmentation du cerveau. Cette dernière solution permettra de mieux contraindre la recherche des classes et d en limiter le nombre (3 au maximum: la matière grise, la matière blanche et le LCR). Cet algorithme se décompose en deux étapes : une partition en classes par l utilisation d un algorithme des K-moyennes [Coleman and Andrews 1979 ; Gray and Linde 1982; Hartigan 1975 ], suivie, si nécessaire, d'une phase de relaxation probabiliste permettant d'introduire une régularisation spatiale sur la solution. Partition de base (algorithme des K-moyennes) La première étape vise à obtenir une partition en classes du volume préalablement segmenté. La partition peut être effectuée uniquement sur la base des

74 66 C. Barillot niveaux de gris, ou lorsque cette information n'est pas suffisante, sur la base d'un ensemble de paramètres représentatifs des différents tissus. Nous utilisons ici deux paramètres représentatifs des niveaux de gris associés aux différents voxels : la moyenne et l écart-type. En complément à ces moments des statistiques, nous utilisons des paramètres représentatifs de l'organisation spatiale des intensités. Ces paramètres, issus de la matrice de cooccurrence définie par Haralick [Haralick 1979], représentent les statistiques spatiales du second ordre du signal comme par exemple le contraste, le moment diagonal, et le moment différentiel inverse [Lachmann 1992]. Ces paramètres transcrivent sous la forme d'un scalaire la "forme" de la matrice de cooccurrence. Il n'existe pas de direction privilégiée dans l'organisation spatiale des niveaux de gris associés à un tissu. La matrice de cooccurrence est donc une matrice spatialement homogène (c.-à.-d. cubique isotrope). Un vecteur paramétrique de 2 à 5 éléments, selon le nombre de statistiques de cooccurrences utilisées, est donc associé à chacun des voxels appartenant au cerveau segmenté. La partition initiale, réalisée par l'algorithme des K-moyennes, consiste à regrouper les voxels en des ensembles homogènes, en cherchant à minimiser la variance intraclasse (ou erreur de partition). Afin d'éviter, dans une certaine mesure, les minima locaux dans la phase de régression, on divise le volume en un nombre supérieur (ou inférieur) de classes au nombre désiré. Les ensembles sont alors fusionnés (ou éclatés) sur la base de similarité (ou d'hétérogénéité) pour obtenir le nombre de classes désiré. La partition réalisée par la méthode des K-moyennes est alors équivalente à la partition obtenue sur le critère du Maximum de Vraisemblance dans un cadre Bayesien [Yan and Karp 1995]. Autrement dit, cette partition ne prend pas en compte les informations a priori sur l'agencement des tissus. La partition obtenue est donc sensible au bruit. Relaxation probabiliste L'introduction d'une connaissance a priori sur l'organisation spatiale des différents tissus va permettre de réduire les ambiguïtés locales dans la procédure de partition. On suppose ici que chacun des vecteurs paramétriques M-dimensionnels (x v,1, x v,2,..., x v,m ) associé à un voxel v, représente la réalisation d'une variable aléatoire Gaussienne M-dimensionnelle, dont la loi conditionnelle à sa classe est une loi normale de moyenne x et de matrice de covariance 5.

75 Fusion de données et imagerie 3D en médecine 67 Les probabilités initiales d'appartenance aux différents tissus sont calculées pour chacun des voxels. Les paramètres caractéristiques des lois normales associées aux différentes classes (moyenne et matrice de covariance) sont estimés à partir de la partition réalisée par l'algorithme des K-moyennes. La phase itérative consiste à remettre à jour les probabilités d'appartenance aux différentes classes sur la base d'informations contextuelles (coefficients de compatibilité) [Peleg 1980]. Finalement, on obtient, pour chaque voxel v, ses probabilités d'appartenance aux différentes classes anatomiques. On note la carte de probabilité maximale : v Pv Pv 9 max \, où est une classe, {GM,WM,CSF} respectivement matière grise, matière blanche et liquide céphalo-rachidien, P(v ) désigne la probabilité qu'un voxel appartienne à la classe. On note le cerveau obtenu après classification: 9 max (Brain)=9 max (GM)+9 max (WM) Discussion L'intérêt d'une phase de relaxation est évident. En effet, la partition géométrique réalisée par l'algorithme des K-moyennes, n'utilise pas d'information a priori sur la distribution spatiale des tissus et est donc sensible au bruit. La phase de relaxation permet de supprimer ces artefacts. Cela se fait au prix d'un temps calcul accru. Il serait possible d'introduire directement une cohérence spatiale dans la partition du volume en généralisant l'algorithme des K-moyennes [Besag 1986; Yan et al. 1994], cela permettrait éventuellement d'accélérer le calcul. La limite la plus importante de l'algorithme proposé, est de ne pas prendre en compte l'effet d'ombrage 1. En effet, comme pour la plupart des algorithmes présentés dans la littérature, l'hypothèse qui est faite dans la phase de regroupement et de relaxation est la constance spatiale des valeurs paramétriques moyennes associées aux différents tissus. Prendre en compte l'effet d'ombrage dans la 1 Biais sur les niveaux de gris de l image IRM au sein d une même classe de tissus. Ce biais est non constant spatialement, il est dû à des inhomogénéités spatiales et temporelles du champ magnétique lors de l acquisition [Meyer et al. 1995; Sled et al 1998].

76 68 C. Barillot Examens/ Résultats E1 E2 E3 E4 E5 card 9 max (GM) card 9 max (WM) Moyenne I WM Moyenne I GM Tableau 4: reproductibilité de la classification des tissus cérébraux classification nécessiterait de considérer la variation spatiale de ces valeurs. Des solutions à ce problème de segmentation adaptative sont proposées dans [Wells et al. 1996b; Yan and Karp 1995 ]. Cependant, l'utilisation des statistiques d'ordre 2 (paramètres de la matrice de cooccurrence) permet, dans une certaine mesure, de limiter l'influence de cet effet d'ombrage. En effet, ces paramètres reflètent l'organisation spatiale des intensités, ils seront donc moins sensibles à l'effet d'ombrage que les statistiques d ordre 1 comme la moyenne, mais ils sont par contre plus coûteux à utiliser. Nous pouvons trouver dans [le Goualher 1997] quelques résultats montrant la reproductibilité des résultats de la classification. Ces résultats ont été obtenus à partir des 5 volumes segmentés que l'on a présentés dans la partie précédente. Les cerveaux ont tous été préalablement segmentés par l algorithme décrit en 2.2. Une partition en 4 classes de ces volumes a été effectuée uniquement sur la base des K- moyennes. Ces 4 classes correspondent respectivement : à la matière grise, la matière blanche, le LCR, et à une classe frontière. Expérimentalement, l'introduction de la classe frontière a permis de regrouper les erreurs ayant pu apparaître lors de l'extraction du cerveau, en particulier, des éléments parasites de dure-mère, mais aussi les voxels de faible degré d'appartenance situés dans le voisinage de la matière grise (voir Figure 19). L'artefact introduit par cette classe frontière est de provoquer une légère "érosion" de la matière grise, ce qui n était pas dommageable dans le contexte de cette étude, le résultat de la classification devant servir de prétraitement à l extraction des replis corticaux : une présence parasite de la dure-mère engendrerait des erreurs plus importantes sur la segmentation des sillons).

77 Fusion de données et imagerie 3D en médecine 69 On peut voir résumés dans le Tableau 4 respectivement les populations en voxels des classes matière grise (GM), matière blanche (WM) et les niveaux de gris moyens associés (I GM et I WM ). On trouve une population moyenne de la matière grise égale à (±7090) et une population moyenne pour la matière blanche égale à (±8295 ). On obtient donc un rapport écart-type sur population moyenne de l'ordre de 1,2 % pour la matière grise et la matière blanche. Ces valeurs sont en accord avec les résultats publiés dans [Yan and Karp 1995] où une valeur de l'ordre de 1% avait été obtenue.

78 70 C. Barillot Figure 20: Visualisation 3D des volumes de probabilité d appartenance aux matières grises et blanches et au système ventriculaire; ces résultats sont obtenus en utilisant la procédure de classification Bayésienne sur une base de données IRM isotrope.

79 Fusion de données et imagerie 3D en médecine Segmentation des Replis corticaux Contexte L étude de l anatomie fine du cortex cérébral et de ses composantes gyri et sillons, revêt une importance particulière, à la fois pour ses applications cliniques (diagnostic, préparation et mise en œuvre d une approche chirurgicale) et pour ses applications dans le domaine de la recherche. Les données recueillies à l IRM ont une précision millimétrique homogène dans les trois directions de l espace, ce qui permet de visualiser facilement les gyri et les sillons corticaux et permet d envisager la reconnaissance automatique des structures corticales. Ceci est intéressant parce que les sillons constituent des repères visuels pour le chirurgien, mais aussi parce qu ils constituent également des repères anatomiques et enfin parce qu un certain nombre de sillons sont des marqueurs de régions fonctionnelles [Barillot et al. 1998a]. Ces différentes facettes expliquent l importance de l étude des sillons, en particulier des rapports qui existent entre l anatomie d une région du cerveau et son organisation fonctionnelle. En effet, à la variabilité morphologique s ajoute une variabilité de l organisation fonctionnelle, dont l ampleur est mal connue. C est pourquoi de nombreuses équipes travaillent à l élaboration de cartes fonctionnelles du cerveau, décrivant la spécialisation fonctionnelle de certains territoires et rendant compte de la variabilité inter-individuelle (atlas probabiliste) [Mazziotta et al. 1995]. Un aspect de ce travail consiste à mettre en évidence des corrélations entre l anatomie sulco-gyrale des sujets et les enregistrements fonctionnels recueillis. Cela suppose d une part, une analyse détaillée des données anatomiques et fonctionnelles relatives à chaque sujet et des rapports qu elles entretiennent, et d autre part la mise en évidence d invariants au sein d une population de sujets. Segmentation des replis corticaux Le nombre croissant de travaux portant sur la modélisation du cortex cérébral, ainsi que sur la reconnaissance automatique des principales structures corticales, montre l importance de ce sujet de recherche [Collins et al. 1996b ; Kruggel 1995; Le Goualher et al. 1995; Lohmann 1998; Mangin et al. 1995; Royackkers et al. 1995; Sandor and Leahy 1995; Subsol et al. 1996; Szekely et al. 1992; Vaillant and Davatzikos 1997a]. Ces travaux sont souvent basés sur les observations faites par Ono sur des pièces anatomiques [Ono et al. 1990].

80 72 C. Barillot Différentes familles de techniques visant à la modélisation de la topographie du cortex cérébral et principalement à la modélisation des sillons peuvent être distinguées. Elles diffèrent sur la façon d extraire le relief cortical. Parmi celles-ci, les méthodes basées sur l aplanissement du cortex visent à s affranchir des difficultés d observation du manteau cérébral, difficultés dues à la complexité géométrique. Dans ce cadre, on peut citer les approches utilisant des surfaces déformables [Dale and Sereno 1993; Snell et al. 1994; MacDonald et al. 1994; Drury et al. 1996; Sandor and Leahy 1997; Teo et al. 1997; Van Essen et al. 1998]. Ces méthodes trouvent souvent leurs applications dans l étude de la position de signaux fonctionnels situés dans des zones profondes [Dale et al. 1999]. Pour ce qui concerne l extraction de la topographie surfacique du cortex cérébral, les opérations issues de la morphologie mathématique sont très utilisées pour reconnaître des objets en forme de vallées (remplies de liquide céphalo-rachidien) du reste du volume cortical [Lohmann 1998; Sandor and Leahy 1995 ], éventuellement associées à des opérateurs de classification des tissus [Royackkers et al. 1995] voire à des information structurelles [Desvignes et al. 1994; Fawal et al. 1995]. D autres réalisent une détection des contours suivie d une fermeture destinée à remplir les sillons, le volume des sillons est obtenu par différence entre le cerveau fermé et le volume segmenté. Skezely applique au cerveau fermé une extension 3D de la Medial Axis Transform pour segmenter les voxels appartenant aux sillons [Szekely et al. 1992]. Enfin Mangin enchaîne une classification des différents tissus et un algorithme de squelettisation volumétrique ; cette approche utilise des contraintes topologiques permettant de réduire la sensibilité aux erreurs de segmentation [Mangin 1995; Mangin et al. 1995]. La seconde famille de techniques utilise les caractéristiques géométriques (fortes courbures) de la surface corticale pour distinguer gyri et sillons. Pour cela ces techniques utilisent des opérateurs de géométrie différentielle qui permettent de définir en chaque point d une iso-surface les deux courbures principales et leurs directions associées [Monga and Benayoun 1995]. Le signe de la courbure principale la plus élevée indique si le point appartient à un sillon (valeur négative) ou un gyrus (valeur positive) [Gourdon 1995 ; Le Briquer et al ; le Goualher 1997; Subsol 1995 ; Thirion 1996a; Thirion and Gourdon 1993 ]. Sauf à l utiliser sur des isophotes de l image (c.-à.-d. sur des informations denses) [Le Goualher et al. 1995], l inconvénient de ce type d approche est que la qualité du résultat dépend beaucoup de la qualité de l extraction de l iso-surface. Enfin d autres approches plus récentes se basent sur l utilisation de surfaces actives guidées par des potentiels d actions pour segmenter en profondeur ces

81 Fusion de données et imagerie 3D en médecine 73 structures [Le Goualher et al. 1997; Le Goualher et al. 1996; Vaillant and Davatzikos 1997a; Vaillant and Davatzikos 1997b]. Ces techniques permettent de représenter les sillons sous la forme de surfaces analytiques, ce qui permet d envisager plus simplement leur utilisation par des processus d analyse statistique ou par des systèmes de recalage [Collins et al. 1996b ; Ge et al. 1995; Thompson and Toga 1996a]. C est donc sur ce type de techniques que nous avons basé notre approche de modélisation des sillons corticaux. Identification des replis corticaux Il est une autre tâche qui consiste à associer des étiquettes aux sillons détectés. Deux grandes approches ont été utilisées : la première utilise des techniques de fusion avec un atlas (ou tout cerveau déjà étiqueté) [Collins and Evans 1997 ; Le Goualher et al. 1999; Le Goualher et al. 1998; Sandor and Leahy 1995 ], alors que la seconde établit une mise en correspondance entre les entités numériques et symboliques en s appuyant sur des probabilités [Mangin 1995; Mangin et al. 1995] ou des heuristiques [Desvignes et al. 1996; Royackkers et al ] Travail réalisé Ce travail a été réalisé dans le cadre de la thèse de G. Le Goualher [le Goualher 1997]. Une description compacte d un sillon peut être obtenue en le modélisant à l aide d une surface médiane représentative de sa partie enfouie. La méthode que nous utilisons est basée sur l utilisation d un modèle actif évoluant d une courbe 1D initialisée à la partie superficielle du cerveau vers une surface 2D modélisant l axe médian du sillon. Extraction des Caractéristiques Corticales La procédure d extraction des caractéristiques corticales est basée sur le calcul des caractéristiques différentielles des niveaux de gris de l IRM. En premier lieu, le cortex cérébral (matière grise) ainsi que le liquide céphalo-rachidien environnant sont segmentés (voir 2.2 et 2.3). Ils définissent un volume d intérêt dans lequel les sillons sont censés se trouver : : max GM max WM C \ max WM

82 74 C. Barillot Figure 21 : Résultat du calcul des courbures du volume IRM et de la procédure d amincissement des zones de courbures positives (rouge) en surface pour l initialisation des rubans actifs où + et \ représentent respectivement l addition et la différence entre deux ensembles de voxels, C est un élément structurant isotrope de taille (9x9x9) et l opération de morphologie mathématique de fermeture. L objectif est ensuite de caractériser les sillons et les gyri au sein de ce masque 3D. L opérateur de filtrage utilisé est une extension 3D de l opérateur L vv introduit par Florack et al. [Florack et al. 1992; Maintz et al. 1996; ter Haar Romeny et al. 1991]. Nous avons pu mettre en évidence que, restreint dans la région du cortex, le signe du L vv moyen (ML vv ) est un bon discriminant des replis corticaux (sillons et gyri) [Le Goualher et al. 1995]. Pour cela nous utilisons l extension 3D de l opérateur L vv. Le L vv représente la dérivée seconde de L dans la direction v. Lvv L opérateur L vv est relié à la courbure par la relation: k, avec Lw w H Lw (norme du gradient). Modélisation des sillons par ruban actif Une description compacte d un sillon peut être obtenue par sa représentation par une surface médiane représentant la partie enfouie de ce sillon. La méthode que nous avons proposée consiste à extraire cette surface par l utilisation d un ruban actif qui évolue dans un espace tridimensionnel, d une courbe 1D, pour la phase d initialisation, vers une surface 2D, pour la phase de modélisation. Un ruban actif est basé sur le principe d un modèle actif [Kass et al. 1988].

83 Fusion de données et imagerie 3D en médecine 75 L étape d initialisation vise à représenter les traces externes des sillons corticaux par des courbes, à trace dans Z 3, inscrites sur la surface "lisse" du cortex cérébral (:. Une approximation de ces courbes est obtenue en prenant les points de courbure moyenne positive, situés à la surface externe du cerveau lissé. Ces points forment un ensemble de rubans (de quelques voxels de largeur) inscrits sur la surface externe du cerveau. L'utilisation de la classification topologique [Malandain et al. 1993] permet de décomposer ces rubans en un ensemble de courbes (Figure 21). De plus, cette classification topologique permet d'obtenir directement une description "qualitative" du tracé cortical ; elle possède en effet la structure d un graphe, où les nœuds représentent les sillons (traces ou rubans) et les arcs les connexions entre ces éléments (G={S,J}, S étant l ensemble des sillons et J l ensemble des jonctions). La construction d un ruban actif se fait ensuite en deux étapes : une étape d apprentissage qui consiste à faire évoluer une courbe à partir de la trace superficielle de l objet jusqu'à sa profondeur. Cette courbe est typiquement une courbe 1D évoluant dans l espace 3D (le volume IRM par exemple). Cette première étape sert à apprendre la forme approximative de l objet à modéliser en profondeur (dans notre cas un sillon). La deuxième phase consiste à construire une forme bidimensionnelle à partir de la forme reconnue dynamiquement et à la régulariser sous l effet de forces pour modéliser l objet final. Le ruban actif utilise successivement et en deux phases des courbes 1D (C(u)) puis des surfaces 2D (S(u,v)) pour modéliser des objets 3D enfouis en profondeur. Les modèles de ces courbes et de ces surfaces doivent être choisis de manière à ce qu ils se comportent suffisamment bien pour donner une représentation à la fois réaliste et fiable des objets à modéliser. Dans notre cas de modélisation de sillons, le modèle B-spline se montre bien adapté aux formes libres que l on désire modéliser [Le Goualher et al. 1996]. Une solution d implémentation de ce modèle a été proposée dans la littérature par Leitner [Leitner et al. 1990]. Pour assurer les phases d apprentissage et d ajustement du ruban actif, des forces doivent être définies afin de conduire le modèle de la surface du cortex à la profondeur du sillon. Ces forces sont régies par des potentiels associés et sont définies par [le Goualher 1997; Le Goualher et al. 1997]: H H F u w Pot C u ; i 123,, i i i Le potentiel initial Pot 1 tend à faire tomber la courbe dans les replis du cortex alors que le second potentiel Pot 2 tend à faire rester le modèle initial à l intérieur d un sillon ou y revenir s il se trouve à l extérieur. Le troisième potentiel (Pot 3 ) est défini par la carte des valeurs de MLvv. Ce potentiel permet d affiner la position du

84 76 C. Barillot ruban actif autour de la position médiane du sillon, supposée correspondre à la surface crête du MLvv. Coopération numérique/symbolique pour la description des sillons Les problèmes que rencontrent généralement les méthodes d identification des sillons, découlent de la grande variabilité du relief cortical et de la difficulté à aborder son analyse de façon hiérarchisée. Plusieurs remarques s imposent toutefois. D'abord, les sillons les plus importants fonctionnellement sont également les plus profonds et les plus constants en présence, position ou encore en orientation. Cependant, ces grands sillons présentent une forte variabilité structurelle comme par exemple une décomposition en segments interrompus par des plis de passage, ce qui rend très difficile leur reconnaissance, au sens de l identification automatique. C est pourquoi il nous a semblés préférable d adopter une stratégie d apprentissage centrée utilisateur. Ainsi nous faisons l hypothèse que la construction de modèles a priori, doit se faire de façon progressive avec l aide de l utilisateur, en utilisant ses concepts, sa façon de décrire et sa terminologie habituelle. Réaliser une double description numérique et symbolique s inscrit dans cette stratégie. Elle permet à court terme à l utilisateur de se référer au cas par cas à des sujets déjà étiquetés, tout en laissant la possibilité d élaborer de nouveaux modèles à partir du traitement statistique des données numériques qui auront été recueillies [Barillot et al. 1998a; Gibaud et al. 1997a; le Goualher 1997] (Figure 22). Dans ce contexte, nous avons proposé un modèle permettant de décrire l'organisation de ces structures. Nous avons utilisé un formalisme de description afin de préciser les concepts utilisés par les experts pour décrire l'organisation des repères corticaux [Habrias 1988]. La structure (ou le schéma) d'une base de données a alors été définie à partir du modèle obtenu. Cette méthode permet de concevoir une base de données capable de stocker des descriptions de l'anatomie corticale, à partir de laquelle on pourra enrichir un modèle prototypique de l'anatomie cérébrale [Gibaud et al. 1997a; Gibaud et al. 1998b]. Ce schéma d étiquetage peut également être enrichi par l apport de procédures d identification automatique de quelques segments de sillons principaux. Une telle procédure a, par exemple, été développée sur la base d une normalisation spatiale de sillons étiquetés manuellement. Il en résulte un volume de probabilités de présence de sillons dans un espace standard (Talairach par exemple) [Le Goualher et al. 1998; Le Goualher et al. 1999]. De telles informations sont intégrables en tant que

85 Fusion de données et imagerie 3D en médecine 77 connaissance a priori dans un schéma d assistance à l utilisateur pour l étiquetage des replis corticaux d une région cérébrale.

86 78 C. Barillot Figure 22-a :Sillons décrits par la méthode des rubans actifs dans un hémisphère droit. Vue latérale droite, légèrement de dessus. Connexion de type Marginal-Principal entre Sillon Subcentral Postérieur et Sillon Latéral degré profonde qualif_pos. partie post. du Sillon Latéral position X=154 Y=89 Z=150 Connexion de type Marginal-Principal entre Sillon Subcentral Postérieur Bis et Sillon Latéral degré profonde qualif_pos. partie postérieure du Sillon Latéral position X=154 Y=89 Z=150 pli de passage entre sillons principaux attaché au Sillon Central qualif_pos. Partie inférieure reliant le Gyrus Précentral au Gyrus Postcentral limité par Sillon Latéral qualif_pos. Partie intermédiaire position X=133 Y=89 Z=160 Figure 22-b : Éléments de description relatifs aux sillons de la Figure 22-a détaillant certains éléments de description relatifs à ces sillons, notamment les connexions des Sillons Subcentraux Postérieurs avec le Sillon Latéral et le pli de passage reliant le Gyrus Postcentral et le Gyrus Précentral [Barillot et al. 1998a].

87 Fusion de données et imagerie 3D en médecine 79 Chapitre 3 Visualisation et interaction 3D 3.1 Problématique et Etat de l Art Un autre problème en fusion d'images concerne la visualisation de données multiples et l expression de l information composite sous forme d images 2D/3D. La visualisation d images combinées représentant différents paramètres, comme par exemple l anatomie et la fonction, doit se faire de telle manière qu elle garantisse la perception sous forme d entités différentes, des informations sous-jacentes. Cette quatrième partie se propose de décrire mes travaux orientés vers la représentation des résultats de fusion, qu ils concernent le développement d outils génériques de visualisation ou la réalisation d applications intégrant la fusion visuelle de données d origines multiples. La littérature dans ce domaine s est surtout concentrée vers le développement de méthodes génériques pour la visualisation de scènes 3D volumétriques (par exemple [Artzy 1979 ; Cline et al ; Drebin et al ; Frieder et al ; Herman and Liu 1979 ; Herman and Liu 1977 ; Höhne et al ; Höhne et al ; Kaufman 1988 ; Levoy 1988 ; Lorensen and Cline 1987 ; Meagher 1982 ; Robb and Barillot 1988 ; Robb and Barillot 1989; Udupa 1982 ]). Pour une grande part, ces méthodes rejoignent le contexte plus général de la synthèse d images (le lecteur peut se reporter sur cet aspect à des ouvrages de référence comme [Newman and Sproull 1988] ou encore [Foley et al. 1990]).

88 80 C. Barillot La spécificité de l imagerie médicale a néanmoins orienté certaines études vers des solutions adaptées aux données rencontrées : gros volumes, informations denses (c.-à.-d. volumétriques) et multimodales. Cela conduit à axer les méthodes vers plus d optimisations algorithmiques au détriment parfois du réalisme que l on peut rencontrer dans d autres domaines d application de la synthèse d images (modèles d éclairement, type de projection, plaquage de textures,...). On peut trouver dans les publications fournies en annexe [Barillot 1993; Barillot et al ], ainsi que dans [Höhne et al ; Rhodes 1991 ; Robb 1995; Rosenblum et al ; Stytz et al ; Udupa and Herman 1991 ] un état assez complet des méthodes du domaine. La Figure 25, résume la classification des méthodes de représentation 3D en imagerie médicale par la définition de deux grandes familles : les méthodes dites de représentation de surfaces (la scène est constituée d un ensemble de surfaces de structures pré-segmentées) et les méthodes dites de représentation de volume (le volume de données intervient directement dans la boucle de visualisation ce qui permet une visualisation en continu des données denses). Segmentation Séquence Binaire Triangulation Ensemble de Polygones Visualisation de Polygones Données Sources Volume Binaire Croissance de Régions Ensemble de Facettes Ensemble de Voxels Visualisation de Voxels Interpolation Segmentation Volume Interpolé Subdivision Récursive Projection Directe (Lancer de Rayon) Octree Représentation de Surface Représentation de Volumes Visualisation Volumétrique Figure 23 : Classification des méthodes de représentation 3D en imagerie médicale.

89 Fusion de données et imagerie 3D en médecine Rendu de volume par lancer de rayon L'apparition de stations de travail performantes, autorise l'élaboration de méthodes relevant du domaine de la modélisation volumétrique. Disposant à tout instant des données volumiques, ce type de représentation permet la visualisation simultanée ou non, d'informations surfaciques ou de données intrinsèques au volume d'origine, comme les niveaux de gris par exemple. La solution que nous avons développée est basée sur le principe du Lancer de Rayons Actif [Trousset and Schmitt 1987]. Ce travail, fait en collaboration avec le Pr. R.A. Robb de la Mayo Clinic, a permis l insertion de cette application dans l environnement logiciel du système de traitement et d analyse d images biomédicales appelé ANALYZE Root Object # 1 Color Pink Father Nil Child Brain Object # 2 Color White Father Root Child Vessels Object # Color Father Child CSF 3 Violet Root Nil Object # 4 Color BL3 Father Root Child Grey Matter Object # 20 Color Tan Father Brain Child White Matter Object # 21 Color Cyan FatherSulci Brain Child Object Nil # 40 Color Red Father CSF Child Ventricles Object # 41 Color Blue Father CSF Child Nil Precentral Gyrus Object # 22 Color Yellow Father Grey Matter Child Nil Precentral Sulcus Object # 42 Color Green Father Sulci Child Nil Figure 24 : Exemple d une hiérarchie décrivant des objets spatiaux volumétriques et la liste d affichage associée, la création des objets venant par exemple des procédures de segmentation décrites aux 2.2 et 2.3.

90 82 C. Barillot Figure 25 : Exemple de représentation par rendu de volume utilisant le mode objet volumétrique [Robb 1990; Robb and Barillot 1988; Robb and Barillot 1989] et le développement d un environnement logiciel de visualisation appelé SIM3D [Barillot and Jannin 1997]. L'algorithme développé consiste à visualiser une fonction de l'intersection de chaque rayon avec le volume. En utilisant une implantation spéciale pour le calcul de cette intersection, l'algorithme est optimisé pour être rapide (autorisant une bonne interactivité) sans compromettre la fidélité. La fonction d'intersection implantée permet aussi de définir plusieurs types de segmentations pendant le lancer d'un rayon : une segmentation spatiale définissant, pour chaque objet, un volume englobant et une segmentation active relative aux niveaux de gris de chaque voxel. segmentation spatiale La segmentation spatiale consiste à définir une structure d'objet dont les bords vont délimiter le volume 3-D, là où les rayons vont être calculés. Elle permet également de réaliser de manière aisée une "dissection numérique" d'un volume de données, opération importante pour une meilleure interprétation de la base de données. Cette structure englobante peut prendre des formes variées (par exemple une forme polygonale ou encore une surface de voxels [Barillot et al. 1985a; Barillot et al. 1985b ]).

91 Fusion de données et imagerie 3D en médecine 83 Visualisation d objets spatiaux Une autre tâche de la segmentation spatiale consiste à permettre la visualisation d objets, c.-à.-d. de structures, multiples à partir d un même volume [Barillot et al. 1994]. Afin de prendre en compte des objets spatiaux définis dans le cadre de procédures de segmentation (segmentation du cerveau par exemple), un mode objet spatial volumétrique peut être introduit afin de définir dans la phase de visualisation à quel objet un voxel appartient et par là même, d affecter à chaque voxel ses attributs de visualisation (visible ou non, couleur, opacité, degré d appartenance, carte de texture, ). Ces objets spatiaux sont organisés sous deux formes. D une part sous la forme d une carte 3D, appelée volume objet correspondant point à point au volume visualisé (à chaque voxel du volume de travail correspond un voxel dans le volume objet). D autre part une représentation hiérarchique de ces objets a été introduite afin de conserver les relations de composition des différents objets entre eux, par exemple le cortex est inclus dans la matière grise qui est incluse dans le cerveau... (voir Figure 24). Pour répondre à cette nécessité d organisation hiérarchique et pour résoudre également des problèmes d optimisation du temps de calcul, il est nécessaire d introduire la notion de liste d affichage ( display list en anglais) de taille n obj, n obj étant le nombre d objets spatiaux définis sur le volume de travail (dans la pratique n obj <256). Cette liste séquentielle permet un accès direct indexé aux attributs de visualisation de chaque objet (Figures 24 et 25). Visualisation mixte graphique et volumétrique En suivant le principe de la définition d une forme englobante pour contraindre spatialement le lancer de rayon, l algorithme de lancer de rayon actif décrit précédemment utilise un Z-buffer pour contraindre spatialement les régions explorées du volume de travail [Robb and Barillot 1988]. Par ce biais, il est également possible de réaliser une combinaison de représentation entre objets de nature graphique (de type VRML 1 ou IRIS-Inventor par exemple [Hartman and Wernecke 1996; Wernecke 1994 ]) et objets de nature volumétrique. On peut voir décrit sur la Figure 26 le principe de mélange de deux scènes graphiques et volumétriques. 1 The VRML Repository :

92 84 C. Barillot Scène Graphique m11 M m44 Visualiseur OpenInventor Sélection de la Caméra Z-buffer + Image (RGB=) Initialisation Lancer de Rayon Actif Scène Fusionnée Scène Volumétrique Figure 26 : Principe de combinaison entre scènes graphique et volumétrique. Visualisation dense multi-paramétriques Dans le contexte d une visualisation volumétrique, une texture 3D peut être affectée au volume de travail ou à un de ses objets spatiaux afin de permettre la superposition d une information paramétrique aux données originales [Barillot 1993; Barillot et al. 1993; Barillot et al. 1996]. Dans ce cas, des attributs de visualisation peuvent prendre leur valeur dans le volume de texture paramétrique (couleur, gradient, classification floue,...). Cette fonction est importante pour permettre la visualisation 3D du résultat de fusion de données multimodalités et/ou Volume Source Z Objec t X O bject Y Screen Ray (H) Vvw D f Volume Paramètre amètre Recalage Y Object Object Z Screen Screen X S creen Z texture X texture F Y texture Figure 27 : Principe de la visualisation par lancer de rayon actif utilisant un volume paramétrique (texture 3D) pour intégrer des informations multi-paramétriques dans le processus de visualisation.

93 )XVLRQÃGHÃGRQQpHVÃHWÃLPDJHULHÃ'ÃHQÃPpGHFLQH )LJXUHÃ Ã 5HQGXÃ GHÃ YROXPHÃ 'Ã GHÃ GRQQpHVÃ IXVLRQQpHVÃ 63(&7,50Ã SDUÃ SODTXDJHÃ GH WH[WXUHÃ 'Ã HQWUHÃ GRQQpHVÃ IRQFWLRQQHOOHVÃ 63(&7Ã,FWDOÃ HWÃ GRQQpHV PRUSKRORJLTXHVÃ,50 PXOWLSDUDPpWULTXHVÃ )LJXUHÃ Ã HWÃ )LJXUHÃ Ã &HODÃ V DYqUHÃ QpFHVVDLUHÃ GDQVÃ QRPEUH G DSSOLFDWLRQVÃPpGLFDOHV 2QÃSHXWÃ UHWURXYHUÃ GHVÃ UpVXOWDWVÃ VLPLODLUHVÃ GDQVÃ >6WRNNLQJÃ Ã =XLGHUYHOGÃ HWÃ DO Ã@Ã>-DFTÃDQGÃ5RX[Ã@ÃSURSRVHQWÃXQHÃVROXWLRQÃGHÃFRPSRVLWLRQÃ PXOWLYROXPHV SRXUÃUpVRXGUHÃFHÃSUREOqPHÃGDQVÃOHÃFDGUHÃGHÃODÃYLVXDOLVDWLRQÃPXOWLPRGDOLWpV

94 86 C. Barillot segmentation active La segmentation active est une opération reliée aux niveaux de gris des voxels. Une fonction est affectée à chaque rayon et dépend du parcours de ce rayon dans le volume et des intensités-image ou des objets spatiaux rencontrés. Plusieurs approches peuvent être choisies pour caractériser cette fonction. Elles peuvent être de deux types, les méthodes de type transmission (mode radiographique) et les méthodes de types réflexion (mode photométrique) [Barillot 1993; Robb and Barillot 1989] (voir Tableau 5). Dans le premier cas, on retrouve les méthodes basées sur la projection des voxels d intensités maximum (mode MIP), très utilisée pour visualiser les angiographies IRM, ou encore des approches de sommations pondérées. Dans le deuxième cas, on retrouve les différentes méthodes qui mettent en œuvre la réflexion de la lumière incidente par une ou plusieurs surfaces (surfaces d iso-intensité dans notre cas). Parmi celles-ci on peut citer la méthode d ombrage de gradient [Barillot et al. 1985a ; Höhne and Bernstein 1986], la méthode de l ombrage par profondeur [Gordon and Reynolds 1985], la méthode d intégrale sur la surface [Tiede et al. 1990]. Ces méthodes mettent toutes en œuvre, dans le processus de lancer du rayon, une segmentation binaire de la structure d intérêt, c.- à.-d. une appartenance stricte à la structure d intérêt. La composition de volume [Barillot 1989 ; Barillot 1992; Barillot et al ; Beck et al ; Drebin et al ; Levoy 1988; Levoy 1990 ; Mosher and Van Hook 1990 ; Ney et al ; Porter and Duff 1984 ; Udupa and Hung 1990 ; Upson and Keeler 1988 ] fait également partie des méthodes mettant en œuvre la réflexion de la lumière incidente, mais dans ce cas la segmentation est de nature floue : chaque voxel a une appartenance floue à la structure ou à l objet d intérêt. Le coefficient d appartenance floue est déterminé soit a priori par une table de transcription intensités-image/tissus vs degré d appartenance, soit en temps réel par l utilisation d une table et de fonctions de classification floues [Barillot 1993].

95 Fusion de données et imagerie 3D en médecine 87 Mode Fonction de rendu Nature de la segmentatio n Intensité résultante (I(H x,y )) Transmissio n MIP binaire max v H(I v ) Réflexion Sommation Pondérée Ombrage par profondeur Ombrage par gradient profondeur Ombrage de Gradient (réflexion diffuse) Composition de Volume binaire v H f(i v ) binaire f(i z ) binaire f( I z ) binaire f( I v ) floue v H f( I v = v =' V ) ; =' V =2 v H ( = v Tableau 5 : Caractéristiques des principales fonctions de segmentation active ; v étant un voxel le long du rayon H x,y (x et y étant les coordonnées du rayon H dans l image résultante), I v et I z respectivement les intensités-image du voxel v et du Z-buffer (en x,y), la fonction gradient et = v le coefficient flou d appartenance du voxel v à la structure visualisée (assimilé à une opacité). 3.3 Systèmes et applications de Visualisation des résultats de Fusion Fusion de données IRM et MEG Le but de ce travail était d utiliser et de représenter conjointement des enregistrements fonctionnels provenant de l EEG ou de la MEG par rapport à leur environnement morphologique (cortical en particulier) afin d aider au traitement de ces données et d aider également à l interprétation des localisations neurophysiologiques spatio-temporelles générées.

96 88 C. Barillot La Figure 29 illustre le contexte méthodologique mis en œuvre, associant à la fois la procédure de recalage multimodalités décrite au , les procédures de segmentation (enveloppe cérébrale et tissus) et de modélisation des sillons décrites aux 2.2, 2.3 et 2.4 ainsi que les procédures de visualisation 3D décrites précédemment. De plus, cet ensemble fait intervenir une procédure de localisation de sources electrophysiologiques développées par ailleurs [Bihouee et al ; Bouliou et al. 1995; Schwartz et al. 1999], montrant comment ces procédures de segmentation, couplées avec une procédure de recalage peuvent contraindre la localisation d activités fonctionnelles à se trouver dans le manteau cortical [Schwartz 1998; Schwartz et al. 1999]. Dans ce cas, la contrainte spatiale est utilisée pour définir, de manière dense (c.-à.-d. en chaque voxel), la probabilité d avoir une activité dipolaire en chaque point du cortex (carte de probabilités 3D). Ces activités fonctionnelles ont été recueillies sur un système MEG BTi de type Magnes 37 canaux. Dans ce contexte, nous avons proposé deux types de représentations complémentaires pour aider à interpréter ces signaux : une représentation volumétrique (Figure 30) et une représentation surfacique (Figure 30 et Figure 31) [Barillot et al. 1996; Barillot et al. 1998b]. La représentation volumétrique met bien en évidence le contexte 3D dense des données anatomiques : vue complète des IRM Cerveau Matière Grise Modèle de Sillons Référentiel MEG Recalage Données MEG Contraintes Localisations Carte d Activation Probabiliste Figure 29 : Coopération entre méthodes de recalage, de segmentation d images et de visualisation 3D pour l aide à la localisation et à l interprétation d activités spatio-temporelles en EEG et MEG.

97 Fusion de données et imagerie 3D en médecine 89 Figure 30: Fusion de données MEG/IRM utilisant la modélisation analytique des sillons corticaux. Les sillons détectés sur l IRM sont représentés à l aide de surfaces déformables. Les données spatio-temporelles MEG sont représentées à l aide de sphères colorées en fonction de la latence de l activation (entre 40 et 110 ms). Le protocole de stimulation consiste en une activation du cortex auditif au moyen de sons purs à 500 Hz. données volumétriques, représentation de la surface du cerveau à sa profondeur. Grâce à l apport de la procédure utilisant la texture 3D, elle se révèle également adaptée à la représentation des données fonctionnelles. Ce mode de représentation permet également l accès simple à des données quantitatives (au niveau voxel). D un autre point de vue, ce mode de représentation est peu adapté à l observation directe de processus spatio-temporels. C est pourquoi nous avons introduit un mode de représentation complémentaire basé sur l observation de l activité spatiotemporelle par rapport aux sillons corticaux modélisés dans la région (une visualisation simultanée de quelques coupes IRM est également possible). Ce type de rendu donne une vue en négatif du cerveau. Il peut sembler confus dans un premier temps, mais apparaît par contre assez familier aux neurochirurgiens car proche de ce qu ils rencontrent au cours d une intervention. Cette procédure a été utilisée à la fois dans un contexte de recherche et dans un contexte clinique pour l étude du cortex auditif, somestésique ou du langage mais également pour l observation de localisations de pointes intercritiques en épilepsie [Morandi et al. 1998; Schwartz 1998; Schwartz et al. 1999].

98 90 C. Barillot Figure 31 : Représentation de l activation des zones du langage (mentalisation vocale) par l utilisation des deux modes de représentations : (haut) mode surfacique spatio-temporel avec inclusion des activités dans l environnement sulco-gyral, (bas) mode dense avec représentation de 3 latences de probabilités d activations [Morandi et al. 1998].

99 Fusion de données et imagerie 3D en médecine Système distribué de visualisation et de fusion Contexte Comme nous l avons déjà décrit, un des problèmes majeurs pour améliorer l utilisation globale des images médicales, concerne la compréhension mutuelle des données présentes: images in-vivo comme connaissances a priori. Ce problème rejoint les aspects de coopération entre processus de traitement numérique et symbolique pour la constitution de modèles numériques et symboliques, ce que nous pouvons également appeler atlas numérique [Gibaud et al. 1997a ; Gibaud et al. 1998b]. Un des problèmes majeurs pour sa réalisation, est de prendre en compte une forme de coopération entre des processus de traitement bas niveaux, comme ceux décrits dans ce document, et des représentations plus génériques des informations présentes dans les images. Nous avons proposé une approche pour mettre en forme cette coopération et décrit les composantes essentielles pour la mise en place d un système de gestion de connaissances sur le système nerveux central. Ce système a pour but d aider à l interprétation des images du cortex normal ou pathologique, à des fins diagnostiques, thérapeutiques ou de recherche [Barillot et al ; Garlatti et al. 1995; Garlatti et al. 1996; Montabord et al. 1994; Montabord et al. 1995; Montabord et al. 1993]. L essor très important des neurosciences et des sciences cognitives met chaque jour en évidence le besoin ressenti par les médecins et les chercheurs de se référer à des connaissances sur le cerveau. Les domaines d application de tels systèmes concernent aussi bien la recherche fondamentale, visant à améliorer la compréhension du fonctionnement cérébral, que les applications médicales. Cela va de l amélioration des techniques de segmentation d images médicales numériques par l utilisation de modèles de connaissances sur les structures à détecter, jusqu à la réalisation de systèmes experts orientés vers l aide au diagnostic ou l aide à la décision thérapeutique. Des atlas informatisés commencent à être développés depuis quelques années et essayent de dépasser les limites actuelles des atlas papiers : accessibilité : contrairement aux atlas électroniques, les atlas papiers ne sont accessibles qu à des utilisateurs humains et non à des processus informatisés, évolutivité : la connaissance représentée dans les atlas papiers est statique et est donc difficile à mettre à jour,

100 92 C. Barillot qualité de représentation : souvent, les atlas classiques se présentent sous la forme de planches ou de séries de planches et de plus la présentation y est figée, c est-à-dire difficile à redéfinir par l usager dans son contexte d utilisation, problèmes de mise en correspondance avec les données traitées : les atlas classiques ne sont que très rarement conçus pour être mis en correspondance avec les données du sujet traité, et quand c est le cas (atlas de Talairach par exemple) cette mise en correspondance ne peut pas se faire de manière intégrée. Parmi ces atlas électroniques, on peut citer les travaux de Graf von Keyserlingk et al. sur l étiquetage post-mortem de cerveaux afin de quantifier la variabilité des régions corticales [Graf von Keyserlingk et al. 1988; Graf von Keyserlingk et al. 1985], de Toga et al. et de leur travail sur un atlas anatomique et fonctionnel du cerveau du rat [Toga 1990 ; Toga 1991], du Brain Browser de Bloom et al. qui essayent d associer des données symboliques et graphiques sur le système neuronal dont le cerveau humain [Bloom 1996], ou encore les travaux de Van Essen et Drury sur le déploiement cortical [Drury et al. 1996; Van Essen et al. 1998]. A coté de cela, d autres travaux ont pour objectif le développement d atlas pour l aide à l interprétation de données neuro-fonctionnelles [Bohm et al. 1991; Lehmann et al. 1991; Seitz et al. 1990]. Cet objectif d aide à l interprétation des images est également partagé par d autres auteurs pour assister des procédures de segmentation d images par l utilisation d un contexte neuro-anatomique (par exemple [Le Goualher et al. 1998; Natarajan et al. 1991; Niggemann 1990; Raya 1990; Sokolowska and Newell 1986; Sonka et al. 1996; Zachmann 1991]). Le logiciel Brainworks, développé dans le cadre du projet européen SAMMIE, inclut un modèle symbolique du cerveau ainsi que des outils de gestion de modèles géométriques [Staemmler et al. 1993]. Höhne et al. ont proposé d associer des étiquettes symboliques à des données-image 3D dans un contexte plus orienté vers l aide à l enseignement [Höhne et al. 1992; Tiede et al. 1996]. D autres exemples de projets dans ce domaine peuvent être consultables sur Internet, notamment le projet Visible Human 1, les projets qui relèvent du programme Human Brain Mapping du NIH 2, le projet CieMed de Nowinski et al. [Nowinski et al. 1997] 1, ou encore des projets semblables accessibles sur d autres sites 2. 1 The Visible Human Project : 2 Human Brain Project Web server :

101 Fusion de données et imagerie 3D en médecine 93 Dans ce contexte, le projet sur lequel nous avons travaillé consiste à étudier puis à mettre en place un environnement de gestion de connaissances sur l anatomie et le fonctionnement du cerveau humain. L idée maîtresse de cette approche consiste à associer, dans un système intégré, des connaissances de nature symbolique et des connaissances de nature numérique. Dans sa définition première, ce système comporte quatre niveaux. Un niveau base de connaissances, il exprime une description symbolique des objets qui composent le cerveau. Un niveau banque de données, il permet d engranger des données relatives à des exemplaires de cerveaux. Un niveau base de données statistiques, à partir duquel la base de connaissances pourra être enrichie. Enfin un niveau librairie de vision par ordinateur qui comprend les méthodes d accès aux images, de visualisation, de traitement ainsi que de recalage entre images et/ou données de patients [Barillot et al. 1994; Garlatti et al. 1995; Gibaud et al. 1998b] (Figure 32). Contribution Ma contribution à ce projet s est située principalement sur les aspects de coopération entre outils de traitement et de visualisation d images, notamment sur la définition d un modèle exprimant les relations spatiales entre les gyri et les sillons (ceci est décrit au 2.4) [Barillot et al. 1998a; Gibaud et al. 1997b; le Goualher 1997], mais également sur la définition d un environnement distribué de fusion d images multimodales et multi-sujets. Ainsi, nous avons pu développer un environnement logiciel qui permet de gérer, par l intermédiaire de processus (agents) indépendants, à la fois le contexte applicatif, y compris le traitement symbolique de l information avec un hypermédia, les informations géométriques de recalage et enfin les effecteurs, visualiseurs d images mais aussi potentiellement, des outils de traitement guidés par des modèles symboliques. 1 CieMed Interactive Internet Brain Atlases : the digital anatomist project : - the whole brain atlas : - SPL/NSL brain anatomy browser : - Atlas of the body: The brain - the American Medical Association : - Neurosciences on the internet :

102 94 C. Barillot Système de Navigation Hypermedia Base de Connaissances Librairie de Traitement d Images Base de Données Sujet Base de Données Statistique Figure 32 : Organisation d un système d atlas électronique centré utilisateur (navigation par hypermédia) et permettant la coopération entre informations de nature symbolique (connaissances du domaine) et de nature numérique (banque de données, outils de traitement d images) Le concept de base qui nous a guidés dans ce travail était de vouloir dissocier les différents niveaux de traitement des données que l on rencontre généralement dans un système d aide à l interprétation d images. La définition d une série limitée de messages, transitant entre les entités, permet de gérer les relations existantes entre les modules qui réalisent ces différentes fonctions. Les niveaux considérés sont de trois ordres : 1. le niveau contextuel qui traduit généralement la spécificité d une application et qui consiste à gérer à la fois l accès aux données numériques et symboliques et à administrer également le contexte d utilisation, c.-à.-d. les tâches et les propriétés des outils de représentation ou de traitement. Ce niveau est constitué d une entité unique. Il permet de réaliser le passage entre représentation numérique et représentation symbolique. Dans notre système d atlas, ce niveau correspond aux missions du système de navigation hypermédia. 2. le niveau fusion qui consiste à gérer les différentes relations géométriques associant les données entre elles. Ce niveau est également constitué d une

103 Fusion de données et imagerie 3D en médecine 95 Application Externe Base de Données Multimodales (1) Contexte ToolTalk Traitement 1 ToolTalk Gérant d Application ToolTalk Traitement i ToolTalk Traitement n (2) Fusion (3) Traitement Figure 33 : Implémentation des trois niveaux de traitement de l information dans le cadre d une application de fusion de données pour l aide à l interprétation d images multimodales et/ou multi-sujets. entité unique, il permet d administrer le routage des données échangées entre les différentes entités. 3. le niveau traitement qui consiste à mettre en œuvre le traitement effectif des données numériques décidé par l utilisateur. Ce niveau est par contre par nature constitué d entités multiples. Elles sont en principe toutes indépendantes les unes des autres et peuvent (doivent) également être construites indépendamment du contexte courant de l application.

104 96 C. Barillot Figure 34 : Exemple de visualisation de résultats de recalage entres modules de représentation volumétrique et le navigateur sur l atlas de Talairach. Les données ont été recalées soit sur la base du Quadrillage Proportionnel de Talairach soit sur la base d un recalage non linéaire calculé par ANIMAL [Collins and Evans 1997]. Dans un premier temps, ce système a été réalisé indépendamment du système hypermédia mais traduit néanmoins les trois niveaux de traitement de l information (Figure 33) [Pham 1996]. Ces niveaux se décomposent en trois entités. Une première entité construite autour d une application externe ; elle gère le contexte

105 Fusion de données et imagerie 3D en médecine 97 applicatif (niveau 1) ; elle dialogue avec la base de données (multimodales voire symboliques) ; elle connaît les modules de traitement disponibles et décide de leur création ou de leur destruction. Tous ses messages transitent par le gérant d application qui administre le contexte fusion (niveau 2) et réalise le routage des différentes informations et les fait transiter sur le réseau. C est en fait un automate qui, à travers une table de routage et une table d informations, connaît les différentes relations existantes entre les modules de traitement (clé, type et état des modules, synchronisation entre modules, type et nature du recalage 1, pointeur sur une zone ou un objet d intérêt,...). Les modules de traitement sont quant à eux des exécutables standards comme une application de rendu de volume par exemple. Ils sont indépendants et ne connaissent pas le contexte du système mais permettent d interagir avec les données et les images véhiculées sur le réseau. Afin de pouvoir communiquer entres elles, ces différentes entités, ou modules, s abonnent à un service sous la forme d une session de communication qui comprend à la fois le support de messagerie utilisé et une liste prédéfinie de messages. Ces messages sont spécifiques du niveau d intercommunication (application externe de/vers le gérant d application, gérant d application de/vers les modules de traitement). Ces messages, au nombre d une trentaine, sont conçus pour couvrir au mieux les types d échange pouvant exister : création/destruction, chargement/sauvegarde, activation, synchronisation, recalage, envoi/réception de zones d intérêt ou d événements clavier, envoi/réception de messages interprétés 2, accusés de réception. Pour être intégrés à ce système, les différents modules doivent être régénérés avec une interface de communication. Le service de messagerie utilisé est basé sur le protocole ToolTalk [Sun Microsystems ]. De cette manière, les différents modules peuvent être répartis sur un réseau acceptant des connexions X11. 1 Trois types de recalage sont actuellement gérés : le recalage affine (matrice homogène), le recalage linéaire par morceaux de Talairach et le recalage non linéaire dense (champ dense de déformation). 2 La notion de message interprété a été incorporé pour intégrer plus de souplesse dans les échanges notamment pour la commande de l application externe d opérations spécifiques à un module de traitement (ancre de navigation par exemple). Le contenu du message est interprété et peut transporter quatre types de données de base : des entiers, des flottants, des doubles, des chaînes de caractères ainsi que des chaînes d octets ( Byte Stream ). Ce dernier type permet notamment de télécharger du code, exécutable par le module (code Java par exemple).

106 98 C. Barillot Figure 35 : Visualisation mixte de données graphiques (sillons en haut à gauche) et de données volumétriques (résultat de l extraction de la surface médiane d un sillon dans le lobe frontal). La flèche indique un point sur cette surface, elle correspond géométriquement au curseur positionné sur les coupes IRM. Ainsi, nous avons pu intégrer dans cet environnement des modules de représentation de nature complémentaire comme des visualiseurs 3D volumétriques, des visualiseurs d objets graphiques (construits à partir du logiciel IRIS-Explorer de NAG 1 ) ainsi qu un navigateur sur l atlas de Talairach. La base de données multimodales utilisée est BdRec [Lemoine et al. 1994], elle enregistre les informations de recalage reliant les données présentes dans les différents modules 1 IRIS Explorer center :

107 Fusion de données et imagerie 3D en médecine 99 du système. Une interface vers une base de données orientée objet, écrite sous O2 1, et capable de gérer des relations symboliques est également en cours de réalisation. Les différents modules s échangent ainsi des informations sur des zones d intérêt (pointeurs, étiquettes d objets, caméras,...), ce qui permet par exemple de construire des applications aussi variées que le recalage interactif de volumes, la visualisation de résultats de recalage multimodalités ou inter-sujets (Figure 34) ou encore la visualisation combinée de données graphiques et volumétriques (Figure 35). 1

108 100 C. Barillot

109 Fusion de données et imagerie 3D en médecine 101 Perspectives et conclusion La compréhension mutuelle des données images, in-vivo ou connaissances a priori, constitue l un des problèmes majeurs pour améliorer l utilisation médicale des images, et améliorer ainsi dans un contexte clinique la prise en charge du patient. Cette compréhension doit prendre en compte la fusion des données relatives, non pas à un seul et même patient, mais plutôt à un grand nombre de sujets, les données pouvant être rassemblées sous la forme de bases d informations multisujets. Cette idée rejoint les aspects de fusion numérique/symbolique pour la constitution de modèles numériques et symboliques, ce concept pouvant également être appelé atlas électronique [Gibaud et al. 1998b]. Le travail présenté dans ce document ne prétend pas apporter une solution définitive au problème difficile de la fusion d images en médecine, même restreint au domaine de l imagerie cérébrale. Il indique les directions possibles pour atteindre ce but. A l avenir, des recherches plus poussées permettront sans doute une meilleure intégration des différents éléments de traitement de l information, dont plusieurs illustrations ont pu être présentées ici. Ces recherches prendront en compte une coopération plus étroite entre des processus de traitement bas niveaux et des représentations plus génériques des informations présentes dans les images. Ainsi, des travaux récents comme ceux décrits au 3.3.2, restent encore trop limités dans leur champ d application et dans leur développement, même s ils présentent les composantes essentielles à la constitution d un système d aide à l interprétation d images. Ces travaux doivent être poursuivis et approfondis pour mettre en œuvre la coopération nécessaire entre production et traitement d informations numériques ainsi qu entre production et traitement d informations symboliques. A moyen et long terme, des systèmes ambitieux verront le jour et permettront l accès à des données provenant d un grand nombre de sujets différents, que ces données soient localisées en un endroit unique ou réparties sur des réseaux. Des projets de grande envergure voient déjà le jour pour tenter d approcher cet objectif

110 102 C. Barillot [Mazziotta et al. 1993; Mazziotta et al. 1997] 1. La définition d atlas sophistiqués prenant en compte les résultats de fusion multi-sujets est un passage obligé pour le développement de systèmes avancés en matière d applications thérapeutiques utilisant l image. De plus, de tels systèmes seront autant d outils pour avancer plus encore vers une meilleure compréhension du cerveau humain sain ou pathologique. Enfin, des composants génériques d un atlas numérique et symbolique du cerveau (modèles déformables, segmentation d images basés sur des modèles, systèmes à base de connaissance, ) sont réutilisables. C est particulièrement le cas pour ce qui concerne le développement de systèmes intelligents, relatifs à d autres organes que le cerveau, et cela dans des processus applicatifs concernant le diagnostic, la thérapeutique (maladies cardio-vasculaires, radiothérapie, orthopédie, chirurgie réparatrice, ), voire même l éducation. Perspectives en matière de Recalage d Images Recalage intra-sujet Dans le domaine du recalage d images provenant du même sujet, les outils méthodologiques employés vont de plus en plus prendre en compte des déformations non-linéaires entre images provenant d un même individu. Ces perspectives apparaissent par exemple à travers l émergence de systèmes de fusion en situation interventionnelle (chirurgie, radiologie,...). Des travaux ont déjà cours dans ce domaine pour combiner des données provenant du planning avec des données recueillies en cours d intervention ou encore pour le développement de systèmes d aide à la chirurgie par l asservissement d outils ou de capteurs per-opératoires (vidéo et/ou ultrasons) [Ault and Siegel 1995 ; Bucholz et al ; Grimson et al ; Peters et al ; Roberts et al ; Thomas et al ; Viergerver 1998]. Dans ce contexte, on peut citer comme exemple la localisation d une cible virtuelle fixe dans des images 3D et son asservissement par rapport à l observation in situ de cette cible. Cette observation peut être faite à l aide de capteurs-image temps réel, permettant le calcul de la déformation entre la cible réelle et son environnement, et sa représentation virtuelle. 1 International Consortium for Brain Mapping:

111 Fusion de données et imagerie 3D en médecine 103 Une autre perspective importante concerne le cas de l IRM fonctionnelle. Des besoins de recalages intra-sujets plus avancés existent et sont multiples. C est par exemple le cas pour la compensation du bougé du sujet entre les images d une acquisition (recalage rigide). Les contraintes sur le degré de précision recherché dans le recalage doivent être fortes pour intervenir en amont des procédures de détection du signal fonctionnel. Dans le cadre de l IRMf, un autre aspect doit concerner la compensation des déformations non-linéaires existantes entre les séquences d acquisition, comme par exemple entre des séquences en T1 et des séquences en écho planar (EPI). Recalage inter-sujets Dans le domaine du recalage interindividuel, il est très difficile de mesurer le champ réel de déformation quand les contraintes utilisées (critères de similarité, modèles a priori) ne rendent qu imparfaitement les variations réelles de l objet. Dans ce cas, il sera nécessaire d ajouter des contraintes plus pertinentes permettant de mieux exprimer le problème. La connaissance a priori d amers similaires rencontrés dans la série d images 3D, notamment dans les régions corticales, peut constituer une de ces contraintes. On peut aussi imaginer que ces amers soient formés de localisations fonctionnelles, sans doute primaires, basées sur des protocoles précis et reproductibles. Les avancées récentes de la neurophysiologie et de la neuro-imagerie fonctionnelle le laissent présager. Pour intégrer ces différentes informations dans un cadre de résolution formel et cohérent, on pourra rechercher par exemple à estimer des champs de déplacement sur une grille multi-résolutions avec un échantillonnage adapté aux contraintes rencontrées : zones d intérêt, zones critiques dans le champ de déformation, zones à fort potentiel de fusion. De plus, comme nous avons pu le voir précédemment, la connaissance a priori que l on a sur la déformation de l objet étudié doit servir de base pour estimer un champ de déformation. En absence de modèles physiques pertinents, la construction de modèles statistiques, basés sur l analyse de champs de déformation précédemment estimés, est une solution. Cette modélisation peut consister à exprimer sous forme bayesienne le problème de la régularisation de la mesure du champ de déformation. Des hypothèses markoviennes sur le champ de déplacement peuvent être utilisées, tout comme des estimateurs robustes sur les différents termes énergétiques à optimiser [Hellier et al. 1999]. Cette amélioration peut aussi passer par l établissement de cartes de probabilités établissant un modèle a priori de la distribution du champ dense de déformation pour un objet donné.

112 104 C. Barillot Un sujet de recherche encore ouvert concerne l utilisation conjointe de méthodes de fusion interindividuelle de nature différentes, comme par exemple un recalage basé sur l utilisation de repères locaux (par exemple des sillons) associé à un recalage basé sur l utilisation d un repère global. Ainsi, on peut voir sur la Figure 36 une illustration de cette problématique par l utilisation de sillons corticaux. Ce concept peut aussi s envisager dans le cadre de l utilisation d amers de nature différente qui, localement constituent de bonnes références géométriques aux processus anatomiques et fonctionnels que l on veut étudier. La première phase consiste à recueillir les informations anatomiques et fonctionnelles sur des sujets pour lesquels les sillons d une région d intérêt sont délimités et à proximité desquels des activations corticales sont réalisées. A partir de cela, deux phases de traitement peuvent être mises en concurrence. Une première approche (appelée Recalage Local ) consiste à segmenter les sillons d intérêt et à les recaler sur la base d un Probabilité Activation Y Modèle Statistique Sillons Segmentés Sillons Recalés Probabilité du Sillon Recalage Local Cerveau de Référence Probabilité du Sillon X Probabilité de l Activation Y Base de Sujets Recalage Global Figure 36 : Méthodologie de mise en concurrence de méthodes de fusion inter-sujets pour la définition d espaces probabilistes adaptés à l observation d activations cérébrales spécifiques