Acquisition, visualisation et reconstruction 3D de données anatomiques



Documents pareils
Comparaison de Relevés 3D issus de plusieurs Systèmes de Numérisation

Foscolo (1), J Felblinger (2), S Bracard (1) CHU Hôpital central, service de neuroradiologie, Nancy (1) CHU BRABOIS, Centre d investigation clinique

Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12

N. Paparoditis, Laboratoire MATIS

Traitement bas-niveau

Synthèse d'images I. Venceslas BIRI IGM Université de Marne La

ANALYSE CATIA V5. 14/02/2011 Daniel Geffroy IUT GMP Le Mans

L utilisation du lidar terrestre en foresterie. Richard Fournier Département de géomatique appliquée

Simulation d'un examen anthropomorphique en imagerie TEMP à l iode 131 par simulation Monte Carlo GATE

Programme scientifique Majeure INTELLIGENCE NUMERIQUE. Mentions Image et Réalité Virtuelle Intelligence Artificielle et Robotique

Synthes ProPlan CMF. Service de planification et produits spécifiques de patient pour la chirurgie craniomaxillo-faciale.

Zone 2 L aventure de la copie

Réalité virtuelle au service de la maintenance

Scanner de film numérique

Thierry DELZESCAUX. «biopicsel» group, URA CNRS-CEA 2210 Service MIRCen, I²BM, CEA Fontenay-aux-Roses, France.

La visio-conférence holographique : Pourquoi? Comment?

FORMATION CONTINUE SUR L UTILISATION D EXCEL DANS L ENSEIGNEMENT Expérience de l E.N.S de Tétouan (Maroc)

ENFIN, UN SYSTÈME POLYVALENT D'IMAGERIE ORL ET DENTAIRE

Manuel d utilisation TruView 3.0

ARCHEOVISION. Centre de Ressources Numériques 3D. UMR 5607 du CNRS. R. Vergnieux IR-CNRS

SIMULATION HYBRIDE EN TEMPOREL D UNE CHAMBRE REVERBERANTE

"Modélisation interactive d'un genou humain"

R-ICP : une nouvelle approche d appariement 3D orientée régions pour la reconnaissance faciale

La classification automatique de données quantitatives

Leica DM4000 B LED. Une imagerie facilitée par un éclairage brillant!

Ziehm Compact Petite taille, haute performance

Analyse d images. Edmond.Boyer@imag.fr. Edmond Boyer UFRIMA 1

Projet de traitement d'image - SI 381 reconstitution 3D d'intérieur à partir de photographies


ATELIER IMAGEJ. Différentes applications vous sont proposées pour apprendre à utiliser quelques fonctions d ImageJ :

JUST Normlicht softproof solutions.

Notice d Utilisation du logiciel Finite Element Method Magnetics version 3.4 auteur: David Meeker

Analyse de la vidéo. Chapitre La modélisation pour le suivi d objet. 10 mars Chapitre La modélisation d objet 1 / 57

Applications en imagerie cérébrale (MEG/EEG)

Scanner laser HDS7000 Ultra rapide, à portée étendue

DECOUVREZ Discover TYPE EDIT V12 Français

PLATE-FORME DE MICROSCOPIE ÉLECTRONIQUE À TRANSMISSION

Technique Opératoire. Plaque Fyxis P l aq u e P o u r Arthrodèse MTP du Pre m i e r R ayo n

SPEEDSCAN /3SHAPE SCANNER ET LOGICIEL DE DAO POUR LA TECHNIQUE DENTAIRE

L analyse d images regroupe plusieurs disciplines que l on classe en deux catégories :

Master IMA - UMPC Paris 6 RDMM - Année Fiche de TP

C - ICM LTE Gamme DE

PLATE-FORME COMMUNE UNE SOLUTION LOGICIELLE UNIQUE POUR AMÉLIORER LA PRODUCTIVITÉ. Logiciel DIRECTVIEW V5 pour CR et DR

Dentiste Numérique Zfx. Un cabinet dentaire certifié avec la technologie innovante signée Zfx

Extraction d informations stratégiques par Analyse en Composantes Principales

TP SIN Traitement d image

Ce dont nous avons besoin pour suivre ce tutorial :

Apprentissage Automatique

1 Culture Cellulaire Microplaques 2 HTS- 3 Immunologie/ HLA 4 Microbiologie/ Bactériologie Containers 5 Tubes/ 6 Pipetage

Sujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes.

Mesure agnostique de la qualité des images.

Contrôle par commande prédictive d un procédé de cuisson sous infrarouge de peintures en poudre.

Utilisation du logiciel GALAAD

Microscopie de fluorescence Etat de l art

DISQUE DUR. Figure 1 Disque dur ouvert

Les nouveautés de Femap 11.1

Ligne Dentaire. Système Dentaire Panoramique et 3D

C.F.A.O. : Conception et Fabrication Assistées par Ordinateur.

Bridages Renishaw Votre source unique de bridages pour la métrologie

Programme de formation Photoshop : Initiation 24 heures de formation (3 jours) 1/2

Veraviewepocs 3De Le Panoramique dentaire qui répond à tous vos besoins en imagerie tridimensionnelle (3D)

Analyse Sémantique de Nuages de Points 3D et d Images dans les Milieux Urbains

Les algorithmes de base du graphisme

Introduction au datamining

LIDAR LAUSANNE Nouvelles données altimétriques sur l agglomération lausannoise par technologie laser aéroporté et ses produits dérivés

Comment sélectionner des sommets, des arêtes et des faces avec Blender?

Echantillonnage Non uniforme

ProxiLens : Exploration interactive de données multidimensionnelles à partir de leur projection

FUSION DE CARTES DE PROFONDEURS EN PHOTOGRAMMETRIE ARCHITECTURALE

Le projet 3D de la Ville de Liège: réflexions sur l'exploitation des données. Bernard Lechanteur, Responsable Cellule cartographie Ville de Liège

BASE DE REFERENCES.

Recherche De Coalescences Binaires Étalonnage Du Détecteur

Franck VAUTIER, Jean-Pierre TOUMAZET, Erwan ROUSSEL, Marlène FAURE, Mohamed ABADI, Marta FLOREZ, Bertrand DOUSTEYSSIER

Reconstruction de bâtiments en 3D à partir de nuages de points LIDAR

La solution à vos mesures de pression

SYSTEME DE PALPAGE A TRANSMISSION RADIO ETUDE DU RECEPTEUR (MI16) DOSSIER DE PRESENTATION. Contenu du dossier :

BACCALAURÉAT TECHNOLOGIQUE STD ARTS APPLIQUÉS

Géométrie discrète Chapitre V

Opérations de base sur ImageJ

Business Intelligence

Scanner intra-oral Lava C.O.S. numérique. au cabinet dentaire

Développement mobile MIDP 2.0 Mobile 3D Graphics API (M3G) JSR 184. Frédéric BERTIN

Infolettre #18 : Les graphiques avec Excel 2010

W 12-2 : haute performance et savoir-faire compact

AOMS : UN NOUVEL OUTIL DE PHOTOGRAMMÉTRIE

SFERA. NoUveLLES. platines 2 FILS. audio vidéo

Ensemble léger de prise de photo sous UV-A Tam Photo Kit n 1 pour appareil photo compact

Les sciences de l ingénieur appliquées à la prise en charge du

Intelligence Artificielle et Systèmes Multi-Agents. Badr Benmammar

Le polissage par laser

Mario Geiger octobre 08 ÉVAPORATION SOUS VIDE

PR OC E D U RE S D E B A S E

Once the installation is complete, you can delete the temporary Zip files..

Ligne de produits Comparaison

Manuel d utilisation du prototype d étiquetage et première expérimentation (fin 2008)

SOCLE COMMUN - La Compétence 3 Les principaux éléments de mathématiques et la culture scientifique et technologique

Développements algorithmiques au LIAMA et àamap en vue de l'analyse d'une scène forestière

Transcription:

Thèse de Doctorat Acquisition, visualisation et reconstruction 3D de données anatomiques Application aux fibres blanches cérébrales Présentée par : Barthélemy Serres 1,2 Sous la direction de: Gilles Venturini 1, co-encadré par: Christophe Destrieux 2 1 LI, EA6300, Université François Rabelais de Tours 2 Unité Inserm U930 «Imagerie & Cerveau», Tours

Plan de la présentation Introduction Anatomie des fibres blanches cérébrales Moyens d investigation Validation de tractographie Acquisitions 3D de données anatomiques Visualisations médicales 3D Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons 2

Plan de la présentation Introduction Anatomie des fibres blanches cérébrales Moyens d investigation Méthodologie 3

Rappel : les fibres blanches cérébrales Substance blanche Composée des axones Organisée en faisceaux Connexion des aires corticales et sous corticales Fig1. Organisation schématique des principaux faisceaux de fibres blanches Implication dans des pathologies Neuro-dégénératives (Alzheimer, démences), Inflammatoires (sclérose en plaques, ), Tumorales (gliomes malins), du développement (autisme, dyslexie, ) 4

Moyens d investigation Image Initialement uniquement ex-vivo [Dejerine1895], [Klingler1956] Fig1. Dissection effectuée selon la méthode de [Klingler56]. Laboratoire Anatomie, Tours Dissection d hémisphères fixés au formol, Coupes histologiques, Etablissement d atlas papiers de référence Avec l avènement de l IRM de diffusion (DWI) Acquisitions d images sur des sujets vivants, Etablissement d atlas numériques, Utilisation possible en clinique Retour à l anatomie ex-vivo pour la validation [Déjerine1895] J. Déjerine, Anatomie des centres nerveux, Paris, 1895 [Klingler1956] Ludwig & Klingler, Atlas cerebri humani, Bâle, 1956 5

Etude des fibres blanches chez l humain : in-vivo L imagerie IRM pondérée en diffusion (DWI) [Le Bihan1985] Principe Mesure de la diffusion des molécules d eau Diffusion isotrope ou anisotrope Evaluation de la direction préférentielle Fig1. Diffusion isotrope Diffusion anisotrope Cartes de diffusion Reconstruction des faisceaux Tractographie Nombreux algorithmes probabilistes ou déterministes Fig 2. Cartes de Fraction d anisotropie (FA) brute (a) ou colorée : RGB codant les 3 directions de l espace (b). [Le Bihan et al.1985] D. Le Bihan et al.,imagerie de diffusion in-vivo par résonance magnétique nucléaire, Cr.Acac.Sc.(Paris) 301,15, 1109-1112,1985. Fig 3. Résultats de tractographie issus d algorithme déterministe (DTI toolkit, Streamline ) Laboratoire d anatomie, Tours 6

Introduction Projet FibrAtlas (C. Destrieux, 2009) Validation de tractographie in-vivo à partir de données de dissection Mise à disposition en ligne des données pour la communauté neurosciences Objectifs des travaux de thèse Conception d une méthode complète de suivi de dissection, depuis l acquisition 3D des données jusqu à leur visualisation interactive. Concevoir un outil à destination d experts anatomistes pour l extraction de connaissances Construire des «vérités terrain» pour aboutir à des comparaisons quantitatives de données anatomiques 7

Plan de la présentation Introduction Validation de tractographie Acquisitions 3D de donnes anatomiques Visualisations médicales 3D Méthodologie 8

: Problématique de la validation Approches de validation existantes sur Données simulées [Hall&Alexander2009] Grand nombre de données disponibles Modèles numériques (structures simplifiées) «La tractographie est elle le véritable reflet de l anatomie?» Données réelles issues d objets test (fantômes) [Poupon2008][Fillard2011] Comparaison à une vérité terrain Reste une approximation des structures anatomiques Données réelles sur animal (in-vivo/ex-vivo) [Dauguet2007] Amélioration du contraste des faisceaux par traçage axonal Sacrifice: impossible à réaliser sur l humain, cohérence 3D Données réelles sur l humain (ex-vivo) : Comparaison avec l anatomie réelle Difficultés pour effectuer des comparaisons quantitatives 9

: les approches de validation ex vivo Comparaison directe à l anatomie Principe Chez l humain PLI (Image en lumière polarisée) [Axer2011] OCT (Optical Coherence Tomography) [Huang1991] - Reconstruction des directions des fibres - Analyse des réflexions en lumière polarisée - Coupes fines - Acquisition optique - Principe d interférométrie - Coupes épaisses Oui Oui Inconvénients - Nécessite une découpe en tranche ex vivo: déformations - Temps d acquisition pour un cerveau entier [Axer2011] Axer et al., Microstructural Analysis of Human White Matter Architecture Using Polarized Light Imaging: Views from Neuroanatomy, Front. neuroinformatics, 2011 [Huang1991] Huang et al., Science 254, no. 5035 pp. 1178-1181,1991 10

: les approches de validation ex vivo Comparaison directe à l anatomie Fig 1 : Illustration issue de [Kier2004] Fig 2 : Illustration issue de [Nigel2008] Principe Chez l humain Dissection +IRM [Kier2004] Dissection +extraction des faisceaux [Nigel2008] - Acquisition IRM T1 itératives - Durant la dissection - Dissection, extraction des faisceaux, comparaison visuelles -Validation par rapport à atlas Oui Inconvénients - Difficile à mettre en place: beaucoup d acquisitions IRM - Résolution de l IRM Nécessité d une méthode de suivi de dissection d une Oui pièce anatomique - Faisceaux manipulés lors de l extraction - Comparaisons qualitatives uniquement [Kier2004] Kier et al.,anatomic dissection tractography: A new method for precise MR localization of white matter tracts. Am JNeuroradiology, 25, 2004, pp 670-676. [Nigel2008] I. Nigel et al. Atlas-based segmentation of white matter tracts of the human brain using diffusion tensor tractography and comparison with classical dissection, NeuroImage, 39, 2008, Pages 62-79. 11

Plan de la présentation Introduction Validation de tractographie Acquisitions 3D de données anatomiques Visualisations médicales 3D Méthodologie 12

: Acquisitions 3D en anatomie En chirurgie orthopédique : acquisition 3D laser cartilages de genou [Trinh2006] Comment établir des «vérités terrain»? 2 acquisitions scanner laser 3D, avant et après dissection Carte colorée de l épaisseur Reconstruction du cartilage Vue de la pièce anatomique Figures issues de [ Trinh et al.2006] En chirurgie mammaire : acquisition 3D laser Reconstruction de seins [Kovacs2006],[Patete2012] [Trinh et al.2006] Accurate Measurement of Cartilage Morphology Using a 3D Laser Scanner in Computer Vision Approaches to Medical Image Analysis, pp 37-48, Springer, Berlin Heidelberg [Kovacs2006] Comparison between breast volume measurement using 3D surface imaging and classical techniques, The Breast, 16(2), 2006, pp137-145 [Patete2012] Comparative Assessment of 3D Surface Scanning Systems in Breast Plastic and Reconstructive Surgery, Surgical Innovations, 2012 13

Plan de la présentation Introduction Validation de tractographie Acquisitions 3D de donnes anatomiques Visualisations médicales 3D Méthodologie 14

: Visualisation 3D Visualisations de données médicales Données 3D volumiques Images IRM/ScannerX Visualisation en coupes 2D Rendu volumique peu présent Slicer [Halle 2012] from www.slicer.org Données 3D surfaciques Générées à partir des volumes Maillages peu complexes Besoins spécifiques Maillages de grande dimension Visualisation et interactions avec des données surfaciques et volumiques Stéréoscopie et retour haptique Freeview/freesurfer from «Introduction to freesurfer» https://surfer.nmr.mgh.harvard.edu/ MedINRIA from http://wwwsop.inria.fr/asclepios/software/medinria 15

Contributions significatives Acquisition 3D surfacique Acquisition précise, rapide et fréquente Protocole unique Visualisation & Interactions Grands maillages Immersion 3D et retour haptique Sélection interactive Intégration de méthodes Plaquage de texture Recalages surfaces/surfaces et surfaces/irm Reconstruction Comparaison quantitative de volumes Validations unitaires et intégrative complète (acquisition, interfaces, quantifications) 16

Plan de la présentation Introduction Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons 17

: Vue d ensemble A: Fixation de la pièce Platine en PVC, paraffine Points repères B: Acquisition IRM T1 initiale Volume IRM 3D C: Acquisitions successives Surfaces 3D F Information de couleur Recalages D: Etiquetage/Segmentation de ROIs D E: Reconstruction 3D F: Recalage 3D & Visualisation E Objet reconstruit visualisé dans l acquisition IRM initiale 18

Plan de la présentation Introduction Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons 19

Acquisition 3D - volumique IRM morphologique (T1) Objectif Obtenir un référentiel volumique de la pièce Acquérir la morphologie du spécimen Avant toute dissection Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Matériel Imageur IRM 1,5T (GE) Antenne de type «head» Acquisition T1 de la pièce dans la platine PVC avec ses repères Voxels isotropes 1mm 20

Acquisition 3D - surfacique «Comment acquérir la surface d un spécimen anatomique?» Objectif Numériser un spécimen anatomique Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Technologies d acquisition 3D Stéréoscopie Projection de franges Laser Contraintes sur l acquisition Physique du matériau à acquérir Encombrement Dimensions Géométrie complexe (sillons) a Fig 1. Laser : HDS3000, Leica Geosystems AG (a), FaroArm, FARO Gmbh (b) - Projection de franges : Mephisto, 4DDynamics (c) b c 21

Choix du dispositif d acquisition surfacique «Comment choisir un dispositif d acquisition 3D adapté?» Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Choix du bras FaroArm Technologie Laser 7 degrés de liberté - flexibilité Répétabilité des mesures 100 à 150 µm Haute densité d acquisition 19 000 points/s Organe de palpation Budget < 50 K a Fig 1. Laser : HDS3000, Leica Geosystems AG (a), FaroArm, FARO Gmbh (b) - Projection de franges : Mephisto, 4DDynamics (c) b c 22

Acquisition 3D surfacique: Méthodologie Objectifs Acquisition 3D haute résolution, maillages fins Maîtriser le volume de données Assurer la reproductibilité Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Mise en place d un protocole d acquisition normalisé Mise en place d une chaîne de post-traitements (mm) (mm) 23

Acquisition 3D surfacique : texture Objectif Capturer l information de couleur Acquisition ortho photographique 2 3 1 4 Résultat Conception du système d acquisition Support boîtier Système d éclairage Génération de la texture Dispositif d acquisition ortho photographique Vue du module d acquisition photographique composé de: 1. Boîtier Pentax K20 10Mpixels avec déclenchement distant 2. Objectif 50 mm 3. Flash de type annulaire 4. Platine de réglage à pas millimétrique 24

Acquisition 3D surfacique : texture Objectif: Obtenir un spécimen virtuel 3D réaliste Enrichir l acquisition surfacique «Comment effectuer le placage de texture?» Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Application de la texture Evaluation des paramètres de projection Technique de l état de l art: Projection perspective [Everitt01] Correction des occlusions méthode des shadow map Placage semi-interactif Validations qualitatives Scènes simples Hémisphères de cerveau Schéma de la méthode de projection de texture choisie pour obtenir des surfaces 3D texturées. [Everitt01] C. Everitt, Technical report, Nvidia, 2001 25

Plan de la présentation Introduction Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons 26

Recalage 3D «Pourquoi effectuer des recalages 3D?» Recalages 3D de surfaces Acquisitions effectuées à des instants différents Déplacements de la platine entre 2 acquisitions Exprimer l ensemble des surfaces dans un même repère F Recalages 3D du faisceau reconstruit dans l IRM D Deux modalités différentes Surfaces 3D / IRM E 27

Recalage 3D «Comment effectuer ce recalage 3D?» de recalage rigide Basé sur l Iterative Closest Point (ICP) de [Besl&Mckay92] Mise en correspondance Evaluation de la transformation Itérations jusqu à un critère d arrêt n 1: Prise en compte de l ensemble des points des deux surfaces 3D (maillages) n 2 Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons n 2: Prise en compte d un sous ensemble de points des deux surfaces 3D n 3: Basée sur les seuls points repères des deux surfaces 3D Scène de test: En rouge, le sous ensemble de points intervenants dans le recalage n 3 Evaluation des 3 méthodes [Besl&Mckay92] : A method for registration of 3-d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(2): pp239-256 28

Plan de la présentation Introduction Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons 29

Visualisation 3D Objectifs Représenter les données hétérogènes acquises Permettre à l utilisateur de configurer sa visualisation Extraction interactive des connaissances Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Visualisation des données 3D surfaciques (surfaces 3D laser) 3D volumiques (volumes IRM) Visualisations mixtes Outils de filtrage visuel Masquage/affichage du contexte Plans de coupes Dépendant de la vue Fixes Fonctions de transfert Pilotage du rendu volumique 30

Visualisation 3D : outils Surfacique Volumique Mixte Fig 1. Vue éclatée de 3 étapes de dissection d un spécimen. Les portions visibles du FLS sont en violet. Fig 3. Plan virtuel de coupe permettant de mettre au jour les parties masquées Fig 5. Exemples de visualisations mixtes possibles avec les outils proposés Fig 4. Outils interactif de gestion des fonctions de transfert (RGB +alpha) sur Fig2. Visualisation d erreurs lors de la un seul graphe comparaison de 2 acquisitions surfaciques. 31

Interactions: outils de segmentation Objectif Permettre la segmentation de ROIs directement sur les surfaces. Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Curseur 3D Matérialisation par un objet «glissant» sur la surface 3D Outils à disposition pour la sélection des ROIs Selon une ligne ou à main levée Remplissage des contours fermés Sélection additive ou soustractive Sélection inverse Fig. 2 : Exemple de sélections de triangles et opérations ensemblistes à disposition 32

Interactions: visualisation immersive Objectif «Comment améliorer l étape de sélection des ROIs?» Ajouter la perception haptique et visuelle du relief. Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Intégration d un bras haptique Phantom de chez Sensable Inc. Visualisation en 3D stéréoscopique Affichage 120Hz (60Hz/œil) Lunettes synchronisées à obturation. Evaluation Etude utilisateur Phantom Omni Ecran 120Hz Lunettes synchronisées à obturation Nvidia Fig. 1 : Segmentation d un faisceau en vision stéréoscopique et à l aide du retour haptique 33

Plan de la présentation Introduction Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons Résultats Expérimentaux 34

Reconstruction 3D : depuis les ROIs jusqu au volume 3D Objectifs Construire une «vérité terrain» surfacique Construire une «vérité terrain» volumique Empilement des ROIs de même étiquette Discrétisation en volume: voxellisation Corrections topologiques: remplissage de trous Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Définition de la grille (ex. 1mm x 1mm x 1mm) Validations Expérimentation sur un objet dissecable et segmentable: œuf Précision: variable selon discrétisation de la grille 35

Plan de la présentation Introduction Anatomie des fibres blanches cérébrales Moyens d investigation Validation de tractographie Acquisitions 3D de donnes anatomiques Visualisations médicales 3D Méthodologie Acquisition 3D Recalages surfaces 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons Résultats Expérimentaux 36

Recalage du faisceau reconstruit dans l IRM Objectifs Exprimer les représentations volumiques et surfaciques dans un même repère Fusionner ces informations au sein d une même visualisation Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Problématiques Repères IRM à extraire Seuillage Clustering Isobarycentre Recalage 3D surface(s) IRM Rigide (ICP) d Vis (repère Scanner Laser) Sphère (repère IRM) d Soutenance de thèse de doctorat B. Serres 37

Plan de la présentation Introduction Méthodologie Acquisition 3D Recalages 3D Visualisation & Interactions Reconstruction Recalages surfaces/irm Comparaisons Résultats Expérimentaux 38

Comparaison de volumes Objectif Quantifier la similarité de V avec V ref Quelles méthodes? Indices issus de la validation de segmentation binaire Précision, Rappel, F α mesure, Dice[Dice1945], Jaccard[Jaccard1901] Indices établis à partir d une matrice de confusion Méthodologie - Acquisition 3D - Recalages 3D - Visualisation & interactions - Reconstruction - Recalage surfaces/irm - Comparaisons Distances distance Hausdorff distance Hausdorff modifiée [Dice1945] Dice L.R. Measures of the amout of ecologic associations between species, Ecology, 1945, 26(3) pp 297-302 [Jaccard1901] Distribution de la flore alpine dans le bassin des dranses et dans quelques régions voisines, Bulletin de la société Vaudoise de sciences naturelles, 37, pp241-272 39

Plan de la présentation Introduction Méthodologie Validations de la méthode Expérimentations F D E 40

Validation: Acquisition 3D surfacique Acquisition 3D Choix d une étape avancée de dissection Post traitements Filtrage des nuages de points Triangulation Simplification du maillage Validation de la répétabilité 1 étape de dissection : 3 acquisitions Comparaisons 2 à 2 des acquisitions Mesure de l erreur en chaque points du maillage (ppv distance euclidienne) Visualisation de l erreur à l aide d une carte colorée Erreur Visualisation des erreurs lors de la comparaison de 2 acquisitions d une même surface. (1;2) (1;3) (2;1) (2;3) (3;1) (3;2) Mesures de la répétabilité des acquisitions surfaciques d une étape de dissection 41

Validation: de recalage 3D Résultats : de recalage Scène de test 1 seule acquisition de la scène 2 maillages, transformation arbitraire Confrontation de la précision des 3 méthodes: ε calculées pour l ensemble des points du nuage Carte couleur de répartition des erreurs ε min (µm) ε max (µm) ε moy (µm) σ (µm) 300 µm 0 µm 300 µm Nuage global 1,7 343,6 56,8 40,3 Sous ensemble : têtes de vis 2,2 800 129 72,4 Points repères 0 0,2 5,2.10-3 1,12.10-3 0 µm 300 µm Tableau récapitulatif des erreurs de recalage mesurées avec les 3 méthodes envisagées 42 0 µm

Evaluation outils de segmentation Expérimentation Menée auprès de 5 experts Evaluer l apport du dispositif haptique Protocole 5 tâches simples de sélection avec la souris et avec le bras haptique Mesure du temps Evaluation de précision (précision/rappel) Résultats & discussion Experts montrent une bonne précision plutôt homogène Léger gain en temps Pas de gain significatif en précision Temps d apprentissage 43

Plan de la présentation Introduction Méthodologie Validations de la méthode Expérimentations Reconstruction du FLS Comparaisons de volumes 44

Acquisition des surfaces 3D Un hémisphère 1 faisceau cible: FLS 33 étapes Dissection Acquisitions 3D Points repères (palpeur) Nuages de points Post traitements Vue d une acquisition surfacique par scanner laser d une pièce anatomique en cours de dissection. Acquisitions couleur Ortho photographie Série d ortho photographies acquises à chaque instant d acquisition 3D durant le processus de dissection 45

Sélection des ROIs : portions du FLS Navigation et visualisation immersive Recalage 3D Transformation rigide sur les points repères Segmentation Mettant en œuvre les outils de sélection de maillage Visualisation des ROIs En rendu surfacique Dans leur contexte Fig. 2 : Etapes de segmentation des différentes portions visibles du faisceau 46

Recalage 3D du FLS dans l IRM Reconstructions surfaciques du Faisceau Longitudinal Supérieur (FLS) à partir de données de dissection [Serres2013] Reconstructions volumique du FLS 47

Plan de la présentation Introduction Méthodologie Validations de la méthode Expérimentations Reconstruction du FLS Comparaisons de volumes 48

Expérimentation : comparaisons Objectifs Valider la reconstruction 3D Comparer quantitativement 2 modalités d acquisition (IRM/laser) objet simple dissécable V ref : Vérité terrain Acquisition 3D volumique (T1) Avant dissection Contraste blanc/jaune optimal Segmentation du jaune Reconstruction 3D volumique Vue de la platine avec les objets test Acquisition IRM T1 montrant le contraste blanc/jaune obtenu. Vérité terrain: Segmentation du jaune par la méthode de [Otsu79] [Otsu79] N.Otsu, A Threshold Selection Method from Gray-Level Histograms,Transactions on System, Man, and Cybernetics. SMC-9(1), 1979 49

Expérimentation : comparaisons Etape 1 Protocole Acquisitions 3D successives (11 étapes) Etiquetage des ROIs (jaune) Reconstruction 3D Etape 2 Résultat de reconstruction du jaune (volumique) Etapes de dissection étiquetées Calcul des indices de similarité et distances entre V et V ref Analyse & Discussion 2 volumes issus de 2 modalités différentes Indices traduisant une bonne similarité Indicateur Valeur calculée Valeur optimale Précision 86.94% 100% Rappel 97.15% 100% F-measure (α=0.5) 88.81% 100% Dice 0.918 1.0 Jaccard 0.848 1.0 D hausdorff 1.8 0 (voxels) D hausdorff 1.04 0 (voxels) 50

Plan de la présentation Introduction Méthodologie 51

Conclusion Les travaux présentés nous ont permis de Proposer une méthode de suivi de dissection Interactivement étiqueter des structures internes d un spécimen Construire des «vérités terrain» haute résolution Comparer quantitativement des données volumiques à cette vérité terrain Limites Subjectivité lors de la segmentation des ROIs et lors de la dissection Peu de faisceaux par dissection Acquisition d un seule texture, 1 seule angle de vue Temps de dissection Développement d une application L outil a été conçu en interaction avec l utilisateur Actuellement utilisée par un neuroanatomiste Collaboration pluridisciplinaire Anatomistes, physiciens, informaticiens Validations de méthode au travers d une expérimentation sur des données réelles 52

53 Introduction Perspectives Enrichissement des indicateurs quantitatifs de comparaisons volumiques Métriques, cartes de distances Comparaison avec des données issues de Fantômes (Travaux de Thèse de I.Filipiak) Tractographie ex-vivo (A. Martinos Center, MGH, USA et Neurospin, CEA-Saclay) Poursuite de reconstructions de faisceaux (Principaux faisceaux et fibres en U) Validation de tractographie in-vivo Intégration dans un projet plus large (Fibratlas II) Recalage in-vivo/ex-vivo (A. Martinos Center, MGH, USA ) Mise à disposition des vérités terrain pour la communauté Collaboration INRA (plateforme CHIRE «gros animal», Nouzilly (37))

54 Introduction Merci de votre attention. Projet Fibratlas Comparaison, chez les mêmes sujets, de la reconstruction des fibres blanches cérébrales par IRM de diffusion in-vivo à la dissection: Evaluer et valider les algorithmes de tractographie Mettre ces données à disposition de la communauté neuroanatomiste Remerciements: Experts Anatomistes: C. Destrieux (PU-PH) U930/Eq5 - Coordinateur du projet S. Velut (PU-PH) U930-Eq 5 J-P. Cottier (PU-PH) neuroradiologue U930-Eq5 I. Zemmoura (CCA-HU) neurochirurgien U930-Eq5 Acquisitions & Post-traitements IRM: F. Andersson, PhD (IR) U930-Eq5 C. Tauber, PhD (MCU) U930-Eq3 L. Barantin, PhD (IR) U930-Eq5 I. Filipiak, Doctorante, U930-Eq5 Acquisitions 3D, Visualisations et traitements: G. Venturini, Prof. EA6300 B. Serres, Doctorant EA6300/U930-Eq5

Soutenance de thèse de doctorat B. Serres 55 Annexes

Projet Fibratlas - suite Soutenance de thèse de doctorat B. Serres 56

Tractographie sur Fantôme: I. Filipiak et al. 1. Tubes pour diffusion isotrope 2. Fibres longitudinales 3. Fibres en U 4. Fibres avec des angles variant de 30 à 180 5. Croisement de fibres En cours de construction Fibre de dyneema 6. Fibre en éventail 57

: Acquisitions 3D en anatomie Comparaison de résultats issus d IRM à une vérité terrain Mesure de précision de modèles de cartilages issus d acquisitions IRM [Koo et al. 2009] Comparaisons quantitatives basiques Précision milimétrique Carte colorée (a) des mesures d épaisseurs de cartilage et (b) de leur comparaisons depuis deux acquisitions 3D laser et IRM. Figure issue de [Koo et al.2009] [Koo et al. 2009] Accuracy of 3D Cartilage Models Generated From MR Images Is Dependent on Cartilage Thickness: Laser Scanner Based Validation of In Vivo Cartilage in J Biomech Eng. 2009,131(12) 58

Dissection - Validations Etude des déformations Expérimentation 2 acquisitions IRM Recalage 3D (FLIRT & FNIRT FSL) Résultats Aucune déformation lors de la dissection Validation qualitative Résolution IRM T1 1mm Etude de la résolution selon l axe Z Mesures de distances PPV Distance euclidienne En Nd Gris : étape N En Nd Jaune: étape N+1 Zemmoura, Serres et al. OHBM 2011 Zemmoura, Serres et al. Submitted Neuroimage 2013 59

Iterative Closest Point (ICP) Algorithme (recalage rigide) Soit 2 nuages de points X et X On cherche à minimiser : On pose : k k k 1 1 i N X N X i 0 X i ppv( X i, X ' ) 2 Etapes: Initialisation Tant Que ( δ > seuil ) OU ( k > max_iterations ) Recherche du plus proche voisin (O(N Log N)) Calcul de la transformation (O(N)) du Quaternion unitaire[horn1987] Application de la transformation (O(N)) Mise à jour de δ Optimisations Recherche du PPV: kd-tree, Approximate Nearest Neighbors Convergence Assurée, monotone vers minimum local Importance de l initialisation Manuscrit, pp112-115 60

Recalage IRM: validations Validation Qualitative Validation Quantitative Manuscrit, pp129-132 61

Projection de texture Texturage Projectif (Projective Texturing) Avec n : «near» ou plan proche f : «far» ou plan lointain r : plan droit l : plan gauche t : plan haut b : plan bas θ: angle d'ouverture Calcul des coordonnées de texture: s t T r 1 projecteur x y z 1 Avec T projecteur S ajustement P projecteur V projecteur M objet P projecteur h w arctan( 0 0 0 2 ) 0 arctan( 0 0 2 ) f 0 0 f n 1 0 0 f n f n 0 S ajustement 0.5 0 0 0 0 0.5 0 0 0 0 0.5 0 0.5 0.5 0.5 1 62

Software 63

Acquisition 3D Surfacique Vue du processus d acquisition 3D surfacique par scanner laser d une pièce anatomique Vue du maillage résultant d une acquisition surfacique par scanner laser d une pièce anatomique en cours de dissection. 64

Acquisition 3D Volumique Acquisition IRM pondérée en T1 Choix de la platine PVC Matériau visible en hypo-signal IRM Choix du matériau de fixation Paraffine (hypo signal) Colorée (acquisition laser) Visualisation classique: 3 plans 2D Choix et positionnement des repères: 4 points repères non coplanaires Corps gras, visibles en hyper-signal Visualisation 3D en rendu volumique 65

Expérimentation Tractographie Cordes Objectif: Comparer une reconstruction tractographique à une vérité terrain Protocole Extraction de V Acquisition DTI, puis T1 Tractographie déterministe (DTI toolkit, Streamline) Extraction des reconstructions des torons par ROIs sphériques Extraction des torons en image volumique binaire Construction de V ref Acquisition laser des torons dégagés Etiquetage des portions de toron Export en image volumique de l enveloppe scannée Fermeture 3D Comparaison de V et V ref 66

Expérimentation Tractographie Cordes V Ref V Comparaison de V à V ref Indicateur Valeur calculée Valeur optimale Précision 83% 100% Rappel 48% 100% F-measure (α=0.5) 42% 100% Dice 0.42 1.0 Jaccard 0.60 1.0 67

Comparaisons : Calcul des indices Matrice de confusion Externes Vref Internes Vref Externes V a b Internes V c d Précision, Rappel, F-mesure P = F α -mesure = R = b c d d d d (1 ² ²) P R P R Similarité (Dice & Jaccard) J ( V ref, V ) V V ref ref V V d b c d D( V ref, V ) Vref V 2 d 1 ( V V ) card ( V ) card ( V 2 ref ref ) 68