Imagerie Médicale LIRMM, Equipe ICAR Benjamin GILLES, CR CNRS Benjamin.gilles@inria.fr
Reconstruction Analyse & Traitement Géométrie 3d ICAR Modélisation & Visualisation Segmentation Codage & Protection Recalage Simulation Realité virtuelle Visualisation
Plan - Reconstruction d'images (O. Strauss) - Analyse d'images Classification (G. Subsol) Segmentation (B. Gilles) - Modèles déformables (B. Gilles) Recalage d'images médicales Simulation biomécanique - Morphométrie 3d (G. Subsol)
Reconstruction from PET images 1/2 Why do we need to quantify the noise level? Emission tomography-based diagnosis: B A RA o H: µ(a) µ(b) (you re sick) o H1: µ(a) = µ(b) (you re safe) RB Collab. CHRU Montpellier, médecine nucléaire O. Strauss, A. Lahrech, A. Rico, D. Mariano-Goulart and B. Telle A New Interval Based Algebraic Reconstruction Technique for Error Quantification of Emission Tomography Images, MICCAI 29, G.-Z. Yang et al. (Eds.), Part I, LNCS 5761, pp. 148 155, 29.
Reconstruction from PET images 2/2 Inverting the discrete Radon transform I1 I2 I3 I4 Quantifying the noise by using a model variation IN-1 IN O. Strauss, A. Lahrech, A. Rico, D. Mariano-Goulart and B. Telle A New Interval Based Algebraic Reconstruction Technique for Error Quantification of Emission Tomography Images, MICCAI 29, G.-Z. Yang et al. (Eds.), Part I, LNCS 5761, pp. 148 155, 29.
Plan - Reconstruction d'images (O. Strauss) - Analyse d'images Classification (G. Subsol) Segmentation (B. Gilles) - Modèles déformables (B. Gilles) Recalage d'images médicales Simulation biomécanique - Morphométrie 3d (G. Subsol)
Diagnostic Assisté par Ordinateur 1/4 - L utilisateur définit une zone d intérêt dans l image médicale Tomodensitométrie multiphasique - La zone d intérêt est analysée à partir des paramètres appris sur une base de données - reçoit des informations pour aider son diagnostic Collab. IMAIOS A. Quatrehomme, I. Millet, D. Hoa, G. Subsol et W. Puech Assessing the Classification of Liver Focal Lesions by Using Multi-phase Computer Tomography scans, Third MICCAI Int. Workshop on Medical Content-based Retrieval for Clinical Decision Support, p 8-91, 212.
Diagnostic Assisté par Ordinateur 2/4 Sain Sain Foie sain Lésions non cancéreuses Abc. Abcès Adé. Adénome Ang. Angiome HNF Hyperplasie Nodulaire Focale Lésions cancéreuses Kys. Kyste CHC Carcinome HépatoCellulaire Mét. Métastase 1 préinjection 2 artérielle 3 portale 4 tardive A. Quatrehomme, I. Millet, D. Hoa, G. Subsol et W. Puech Assessing the Classification of Liver Focal Lesions by Using Multi-phase Computer Tomography scans, Third MICCAI Int. Workshop on Medical Content-based Retrieval for Clinical Decision Support, p 8-91, 212.
Diagnostic Assisté par Ordinateur 3/4 Ensemble de descripteurs visuels Statistiques sur l histogramme des niveaux de gris [1]Ernst Ising, Beitrag zur Theorie des Ferromagnetismus, Zeitschrift für Physik A Hadrons and Nuclei, Springer, issue 1 volume 31 p. 253-258, 1925. Gaussian Markov Random Fields (GMRF) [3] M. Hassner and J. Sklansky, The use of Markov random fields as models of texture, Computer Graphics and Image Processing, 12:357 37, 198. Mesures de Law K. Laws. Rapid texture identification. In SPIE Vol. 238 Image Processing for Missile Guidance, p.376-38, 198. 8 Statistiques sur les histogrammes d Unser 6 SUM DIFF 4 2 1 2 3 4 5 6
Diagnostic Assisté par Ordinateur 4/4 MATRICE DE CONFUSION Etiquettes Lésions Sain Ang. Abc. Kyste HNF CHC Mét. Sain 37 Angiome 9 2 1 Abcès 1 1 4 Kyste 9 1 1 HNF 2 2 2 CHC 1 1 1 Métastase 3 13 Instances correctement étiquetées : 78 / 1 (78%) / précision,711 A. Quatrehomme, I. Millet, D. Hoa, G. Subsol et W. Puech Assessing the Classification of Liver Focal Lesions by Using Multi-phase Computer Tomography scans, Third MICCAI Int. Workshop on Medical Content-based Retrieval for Clinical Decision Support, p 8-91, 212.
Segmentation d'images 2D+t Cartographie dynamique du tremblement par echographie musculaire Flot optique Collab. CHRU Montpellier, neurologie Equipe DEMAR, INRIA-LIRMM Labex Numev Analyse fréquentielle
Plan - Reconstruction d'images (O. Strauss) - Analyse d'images Classification (G. Subsol) Segmentation (B. Gilles) - Modèles déformables (B. Gilles) Recalage d'images médicales Simulation biomécanique - Morphométrie 3d (G. Subsol)
Modèles déformables ue tiq ma e or i qu Inf aph Gr Im mé ager dic ie a le Modélisation Modèles 3d déformables Simulation Validation Biomécanique
Modélisation 3d et simulation mesure Introduction 1/7 Visualisation Diagnostic Anatomie comparée Fusion de données Benjamin GILLES simulation Animation 3d Biomécanique Education Planning chirurgical
Approche par segmentation d'images Segmentation Semi-automatique Reconstruction D'un maillage de surface Images médicales: IRM, CT, US, etc. Paramétrage Visualisation, Analyse 3D, Animation, Simulation, etc.. Introduction 2/7 Benjamin GILLES
Approche par recalage Connaissance a priori Modèle + images de référence Données Patient 3D, 3D+t Introduction 4/7 Modèle patientspécifique Scanner, IRM... Benjamin GILLES Recalage
Skeleton registration Evolution in the space of feasible shapes and feasible poses Mix : As-rigid-as possible elastic deformations Shape statistical constraints Joint angle and shift limits Distance to data (image/surface) minimization Global-to-local resolution Introduction 7/7 Benjamin GILLES B. Gilles, L. Revéret, D.K. Pai, Creating and animating subject-specific anatomical models, Computer Graphics Forum, presented at Eurographics 11, 29(8), pp 234-2351, 21.
Recalage géométrique
Recalage d'images
Recalage d'images Identification des espaces ORL profonds pour la radiothérapie Collab. Université Paris Descartes
Recalage d'images Recalage élastique des muscles de la cuisse sur des IRMs Pathologies? Collab. CREATIS
Approche par interpolation : transfert anatomique Collab. INRIA A. Dicko, T. Liu, B. Gilles, O. Palombi, L. Kavan, M-P Cani, F. Faure Anatomy transfer ACM Transactions on Graphics, proc. of SIGGRAPH Asia, 32 (6), 213.
Fusion de modèles Collab. phuman (UBC, U. Toronto, Autodesk)
Modélisation 3d et simulation mesure Introduction 1/7 Visualisation Diagnostic Anatomie comparée Fusion de données Benjamin GILLES simulation Animation 3d Biomécanique Education Planning chirurgical
SOFA opensource framework Multi-model representation Split computations into independent parts - Separate problems - Improve reusability Collab. INRIA
Hybrid models using embedings q Time integration Nodes 1D deformation 2D deformation 3D deformation Spatial integration Spatial integration Spatial integration Elastic energy Elastic energy Elastic energy
Application to muscle simulation Collab. DEMAR Y. Berranen, M. Hayashibe, D. Guiraud, B. Gilles, Real-time Muscle Deformation via Decoupled Modeling of Solid and Muscle Fiber Mechanics, Medical Image Computing and Computer Assisted Intervention, MICCAI, vol. 8674, pp 65-72, 214.
Application to subcutaneous tissues Collab. CHRU Montpellier, chirurgie plastique C. Herlin, B. Gilles, G. Subsol, G. Captier, Generic 3D Geometrical and Mechanical Modeling of the Skin/Subcutaneous Complex by a Procedural Hybrid Method, Int. Symposium on Biomedical Simulation, ISBMS, vol. 8789, p173, 214.
Real-time simulation using frame-based models Combine : - Sparse discretization - Detailled material distribution (heterogeneous) Static solutions stored in shape functions Collab. INRIA F. Faure, B. Gilles, G. Bousquet, D.K. Pai, Sparse Meshless Models of Complex Deformable Solids, ACM Transactions on Graphics, SIGGRAPH, 3 (4), 211.
Simulation du contact Aide à la conception d'orthèses Collab. Tecnalia ANR Sohusim
Recalage + Simulation Startup Anatoscope, Transfert technologique UJF, CNRS, INRIA, UM
Plan - Reconstruction d'images (O. Strauss) - Analyse d'images Classification (G. Subsol) Segmentation (B. Gilles) - Modèles déformables (B. Gilles) Recalage d'images médicales Simulation biomécanique - Morphométrie 3d (G. Subsol)
Analyse de forme 1/2 CT-Scan of the head of a child affected by a plagiocephaly
Analyse de forme 2/2 Manual localization of the initial deformable surface No user interaction Manage automatically the fontanels 364,721 vertices / 729,438 faces Could be useful to compare the dissymmetry of the endocranium and of the skull base Collab. CHRU Montpellier, chirurgie orthopédique infantile, Prof. Captier
Imagerie Médicale LIRMM, Equipe ICAR Benjamin GILLES, CR CNRS Benjamin.gilles@inria.fr