Nouvelles méthodes en Numérisation et Modélisation 3D et en Chirurgie Assistée par Ordinateur Centre Ingénierie et Santé, Saint Etienne François Goulette Courriel : francois.goulette@mines-paristech.fr 9 novembre 2010 2 3D et variantes Recherche industrielle et académique Robotique et 3D à EDF Séour au MIT Enseignant-chercheur à Mines ParisTech Suites 3D : industriel, puis environnements extérieurs Robotique médicale Quel lien? Présentation de différents travaux (perso + équipe) Présentation proposée Deux parties : Numérisation et Modélisation 3D Chirurgie Assistée par Ordinateur Pour chaque partie Panorama des axes Un suet choisi : présentation détaillée, «focus» 3 4 2) Numérisation et Modélisation 3D Panorama Identification et modélisation 3D en environnement industriel Modélisation 3D d environnements urbains et routiers Focus : Modèles urbains photo-réalistes avec caméra fish-eye 5 6 1
Identification et modélisation 3D en environnement industriel Recherche industrielle Localisation par caméra de défauts sur une plaque du Générateur de Vapeur (brevet) Images EDF Identification et localisation de têtes de vis par télémétrie laser Maquette de bol de Générateur de Vapeur (GV) Zones confinées d interventions en centrales nucléaires 7 Images EDF 8 Modélisation 3D par relevés laser 1- Segmentation automatique par outils de géométrie différentielle Relevé laser et modèle «Tel Que Construit» (TQC) d un environnement industriel Méthodes : Photogrammétrie Relevés laser scanner à triangulation SOISIC (MENSI) Images EDF 9 Graphe Global de Courbures Publications (3DIM 2007) Modélisation automatique de tuyauterie à partir des centres de courbure 10 2-Segmentation semi-automatique par «propagation contrainte» Étapes de segmentation par propagation contrainte 1 thèse (T.Chaperon), CIFRE MENSI EDF (2002) Résultats intégrés dans un logiciel commercial Prix de l innovation Trimble (T.C.) Suite des travaux -> brevet USA (pending) Publications mais restreintes (confidentialité) 11 Modélisation 3D d environnements urbains et routiers Systèmes d Informations Géographiques (SIG) Villes en 3D Bases de données routières Collecte d informations Musée du Louvre en 3D Systèmes Mobiles de Cartographie (Mobile Mapping Systems) Compromis entre acquisitions aéroportées et terrestres fixes Images, scanner laser [ZHA01] Terrestres, aériens (drones) Google Earth 12 2
Le prototype LARA-3D Version février 2008 Modèles de routes et sécurité routière Cartes de visibilité avec LCPC / LRPC Strasbourg 1 thèse (I.Abuhadrous, 2005) 10 Publications Choix de maintenir et faire évoluer la plateforme Image aérienne Relevé laser - points 3D 1 thèse soutenue (X. Brun, 2007), 2 en cours Publications Carte calculée [JSI 2006] Video parcours Guingamp Développé au CAOR depuis 2002. 13 14 Villes virtuelles 3D Proet TerraNumerica (Cap Digital), 2006-2009 Intérêts : SIG 3D, tourisme virtuel Plusieurs thèses en cours Modèles photo-réalistes (J.E.Deschaud) Étude de concepts de MMS (H.J.Yoo, CIFRE MENSI) Recalage de données hétérogènes (T. Ridene) Localisation (K. Narayan) Publications Focus : Modèles urbains photo-réalistes avec caméra fish-eye Motivations : Aouter de la couleur avec un nombre limité de caméras Contexte de calcul en temps court Video simulation MMS 15 16 Calcul en «temps court» Aucune perte de données avec un reeu à 100% Motivé par : quantité de données ; système rapide et à bas coût Elément différenciateur des autres approches [FRU05, PEN05, etc.] Scanner laser et caméra fish-eye Image de la caméra Plateforme rigide scanner laser / caméra Chaîne de traitement de données «temps court» 17 Aout de couleur / texture Publications : [Brun 2007, Deschaud 2009] Données Laser en 2D 18 3
Fusion de données multiples Video acquisition urbaine Video acquisitions fusionnées Bilan «3D» Acquisition traitement de données 3D «Numérisation et Modélisation 3D» Contexte Collaborations : Recherche publique, entreprises, interne EMP, etc. Rue Soufflot, Paris Points 3D couleur : Données LARA-3D (CAOR) Gris : MNS (IGN) 19 Perspectives MMS, système intégré à bas coût : Localisation et cartographie (SLAM) ; Qualification ; Usages pour la voirie. 20 3) Chirurgie Assistée par Ordinateur Panorama Implantologie dentaire assistée par ordinateur Simulateurs chirurgicaux pédagogiques Focus : Déformation virtuelle de corps mous, la méthode HEML 21 22 Implantologie dentaire assistée par ordinateur Méthode de Chirurgie Guidée VISIMPLANT (Proet Européen) Début de l activité médicale : Aide à la pose d implants dentaires Guide chirurgical ification pré-opératoire 23 1 thèse (J. Dutreuil, 2001) Valorisation : concours ANVAR Cas clinique Démo logiciel VISIMPLANT 24 4
Simulateurs chirurgicaux pédagogiques Composants d un simulateur Interface dédiée Interactions virtuelles : détection gestion de collisions Déformations temps réel de corps mous MIST Virtual Presence Proet RNTS SIMV@L 1 thèse (S. Chendeb, 2007) Apprentissage par simulateur Chirurgie laparoscopique 25 Video trocart actif Conception et réalisation d une interface haptique dédiée : le «trocart actif» (Proets «Mécatroniques», 2A) 26 Focus : Déformation virtuelle de corps mous, la méthode HEML Besoin en calculs de déformations de corps mous interactifs et réalistes. Réalisme : Modèles physiques (MMC) ; loi de comportement adaptée Non linéaire : Hyper-élasticité Interactivité Modélisation dynamique (éq. diff. 2 e ordre) sur maillage Rapide : t < 30 ms. Modèles existants Masse-Ressort Rapide ; réalisme pauvre Populaire (simplicité et rapidité) Éléments Finis (FEM) Méthode numérique de calcul pour MMC ; Calculs lourds (lents), souvent utilisé avec approximations Masses-Tenseurs m && ixi + γix& i + fi = fext_i fi = ki M X& + γ X& + F X = F 0 ( xi x xi x ) ( ) ( ) ext ( X& ) + F( ) = Fext M X& + γ U Limité à loi de Saint Venant-Kirchhoff ; calculé sur les écarts aux valeurs initiales U xi x x x i 27 28 La méthode HEML Illustration : loi de Néo-Hooke Maillage tétraédrique (P1 MEF) Matériau homogène isotrope Non linéaire ; lois de comportement hyper-élastiques HEML Utilise la formulation énergétique W(C) (C : tenseur de Cauchy-Green) Calculé sur les liaisons L du maillage. MX& + γ W = X i T ( ( X& W ) + ( L) incidents) X W T X i = F ( L ) T ext 29 Incompressibilité : adapté pour organes (eau) Énergie Néo-Hookéenne (incompressible) W = K Tr W K Tr = 1 ( C) Prise en compte compressibilité dans les calculs : terme additionnel V 1 ( C) + K3 ln Démo saisie cube NH Démo chute cube/rein V0 2 Diagramme contrainte-déformation 30 5
Comparaisons Masse-Ressort Cas particulier, dégénéré de HEML Éléments Finis (FEM) HEML est une formulation du type FEM Masses-Tenseurs Limité à une seule loi (Saint Venant-Kirchhoff) ; HEML calculé sur les valeurs vraies et non les écarts ; HEML plus rapide Reg. Cube1 Reg. Cube2 Irreg.Cube Kidney Uterus Mass-Tensor 2 999 36 198 3 935 96 292 318 707 HEML 70 787 89 449 2 500 Gain ratio 43,0 46,0 44,3 214,3 127,5 Bilan «Médical» Aspects Robotique et Réalité Virtuelle Collaborations Perspectives Intégration dans SOFA? Comparaisons avec autres codes Modéliser la viscosité [Gou06] MICCAI CBM 31 32 Points communs 3D / médical Acquisition de données Surfaciques / volumiques Modèles géométriques Simulations / déformations Aspects interactifs : «temps réel» ou «temps court» Commande ; robotique ; Réalité Virtuelle / Augmentée 33 34 6