Comparaison de Relevés 3D issus de plusieurs Systèmes de Numérisation

Laboratoire Vision & Robotique Comparaison de Relevés 3D issus de plusieurs Systèmes de Numérisation Emilie KOENIG, Benjamin ALBOUY, Sylvie TREUILLET, Yves Lucas Contact : Sylvie Treuillet Polytech'Orléans - Site Galilée 12 rue de Blois, BP 6744 45067 Orléans cedex 2 Tél. +33 238 494 565 Fax. +33 238 417 377 email: sylvie.treuillet@univ-orleans.fr

Remerciements Cette étude a été menée par le Laboratoire Vision & Robotique de l Université d Orléans en collaboration avec des partenaires industriels, dans le cadre du projet ESCALE. Ce projet a reçu le soutien financier de la Délégation Régionale à la Recherche et la Technologie, la Région Centre et le Fond Social Européen. Nous tenons à remercier chaleureusement nos partenaires industriels : Kréon Industries, Eotech, et Vidéométric, qui nous ont fournis les relevés 3D, ainsi que la société Technodigit pour le prêt gracieux du logiciel 3DReshaper. 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 2/16

Sommaire 1. Introduction...4 2. Pièces et systèmes testés...5 2.1. EOTECH...5 2.2. KREON...6 2.3. VIDEOMETRIC...7 2.4. ImaPower...7 3. Protocole...10 3.1. Recalage...10 3.2. Critère d évaluation...11 4. Résultats...12 4.1. Validation du protocole de recalage...12 4.2. Comparaison des systèmes commerciaux...13 4.3. Validation des relevés 3D issus de la stéréovision non calibrée...14 5. Conclusion...16 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 3/16

1. Introduction Le projet ESCALE (ESCarre Analyse Lisibilité Evaluation) en cours de développement au sein du Laboratoire Vision & Robotique (LVR) expérimente une nouvelle approche de relevé anatomique basée sur l utilisation d un appareil photo numérique (APN) du commerce. En s appuyant sur la technique de la stéréovision couleur non calibrée, le but est de proposer aux équipes cliniques un système peu coûteux et très simple d utilisation pour le suivi thérapeutique des escarres. Les escarres, plaies cutanées provoquées par une pression prolongée sur la peau, touchent entre 15% et 20% des personnes hospitalisées et alitées (soit plus de 2 millions de personnes dans l Union Européenne), et l accroissement de la population âgée, où la prévalence des escarres est très forte, laisse présager une augmentation du nombre de ces plaies de l ordre de 25% d ici 2010. Les informations permettant aux médecins de surveiller l évolution d une escarre sont essentiellement la surface et le volume de la plaie, ainsi que sa composition tissulaire (nécrose, fibrine, bourgeon). Actuellement, les équipes cliniques disposent de peu d outils quantitatifs pour faire ce suivi thérapeutique. Le plus souvent, elles se limitent à un simple examen visuel qui reste subjectif. Plus rarement, on effectue une recopie manuelle sur calque transparent ou des moulages, pratiques qui s avèrent très douloureuses pour le patient et qui comportent des risques de contamination, d irritation ou de réaction allergique. Notre approche permet de reconstruire l escarre en 3D à partir de deux photos prises avec un APN et d accéder ainsi à des mesures volumétriques par une technique non invasive. L APN offre une grande souplesse d utilisation à l équipe médicale pour saisir les images dans des zones peu accessibles en préservant le confort du patient. L accès à des mesures objectives doit pouvoir être un vecteur de progrès dans le traitement des escarres. Afin de valider la qualité des relevés 3D obtenus par notre approche, nous les avons comparés à ceux fournis par des systèmes de numérisation industriels. Le propos n est pas de comparer les scanners industriels mais plutôt de donner un ordre de grandeur de la précision de la reconstruction 3D obtenue. Dans la suite, ce rapport présente les pièces de test et les systèmes utilisés. La partie 3 décrit le protocole de test mis en œuvre. Les résultats sont détaillés en partie 4. 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 4/16

2. Pièces et systèmes testés Pour cette étude, nous avons utilisés quatre pieds artificiels en échelle 1 :1 présentant des escarres à des stades différents (Figure 1). Ces pièces en résine ont été moulées et modelées par un spécialiste en Effets Spéciaux. Aucune donnée CAO de ces pièces n étant disponible, noue avons fait appel à des sociétés de métrologie 3D afin obtenir des références pour notre étude. Figure 1: Pieds artificiels utilisés pour l'étude Trois fournisseurs de systèmes de numérisation ont participé à cette étude : Eotech, Kréon Technologies et Vidéometric. Ces systèmes utilisent la projection de lumière structurée déclinée selon trois procédés distincts : triangulation par projection miniature, palpeur laser et photogrammétrie par stéréovision calibrée. Notre logiciel ImaPower est basé sur la stéréovision non calibrée en éclairage ambiant, avec pour seule information d entrée deux images sans connaissance a priori des conditions de prises de vue. Ces quatre systèmes font l objet d une courte présentation ci-après. 2.1. EOTECH La société Eotech (http://www.eotech.fr/) utilise une méthode de triangulation associée à un éclairage structuré pour reconstruire un objet en 3 dimensions. L éclairage utilise la Technique de Projection Miniature (MPT) selon un code Gray avec déphasage (Figure 2). Cette technique repose sur la conception d une lentille spéciale, sur laquelle les franges à projeter ont été gravées avec une très grande précision. La première partie de la lentille sert à la projection d un code Gray et la seconde au déphasage. Le nombre de franges est successivement doublé à chaque projection. La somme de ces projections élémentaires compose une série de raies dont les intensités obéissent à un code Gray. Le déphasage est réalisé par la projection de sinusoïdes sur l objet en décalant soit les raies soit l objet. La configuration standard utilise neuf plans pour le code Gray et quatre pour le déphasage. Cette technique permet de déterminer une information de contraste local et une information de phase sur chaque pixel. Les images résultantes permettent ainsi de calculer la position 3D de chaque point 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 5/16

de l image de façon automatique par triangulation, en tenant compte des paramètres de calibrage du capteur utilisé. Plusieurs prises de vues peuvent être recollées pour couvrir un objet de grandes dimensions. Figure 2: Présentation du système de vision 3D développé par Eotech (gauche) et d'un exemple de projection de franges (droite) Figure 3: Exemple de projections de franges pour le code Gray (gauche) et pour le déphasage (droite) 2.2. KREON La société Kréon (http://www.kreon3d.com/) digitalise des pièces grâce à un système de triangulation laser utilisant une caméra et un dispositif de déplacement contrôlé (bras articulé ou axes de commandes numériques). Le principe est le suivant (Figure 4): Projection d un plan laser sur l objet à digitaliser Numérisation en temps réel de la scène filmée par une caméra Extraction du profil laser dans les images Transformation des profils en un ensemble de points 3D Déplacement du système autour de la pièce pour obtenir un modèle 3D complet de l objet. Figure 4: Présentation du principe de scanner 3D utilisé par Kréon La numérisation permet ensuite d extraire de la vidéo un ensemble de points 2D dans un système de coordonnées (ligne, colonne) en précision subpixel. Puis le calibrage détermine la relation entre le système de coordonnées du référentiel caméra et un système de coordonnées cartésien. Il en résulte un ensemble de points 2D lié à la tête de caméra. Après triangulation, les points du profil laser 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 6/16

sont localisés dans l espace. Le résultat final est un ensemble de courbes de points 3D. Pour numériser les pieds artificiels, un balayage manuel ligne par ligne utilisant le processus ci-dessus a été utilisé. Les lignes sont recalées automatiquement dans le référentiel fixe du bras supportant la tête de mesure. La densité de numérisation est d environ 500 points par ligne scannée. 2.3. VIDEOMETRIC Le système utilisé par Vidéometric (http://www.videometric.com/) utilise la stéréovision calibrée. Deux caméras rigidement liées dans un tube en carbone prennent des images de l objet à numériser. Pour améliorer la mise en correspondance entre les deux images, des motifs texturés respectant le code Gray sont projetés sur la surface de l objet au moyen d un vidéo projecteur. Pour numériser la pièce en entier, 13 acquisitions ont été effectuées et recalées. Le recalage entre les différents nuages de points acquis, se fait d abord manuellement, pour l initialisation, puis automatiquement en utilisant l algorithme Iterative Closest Point (ICP). Le nuage final comporte environ 660 000 points. Une simplification est apportée en éliminant tous les triangles coplanaires de la surface reconstruite. De plus un maillage non uniforme est appliqué pour apporter une simplification supplémentaire au modèle. Le processus global prend environ 2 secondes par acquisition, soit 1 minute pour les 13 acquisitions (en comptant le temps pris pour déplacer le système). L obtention du nuage final prend entre 5 à 10 minutes. 2.4. ImaPower Le logiciel utilise la stéréovision non calibrée. Deux prises de vues, réalisées à main levée avec un appareil photo numérique, suffisent à l obtention d un relevé 3D. Quelques consignes de prise de vue sont à respecter : un angle inter-vue de 20 environ, un rapport des distances de 1.5 environ et une focale identique. La chaîne de reconstruction utilisée est composée de trois étapes principales (Figure 5): mise en correspondance dans les deux images couleur, auto-calibrage et densification du relevé 3D. La figure 6 montre un exemple d initialisation automatique et robuste de la mise en correspondance. Les épingles colorées placées dans le champ de vue permettent également de disposer d une référence métrique. Ces premières mises en correspondance robustes sont ensuite utilisées pour calculer une première estimation de la matrice fondamentale par la méthode LMeds (Least Median of square). Environ 200 points d intérêt sont ensuite détectés dans la zone de l escarre par l algorithme d Harris&Stephen. Ils sont mis en correspondance par l algorithme croisé «Winner Take All» sur les images rectifiées selon la contrainte épipolaire. Un processus itératif permet d éliminer les mauvais appariements. Enfin, les points mis en correspondance sont reconstruits dans un espace 3D en filtrant les points aberrants. A cette étape, environ moins de 300 points sont 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 7/16

conservés dans la zone de l escarre après 7 itérations. Ce nombre de points est multiplié lors d une étape de densification locale pour obtenir une reconstruction 3D plus fine d environ 2500 points. Figure 5: Chaîne de reconstruction 3D utilisée par ImaPower Figure 6: Exemple de points mis en correspondance (en haut) et de reconstructions 3D (en bas) 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 8/16

Le tableau ci-dessous résume les caractéristiques des données numérisées par les sociétés, Eotech, Kréon et Vidéometric. Le nombre de points 3D varie significativement selon l option de numérisation choisie : scan du pied entier ou réduit à la zone de l escarre. Tableau 1: Systèmes de vision 3D et données fournies Société Données Nb_points VIDEOMETRIC EOTECH KREON ESCO1S (pied n 4) 0.1 1 (pied n 4) 0.02 1 (pied n 4) 0.5 1 (pied n 4) 1AvecPlatre (pied n 1) 2AvecPlatre (pied n 2) 3AvecPlatre (pied n 3) 4AvecPlatre (pied n 4) Pied1 (pied n 1) Pied2 (pied n 2) Pied3 (pied n 3) Pied4 (pied n 4) Zone scannée Echelle par rapport au mm 85 340 Pied entier 1 35 153 143 164 12 048 52 120 51 928 51 874 51 108 73 600 71 486 84 452 83 182 Pied entier avec marques de recalage Escarre seule avec marques de recalage Escarre seule 1 1000 1 Déviation x = y = 50 µm z = 2 µm x = y = 17 µm z = quelques µm x = y = 42 µm z = 10 µm Technique de mesure Stéréovision active : 2 caméras + projecteur Vision active : 1 caméra + projecteur Vision active : 1 caméra + plan laser Temps d acquisition 10 min 5 min 25 min 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 9/16

3. Protocole Une numérisation du Pied N 4 a été fournie par les trois systèmes commerciaux, ce qui a permis une comparaison des surfaces numérisées ( 4.2). Sur chaque nuage, seule la partie contenant l escarre a été conservée, entraînant une nette réduction du nombre de points. Cette sélection a été réalisée manuellement grâce au logiciel 3DReshaper. Le tableau 2 présente le nombre de points de chaque relevé avant et après l extraction de la zone d intérêt. Tableau 2: Nombre de points des zones d'intérêt extraites des relevés industriels Données Videometric ESC01s Eotech 0.02 1 Kreon Pied4 Nb_points avant 85 340 143 164 83 182 Nb_points après 15 511 25 484 41 651 Dans un second temps, les relevés du pied N 3 effectués grâce au logiciel ImaPower de Benjamin ALBOUY, sont comparés à la numérisation de référence du même pied fournie par le système Kréon. Les 10 reconstructions du pied N 3 réalisées par ImaPower sont données en Tableau 3. Le nombre de points, autour de 2500, varie d une reconstruction à l autre en fonction des tirages aléatoires effectués par les algorithmes robustes sur une même paire d images. Le nombre de facettes est issu d une triangulation de Delaunay. Quelques points périphériques résultant d erreurs de reconstructions trop fortes ont été éliminés manuellement grâce au logiciel 3DReshaper. Le nombre de points restant est donné dans la colonne «Nb_points_filtrés». Tableau 3: Reconstructions 3D réalisées avec ImaPower Nb_points Nb_facettes Nb_points Numéro filtrés 1 2615 5170 2443 2 2362 4662 2069 3 3161 6256 2418 4 2552 5040 2005 5 2585 5102 1930 6 3009 5954 2099 7 1980 3903 1824 8 2287 4522 1803 9 2322 4586 1977 10 2329 4610 1903 3.1. Recalage Le recalage est le principal problème de la comparaison entre nuages de points 3D. En effet, les données fournies par les sociétés de numérisation ne sont pas représentées dans le même référentiel. Pour palier à ce problème, un recalage rigide est appliqué sur les nuages, avec un changement d échelle global si nécessaire, à l aide du logiciel 3DReshaper 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 10/16

(http://www.technodigit.com/fr1/fr_software.htm), mis à disposition par la société Technodigit, division du groupe MBPS-AIRINDEX. Ce recalage semi-automatique est réalisé en deux étapes entre le nuage de points et une surface de référence (Figure 7) : un recalage grossier permettant de rapprocher au plus près les deux nuages de points. Ce recalage se fait sur quelques points (au moins trois) appariés manuellement entre les deux objets. un recalage plus fin, automatique et basé sur I.C.P. (Iterative Closest Point). Ce recalage se fait sur tous les points des nuages. Sélection manuelle et appariement des points (M j et G j ) dans les deux nuages de points (M et G) Minimisation des distances euclidiennes entre M j et G j Arrêt quand un seuil a été atteint pour un maximum de distances entre points Sélection automatique des points M j et G j en projetant M j orthogonalement à la pseudo-surface de G Minimisation de la distance au sens des moindres carrés entre M j et G j Figure 7: Chaîne de recalage utilisée par 3DReshaper 3.2. Critère d évaluation Un premier critère qualitatif de la reconstruction est le nombre de facettes nettement en faveur des scanners industriels qui nous serviront de référence. Afin d évaluer de façon quantitative la qualité de notre reconstruction, on utilise l erreur résiduelle du recalage fournie par 3DReshaper. Pour chaque comparaison, le logiciel délivre en sortie (Tableau 4) : - les coordonnées des points du nuage recalé (Meas.X, Meas.Y, Meas.Z), - les coordonnées des points de référence (Ref.X, Ref.Y, Ref.Z), correspondant aux projections orthogonales des points du nuage sur la surface de référence, - les écarts résiduels signés selon les trois axes (Dev.X, Dev.Y, Dev.Z) entre chaque point du nuage et sa projection orthogonale, 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 11/16

- la distance euclidienne signée (Dev.) entre chaque point du nuage et sa projection orthogonale. Dans les calculs de distance, le signe correspond à la position du nuage recalé par rapport à la surface de référence (dessus ou dessous). Tableau 4: Exemple de rapport de comparaison fournit par 3DReshaper N Ref. X Ref. Y Ref. Z Meas. X Meas. Y Meas. Z Dev. X Dev. Y Dev. Z Dev. Comment 1 679,485-112,624-152,728 679,414-112,495-152,571-0,07 0,129 0,157 0,215 Projection on surface 2 680,738-112,706-151,878 680,766-112,739-151,918 0,029-0,033-0,04-0,06 Projection on surface 3 680,274-112,653-152,24 680,295-112,674-152,265 0,02-0,021-0,025-0,039 Projection on surface 4 679,399-112,405-152,944 679,597-112,767-153,408 0,199-0,362-0,464-0,621 Projection on surface 5 679,714-112,018-153,135 680,226-113,016-154,289 0,512-0,999-1,154-1,609 Projection on surface 6 680,835-110,805-154,66 681,001-111,705-155,018 0,166-0,9-0,358-0,983 Projection on surface 7 679,905-110,47-155,516 679,975-111,778-155,976 0,07-1,309-0,46-1,389 Projection on surface Pour faire l évaluation, les critères retenus sont le maximum, la moyenne et l écart type des erreurs résiduelles entre le nuage de points recalé et la surface de référence, en valeurs signées (Dev), et absolues ( Dev ). 4. Résultats 4.1. Validation du protocole de recalage Une étude de répétabilité a été menée de façon à évaluer l influence du recalage grossier sur la moyenne des erreurs résiduelles mesurée en fin de recalage sur le nuage. 18 recalages successifs ont été effectués entre une de nos reconstructions et la surface de référence délivrée par Kréon. Pour chaque recalage, on calcule la moyenne des erreurs résiduelles signée et absolues sur l ensemble des points du nuage. Les statistiques sur ces 18 valeurs donnent - en valeur signée : une moyenne Moy Dev = 0,19 mm, avec un écart type de 0,021 mm - en valeur absolue : une moyenne Moy Dev = 0,47 mm, avec un écart type de 0,03 mm soit une variation d environ 10%. On peut en conclure que le recalage manuel initial a une faible influence sur le recalage final. Cette faible influence a été confirmée par des tests effectués en recalant deux surfaces identiques entre elles (surface de référence Kréon). La position d une des deux surfaces a été modifiée arbitrairement, puis recalée sur la surface fixe. La moyenne des erreurs résiduelles signées de ce recalage est d environ 1,5*10-5 mm, ce qui est très faible. 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 12/16

4.2. Comparaison des systèmes commerciaux Le recalage et la comparaison des surfaces numérisées par les 3 systèmes industriels ont été faits par couple. Pour chaque couple de données, trois recalages ainsi que trois comparaisons ont été réalisées. C est ensuite la meilleure comparaison de chaque couple qui a été conservée. Le tableau 5 et la représentation graphique en figure 8 livrent les résultats obtenus. Le tableau 5 donne la moyenne, l écart-type et la valeur maximale des erreurs signées et absolues (en mm) constatés entre les deux surfaces. On peut remarquer une assez bonne équivalence entre les systèmes avec une erreur moyenne de l ordre de 0,2 mm, pour une profondeur de l escarre d environ 17,23 mm, soit 1,16%. Il faut noter le maillage plus dense de la zone numérisée par les systèmes Kréon et Eotech, qui explique sans doute une erreur un peu plus faible. Enfin, ne disposant pas de référence absolue, il est impossible de dire quel système est le meilleur. Tableau 5: Moyennes des erreurs mesurées entre les surfaces de Kréon, Eotech et Vidéometric Erreurs signées Erreurs absolues Référence Nuage recalé Moyenne Ecart type Max Moyenne Ecart type Max Vidéometric Kréon Pied4 0,0736 0,2610 0,985 0,210 0,171 5,406 Vidéometric Eothech 0,02-0,1718 0,2521 1,264 0,242 0,187 1,264 Eotech 0,02 Kréon Pied4 0,0879 0,1300 1,433 0,120 0,101 0,733 0,8 0,6 Erreur en millimètres 0,4 0,2 0 0,21 0,24 0,12-0,2-0,4 Kréon Pied4 Eothech 0,02 Kréon Pied4 Vidéometric Vidéometric Eotech 0,02 Comparaisons (référence en bas) Figure 8: Intervalle de confiance à 95% des erreurs absolues entre les différentes données industrielles 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 13/16

La figure 9 présente la répartition des erreurs signées sur les données de référence fournies par 3DReshaper. A gauche de chaque carte, la distribution des erreurs est représentée sur la même échelle de couleur. 95 % des erreurs ont une magnitude inférieure à 0,43 mm. Figure 9: Cartes des erreurs résiduelles signées entre les numérisations de Kréon/Vidéometric (gauche), d Eotech/Vidéometric (centre) et de Kréon/Eotech (droite) 4.3. Validation des relevés 3D issus de la stéréovision non calibrée Lors du recalage, un facteur d échelle de 10 a dû être appliqué entre les relevés de Kréon (exprimés en mm) et les reconstructions d ImaPower (exprimées en cm). Trois recalages ont été réalisés pour chaque couple de nuages, et le recalage produisant la plus petite erreur résiduelle a été conservé. Le graphique de la figure 10 présente l intervalle à 95% des erreurs absolues constatées entre les nuages de points et la surface de référence fournie par Kréon. On peut remarquer une fluctuation de l erreur moyenne lors des essais répétitifs sur la même paire d images, liée à l utilisation d algorithmes stochastiques dans la reconstruction. Les plus faibles écarts types correspondent aux plus faibles moyennes. Cinq reconstructions présentent une erreur moyenne inférieure à 0,4 mm, que l on peut comparer au 0,2 mm obtenu entre les différents systèmes industriels sur le pied N 4, puisque les deux numérisations des pieds N 3 et N 4 fournies par le système Kréon présentent à peu près le même nombre de points. La figure 11 illustre la répartition des erreurs signées pour deux reconstructions, sans l élimination préalable des points aberrants. 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 14/16

3 2,5 2 Erreur en millimètres 1,5 1 0,78 0,83 0,5 0,39 0,39 0,33 0,61 0,38 0,29 0,51 0,63 0-0,5-1 1 2 3 4 5 6 7 8 9 10 Numéro de la reconstruction Figure 10: Intervalle de confiance à 95% des erreurs absolues entre les reconstructions non calibrées et le relevé Pied3 de Kréon Figure 11: Cartes des erreurs signées de la reconstruction 2 (gauche) et de la reconstruction 8 (droite) par rapport à la surface de référence fournie par Kréon. 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 15/16

5. Conclusion Cette étude a permis de valider notre approche de reconstruction par stéréovision non calibrée pour le suivi thérapeutique d escarres. En effet, cette technique délivre dix fois moins de points que les scanners industriels mais avec un système de prise de vues très simple et très rapide (deux minutes). Elle offre une précision de reconstruction à peine deux fois moins grande, avec une erreur résiduelle moyenne de 0.4 mm, soit environ 2.5% de la profondeur de l escarre. Cette tendance est confirmée par nos derniers tests réalisés avec des prises de vues en mode macro. Ce mode donne des résultats plus stables et cohérents, avec 95 % des erreurs résiduelles inférieures à 1 mm. 09/06/2006 KOENIG Emilie Comparaison de relevés 3D 16/16