Développement d'une nouvelle interface utilisateur multi-modalité en scanner interventionnel

Développement d'une nouvelle interface utilisateur multi-modalité en scanner interventionnel E. de Kerviler, C. de Bazelaire, P. Coulon*, S. Gotman**, J Yanof***, C. Bauer***J. Sapir**. Service de Radiologie, hôpital Saint-Louis, Paris *Philips HealthCare, Suresnes ; Philips HealthCare, Haïfa ; Philips HealthCare, Cleveland,

Introduction Les procédures interventionnelles sous scanner connaissent un essor important Très souvent, ces procédures sont réalisées sur des appareils partagés, à vocation diagnostique, non optimisés pour l interventionnel La complexification des gestes effectués sous scanner nous a amené à les sécuriser davantage en améliorant l interface utilisateur de notre scanner Philips Brilliance 16. Les machines étant «fermées» et faisant l objet d un marquage CE, les modifications ne pouvaient être réalisées qu en partenariat avec l industriel (Philips HealthCare). Chaque étape de l élaboration de la nouvelle interface va être détaillée dans ce poster 2

La problématique «Un problème sans solution est un problème mal posé» Albert Einstein

Ce dont a besoin le radiologue interventionnel 1. Savoir où il va 1. Il lui faut une (des) image(s) de référence (Roadmap) 2. Contrôler ce qu il fait 1. Précisément 2. A tout moment 3. Interagir avec le scanner, en environnement stérile 1. Stocker des images 2. Revoir des images (multimodalités) 3. Reconstruire et afficher les images 4. Mesurer, changer les fenêtres, zoomer 4. Et tout ça très vite 4

Combien d écrans en salle d examen? A l origine, le module interventionnel ne permettait d afficher que 4 images contiguës sur l écran de la salle d examen Image de monitoring Image de référence 4 images «Live» de monitoring de la procédure, mais pas de référence Ajout d un 2 ème écran pour disposer d une image de référence injectée par exemple Il est indispensable de disposer d une image de référence 5

Quel type d image de référence? Idéalement, l image de référence doit pouvoir être l hélice de repérage, un scanner injecté, une IRM, un TEP-CT Lorsque l image de référence est une image d IRM, les choses se compliquent Pourquoi ne pas avoir le choix d afficher en alternance la série injectée et l IRM? L image de référence doit être multi-modalité 6

Gestion des images en salle d examen Les 4 images contiguës sur l écran de la salle d examen posent le problème de leur position : il y a 2 images au dessus et 2 en dessous mais aucune n est centrée sur l aiguille! Laser 1 2 Slice #4 Slice #3 Slice #2 Slice #1 Problème : Le laser est sur la lésion mais entre 2 coupes. Hors le laser indique le point de ponction et la trajectoire pour viser la lésion. 3 4 120 Le esion 132 126 138 144 Aucune coupe n est donc centrée sur le trajet de l aiguille. Laser Il est indispensable qu une coupe passe par le centre (laser) On veut ça! 7

Début de la réflexion : Quel serait l écran idéal? Il serait plus simple d avoir un seul écran, divisé en 4, avec une image de référence (roadmap), une image centrale et les 2 autres coupes de part et d autre. Il faut changer la gestion du détecteur. Laser 2 Slice #3 Slice #2 Slice #1 Lesion Roadmap 1 Center 3 Head Foot 8

Mais comment gérer la barrette de 16 détecteurs? 3-Slices Concept Examples Center (laser) Center (laser) 16x0,75 collimation 16x1.5 collimation 6*0.75 =4.5 4*0.75 = 3 4.5 mm 6*1.5=9 4*1.5 = 6 9 mm 12 mm 24 mm 3 coupes fines 3 coupes épaisses Sur une barrette de 24 mm, il existe plusieurs possibilités de combiner les 16 détecteurs (en voici 2 exemples). 9

A ce stade, nous avons donc : Amélioré l affichage en salle d examen avec le 2 ème écran Réfléchi à la possibilité de mettre un seul écran, mais géré différemment, avec une référence et 3 images, afin que la salle de scanner ne ressemble pas à ça : Mais il n y a toujours pas de possibilité d interactivité de l opérateur avec le scanner 10

Interactivité Radiologue - Scanner L interactivité va nécessiter des modifications hardware et software Hardware Déplacement de table, inclinaison du statif, allumage du laser Software Possibilité d effectuer des mesures, de changer les fenêtres, zoomer 11

Développements Hardware : Déplacement de table Développement initial d une poignée que l on peut déplacer et fixer d un côté ou de l autre de la table du scanner, en environnement stérile Problème : Le déplacement du lit est motorisé, donc lent, la poignée ne répétant que les commandes de déplacement de lit du statif En pratique, nous somme rapidement revenu à la barre de libération de la table permettant des déplacements manuels, beaucoup plus rapides, mais l idée d un joystick n est pas morte Release bar 12

Développements software : Interactivité avec la console L idée est de pouvoir disposer à côté du scanner des commandes de la console d acquisition, avec une technologie sans fil. 2 VGA, USB, Power Scan-Acq 1 Mouse Scan-Vis Host 13

Développements software : Interactivité avec la console La solution choisie était de combiner un TouchPad pour remplacer la souris, et un module JogWheel utilisé en montage vidéo pour naviguer dans les séries, l ensemble étant connecté à la console principale en Bluetooth Scan Acq Vis Acq L ensemble fonctionne mais l utilisation du TouchPad avec la protection est délicate (2 surfaces de glissement) 14

Dernière étape Reprendre le concept d un écran unique avec 4 images Nécessité d une évolution majeure en terme de reconstruction des images et de la gestion du détecteur Nécessité d une évolution majeure de l affichage Développer le concept d interface tactile sans fil Utiliser une tablette PC Ajouter une connexion WiFi, plus robuste et réactive que le Bluetooth 15

Ajout d une console de reconstruction indépendante Une console de reconstruction et de visualisation (VCTF) développée sur la base d une EBW est ajoutée à côté de la console principale. Elle reçoit les données brutes et reconstruit en parallèle. Son écran est dupliqué en salle d examen 1 2 VGA, USB, Power Scan-Acq Scan-Vis vctf EBW-Vis Mouse CIRS Ethernet G Host EBW 16

Prototypes Phase 1, vue de la console d acquisition Legacy CCT Screen Legacy Viewer EBW-VCTF Screen 17

Prototypes Phase 1, vue de la salle d examen Standard CCT Monitor New VCTF Monitor TouchScreen Tableside Control Cart 18

Tablet PC. L écran tactile permet le contrôle du VCTF Touchscreen to control VCTF Touchpad to control Console Standard sterile drape Wireless, batteries, 19

Envoi de scanner, IRM, PET Première étude de design de l interface VCTF Reference Reference (slab viewer) Center @ Laser (CCT) Thickness Sag/Cor Interface simple < Cranial/Head (CCT) Caudal/Feet (CCT) >

Etude de validation clinique Une fois la validation technique effectuée, il reste à tester l interface en pratique Afin de ne pas faire prendre de risque aux patients, les 2 interfaces cohabitent pendant la période d évaluation Les paramètres testés sont : Utilisation multi-modalité de l image de référence Facilité d interaction avec la console du scanner Possibilité de réaliser des reconstructions 3D et MPR Les problèmes techniques rencontrés sont listés 21

Prototypes Phase 1 Interface Standard Ecran VCTF La nouvelle interface permet de concentrer toutes les informations et commandes sur un seul écran Mesure des distance depuis le scanner 22

Fonctions disponibles sur l écran VCTF actuel Distance Zoom Reset Pan Scroll Copie une image dans la REF Passage 2D (4 images) à 3D (1 images) Inversion Head et Feet fonction position opérateur Fenêtres pré-définies 23

Design de l écran tactile «Touchscreen» Toggle LayoutChange Active Frame Group 1 Toggle Head/Feet space for future use Group 2 controlling the main monitor Windowing options in 3D Group 3? Group 4

Prototype Phase Clinique IRM ou scanner injecté Référence Scanner non injecté Tumeur rénale gauche, bien visible sur l IRM, moins visible sur le scanner sans injection Guidage assuré par l IRM sans réinjection 25

Prototype Phase Clinique Scanner injecté Référence PET-CT Référence Scanner non injecté Masse pulmonaire du lobe supérieure droit. Utilisation du scanner injecté précédent et de la TEP pour éviter les zones de nécrose éventuelles. Il n est pas nécessaire de réaliser un nouveau scanner avec injection.

Prototype Phase Clinique Scanner injecté Référence Mode 2D Mode 3D MIP Drainage d une collection du flanc droit. L image de référence est l hélice injectée réalisée au début de la procédure. Le drain est en place Le passage en mode 3D permet une meilleure visualisation du drain. Les modes MPR, MIP et VRT sont disponibles.

Prototype Phase Clinique PET-CT Référence Mode 2D Mode 3D VRT Biopsie d une masse pulmonaire du lobe supérieur gauche. L utilisation du PET en image de référence permet de prélever du tissu actif non nécrosé. Le passage en mode 3D VRT permet de bien visualiser la position de l aiguille et de la fenêtre de prélèvement

Prototype Phase Clinique Scanner injecté Coronal Référence Mode 2D Scanner injecté Axial Référence Mode 2D Cryothérapie d une masse rénale droite. Plusieurs images reconstruites dans différents plans sont envoyées comme images de référence. La procédure est planifiée Le mode 2D a ses limites. La distribution des aiguilles dans l espace est difficile à analyser

Prototype Phase Clinique Mode 2D Mode 3D Le mode 2D est insuffisant Le mode 3D est mieux, mais reste limité par la largeur du détecteur. La couverture anatomique n est que de 24 mm sur un scanner 16 coupes!

Prototype Phase Clinique Mode 2D Mode 3D Néphrostomie bilatérale. Abord du premier rein. Le mode 3D après la seconde néphrostomie permet de visualiser les 2 sondes en place

Biopsie d une récidive de maladie de Hodgkin Changement de l image de référence en cours d examen (Scanner injecté vs PET-CT) Changement de la fenêtre de visualisation (médiastin vs poumon) Prototype Phase Clinique

ATCD de K bronchique 3 ans auparavant. Apparition de 2 lésion médiastinales PET+. Biopsie d une adénopathie médiastinale guidée par la TEP Prototype Phase Clinique

Biopsie d un nodule pulmonaire. Mesure de distance effectuée depuis la salle de scanner Prototype Phase Clinique

Bilan de la phase clinique L utilisation d images de référence multi modalités est un atout important, permettant : De disposer de l ensemble du dossier imagerie du patient D éviter de réinjecter certains patients De guider plus précisément les biopsies sur les zones actives L interactivité de la nouvelle interface rend l opérateur plus autonome pour : Mais Le zoom, le fenêtrage, les mesures La gestion de la référence La partie acquisition (sélection d une hélice de contrôle vs rotation simple par exemple) n est pas encore gérée par l écran tactile La partie 3D et MPR reste perfectible, limitée par la couverture anatomique de la barrette de détecteurs (24 mm) 35 Le bilan clinique est néanmoins globalement très positif

Conclusion Il est possible de faire évoluer nos machines grâce à de vrais partenariats avec les industriels Dans sa version actuelle, notre interface utilisateur fonctionne bien, sans bug Il manque encore des processus automatisés (fusion d images TEP, intégration de CD ) et des commandes de lit, laser et statif Il faudra néanmoins «un certain temps» et encore beaucoup d énergie pour que ce prototype devienne un produit commercial... 36