UNE PLATEFORME MULTI-MODALE POUR LA TÉLÉVIGILANCE MEDICALE Wided Souidene, Dan Istrate, Hamid Medjahed ESIGETEL LRIT, 1, Rue du Port de Valvins, 77210 Avon, France {wided.souidene, dan.istrate, hamid.medjahed}@esigetel.fr Jérôme Boudy, Jean-Louis Baldinger, Imad Belfeki, François Delavault EPH/Telecom Sud Paris, 9, Rue Charles Fourier, 91011 Evry, France {jerome.boudy, jean-louis.baldinger, imad.belfeki, françois.delavault}@it-sudparis.eu François Steenkeste INSERM U558 Toulouse France steenkeste.f@chu-toulouse.fr RESUME Cet article décrit les travaux de recherche d une équipe pluridisciplinaire regroupée autour du thème de la télévigilance médicale. Il recense les résultats d une collaboration de nombreuses années qui a abouti au développement et à la mise en place d une plateforme multimodale pour la télévigilance médicale. Cette plateforme est composée de trois systèmes hétérogènes mais complémentaires conçus pour assurer le maintient à domicile de personnes âgées en toute sécurité. Dans cet article, nous présentons une description détaillée des multiples capteurs que nous utilisons pour surveiller à distance l état de santé d une personne âgée et/ou d un patient à domicile. Il s agit précisément d un ensemble de microphones placés convenablement dans la maison, d un dispositif portable qui mesure des signaux physiologiques et détecte la chute et d un ensemble de capteurs infrarouges. Cette plateforme gérée et commandée à distance est utilisée par le personnel médical et/ou les proches de la personne afin d être informés de l état du patient ou de la personne âgée. Cette plateforme, telle qu elle a été conçue, présente deux avantages majeurs : tout d abord sa bonne acceptation par les utilisateurs finaux, car elle est moins intrusive que les autres systèmes de télésurveillance ou télévigilance présents sur le marché et ensuite sa fiabilité et sa robustesse car elle informe de l état de santé du patient en se basant sur la fusion de trois modalités distinctes. MOTS CLES Télévigilance médicale, télémédecine, signaux physiologiques, fusion de données, aide à la décision, interopérabilité. 1. Introduction La proportion de personnes âgées ne cesse d augmenter dans l ensemble des sociétés à travers le monde. Bien qu âgées, ces personnes désirent garder leur indépendance, leur autonomie et leur mode de vie. Il est donc de notre devoir, en tant que scientifiques, de leur proposer les moyens nécessaires pour leur permettre de continuer à vivre chez elles en toute sécurité. Ainsi, plusieurs équipes de recherche ont mis au point un certain nombre de systèmes de télévigilance médicale. Ceux-ci peuvent aller du tensiomètre portable à l électrocardiographe portable qui transmet les ECGs à des unités médicales distantes. Ces équipements sont de plus en plus nombreux sur le marché de la télésanté. La plupart permet la surveillance et le suivi de l état de santé de la personne âgée à distance. Néanmoins, rares sont les systèmes fiables capables d informer d un état critique de la personne âgée. En particulier, rares sont ceux qui prédisent ou détectent la chute de la personne. Afin d apporter des éléments de réponse à cette problématique, nous avons réuni un groupe de chercheurs venant d horizons différents afin de développer une plateforme à plusieurs modalités qui permet de répondre aux besoins ci-dessus identifiés puis formé un consortium nommé Quovadis 1. Cette plateforme administre un système constitué de : 1- Un ensemble de microphones répartis dans les pièces à vivre du domicile de la personne âgée. 2- Un dispositif portable qui permet de mesurer la fréquence cardiaque, de détecter la posture et les mouvements ainsi qu éventuellement la chute de la personne équipée. 1 Quovadis : Aide à Distance à la Vie Quotidienne pour des personnes âgées atteintes de troubles cognitifs. Projet de recherche financé par l Agence Nationale de la Recherche (ANR) française.
3- Un ensemble de détecteurs infrarouges qui détectent la présence de la personne dans une pièce donnée et également la position debout de cette personne. Les données fournies par ces trois systèmes hétérogènes sont recueillies, traitées et fusionnées par le biais d une plateforme multimodale (EMUTEM). Ensuite, nous décrirons dans la section 2 le fonctionnement de chacun des systèmes cités ci-dessus et nous détaillerons la configuration de la plateforme EMUTEM (Environnement Multimodal pour la Télévigilance Médicale). Dans la section 3, nous analyserons le processus d acquisition des données. Enfin, nous présenterons nos conclusions et perspectives. 2. La plateforme EMUTEM Il a été constaté que la chute est l une des causes de décès importantes chez les personnes âgées. En France, les personnes âgées de 65 ans et plus sont victimes chaque année de 550 000 accidents de la vie courante (AcVC) avec recours aux services d urgences médicales ce qui représente plus des trois quarts des 20 000 décès annuels par AcVC. Environ 50% de ces AcVC résultent de chutes. Face à ce fléau dangereux pour la sécurité, la santé et la vie des personnes âgées, nous avons développé un système de télévigilance afin de prévenir et détecter les chutes. Nous avons réuni les efforts de trois équipes pluridisciplinaires afin de mettre en place une plateforme multimodale. Cette plateforme gère trois systèmes hétérogènes : un système sonore, un équipement portable et des détecteurs infrarouges. Dans la suite, chacun de ces systèmes sera décrit et sa contribution à la télévigilance sera explicitée. 2.1. Le terminal portable RFPAT Le terminal portable est constitué : d un terminal mobile : il s agit d un boîtier que le patient ou la personne âgée porte en permanence à la ceinture lorsqu elle est chez elle. Il mesure les données vitales de la personne et les transmet à une station réceptrice d un terminal fixe : il s agit d une station de réception. Ce terminal a un triple rôle : il mesure les données physiologiques du patient, notamment le pouls ambulatoire permanent il détecte avec une grande sensibilité les mouvements du patient et indique son d activité il détecte la chute du patient. Toutes les données recueillies par les différents capteurs RFPAT sont traitées dans le dispositif portable sans fil. Pour assurer une autonomie optimale de ce dernier, nous avons mis en œuvre une conception électronique à faible consommation. Ainsi, l architecture du système est basée sur 2 microcontrôleurs qui assurent l'acquisition et le traitement du signal et son émission vers le terminal fixe. Précisément, le terminal mobile (boîtier portable) comporte un certain nombre de traitements : Il enregistre les différents signaux physiologiques et actimétriques de la personne équipée Il effectue un prétraitement de ces signaux en vue de réduire l'impact du bruit d'environnement et du bruit résultant de l usage ambulatoire. En effet, la lumière et les mouvements du patient perturbent la mesure de la fréquence cardiaque. Ce dernier point est très important pour la conception et la fiabilisation des systèmes de télésurveillance à domicile. En fait, la mesure fiable des signaux physiologiques d'une personne en mode ambulatoire est une tâche difficile à réaliser. Pour le système RFPAT, nous avons fait le choix de résoudre le problème du bruit dans la phase d'acquisition. De plus, certains filtres numériques et algorithmes de réduction du bruit ont été mis en œuvre dans le terminal portable. Ces filtres et algorithmes ont été appliqués à tous les signaux acquis: les données relatives au mouvement, celles concernant la posture et les données physiologiques, ici la fréquence cardiaque. Les données de mouvement retracent l activité de la personne surveillée. Elles nous donnent des informations comme: «la personne est allongée», «elle est immobile», «elle est assise / debout», etc. Ces données nous renseignent également sur l état d agitation de la personne. En effet, nous calculons le pourcentage de temps durant lequel la personne est en mouvement et ce toutes les 30 secondes (de 0 à 100% pendant 30 secondes). Les données sur la posture nous disent si la personne est debout / assise. Ceci est intéressant dans la mesure où cela nous renseigne sur l activité de la personne. Grâce à un dispositif actimétrique intégré dans le terminal portable, nous pouvons
détecter les situations où la personne s approcherait du sol très rapidement. Cette information est interprétée comme une "chute" quand l'accélération dépasse un certain seuil dans une situation spécifique donnée. Le signal de pouls est fourni par un capteur photo-pléthysmographique connecté à l'appareil portable. Il est pré-conditionné et débruité au niveau du terminal mobile, ce qui nous donne des informations sur la fréquence cardiaque toutes les 30 secondes. Pour le mode ambulatoire, le défi consiste en la réduction du bruit. Dans (1) nous avons pu réduire l erreur des variations de mesure du pouls à 5% (mesure sur 1 minute rafraîchie toutes les 30 secondes), ce qui reste en conformité avec les recommandations des professionnels de santé. Une fois toutes ces données recueillies, pré-conditionnées et traitées par les algorithmes embarqués, elles sont transmises depuis le terminal mobile vers la station fixe. La configuration actuelle du module RFPAT est présentée à la Figure 1. Le terminal mobile, détecte également la chute éventuelle de la personne et transmet l alarme correspondante vers le PC de contrôle après validation algorithmique embarquée. 2.2 Le capteur sonore intelligent (ANASON) Figure 1: Configuration du module RFPAT Aujourd hui les dispositifs de vigilance et de soins à distance font face à un réel problème d'acceptation et d adoption par les utilisateurs finaux et les soignants. En effet, ce genre de systèmes est souvent jugé comme intrusif et non respectueux de la vie intime des personnes équipées. Les capteurs sonores, quant à eux, sont plus facilement acceptés par patients et/ou personnes âgées, leur famille et les soignants. Ils sont considérés comme moins intrusifs que les caméras, les vêtements intelligents, etc. Ainsi, afin de préserver la vie privée et l intimité du patient et/ou personne âgée tout en assurant sa sécurité, nous nous proposons d'équiper sa maison avec un certain nombre de microphones. Dans ce contexte, l'environnement sonore n'est pas enregistré en continu. Ces microphones permettent le contrôle à distance de l'environnement acoustique de la personne équipée. Le principal avantage de ce système consiste dans l'exécution en temps réel (2). Ainsi, nous analysons en permanence l'environnement sonore afin de détecter des situations de détresse et/ou des appels à l aide. Ce capteur décrit dans (3) est composé de quatre modules comme le montre la Figure 2 : Module M1: détection et extraction d évènements sonores. Le premier module M1 est en permanence à l'écoute de l'environnement sonore dans le but de détecter et d'extraire des sons ou des phrases utiles. Le signal extrait par le module M1 est traité par le module M2. Module M2: module de classification son/parole. Le deuxième module M2 est un module de classification à bas niveau (parole/son). Il traite le son reçu par le module M1 afin de séparer les signaux de parole des signaux de son. A titre d exemple un discours prononcé par le patient sera classé comme parole mais un claquement de porte ou des sons de pas seront classés comme son.
Figure 2: Architecture du capteur intelligent ANASON Module M3: étape de classification haut niveau (4). Ce module traite chaque classe déterminée par le module M2. Il consiste en deux sous-modules. Dans le cas où un label de son a été attribué au signal par le module M2, le sousmodule de reconnaissance des sons (M3.1) classe le signal entre huit classes sonores prédéfinies (5) (bris de verre, claquement de porte, bruit de vaisselle, etc.). Dans le cas de l attribution d une étiquette de parole, le signal extrait est analysé par un moteur de reconnaissance vocale (module M3.2) en vue de détecter les expressions de détresse («A l aide!», «Un docteur!», «A moi!», «Aidez-moi!», etc.). 2.3 Les détecteurs de mouvement infrarouge (GARDIEN) Dans la même optique de sauvegarde de la vie privée du patient, nous avons développé un système de télévigilance par infrarouge géré par notre plateforme multimodale. Ainsi, un ensemble de capteurs infrarouges ont été déployé dans l appartement test (6). Ces capteurs ont deux fonctionnalités: localiser la personne à domicile: les capteurs sont activés par la présence de la personne dans une certaine chambre. Seules les salles de séjour et la chambre à coucher sont équipées. Détecter la position verticale de la personne: Un capteur infrarouge est installé dans les pièces à vivre de l appartement (salle de séjour et / ou cuisine) afin de détecter si la personne est debout ou pas. En fait, il s agit d un capteur à champ horizontal qui détecte les mouvements dans un plan horizontal à une hauteur d un mètre et demi du sol. Cette seconde fonctionnalité est très utile afin de confirmer ou d'infirmer une détection de chute par les modules RFPAT ou ANASON. L ensemble de ces capteurs et des logiciels et du matériel utilisé pour la détection infrarouge forme un système baptisé GARDIEN (7). La figure 3 représente le système GARDIEN.
Figure 3: Système GARDIEN 2.4 Interface générale de la plateforme multimodale EMUTEM Afin de configurer et de gérer les trois modalités décrites ci-dessus, nous avons développé une plateforme qui a des fonctionnalités différentes et qui pourraient être facilement utilisée par un soignant à distance ou en local (8). Aujourd hui, cette plateforme est utilisée seulement pour contrôler et synchroniser les différents processus d'acquisition de données. L interface principale de la plateforme EMUTEM est présentée dans la Figure 4. Grâce à cette interface, l opérateur (soignant ou opérateur technique chargé de la configuration des différents modules) peut superviser la phase d'acquisition de données. Il doit d'abord choisir la modalité à enregistrer et ensuite configurer ses différents paramètres si nécessaire. Pour les modalités RFPAT et GARDIEN, nous avons seulement besoin de spécifier l'adresse IP et le numéro du port TC / IP à utiliser. Pour le capteur ANASON, nous avons besoin de choisir la carte son à utiliser pour l'enregistrement (si plusieurs sont disponibles). Nous devons également préciser la fréquence d'échantillonnage et l'emplacement du fichier de sauvegarde. Pour une utilisation finale, cette configuration est faite une seule et unique fois lors de la toute première installation des capteurs et de la plateforme au domicile du patient ou de la personne âgée (9). 3. Conclusions et perspectives Figure 4 : Panneau avant de la plateforme multimodale EMUTEM Au cours de cette première étape de nos travaux de recherche collaborative, nous avons développé une plateforme multimodale de télévigilance médicale. Cette plateforme assure la surveillance de l état de santé du patient/personne âgée et détecte les situations de détresse. Nous avons réuni trois différentes modalités afin d'assurer une sécurité optimale du patient/personne âgée dans un cadre confortable et de façon non intrusive. Nous proposons un appareil portable capable d'acquérir et de traiter les signaux physiologiques, un capteur intelligent analysant les sons de tous les jours en vue de
détecter les situations de détresse et un réseau de capteurs infrarouges qui localise la personne dans son domicile et détecte sa position verticale. Chaque module individuellement a été évalué en laboratoire et/ou avec des tests cliniques. Le module RFPAT après avoir été évalué et amélioré en laboratoire est en cours d une évaluation clinique à l Hôpital Broca de Paris. Le module Gardien a été aussi testé en conditions cliniques à l INSERM Toulouse. Le module ANASON a été testé en conditions de laboratoire et sera prochainement évalué dans des conditions réelles. Aujourd'hui, nous travaillons sur le développement de techniques de fusion adéquates pour mettre en commun les sorties de ces trois systèmes. Notre but ultime est de rendre ce système de télévigilance plus robuste en vue des fausses alarmes et des situations dangereuses non détectées. Cette plateforme pourrait aider le personnel médical à prendre en temps réel la bonne décision quant à l état de santé de la personne équipée et ce même à distance. Remerciements Nous remercions l Agence Nationale de la Recherche (ANR) qui finance le projet QuoVADis (TecSan 2007). Références [1] Tele-surveillance system for patient at home: The medeville system. Baldinger, J.L., et al. 2004. ICCHP. [2] Information extraction from sound for medical telemonitoring. Istrate, D, et al. 2006a. IEEE Trans. on Information Technology in Biomedecine. pp. 264-274. [3] Generic implementation of a distress sound extraction system for elder care. Istrate, Dan, Vacher, M et Serignat, F. New York : s.n., 2006b. IEEE EMBS. pp. 3309-3312. [4] Stagera, M., Lukowiczb, P. et Trostera, G. Power and accuracy tradeoffs in sound-based context recognition systems. Pervasive and mobile computing. 2007, pp. 300-327. [5] Analysis of speech recognition techniques for use on a non-speech sound recognition system. Cowling, M. et Sitte, R. Sydney : s.n., 2002. Digital Signal Processing for Communication Systems. [6] Telesurveillance of elderly patients by use of passive infra-red sensors in a smart home. Banerjee, S, et al. 2003. Telemed- Telecare. [7] Remote monitoring system for elders in a geriatric hospital. Steenkeste, F, et al. Arlington : s.n., 1999. International Conference on aging. [8] Analysis and Specification of Telemedical Systems Using Modelling and Simulation: the MOSAIKM Approach. Bott, O. J., et al. 2005. Connecting Medical Informatics and Bio-Informatics, ENMI. pp. 503-508. [9] OURSES: A Telemedicine Project for Rural Areas in France. Telemonitoring of Elderly People. Prieto-Guerrero A., Mailhes C., Castanié F. Vancouver, Canada : s.n., 2008. EMBC. pp. 5855-5858. [10] Speaker identification and verification using gaussian mixture speeker models. Reynolds, D.A. 1995, Speech Communications, pp. 91-108. [11] Estimating the dimension of a model. Schwarz, G. 1978, Annals of statistics, pp. 461-464. [12] Well, D, et al. SAM ESPRIT PROJECT2589-multilingual speech input/output assessment, methodology and standardization. University College London : Final report. Technical Report SAM-UCLG004, 1992. [13] 3.5G Based Mobile Remote Monitoring System. Bajracharya, A., et al. Vancouver, Canada : s.n., 2008. EMBC. pp. 783-786. [14] Assessing elderly persons fall risk using spectral analysis on accelerometric data a clinical evaluation study. Marschollek, M., et al. Vancouver, Canada : s.n., 2008. EMBC. pp. 3682-3685. [15] Toward Real Time Detection of the Basic Living Activity in Home Using a Wearable Sensor and Smart Home Sensors. Bang S., Kim, Song S., Park S. Vancouver, Canada : s.n., 2008. EMBC. pp. 5200-5203.