Nuadu project Technologies for Personal Hearth Seminar, June 4th, 2009 Monitoring elderly People by Means of Cameras Laurent LUCAT Laboratory of Embedded Vision Systems CEA LIST, Saclay, France 1
Summary 1. Video system objectives & requirements 2. Results 1. simulations with 0 / 1 people 2. simulations with 0 / 1 / 2 people 3. simulations involving complex scenarios 3. Performances summarization 4. Perspectives 2
1. Video system objectives & requirements Video system description: 3 wide-angle VGA color cameras, calibrated connected to a standard PC via a switch Fonctions (output) of the video system: Presence detection and basic enumeration (0, 1 or more people) People localization (on the bed, on a chair, armchair ) Posture detection (standing, sitting, lying) suitable for fall detection video analysis output merged with other sensor data to confirm people fall Requirements for the processing: to be robust (e.g. against outdoor illumination changes & occlusions) to adapt to scene changes (e.g. new people entering or leaving the room) to be real-time on a standard PC 3
2. Results : 1. simulations with 0 / 1 people Displayed data : posture + location ( + 3D bounding box) 4
2. Results : 2. simulations with 0 / 1 / 2 people Displayed data : people enumeration + posture ( if 1 person, only) 5
2. Results : 3. simulations on high-complex scenario 0 / 1 / 2 / 3 people with multiple occlusions, all people being mooving Displayed data : people enumeration + posture ( if 1 person, only) 6
3. Performances summarization A video analyser has been proposed, with good robustness against outdoor illumination changes spatial occlusions small objects displacements localization precision sufficient for the application good basic posture detection, suitable for people fall detection efficient people tracking up to 2 people inside the room Real-time performances can currently process 7 frames/sec on a 3GHz PC with 3 VGA cameras: unoptimized research-oriented C++ code does not make use of multi-threading / multi-core could jump to 15 fps with small effort in an industrial version, several rooms could be managed using one sole PC 7
4. Perspectives Extension of robustness for a «real-life» deployment indoor illumination changes (light switched on / off, TV on / off ) large object displacements improve performances with a large number of people involving people discrimination fusion with other sensor data, such as audio, IR sensors Extension of the people activity analysis from posture to gesture analysis allowing life-activity suitable monitoring Improvement of real-time performances this may include optimization of the number of cameras Adaptations for other applications, e.g. power management for smart buildings other security aspects: intrusions, surveillance for children 8
9
10
Main technical choices Robustness is more critical than spatial precision wide-angle cameras, providing several views of the scene 3D approach, dealing with spatial occlusions and improving localization reliability Efficiency & real-time capability target background subtraction using hierarchical approach coarse resolution analysis is often sufficient iteratively finer analysis in critical areas people are tracked using a simple matching 3D rectangular box people posture is deduced from the 3D box form factor 11
Détection des zones d activités modélisation de la scène Classification des objets détectés après fusion multi-vues facteur de forme (une classification plus fine serait à développer) Suivi 3D des personnes gestion des apparition disparition gestion multi-personnes Estimation de la posture analyse à partir du résultat du suivi Envoi de la description de la scène au moteur de corrélation nombre de personnes localisation dans la pièce posture de la personne état du système Monitoring Vidéo Principe 12
Monitoring Vidéo Suivi/Analyse de posture Vidéo Performances Robustesse des algorithmes Résultats obtenus sur site (conditions réalistes) Pas de non-détection des personnes Précision Localisation suffisamment précise pour l application Imprécision sur la posture acceptable Puissance de calcul actuellement 7 fps sur PC standard optimisation en cours >15 fps multi-threading algorithmie (enchainement des opérations) pour une version industrielle optimisation du code pour réduire la puissance de calcul étude de l infrastructure de calcul à mettre en œuvre 13
Monitoring Vidéo Suivi multi-personnes 2 personnes dénombrement et localisation corrects postures indéterminées lorsque les deux personnes sont très proches 3 personnes concentration trop importante nécessite d autres critères de discrimination 14
Monitoring Vidéo Synthèse Système intégré sur le site pilote français Mise en œuvre d un réseau de caméra IP Calibrage multi-caméra sur site Connexion au serveur d application (moteur de corrélation) Détection de présence / Suivi / Discrimination de posture Robuste, précis Multi-personne (cas limités) Temps-réel Dissémination Video Monitoring of Vulnerable People in Home Environment, Q-C Pham, Y.Dhome, L.Gond, P.Sayd. In 6th Int Conf. On Smart Homes and Health Telematics (ICOST 2008), July 2008, Ames, Iowa, USA. Présentation du monitoring vidéo au Smart Vision Day, Thales, 27 Mars 2009, Vélizy, Participation au workshop Nuadu organisé par VTT à Espoo, Juin 2009 15
Monitoring Vidéo Perspectives Poursuivre l exploitation de cette technologie dans le domaine de la santé Améliorer les capacités du monitoring vidéo Nuadu gérer le multi-personnes (discrimination et identification des individus, fiabilité du suivi, postures dans un groupe) aborder des sites plus vastes (appartement, étage) avec optimisation du nombre de caméras reconnaissance d activités (exercice, lecture, cuisine ) poursuivre la collaboration avec les capteurs domotiques et audio Une thèse débutera en Septembre 2009 sur le monitoring vidéo d activité Etendre l exploitation de la technologie au bâtiment intelligent gestion de l énergie, amélioration du confort sécurisation des lieux de vie (intrusion, chute, comportement à risque d enfant ) 16