en environnement intérieur pour l'indexation de vidéo issue de caméra portée

Dimension: px

Commencer à balayer dès la page:

Download "en environnement intérieur pour l'indexation de vidéo issue de caméra portée"

Jacques Lafond
il y a 8 ans
Total affichages :

1 Reconstruction et localisation 3D en environnement intérieur pour l'indexation de vidéo issue de caméra portée H. Wannous, V. Dovgalecs, R. Mégret* IMS - Projet IMMED / ANR 09-BLAN BLAN *remi.megret@ims-bordeaux.fr

2 Points abordés Introduction du projet IMMED Dispositif d acquisition vidéo portée Localisation par modélisation 3D Exploitation de la trajectrographie Conclusion et perspectives 2

3 Projet IMMED Indexation de données MultiMédia Embarquées pour le Diagnostic et le suivi des traitements des démences Motivation Observer les IADLs (activités instrumentale de la vie quotidienne) d une personne dans son milieu habituel Critère d'aide au diagnostic des démences (INSERM/CHU Bordeaux) Outils Acquisition vidéo portée des IADLs Indexation du flux audio/vidéo Ce travail a reçu le soutien de l ANR sous la référence ANR-09-BLAN

Critère d'aide au diagnostic des démences (INSERM/CHU Bordeaux) Outils Acquisition vidéo portée des IADLs Indexation

4 Approches Equipement smart-home Capteurs de présence Vidéosurveillance Equipement porté Inertiel Actimètres Accéléromètres Vidéo Environnement Marqueurs Objets Mains Audio Capteurs radio-fréquences RFID, Wifi, GPS Capteurs physiologiques Indexation Activité Lieu Manipulation d objets Evénements externes Sons, parole 4

Marqueurs Objets Mains Audio Capteurs radio-fréquences RFID, Wifi, GPS Capteurs

5 Indexation en activités Activités haut-niveau Préparation aliment Utilisation objet Rangement objet Lavage: soi ou objet Locomotion Indices Localisation Situation spécifique (évier) Pièce Mouvement Quantité d activité Gestes instrumentaux Déplacements Audio Bruits spécifiques Relations sociales (Aspirateur, eau, téléphone ) Parole Présence d objets Environnement Objet manipulable 5

Mouvement Quantité d activité Gestes instrumentaux Déplacements Audio Bruits spécifiques

6 Capture vidéo portée? SenseCam Wearable visual robot AWEAR 2.0 Looxcie WearCam EyeSeeCam AWEAR 2.0 : [Havlena, M. et al.cvpr, 2009.] 6

7 Besoin / prototype utilisé Capture des activités instrumentales et de leur contexte Caméra et support Vidéo analysée par le médecin Caméra sur l épaule Poids et encombrement réduits Champ de vision étendu 100 vertical, 130 horizontal ( 170 diagonal) Fixation de la caméra Réglage de l angle de vue Adaptation du gilet àla morphologie de la personne 7

encombrement réduits Champ de vision étendu 100 vertical, 130 horizontal ( 170

8 Acquisition en environnement intérieur Contraintes applicatives Autonomie de plusieurs heures Domicile non équipé ( smart-home) Supervision faible par le personnel Approche 2D Base d apprentissage étiquetée Localisation qualitative (pièce, situation) Approche 3D - Apprentissage de zones d'intérêt - Localisation quantitative 6ddl 8

personnel Approche 2D Base d apprentissage étiquetée Localisation qualitative

9 Localisation par reconnaissance d'images 2D Bag of Features Réduction de dimensionnalité + apprentissage Catégorisation 9 Bag of visual words [Dovgalecs et al. CBMI2010]

10 Objectifs Détecter des situations d'intérêt Présence dans une zone spatiale d'intérêt pour les IADLs Distance et posture par rapport à des sites particuliers analyse des actions instrumentales Moments de locomotion Moyens Modélisation 3D des zones d'intérêt Trajectographie 3D automatique Exploitation de la localisation pour la génération d'événements 10

actions instrumentales Moments de locomotion Moyens Modélisation 3D des zones d'intérêt

11 Localisation en 2 étapes Reconstruire des modèles 3D de référence À partir des images des booststrap Modèles 3D partiels de la scène Recaler toute nouvelle image sur ces modèles Extraction des points d intérêt Mise en correspondance robuste 2D/3D 11

partiels de la scène Recaler toute nouvelle image sur ces

12 Schema de localisation Séquence de test Reconstruction 3D Modèles de l'environnement Recalage 2D/3D 1/0 Détection d événement Activités 12

13 Modélisation 3D Méthode Structure from Motion (SfM) Chaîne de traitement Calibration de la caméra Modèle fisheye [Scaramuza 06] Détection des points d intérêt SIFT Correction géométrique Appariement des points Reconstruction éparse par ajustement de faisceaux 13

Détection des points d intérêt SIFT Correction géométrique

14 Reconstruction éparse (SFM-BA) Entrée : un ensemble de points appariés Sortie : matrices de projection sur toute la séquence Initialisation de la reconstruction 2 vues adéquates Mise en correspondance 2D (RANSAC,.6%max imgdim) Caméra + pts 3D triangulés Rajout des vues (incrémental) : Estimer la matrice de projection Pts 2D (vue) / Pts 3D (landmarks) RANSAC (.4%max imgdim) Raffiner la structure. Raffiner la position de la caméra (tous les points) Raffiner la structure et les poses de toutes les caméras par Bundle adjustement (sparse Levenberg-Marquard) Méthode de [Snavely IJCV2007] 14

6%max imgdim) Caméra + pts 3D triangulés Rajout des vues (incrémental) : Estimer la matrice de projection Pts 2D (vue) / Pts 3D (landmarks) RANSAC

15 Modèles de l environnement Trajectoires de la caméra Nuages des points 3D de l environnement SfM : (60 caméras et 3832 pts) 15

16 Reconstruction MVS quasi dense Objectif: Densification de la reconstruction pour la visualisation MVS pipeline = match-expand-filter Mise en correspondance éparse HARIS + DoG Itération (3 fois) Expand: Propagation vers les pixels voisins (photoconsistency) Filtering Supprission des outliers (visibility consistency) Méthode PMVS: [Furukawa PAMI 09] 16

DoG Itération (3 fois) Expand: Propagation vers les pixels voisins (photoconsistency)

17 Reconstruction MVS quasi dense Structure de points 3D quasi-dense Meilleurs visibilité 3D de l environnement Facilite la définition d objets dans la scène MVS : (60 caméras et pts ) 17

18 Finalisation du modèle 3D Marqueurs naturels de l'environnement Sélection des points 3D de l objet Calcul du centre de gravité Mettre la scène à l échelle métrique Sélection de 2 points 2D (ou 3D) Manuel / automatique 18

Calcul du centre de gravité Mettre la scène à l

19 Exploitation de la localisation Distance objet caméra Distance métrique Distance relative Détection des zones : Très proches Instrumentales Éloignées Éloignée Instrume ntale Très proche Distances caméra-objets (m. café/évier) 19

: Très proches Instrumentales Éloignées Éloignée

20 Exploitation de la localisation Déplacement / vitesse Descripteur qualitatif Approchement Éloignement Éloignement l évier Événement Entrée / sortie zone instrumentale Rapprochement m. café 20

21 Expérimentations 2 séquences de test (68000 fr, 63000fr) 4 classes (cuisine, bureau, salle photocopie, salle) 7 objets d intérêt (machine café, lavabo, biblio, photocopieuse, pc, range, canapé) Interaction avec les objets Répétition d événements Un booststrap Passage dans tous les lieux 6 modèles de référence Reconstruction : <100 fr / modèle 21

22 Performances de reconnaissance Recalage tous les frames / 6 modèles cuisine range salle photocop. biblio pc cuisine range salle photocop. biblio pc Performances de reconnaissance : P = R =

23 Performances de reconnaissance Recalage tous les 2*N frames / 6 modèles lissage par vote majoritaire sur fenêtre de 100 frames cuisine range salle photocop. biblio pc cuisine range salle photocop. biblio pc 23 Performances de reconnaissance : P = R =

24 Intérêt du modèle 3D pour l indexation 2D-3D: matching image-modèle 3D 2D-2D: matching image-images de référence+ransac 24

25 Conclusion Réalisation d un prototype d acquisition Actuellement déployé dans le cadre du projet IMMED Localisation 3D Cartes locales 3D des zones d'intérêt Annotation manuelle «légère» Trajectographie 3D par appariement 2D-3D Exploitation des données Distance/posture par rapport aux sites d'intérêt Détection d'événements 25

26 Perspectives pour l approche SfM Briques de base pour l indexation? Potentiel d amélioration des méthodes 2D usuelles Nécessite une automatisation, utilisation non/peu-supervisée (SLAM?) Passage à l échelle, robustesse Fusion inertiel/vision pour gérer les occultations et les mouvements brusques Intégration des cartes locales dans un modèle global Cibles variées de traitement SfM de l environnement, SfM des objets Détection/suivi des objets manipulés 26

Documents pareils

N. Paparoditis, Laboratoire MATIS

N. Paparoditis, Laboratoire MATIS Contexte: Diffusion de données et services locaux STEREOPOLIS II Un véhicule de numérisation mobile terrestre Lasers Caméras Système de navigation/positionnement STEREOPOLIS