De l'intelligence dans vos déplacements! Informations multi-modales pour des applications intelligentes

Transcription

1 De l'intelligence dans vos déplacements! Informations multi-modales pour des applications intelligentes Jean Hennebert François Tièche Houda Chabbi Drissi

2 Plan HES-SO en bref Quelques projets en lien avec la mobilité Focus sur un projet: VISUM Vidéo Surveillance Multimodale

3 More than 18,000 students The largest UAS in Switzerland 27 schools in 7 cantons About 10,000 employees 6 Education fields 41 Bachelor degree programs 16 Master degree programs 170 recognized continuing education courses

4 Quelques projets en lien avec la mobilité Mobilité touristique et des loisirs Institut de tourisme, Sierre, Prof. Matos-Wasem Consomini, prototype de voiture a tre s faible consommation Haute Ecole Arc, Le Locle, Thierry Robert BioMobile.ch, prototype "ze ro CO2" (construction et utilisation) hepia, Gene ve, Michel Perraudin VOLTITUDE Ve lo a moteur e lectrique pliable ECAL, Lausanne, Luc Bergeron Magic Turtle; le tricycle solaire intelligent Haute Ecole Arc, Neucha tel, Franc ois Petitpierre PROVABOX, dispositif de gestion d e ve nements lie s a la mobilite HEIG-VD, Yverdon, Ce dric Bornand PlanetSolar, bâteau solaire HEIG-VD, Yverdon Projet Icare, véhicule éolio-solaire HEIG-VD, EIA-FR

5 Revue Hémisphères Vol. 2 Déc 2011

6 MAS en ingénierie de la mobilité Prof. Yves Delacrétaz HEIG-VD Mobilité et transports Start = MAS = 65 ECTS CAS1 Planification et gestion de la mobilité multimodale CAS2 Espace public urbain et mobilités douces CAS3 Transports collectifs CAS4 Services et technologies pour la mobilité durable CAS5 Mobilité de loisirs, de tourisme et événementielle

7 Fonds de Soutien à l Innovation du Canton de Fribourg Systèmes d informations pour la mobilité et l arrivée future des véhicules électriques

8 Sommaire HES-SO en bref Quelques projets en lien avec la mobilité Projet de RaD de vidéo surveillance multimodale. (ViSuM) Architecture Application: Surveillance de parking Conclusions EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 8

9 But de ViSuM Vidéo Surveillance => grandes quantités de données En général: Analysées par des opérateurs humains. But : Extraire automatiquement les séquences avec «des événements pertinents». Permet la recherche multiple. Moins de données à analyser par l opérateur EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 9

10 Apport de ViSuM Une approche multimodale : Utilisation complémentaire de différents types de caméras : couleur, thermique et profondeur) Lever certaines ambiguïtés Processus plus robuste Une architecture générique, validée par deux applications de vidéo surveillance : EIA-FR : Surveillance d une salle d attente (profondeur, couleur) HE-Arc : Surveillance d un parking (couleur, thermique) EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 10

11 Sommaire HES-SO en bref Quelques projets en lien avec la mobilité Projet de RaD de vidéo surveillance multimodale. (ViSuM) Architecture Application: Surveillance de parking Conclusions EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 11

12 Architecture globale Acquisition Traitements Traitements Recherche et visualisation Source1 Source2 SourceN Acquisition Pré-traitements préliminaires Traitement des données Fusion multimodale et annotation Stockage Information Stockage résultat traitement et annotation Recherche et visualisation Stockage de l information EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 12

13 Architecture: Acquisition 1. Récupération et synchronisation des flux des caméras 2. Stockage des flux brutes sous la forme de VideoM (Partage 1) 3. Stockage des métas-données des VideoM (BDD 2) EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 13

14 Architecture: Recherche et visualisation Rechercher des événements Visualiser des séquences avec ses annotations EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 14

15 Architecture: Recherche et visualisation Résultats Requête Conférence Alliance: De l'intelligence dans vos déplacements! 15

16 Architecture: Recherche et visualisation Mots du dictionnaire Temporelle Sources multimodales Images affichées Conférence Alliance: De l'intelligence dans vos déplacements! 16

17 Architecture: Recherche et visualisation Une séquence annotée Début de séquence Fin de séquence Contenu Image Mot du dictionnaire Date Heure Durée Lien sur vidéo Conférence Alliance: De l'intelligence dans vos déplacements! 17

18 Architecture: Recherche et visualisation Dictionnaire d annotations ID du l entrée Description Entrée du dictionnaire 1 Personne entrant Someone entering 2 Personne sortant Someone leaving 3 Objet entrant Something entering 4 Objet sortant Something leaving 5 Porte ouverte Door open 6 Porte entrouverte Door ajar 7 Porte fermée Door close 8 Rien n est passe la porte Nothing pass the door 9 Problème Problem 10 Total de personnes entrant Total persons entering 11 Total de personnes sortant Total persons leaving 12 Total d objets entrant Total objects entering 13 Total d objets sortant Total objects leaving 14 Total d entre es Total entering 15 Total de sorties Total leaving 16 Total d ouvertures de porte Total door opening Exemple de l application de la EIA-FR EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 18

19 Architecture: Traitements Situation des traitements ad-hoc pour les applications EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 19

20 Sommaire HES-SO en bref Quelques projets en lien avec la mobilité Projet de RaD de vidéo surveillance multimodale. (ViSuM) Architecture Application: Surveillance de parking Conclusions EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 20

21 Objectifs: Application : Surveillance de parking Surveiller un parking. Détecter les arrivées et les départs de personnes et de voitures ainsi que les activités sur le parking. Utilisation de deux types de caméras : Caméra couleur Caméra thermique EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 21

22 Dictionnaire: Application : Surveillance de parking ID du Description Entrée du dictionnaire l entrée 1 Personne entrant sur le parking Person entering 2 Personne sortant du parking Person leaving 3 Voiture entrant sur le parking Car entering 4 Voiture sortant du parking Car leaving 5 Objet non identifié entrant sur le parking 6 Objet non identifié sortant du parking Object entering Object leaving 7 Activité sur le parking Activity EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 22

23 Application : Surveillance de parking Vision: Deux principes de segmentation utilisés 1. Soustraction de fond : Image courante image du fond. 2. Flux optique: Détecter les déplacements de points caracte ristiques de l image. Image Soustraction de fond Flux optique EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 23

24 Flux optique Soustraction de fond Piéton de jour Application : Surveillance de parking caméra couleur caméra thermique EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 24

25 Flux optique Soustraction de fond Voiture de jour Application : Surveillance de parking caméra couleur caméra thermique EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 25

26 Application : Surveillance de parking EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 26

27 Sommaire HES-SO en bref Quelques projets en lien avec la mobilité Projet de RaD de vidéo surveillance multimodale. (ViSuM) Architecture Application: Surveillance de parking Conclusions EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 27

28 6. Conclusions Les premiers résultats sont satisfaisants La chaine d algorithmes est fonctionnelle Amélioration possible des algorithmes de vision et de reconnaissance. La multi-modalité des caméras est utile. La caméra Kinect facilitent la de tection de l ouverture des portes et la reconnaissance de personnes La caméra thermique montre son utilité la nuit, mais également le jour Architecture globale est fonctionnelle et adaptée aux deux applications. Extensions a d autres applications EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 28

29 Merci de votre attention EPFL - 29/11/2012 Conférence Alliance: De l'intelligence dans vos déplacements! 29