Systèmes d aide à l audio et à la vidéo surveillance dans les systèmes de transport Sébastien AMBELLOUIS et Louahdi KHOUDOUR {sebastien.ambellouis,louahdi.khoudour}@inrets.fr 1
Plan de l'exposé La vidéo-surveillance de l'infrastructure : une assistance incontournable La «surveillance intelligente» embarquée : vers une interprétation multi-modale Conclusion et perspectives 2
La vidéo-surveillance de l'infrastructure : une assistance incontournable 3
Un système de vidéo-surveillance Le schéma classique Matrice vidéo Poste de contrôle >100 cameras Fonctions principales - Observation automatique ou manuelle des caméras - Enregistrement des séquences d'images 4
Une automatisation indispensable La «vidéo-surveillance intelligente» L'objectif de l'exploitant Garantir le meilleur niveau de sécurité et d'intervention Les difficultés pour un agent Impossibilité de regarder toutes les caméras Perte de sa concentration Les objectifs Ne transmettre que l'information utile Une alarme et les images associées Laisser la décision finale à l'agent Développer des fonctions d'interprétation automatique des images 5
Un système à l'intelligence répartie La «caméra intelligente» Notion de Réseau de «caméras intelligentes» Caméra associée à une unité de calculs et à des fonctions logicielles capture d images Analyse d images Interprétation Génération d alarmes 6
Un système à l'intelligence répartie Le tout IP Unité de sauvegarde Réseau IP Caméra intelligente Caméra 2 Alarme!!! Caméra 1 Caméra 2 Caméra 3 7
Les fonctions d'analyse d'images Les plus avancées Stations et gares Environnement fixe Variation raisonnable de la luminosité Amélioration de la sécurité des individus Chutes sur les voies, foules trop denses, colis abandonnés Aide à l exploitation Comptage de personnes (taux de fraude) Files d attente 8
Les fonctions d'analyse d'images Baggage abandonné (fonction de sécurité) 9
Les fonctions d'analyse d'images File d attente (aide à l exploitation) 10
Les fonctions d'analyse d'images Les recherches aujourd'hui Extraction et interprétation du comportement de chaque individu présent dans la scène Passagers <-> passagers et passagers <-> infrastructure Scénario de bagarre, de vol à l'arraché ou d'agression Les contraintes une modélisation précise et réaliste de chaque scénario Une extraction précise et robuste des paramètres nécessaires (paramètre de mouvement, chaque entité etc.) La matrice d'entrée/sortie d'un réseau Déterminer les flux de voyageurs sur un réseau à partir des observations faites par chaque caméra du réseau 11
La matrice d'entrée / sortie d'un réseau Paul est entré à la station «porte des postes» Paul est sorti à la station «Lille Fives» 12
La matrice d'entrée / sortie d'un réseau A l entrée de Paul sur le réseau : déterminer un ensemble de signatures vidéo permettant de caractériser Paul A chaque passage d un individu sous une caméra du réseau: calculer les mêmes de signatures puis les comparer à celles de Paul Mais Paul n est pas seul... Grosse masse d informations circule sur le réseau informatique 13
La «surveillance intelligente» embarquée : vers une interprétation multi-modale 14
Système intelligent de vidéo surveillance A l'intérieur des véhicules Déploiement des systèmes de vidéo surveillance à bord des véhicules Assurer la continuité d un service d automatisation de la tâche de surveillance Tenir compte des spécificités liées à un environnement embarqué : la mobilité 15
L analyse des images mise en défaut A l'intérieur des véhicules Environnement fixe Milieu ouvert Conditions de luminosité relativement contrôlées Environnement embarqué Milieu confiné Conditions de luminosité trés variables et aléatoires Intenses vibrations Couverture compléte du véhicule difficile à obtenir Nombreuses occultations Difficile de séparer et suivre individuellement un passager 16
D autres techniques pour d autres fonctions Comptage de passagers par stéréovision Capteur Alimentati on et synchroni sation 2,35 m Traitem ent 17
Surveillance bi-modale embarquée Réseau de «microphones intelligents» Un évènement est modélisé par des caractéristiques visuelles et/ou acoustiques 18
Reconnaissance d'événements sonores Projet SAMSIT - EVAS Objectif - Déclencher une alarme sur les événements suivant : cris et bruit d'un aérosol de peinture Graffiti dans un train Cris Vol à l'arraché 19
Reconnaissance d'événements sonores Projet SAMSIT - EVAS Performances Cris Bombe de peinture 20
Reconnaissance d'événements sonores Projet SAMSIT - EVAS Projet SAMSIT : Utilisation du mode de perception audio dans la description d'un scénario à détecter Milieu ferroviaire (SNCF) «Individu qui réalise un tag» : déplacement particulier de l'individu dans le véhicule prés d'une fenêtre ET bruit d'un aérosol de peinture Fusion audio (INRETS) et vidéo (CEA/INRIA) Analyse vidéo : détection et localisation des passagers Si occultation alors l'audio permet toujours la détection du scénario 21
Conclusions et perspectives Domaine de recherche qui a bénéficié de gros efforts Premières valorisations possibles Un futur qui ne manque pas d avenir Rechercher la robustesse et la portabilité Continuité de l'automatisation de la vidéo-surveillance fixe Détection d'événements plus complexes Action dans le domaine de la surveillance intelligente embarquée Introduction de la modalité audio afin de pallier les faiblesses de la vidéo 22
Je vous remercie de votre attention 23
Quelques annexes 24
La méthode utilisée Méthode en 2 étapes : Modélisation et classification Modélisation Processus hors ligne Algo EM K-Means Modéle utilisé : mélange de gaussiennes (GMM) Un GMM par type d évènement à détecter Bombe de peinture cris Gaussian Mixture Model (GMM) GMM_peinture GMM_cris 25
Modélisation et classification Méthode en 2 étapes : Modélisation et classification Classification Processus en ligne Calcul du coefficient de Vraissemlance avec GMM_peinture Calcul du coefficient de Vraissemlance avec GMM_cris Choix du Maximum Le maximum de vraissemblance permet de déterminer la classe à laquelle appartient le motif sonore étudié 26