Reconnaissance d'objets routiers - Application Perception pour la conduite automatisée A07 : Interaction Véhicule Environnement Aurélien Cord Aurelien.Cord@lcpc.fr Reconnaissance de piétons 2 1
Etat de l art succinct 1997 : Mickael Oren et al., "Pedestrian detection using wavelet templates" in CVPR. 1998 : Constantine P. Papageorgiou, et al. "A general framework for object detection in ICCV. Descripteurs d image basés sur des ondelettes de Haar 2000 : Constantine P. Papageorgiou, et al. "A trainable system for object detection in IJCV système de détection des piétons en temps réel 2001 : Paul Viola and Michael Jones. Rapid object detection using a boosted cascade of simple features.«in CVPR Optimisation des ondelettes de Haar et AdaBoost Application aux visages 3 Etat de l art succinct 2001 : Dariu M. Gavrila, et al. A multi-sensor approach for the protection of vulnerable traffic participants - the PROTECTOR project. In IMTC 2005 : Navneet Dalal and Bill Triggs., "Histograms of oriented gradients for human detection" in CVPR. Descripteurs d image basés sur HOG 2006 : Stefan Munder and Dariu M. Gavrila An Experimental Study on Pedestrian Classification in PAMI. Base de données 2007 : Dariu M. Gavrila, et al. " Multi-cue pedestrian detection and tracking from a moving vehicle PAMI Shape context et réseau de neurone 4 2
Etat de l art succinct Une communauté très active, mais les principes restent les mêmes : 5 Schéma de principe (rappel) Hors Ligne Base Image Sélection des descripteurs Fonction de classification En Ligne ROI Descripteurs Classification 6 3
Schéma pour les piétons Extrait de la thèse de Laëticia Leyrit (2010) 7 Schéma pour les piétons Extrait de la thèse de Laëticia Leyrit (2010) 8 4
Base de données La référence : Stefan Munder and Dariu M. Gavrila An Experimental Study on Pedestrian Classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 11, pp.1863-1868, Nov. 2006. Cité 285 fois! 9 Base de données 5 x 4500 images positives et 5000 négatives Images de luminance de taille 36x18 pixels Positifs Piéton debout, entièrement visible, différentes postures, fond variés. Décalage de quelques pixels et retournements Négatifs Environnement urbain : bâtiments, arbres, voitures, panneaux de signalisations,... 10 5
Schéma pour les piétons Extrait de la thèse de Laëticia Leyrit (2010) 11 Les descripteurs Ondelettes de Haar : Trois directions principales : horizontale, verticale et diagonale 12 6
Les descripteurs Ondelettes de Haar : Elles sont «choisies» pour caractériser des endroits particuliers dans l image 13 Les descripteurs Ondelettes de Haar : Calcul rapide Image intégrale h = D+A-B-C 14 7
Les descripteurs HOG : 15 Les descripteurs HOG : Algorithme 1. 2. 3. 1. 2. 3. 16 8
Les descripteurs LBP : Cas général : Adaptation à la détection de piétons : 17 Les descripteurs Imagettes 36x18 Taille des descripteurs : Propriétés 2 tailles (4x4 et 8x8) 3 orientations Recouvrement ¼ taille Non Harr HOG LBP Cellule 3x3 8 orientations Tous les couples Taille totale 1755 576 648*647 (>4.10 5 ) Adaboost -> 2468 Importance de la sélection de variables 18 9
Schéma pour les piétons Extrait de la thèse de Laëticia Leyrit (2010) 19 Classifieur Machine à Noyaux : SVM 20 10
Classifieur Machine à Noyaux : SVM 21 Classifieur Machine à noyaux : SVM Adaboost SVM 22 11
Classifieur Machine à Noyaux : SVM Ensemble d apprentissage Fonction de classification Avec Terme d attache aux données Terme de régularisation Deux paramètres : σ et λ 23 Schéma pour les piétons Extrait de la thèse de Laëticia Leyrit (2010) 24 12
Evaluation du système Comparaison des descripteurs Entrainement : Base 1, 2 et 3 Test : Base 4 et 5 Evaluation par courbe ROC 25 Evaluation du système 26 13
Evaluation du système Combinaison des descripteurs Moyenne Max 27 Bilan du système Descripteur binaire Rapide 28 14
Bilan du système Pour 10 % de fausse détection : 29 Exemples de résultats 30 15
Exemples de résultats 31 Exemples de résultats 32 16
Conclusion Tâche extrêmement difficile Variabilité des cibles Difficulté à les modéliser Variabilité de l environnement Modèle obtenu difficilement interprétable Compromis entre temps de calcul et performance 33 Améliorations envisageables Utilisation d une cascade de classifieur Amélioration de la résolution (36x18) Attention au temps de calcul Parallélisation Utilisation de la vidéo pour suivre les cibles potentielles dans les séquences Combinaison avec d autres capteurs 34 17
Merci de votre attention 35 18