Suivi multi-objets dans des séquences d'images par méthodes de Monte-Carlo Christelle Garnier Télécom Lille / LAGIS UMR CNRS 829
Contexte Utilisation accrue de caméras dans de nombreux domaines d application : vidéosurveillance, robotique, véhicules autonomes, interaction homme-machine, imagerie du vivant Très grand volume de données vidéo à traiter. Nécessité d automatiser les tâches d analyse visuelle et de développer des systèmes intelligents capables d extraire les informations utiles et de les interpréter de manière autonome. Que fait-on? Développer des modèles et des méthodes pour détecter et suivre de façon automatique, fiable et robuste des objets multiples dans des séquences vidéo issues d une ou plusieurs caméras. 2
Problématique : le suivi multi-objets (MOT Objectif : estimer de façon séquentielle les paramètres d objets multiples à partir des observations bruitées délivrées par un ou plusieurs capteurs. Système Nombre d'objets? Caractéristiques des objets? Position Taille Orientation Vitesse Objets d'intérêt : personnes, véhicules, vésicules (état caché Capteurs : caméras (observations bruitées Principales difficultés : nombre croissant d objets (grande dimension, apparitions / disparitions d objets, bruit, fausses détections, complexité de l environnement, nonstationnarité (variation de l environnement, du mouvement et de l apparence des objets, occlusions 3 3
Formalisation du problème : le cadre bayésien Modélisation du système dynamique par un modèle de Marov caché Etat caché Observations Loi initiale : p(x 0 Loi de transition : p(x x - x - Système y - Vraisemblance : p(y x x est une chaîne de Marov : x Système y Conditionnellement à l état, les observations sont indépendantes : p(x x -, x -2,, x 0 = p(x x - p(y x, y -,, y = p(y x x + Système y + Estimation de l état caché x à partir de la probabilité a posteriori p(x y : 4 4
Outils méthodologiques Méthodes séquentielles de Monte-Carlo (filtrage particulaire Avantages : Capacité à traiter des problèmes complexes non linéaires et non gaussiens, efficacité, caractère très générique. Principe : Approcher de façon discrète la loi à estimer par un ensemble de particules : p ( x y: (j (j p( x y ~ : ω δ ( x x N j= avec N j= ~ω (j = (j ~ω x (j Les particules sont des échantillons pondérés : (j (j { x } N, ~ ω j= x 5
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Pour explorer l espace d état (régions candidates pour les objets Pour j= N, tirer un échantillon selon une fonction d importance : x (j ~ π ( x x (j 0:,y : 6 6
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Pour explorer l espace d état (régions candidates pour les objets Pour j= N, tirer un échantillon selon une fonction d importance : x (j ~ π ( x x (j 0:,y : Fonction d importance : loi d évolution a priori des objets à suivre : (j (j π( x x,y: p( x x = 0: Modèle de mouvement : - a priori : marche aléatoire, vitesse constante - basé sur une estimation en ligne des paramètres de mouvement. 7 7
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Pour évaluer la qualité des régions candidates à partir des observations Pour j= N, évaluer le poids d importance : ω (j ~ (j ω ω = N i= p (j (j (j ( y x p( x x (j (j π ( x x0:,y: (j = ω (j ω (i ω (j p ( y x ( j La qualité est mesurée par la fonction de vraisemblance 8 8
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Fonction de vraisemblance : Elle dépend du modèle d observation qui décrit le lien entre l état caché (position, taille des objets et la caractérisation des objets dans l image.. On utilise un modèle d apparence pour caractériser les objets : descripteur de couleur (histogramme RGB, HSV, de contour, de gradients (HOG, SIFT, de texture (ondelettes La vraisemblance est définie à partir d une distance entre modèles d apparence (modèle correspondant à une région candidate et modèle de référence. 9 9
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Fonction de vraisemblance : Elle dépend du modèle d observation qui décrit le lien entre l état caché (position, taille des objets et la caractérisation de ces objets dans l image. 2. On utilise un algorithme de détection qui fournit la meilleure région candidate de l espace d état. La vraisemblance est définie à partir de la distance entre une région candidate et cette meilleure région utilisée comme référence. 0 0
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Fonction de vraisemblance : Elle dépend du modèle d observation qui décrit le lien entre l état caché (position, taille des objets et la caractérisation de ces objets dans l image. Il est possible de fusionner plusieurs caractéristiques dans la vraisemblance.
Outils méthodologiques Application du filtrage particulaire au suivi vidéo SUIVI Proposition Pondération Sélection Pour limiter la dégénérescence des poids. Etape de rééchantillonnage : Les particules de poids fort sont dupliquées, celles de poids faible sont détruites. 2 2
Outils méthodologiques Limitation des méthodes séquentielles de Monte-Carlo Difficultés à traiter les problèmes de grande dimension : Le nombre de particules nécessaires augmente de façon exponentielle avec la dimension. Cas du suivi multi-objets. Alternatives proposées en suivi vidéo Méthodes de décomposition de l espace d état (estimation d un objet à la fois Filtres particulaires indépendants [Breitenstein0] Nécessité d algorithmes spécifiques pour gérer les interactions entre objets Méthodes à échantillonnage partitionné [MacCormic00] Décomposition hiérarchique : performances variables suivant l ordre de traitement des objets Méthodes de Monte-Carlo par chaînes de Marov (MCMC Plus efficaces en grande dimension Plus flexibles (grand nombre d algorithmes d échantillonnage : Metropolis- Hastings, Gibbs Non séquentielles, adaptation nécessaire 3 3
Outils méthodologiques Principe du MCMC séquentiel [Khan05] A chaque instant, construire une chaîne de Marov {x,, x M } dont la distribution converge vers une loi cible. Loi cible : loi a posteriori p(x y : recherchée. {x, x 2,, x M-N, x M-N+,, x m,, x M } Burn-in Les N dernières valeurs de la chaîne de Marov constituent les particules : ( j { N M } { x m} x j= = m = M N + p (j (j ( x y ~ : ω δ ( x x N j= ~ (j avec ω = N 4 4
Outils méthodologiques Principe du MCMC séquentiel [Khan05] Algorithme MH, loi cible : la loi a posteriori p(x y : SUIVI Proposition d une particule Acceptation de la proposition Etant donné x m- Tirer une nouvelle valeur de la chaîne de Marov selon une loi de proposition : x q( x xm ~ Loi de proposition : loi d évolution a priori (modèle de mouvement q ( x xm (j = p( x x 5 5
Outils méthodologiques Principe du MCMC séquentiel [Khan05] Algorithme MH, loi cible : la loi a posteriori p(x y : SUIVI Proposition d une particule Acceptation de la proposition Accepter ou rejeter cette valeur selon la probabilité d acceptation : α = min, = x avec la proba. α x m -α avec la proba. x m p p ( ( (j x m y: p x x ( m - (j x y: p( x x 6 6
Outils méthodologiques Principe du MCMC séquentiel [Khan05] Algorithme MH, loi cible : la loi a posteriori p(x y : SUIVI Proposition d une particule Acceptation de la proposition Calcul de α filtre à l instant avec d'où p( x y: p( y x p( x y: p( x y: = p( x x p( x y: p( x y: vraisemblance filtre prédit à l instant IR n N N j= p( x ( j x filtre à l instant - N dx N j= δ - (j ( x x 7 7
Outils méthodologiques Principe du MCMC séquentiel [Khan05] Algorithme MH, loi cible : la loi a posteriori p(x y : SUIVI Proposition d une particule Acceptation de la proposition Calcul de α α = min, p( p( y y x x m N j= N j= p( x p( x x (j m - x p (j ( (j x m x p (j ( x x Coûteux! 8 8
Travaux de recherche Amélioration du suivi en grande dimension Optimisation des liens entre détection et suivi Modélisation : modèles dynamiques et d apparence 9 9
Amélioration du suivi en grande dimension Variante du MCMC séquentiel pour le suivi multi-objets [Truong2] Intérêt : - Coût de calculs plus faible que l adaptation séquentielle usuelle [Khan05]. - Possibilité d utiliser des lois d évolution plus complexes. Principe [Septier09] : A chaque instant, construire une chaîne de Marov {x,, x M } dont la distribution converge vers une loi cible. Loi cible : loi conjointe a posteriori p(x,x - y : vraisemblance loi d évolution filtre à l instant - p( x,x y: p( y x p( x x p( x y: N N j= δ (j ( x x 2 0 20 loi de proposition
Amélioration du suivi en grande dimension Variante du MCMC séquentiel pour le suivi multi-objets [Truong2] Algorithme MH, loi cible : loi conjointe a posteriori p(x,x - y : SUIVI Proposition d une particule Acceptation de la proposition Etant donné { m - x m- } x, Tirer un nouveau couple de la chaîne de Marov selon les lois de proposition : ~ x p( x y : ~ x p( x x N δ N ( j ( x x j= 2 2
Amélioration du suivi en grande dimension Variante du MCMC séquentiel pour le suivi multi-objets [Truong2] Algorithme MH, loi cible : loi conjointe a posteriori p(x,x - y : SUIVI Proposition d une particule Acceptation de la proposition Accepter ou rejeter ce couple selon la probabilité d acceptation : α = min, p( x p( x,x m,x y : m y : p( x m p( x x m x p( x p( x m y y : : = min, p ( y x ( y m x p {,x m} { x,x} avec la proba. α avec la proba. -α x m = { x m,x m } 2 2 22
Amélioration du suivi en grande dimension Résultats qualitatifs : cas mono-objet Filtre particulaire classique (en vert Méthode MCMC séquentielle (en rouge 000 particules 2 3 23
Amélioration du suivi en grande dimension Résultats qualitatifs : cas multi-objets Méthode MCMC séquentielle Détection automatique des nouvelles cibles Gestion des occlusions partielles 500 particules par objet 2 4 24
Optimisation des liens entre détection et suivi Approche de type «tracing-by-(softdetection» Intérêt : Augmenter le degré d automatisation des systèmes de suivi. Principe : Détection en continu et utilisation de l information de détection dans l étape de suivi. DETECTION SUIVI 2 grandes familles de détecteurs : - Détecteurs de personnes [Dalal05] (apprentissage supervisé - Détecteurs d objets en mouvement [Stauffer99] [Truong] (modélisation et soustraction de fond 2 5 25
Optimisation des liens entre détection et suivi Approche de type «tracing-by-(softdetection» Méthodes usuelles : «tracing-by-(harddetection» - Utilisation d une information binaire (présence/absence d objets. - Détérioration du suivi en cas de fausses détections ou de détections manquées. DETECTION SUIVI 2 6 26
Optimisation des liens entre détection et suivi Approche de type «tracing-by-(softdetection» Proposition : utilisation d une information soft (avant décision - Carte de probabilité de présence des objets d intérêt dans l image. - Prise en compte des incertitudes sur la localisation des objets dans l algorithme de suivi. DETECTION SUIVI 2 7 27
Optimisation des liens entre détection et suivi Intégration des informations de détection «soft» dans la loi de vraisemblance [Truong2] Intérêt : Quantifier plus précisément la qualité des régions candidates à partir des observations. loi de vraisemblance p det ( y x SUIVI DETECTION Proposition d une particule Acceptation de la proposition p det ( y x = exp λ p ( x x U j κ j ( ( d exp ( λ 2 p d ( x R ( X x R ( X où R(X j est la région candidate définie par X j et p d (x la probabilité qu un pixel x de l image appartienne aux objets d intérêt. - Vraisemblance indépendante de la taille des objets - Vraisemblance couplée avec une vraisemblance couleur classique 2 8 28 U j κ j
Optimisation des liens entre détection et suivi Intégration des informations de détection «soft» dans la loi de vraisemblance [Truong2] Erreurs de tracing obtenues sur les images successives d une séquence vidéo. Comparaison de 2 méthodes : Filtre particulaire classique (PF Méthode MCMC séquentielle (MCMC avec 2 types de vraisemblance : Vraisemblance couleur Vraisemblance de detection couplée à la vraisemblance couleur (HOG 000 particules 2 9 29
Optimisation des liens entre détection et suivi Intégration des informations de détection «soft» dans la loi de proposition (thèse en cours - M. Oulad Améziane Intérêt : - Explorer plus efficacement l espace d état, notamment lorsque la loi d évolution a priori p(x x - est mal connue (mouvement abrupt, changement de caméra - S approcher de la loi de proposition optimale p(x x -, y qui prend en compte les observations courantes. det loi de proposition p( x x, y SUIVI DETECTION Proposition d une particule Acceptation de la proposition 3 0 30
Optimisation des liens entre détection et suivi Intégration des informations de détection «soft» dans la loi de proposition (thèse en cours - M. Oulad Améziane F-measure (taux de recouvrement entre l objet et son estimé en fonction du taux de sous-échantillonnage d une séquence vidéo. Comparaison de 4 filtres particulaires : Classique avec la loi d évolution a priori (PF Auxiliaire avec la loi d évolution a priori (APF Classique avec une loi de proposition définie à partir d une detection hard (Boosted PF Classique avec la loi de proposition quasi-optimale définie à partir d une detection soft (Near-optimal 00 particules, séquence Waling 3 3
Optimisation des liens entre détection et suivi Intégration des informations de détection «soft» dans la loi de proposition (thèse en cours - M. Oulad Améziane PF (en vert, Boosted PF (en rouge et Near-optimal PF (en noir 00 particules, séquence Running DS = 2 DS = 0 3 2 32
Modélisation Nouveaux modèles dynamiques Intérêt : S adapter aux variations de mouvement et d apparence des objets. Principe : Rendre aléatoires des variables habituellement considérées comme déterministes et faire une estimation conjointe. Vecteur d état : { } X X = j Nmax j= avec N max est le nombre max d objets d intérêt présents dans l image. Chaque objet j est représenté par un rectangle. S j = [ x j,y j, (r x j, (r y ] où x j et y j sont les coordonnées du centre du rectangle j, (r x j et (r y j sont respectivement la largeur et la hauteur du rectangle j à l instant. Evolution suivant une marche aléatoire Gaussienne E j est un indicateur d existence égal à 0 ou à. Il permet de gérer automatiquement l apparition et la disparition des objets dans l image. Evolution suivant une chaîne de Marov X j = j j j j [ S ] T, E, Σ, H 3 3 33
Modélisation Nouveaux modèles dynamiques Intérêt : S adapter aux variations de mouvement et d apparence des objets. Principe : Rendre aléatoires des variables habituellement considérées comme déterministes et faire une estimation conjointe. Vecteur d état : { } X X = j Nmax j= avec Σ j est la matrice de covariance du bruit d état, qui définit la taille de la région de recherche autour de l état courant. Evolution suivant une loi de Wishart H j est l histogramme de référence couleur de l objet j. Evolution suivant une loi de Dirichlet X j = j j j j [ S ] T, E, Σ, H Modèles d apparence basés sur une représentation parcimonieuse (post-doc de S. Rousseau dans le cadre du projet ARCIR REPAR 3 4 34
Représentation parcimonieuse et suivi vidéo La représentation parcimonieuse peut être utilisée à 2 niveaux dans le tracing 2 grandes familles d approches [Zhang3] : Recherche d objets basée sur une représentation parcimonieuse Modélisation d apparence des objets à suivre basée sur une représentation parcimonieuse 3 5 35
Représentation parcimonieuse et suivi vidéo Recherche d objets basée sur une représentation parcimonieuse Construction d un dictionnaire X = {T, B, V} à partir d une collection d imagettes issues des images précédentes. Pour chaque région candidate y, calcul des coefficients u de la représentation parcimonieuse dans le dictionnaire X. Définition de la fonction de vraisemblance à partir des erreurs de reconstruction obtenues en représentant la région candidate à partir du dictionnaire T et du dictionnaire B. 3 6 36
Représentation parcimonieuse et suivi vidéo Modélisation d apparence basée sur une représentation parcimonieuse Apprentissage d un dictionnaire X à partir d une collection de patchs locaux issus des images précédentes (MOD, K-SVD. Construction du modèle d apparence des objets à suivre à partir des coefficients u de leur représentation parcimonieuse dans le dictionnaire X (matrice coefficients z (vecteur. Pour chaque région candidate y, calcul des coefficients ui de la représentation parcimonieuse dans le dictionnaire X, puis des coefficients zi. Définition de la fonction de vraisemblance à partir d une mesure de similarité entre les coefficients zi de la région candidate et des coefficients z du modèle de référence. 3 7 37
Représentation parcimonieuse et suivi vidéo Améliorations / Variantes : - Travailler dans l espace des caractéristiques (couleur, gradients, texture plutôt que dans l espace de l image. - Effectuer un apprentissage en ligne du dictionnaire pour tenir compte des variations d apparence des objets au cours du temps. - Combiner les 2 approches. - Considérer l ensemble des régions candidates comme le dictionnaire et calculer une seule représentation parcimonieuse (celle du modèle d apparence pour alléger les calculs. - 3 8 38
Références [Truong2] D.N. Truong Cong, F. Septier, C. Garnier, L. Khoudour and Y. Delignon, "Robust visual tracing via MCMC-based particle filter", ICASSP, Mar. 202. [Dalal05] N. Dalal and B. Triggs, Histograms of oriented gradients for human detection, CVPR, 2005. [Truong] D.N. Truong Cong, L. Khoudour, C. Achard, and A. Flancquart, "Adaptive model for object detection in noisy and fast-varying environment", ICIAP, Sep. 20. [Khan05] Z. Khan, T. Balch, and F. Dellaert. "MCMC-Based particle filtering for tracing a variable number of interacting targets". IEEE Transactions Pattern Analysis and Machine Intelligence, 2005. [Septier09] F. Septier, S. K. Pang, A. Carmi, and S. Godsill. "On MCMC-Based Particle Methods for Bayesian Filtering : Application to Multitarget Tracing", CAMSAP, Dec. 2009. [Stauffer99] C. Stauffer and W.E.L. Grimson, "Adaptive bacground mixture models for real-time tracing," CVPR, 999. [MacCormic00] J. MacCormic and A. Blae, "A Probabilistic Exclusion Principle for Tracing Multiple Objects", International Journal of Computer Vision, 2000. [Breitenstein0] M. Breitenstein, F. Reichlin, E. Koller-Meier, B. Leibe and L. Van Gool, Online multi-person Tracing-by-Detection from a single, uncalibrated camera, IEEE Transactions on Pattern Analysis and Machine Intelligence, Oct. 200. [Zhang3] S. Zhang, H. Yao, X. Sun and X. Lu, Sparse coding based visual tracing: Review and experimental comparison, Pattern Recognition, 203. 3 9 39