Le suivi dans les séquences vidéo

Transcription

1 Cours AIV/VOIR 7 janvier 2014

2 Plan du cours Introduction 1 Introduction 2 3 Cas linéaire et gaussien : filtre de Kalman 4 Cas général : filtrage particulaire

3 Travail sur le mouvement Détection du mouvement : motion detection Identifier les pixels en mouvement Différence d images Techniques de soustraction de fond etc.

4 Travail sur le mouvement Estimation du mouvement : motion estimation Ensemble des vecteurs mouvement transformant une image en une autre Algorithmes de Block-Matching Estimation du flot optique Mise en correspondance (RANSAC, etc.) etc.

5 Travail sur le mouvement Suivi du mouvement : tracking Localiser à chaque instant la position d un ou des objets Suivre la trajectoire d un ou des objets dans la scène

6 Objectif : estimer les trajectoires des objets Qualité du suivi versus temps de réponse Applications Vidéo-surveillance, biométrie. Imagerie biomédicale. Production média (motion capture). Robotique et véhicules intelligents....

7 : difficultés Détection, extraction et représentation de données : variabilité spatio-temporelle, représentativité, compacité Liens temporels entre les données : localisation

8 Représentation et localisation d objets Contours, coins, points caractéristiques, etc. (mise en correspondance, etc.) Noyaux (mean-shift, etc.), blob Suivi : en trois temps 1 Prédiction : prévoir à t en fonction de t 1 2 Association des données : quelles observations sont liées avec quelles prédictions 3 Correction de la prédiction avec les observations

9 Les modèles espace-état Données Variables cachées x t : états Modèles Variables observées y t : mesures ou observations Équation d état : évolution entre t 1 et t. Équation de mesure : lien à t entre observation et état. Système à résoudre : { xt = f t (x t 1, w t ) y t = h t (x t, v t ) Avec : f t la fonction de transition, h t fonction d observation, w t et v t des bruits blancs indépendants

10 Les modèles espace-état Modèle graphique Hypothèses markoviennes L état courant ne dépend que de l état précédent. Les observations sont indépendantes conditionnellement aux états et ne dépendent que de l état courant.

11 Principe Estimer l ensemble des états x 0:t connaissant l ensemble des observations passées et présentes y 1:t. Cette information est contenue dans la densité de filtrage p(x 0:t y 1:t ). But du filtrate récursif bayésien : estimer p(x 0:t y 1:t ). Définition Sous hypothèses markoviennes, la densité de filtrage s écrit sous la forme récursive : p(x 0:t y 1:t ) p(y t x t )p(x t x t 1 )p(x 0:t 1 y 1:t 1 )

12 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(x 0:t y t, y 1:t 1 )

13 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(x 0:t y t, y 1:t 1 ) = p(y t, y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) p(a B, C) = p(b, C A) p(a) p(b,c)

14 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(x 0:t y t, y 1:t 1 ) = p(y t, y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) p(a, B C) = p(a B, C)p(B C)

15 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(x 0:t y t, y 1:t 1 ) = p(y t, y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 )p(y 1:t 1 )p(x 0:t ) p(x 0:t )p(y t, y 1:t 1 ) p(a B) = p(b A) p(a) p(b)

16 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(x 0:t y t, y 1:t 1 ) = p(y t, y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(y 1:t 1 x 0:t )p(x 0:t ) p(y t, y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 )p(y 1:t 1 ) p(y t, y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 )p(y 1:t 1 ) p(y t y 1:t 1 )p(y 1:t 1 ) p(a, B) = p(a B)p(B)

17 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 ) p(y t y 1:t 1 )

18 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 ) p(y t y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x t, x 0:t 1 y 1:t 1 ) p(y t y 1:t 1 )

19 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 ) p(y t y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x t, x 0:t 1 y 1:t 1 ) p(y t y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x t x 0:t 1, y 1:t 1 )p(x 0:t 1 y 1:t 1 ) p(y t y 1:t 1 ) p(a, B C) = p(a B, C)p(B C)

20 Ecriture récursive : démonstration p(x 0:t y 1:t ) = p(y t y 1:t 1, x 0:t )p(x 0:t y 1:t 1 ) p(y t y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x t, x 0:t 1 y 1:t 1 ) p(y t y 1:t 1 ) = p(y t y 1:t 1, x 0:t )p(x t x 0:t 1, y 1:t 1 )p(x 0:t 1 y 1:t 1 ) p(y t y 1:t 1 ) p(y t y 1:t 1, x 0:t )p(x t x 0:t 1, y 1:t 1 )p(x 0:t 1 y 1:t 1 )

21 Ecriture récursive : démonstration Hypothèses markoviennes L état courant ne dépend que de l état précédent : p(x t x 0:t 1, y 1:t 1 ) = p(x t x t 1 ) Les observations sont indépendantes conditionnellement aux états et ne dépendent que de l état courant. p(y t y 1:t 1, x 0:t ) = p(y t x t ) p(x 0:t y 1:t ) p(y t y 1:t 1, x 0:t )p(x t x 0:t 1, y 1:t 1 )p(x 0:t 1 y 1:t 1 ) p(y t x t )p(x t x t 1 )p(x 0:t 1 y 1:t 1 )

22 p(x 0:t y 1:t ) p(y t x t ) }{{} vraisemblance p(x t x t 1 ) }{{} transition p(x 0:t 1 y 1:t 1 )

23

24 Estimation : par la moyenne conditionnelle E p [F(x 0:t )] = F(x 0:t )p(x 0:t y 1:t )dx 0:t x 0:t Solution Fonctions linéaires, densités gaussiennes : solution analytique : filtre de Kalman. Fonctions linéarisables : filtres de Kalman étendu, sans parfum. Cas général (la plupart des problèmes en suivi) : approximation par filtrage particulaire.

25 Hypothèses et propriétés On connaît la distribution (modèle) et ses paramètres a priori à t = 0. On sait comment l état (caché) produit l observation : fonction linéaire. La fonction de transition est linéaire. Distributions gaussiennes et fonctions linéaires : on manipule des gaussiennes uniquement. Produit de distributions gaussiennes : gaussiennes. But du filtre de Kalman Donner l estimation à l instant courant la plus fiable en prenant en compte à la fois les mesures et l estimation précédente.

26 Équation d état Avec : x t = F t x t 1 (+B t u t ) + w t x t : vecteur d état à t décrivant le système de manière concise (position, vitesse, etc.) u t : vecteur de contrôle d entrée (angle d orientation, etc.) F t : matrice de transition d état entre t 1 et t B t : matrice de contrôle d entrée w t : vecteur de bruit d état, w t N (0, W t ), E[w t w T t ] = W t Ici, on n utilisera pas le contrôle : x t = F t x t 1 + w t

27 Équation de mesure y t = H t x t + v t Avec : y t : vecteur de mesure à t H t : matrice de transformation de l état vers la mesure v t : vecteur de bruit de mesure, v t N (0, V t ), E[v t vt T ] = V t

28 Principe : en deux temps Soit x t 1 t 1 l estimateur optimal non biaisé de x t 1 Soit y t l observation à l instant t 1 Déterminer l estimateur non biaisé x t t 1 de x t sans l observation y t 2 Déterminer un estimateur non biaisé x t t de x t en utilisant l observation y t

29 Principe : utilisation d un contrôle en feedback But : minimiser récursivement l erreur quadratique moyenne minimale entre estimation et état 1 Étape de prédiction (valeur théorique) : avec les paramètres à t 1. 2 Étape de correction : l observation courante corrige les paramètres prédits à t.

30 Principe Estimer les densités de probabilités décrivant le système Rappel : ici les densités sont des gaussiennes Densité a posteriori à t 1 : p(x 0:t 1 y 1:t 1 ) = N (x t 1 t 1, P t 1 t 1 ) Densité a priori à t : p(x 0:t y 1:t 1 ) = N (x t t 1, P t t 1 ) Densité a posteriori à t : p(x 0:t y 1:t ) = N (x t t, P t t )

31 Algorithme général Initialisation x 0 = x 0 0 = E[x 0 ] = µ 0, P 0 = E[(x 0 µ 0 )(x 0 µ 0 ) T ]. Prédiction de la moyenne x t t 1 Pas d observation : prédiction à partir de x t 1 t 1 uniquement, en utilisant l équation d état x t t 1 = E[x t y 1:t 1 ] = E[F t x t 1 + w t ] = E[F t x t 1 ] + E[w t ] = F t x t 1 t 1

32 Algorithme général Erreur de prédiction e t t 1 = x t x t t 1 = F t x t 1 + w t F t x t 1 t 1 = F t (x t 1 x t 1 t 1 ) + w t = F t e t 1 t 1 + w t

33 Algorithme général Prédiction de la covariance d erreur d état P t t 1 Par définition : P t t 1 = E[e t t 1 e T t t 1 ] = E[(F t e t 1 t 1 + w t )(F t e t 1 t 1 + w t ) T ] = F t E[e t 1 t 1 e T t 1 t 1 ]FT t + E[w t wt T ] = F t P t 1 t 1 F T t + W t

34 Algorithme général Correction : utiliser l observation courante y t Correction de la moyenne : mise-à-jour de la prédiction à l aide de l écart entre l observation prédite et l observation (innovation) Observation prédite : y t t 1 = H t x t t 1 x t t = ( ) x t t 1 + Q }{{} t yt H t x t t 1 }{{} gain innovation = (I Q t H t )x t t 1 + Q t y t = Q tx t t 1 + Q t y t Question : comment déterminer le gain Q t pour qu il minimise l erreur quadratique moyenne entre l état et son estimation?

35 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t

36 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t = x t Q t( xt e t t 1 ) Qt (H t x t + v t )

37 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t ( ) = x t Q t xt e t t 1 Qt (H t x t + v t ) ) = (I Q t Q t H t x t + Q te t t 1 Q t v t

38 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t ( ) = x t Q t xt e t t 1 Qt (H t x t + v t ) ) = (I Q t Q t H t x t + Q te t t 1 Q t v t ) ) = (I Q t Q t H t x t + Q t( xt x t t 1 Qt v t

39 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t ( ) = x t Q t xt e t t 1 Qt (H t x t + v t ) ) = (I Q t Q t H t x t + Q te t t 1 Q t v t ) ( ) = (I Q t Q t H t x t + Q t xt x t t 1 Qt v t = x t Q t H t x t Q tx t t 1 Q t v t

40 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t ( ) = x t Q t xt e t t 1 Qt (H t x t + v t ) ) = (I Q t Q t H t x t + Q te t t 1 Q t v t ) ( ) = (I Q t Q t H t x t + Q t xt x t t 1 Qt v t = x t Q t H t x t Q tx t t 1 Q t v t = x t Q t H t x t (I Q t H t )x t t 1 Q t v t

41 Algorithme général Erreur d estimation à t e t t = x t x t t = x t Q tx t t 1 Q t y t ( ) = x t Q t xt e t t 1 Qt (H t x t + v t ) ) = (I Q t Q t H t x t + Q te t t 1 Q t v t ) ( ) = (I Q t Q t H t x t + Q t xt x t t 1 Qt v t = x t Q t H t x t Q tx t t 1 Q t v t = x t Q t H t x t (I Q t H t ) x t t 1 Q t v t = (I Q t H t ) e t t 1 Q t v t

42 Algorithme général Covariance d erreur d état P t t Par définition : P t t = E[e t t e T t t ] = E[ ( ) ( ) T (I Q t H t ) e t t 1 Q t v t (I Qt H t ) e t t 1 Q t v t ]

43 Algorithme général Covariance d erreur d état P t t Par définition : P t t = E[e t t e T t t ] = E[ ( ) ( ) T (I Q t H t ) e t t 1 Q t v t (I Qt H t ) e t t 1 Q t v t ] = (I Q t H t ) E[e t t 1 e T t t 1 ] (I Q th t ) T Q t E[v t vt T ]Q T t

44 Algorithme général Covariance d erreur d état P t t Par définition : P t t = E[e t t e T t t ] = E[ ( ) ( ) T (I Q t H t ) e t t 1 Q t v t (I Qt H t ) e t t 1 Q t v t ] = (I Q t H t ) E[e t t 1 e T t t 1 ] (I Q th t ) T Q t E[v t vt T ]Q T t = (I Q t H t ) P t t 1 (I Q t H t ) T Q t V t Q T t

45 Algorithme général Cas du gain Le gain de Kalman doit tenir compte des incertitudes relatives de l estimation courante et de l observation : x t t = x t t 1 + Q t ( yt H t x t t 1 ) Si l incertitude de l observation (V t ) est négligeable devant P t t 1 : gain fort (i.e. observation fiable). Si V t est grand par rapport à P t t 1 : gain faible (i.e. observation peu fiable, ne devant modifier que peu l estimation courante). Il minimise l erreur quadratique moyenne : trace ( P t t ) On peut montrer qu il est égal à : Q t = P t t 1 H T t (H t P t t 1 H T t + V t ) 1

46 Algorithme général Bilan et conclusion Hypothèses gaussiennes. Matrices définies positives : calcul matriciel. Matrices de transition et d observation supposées connues. Problèmes de vision : bien plus généraux que cela : dynamique non connue, sans hypothèse a priori ; lien entre l état et l observation non linéaire ; densités non paramétriques voire multimodales. On ne peut plus estimer : on approche (méthodes séquentielles de Monte Carlo, ou filtrage particulaire).

47 Le filtre particulaire Principe : approcher la densité de filtrage par un échantillon pondéré Approximation de Monte Carlo + estimation bayésienne p(x 0:t y 1:t ) 1 N N i=1 w (i) t δ (i) x (x 0:t ) 0:t

48 Le filtre particulaire Deux articles fondateurs Gordon et al., Novel approach to non-linear/non-gaussian Bayesian state estimation. Radar and Signal Processing, IEE Proceedings F, 140(2) : Isard et Blake, CONDENSATION : CONditional DENSity propagation for visual tracking. International Journal of Computer Vision, 29 : Trois étapes principales 1 Prédiction : densité a priori p(x 0:t y 1:t 1 ) à partir de la distribution de transition p(x t x t 1 ) et de la précédente densité estimée p(x 0:t 1 y 1:t 1 ). 2 Correction : densité a posteriori p(x 0:t y 1:t ), à partir de la distribution de vraisemblance p(y t x t ) et de l a priori. 3 Étape de rééchantillonnage (sélection)

49 Le filtre particulaire Étape de prédiction

50 Le filtre particulaire Étape de correction

51 Le filtre particulaire Étape de rééchantillonnage

52 Le filtrage particulaire Un exemple type en suivi visuel État et espace d état : x t = {x, y} N 2 Échantillon {x (i) t } N i=1 Fonction de transition : x (i) t N (µ, Σ) Fonction de vraisemblance : p(y t x t ) e λd2

53 Échantillonnage d importance But Approcher l intégrale à l aide de réalisations d une variable aléatoire distribuée selon la densité a posteriori Problème : on ne sait pas échantillonner selon cette loi. Solution Utiliser une fonction de proposition q(x 0:t y 1:t ) suivant laquelle on sait échantillonner : E p [F(x 0:t )] = F(x 0:t ) p(x 0:t y 1:t ) x 0:t q(x 0:t y 1:t ) q(x 0:t y 1:t )dx 0:t [ = E q F(x 0:t ) p(x ] 0:t y 1:t ) q(x 0:t y 1:t )

54 Échantillonnage d importance Solution N réalisations x (i) 0:t q(x 0:t y 1:t ) approchant l intégrale par : Ê p [F(x 0:t )] = 1 N N i=1 F(x (i) 0:t ) y 1:t) q(x (i) 0:t y 1:t) 0:t )p(x(i) Soit les poids d importance w (i) t = p(x(i) 0:t y 1:t) q(x (i) (i) 0:t )p(x(i) 0:t ) 0:t y 1:t) = p(y 1:t x p(y 1:t )q(x (i) 0:t y 1:t) Problème : p(y 1:t ) = x 0:t p(y 1:t x 0:t )p(x 0:t )dx 0:t incalculable.

55 Échantillonnage d importance Solution Nouvel estimateur : Ê p [F(x 0:t )] = 1 N N i=1 F(x (i) 0:t ) w (i) t N j=1 w (j) t avec : w (i) t p(y 1:t x (i) 0:t )p(x(i) 0:t ) q(x (i) 0:t y 1:t), ou encore w (i) t p(x(i) 0:t y 1:t) q(x (i) 0:t y 1:t) Loi des grands nombres : Ê p [F(x 0:t )] p.s. E p [F(x 0:t )]

56 Échantillonnage d importance Formulation récursive des poids Hypothèse : q(x (i) 0:t y 1:t) = q(x (i) t x (i) 0:t 1, y 1:t)q(x (i) 0:t 1 y 1:t 1) Alors : w (i) t p(x(i) 0:t y 1:t) q(x (i) 0:t y 1:t) p(y t x (i) t )p(x (i) t x (i) t 1 )p(x(i) 0:t 1 y 1:t 1) q(x (i) t x (i) 0:t 1, y 1:t)q(x (i) 0:t 1 y 1:t 1) w (i) t 1 p(y t x (i) t )p(x (i) t x (i) t 1 ) q(x (i) t x (i) 0:t 1, y 1:t)

57 Algorithme général 1 p(x 0:t 1 y 1:t 1 ) représentée par {x (i) 0:t 1, w (i) 2 Propagation via une fonction de proposition : x (i) t q(x t x (i) 0:t 1, y 1:t) t 1 }N i=1 3 Correction, ou évaluation de la qualité des particules, à l aide des observations, en calculant les poids : w (i) t w (i) t 1 p(y t x (i) t )p(x (i) t x (i) t 1 ) q(x (i) t x (i) 0:t 1, y 1:t), w (i) t = 4 Espérance empirique de loi a posteriori à l instant t, E(F(x 0:t )) 1 N 5 Rééchantillonnage (si nécessaire) N i=1 w (i) t F(x (i) 0:t ) w (i) t N j=1 w (j) t

58 Espace d état Introduction Paramètres que l on cherche à estimer Dépend de la nature de l objet à suivre : voiture, visage, objet articulé, etc. Exemples Position dans l image : x t = {x t, y t } Un contour fermé : x t = {p 1 t,..., p n t } = { {x 1 t, y 1 t },..., {x n t, y n t } } Une boîte englobante : x t = {c t, w t, h t, θ t } Un objet articulé : x t = { {c 1 t, w 1 t, h 1 t, θ 1 t },..., {c n t, w n t, h n t, θ n t } }

59 Espace d observation Paramètres qui nous servent à estimer/corriger

60 Étape de prédiction But Propager les particules pour parcourir l espace d état. Mauvaise propagation = perte de l objet à suivre. Comment En utilisant une fonction de proposition q. La fonction de proposition optimale utilise l ensemble des états x 0:t et des observations y 1:t : on ne sait pas la construire. q(x (i) t x (i) 0:t 1, y 1:t)

61 Étape de prédiction : choix de q Choix usuel : q(x (i) t x (i) 0:t 1, y 1:t) = p(x (i) t w (i) t w (i) t 1 x (i) t 1 ) p(y t x (i) t )p(x (i) t x (i) t 1 ) q(x (i) t x (i) 0:t 1, y 1:t) w (i) t 1 p(y t x (i) t ) Le poids est proportionnel à la vraisemblance : filtre bootstrap

62 Étape de prédiction : choix de q Choix usuel : q(x (i) t x (i) 0:t 1, y 1:t) = p(x (i) t x (i) t 1 ) Exemple : marche aléatoire gaussienne : q N (x t 1, Σ)

63 Étape de prédiction : choix de q Prise en compte de l observation courante : q(x (i) t x (i) t 1, y t) Exemple : détection avant suivi (detect before track) d q N (x t 1, Σ) + N (p j t, Σ j ) j=1

64 Étape de prédiction : choix de q Un cas plus complexe

65 Étape de correction But Calculer l a posteriori à partir de l a priori. Mauvaise correction = mauvais calcul des poids des particules. Comment En utilisant une fonction de vraisemblance p(y t x t ). La fonction de vraisemblance nous donne la croyance en la validité de l observation y t connaissant l état x t d un objet. Mesurer l adéquation entre un modèle et une cible : Modèle : à partir de l estimation précédente. Cible : à partir d une particule à l instant t.

66 Étape de correction Mesure d adéquation : en fonction de l observation

67 Étape de correction Quelques exemples Couleur, contours : histogrammes distance de Bhattacharyya, distance euclidienne, distance de diffusion, EMD, etc. Ensemble d apprentissage : ACP (sous-espaces de représentation) distance euclidienne, de Mahalanobis, etc. Formes : distance de Hausdorff Calcul de la vraisemblance avec d la mesure d adéquation p(y t x t ) e λd2

68 Étape de correction Un premier exemple visuel

69 Étape de correction Rôle de λ Faire que la vraisemblance soit piquée ou non

70 Prédiction et correction

71 Rééchantillonnage Dégénérescence de l échantillon Divergence du filtre Rééchantillonnage : duplication des particules de plus fort poids

72 Rééchantillonnage Rééchantillonnage multinomial Tirage aléatoire non équi-réparti selon la distribution des poids d importance. Sélectionner N nombres k i U(0, 1), i = 1,..., N S t = {x (i) t, w (i) t } S t = {x (D(k i )) t, 1 N } est avec D(k i) entier unique tel que : D(ki ) 1 h=1 w (h) t < k i D(k i ) h=1 w (h) t.

73 Rééchantillonnage Appauvrissement de l échantillon Problème induit par le rééchantillonnage Nombre efficace de particules : N eff (N) = Si N eff (N) > Seuil alors on rééchantillonne [ N ( i=1 w (i) t ) 2 ] 1

74 Limite de la dimension des espaces Un problème majeur N est lié exponentiellement à la dimension de l espace d état et d observation. Les problèmes de vision demandent la prise en compte de toujours plus d informations. Des solutions Focalisation dans l espace d état. Décomposition de l espace d état.

75 Modèles de focalisation dans l espace d état Principe Déterminer les zones utiles de l espace d état. Calculs dans ces zones uniquement.

76 Modèles de focalisation dans l espace d état Grandes familles d approches Ajout de contraintes, connaissances a priori, extraction d informations. Heuristiques, algorithmes évolutionnaires, génétiques, PSO, etc. Méthodes d optimisation, recherches globales ou locales : type descente de gradient ; Filtre particulaire à recuit simulé (Deutscher et al., Articulated Body Motion Capture by Stochastic Search, CVPR 01).

77 Filtre particulaire à recuit simulé Principe Recuit simulé : méthode stochastique d optimisation d une densité multimodale, évitant les minima locaux. Ajouter à l étape de correction des itérations de pseudo recuit simulé pour diffuser les particules au niveau des modes de la densité à estimer. À chaque itération : on corrige de mieux en mieux avec la fonction de vraisemblance. on diffuse de moins en moins en utilisant la fonction de transition ;

78 Filtre particulaire à recuit simulé Itération m du recuit simulé (instant t) 1 Calcul des poids des particules : w m,(i) t = 2 Rééchantillonnage multinomial 3 Propagation des particules : x m,(i) t Avec m = M à 0 β M <... < β 0 et β 0 = 1 P m = P 0 α M... α m α 0 =... = α M = 0.5 ( w m 1,(i) t ) β m = N (x m 1,(i) t, P m )

79 Filtre particulaire à recuit simulé

80 Filtre particulaire à recuit simulé Conclusion Permet de mieux explorer l espace d état et positionner les particules au niveau des modes. Très précis, très bons résultats. Très lent : succession de corrections/rééchantillonnages/propagations. Inutilisable en l état pour des applications temps réels ou avec beaucoup d objets à suivre.

81 Modèles de décomposition de l espace d état Principe Décomposer l espace d état en sous-espaces. Appliquer le filtrage particulaire dans chaque sous-espace.

82 Modèles de décomposition de l espace d état Quelques grandes approches Un filtre particulaire par sous-espace et fusion finale des résultats (pas généralisable). Filtres particulaires en cascade (pas généralisable). Échantillonnage partitionné (PS - Mac Cormick et al., ECCV 00). Utilisation des réseaux bayésiens dynamiques (DBNs) Filtre particulaire Rao-Blackwellisé (Doucet et al., UAI 00) (pas généralisable). Propagation de croyance : approximations. Rose et al. (AAAI 08) : combinaison de PS avec un DBN.

83 Modèles de décomposition de l espace d état Échantillonnage partitionné Principe Décomposer l état en sous-états : calculs faisables. Convergence théorique plus rapide que celle du filtre particulaire. Application au suivi multi-objets ou d objets articulés : { x (i) t } N x t = {x 1 t,..., x n t } { =,..., x n,(i) i=1 x 1,(i) t t } N i=1

84 Échantillonnage partitionné

92 Échantillonnage partitionné Schéma général du filtre à échantillonnage partitionné

93 Échantillonnage partitionné Conclusion Décomposition des calculs en sous-calculs. Résout partiellement le problème de grandes dimensions. Problème en cas d occultation : quel objet/ quelle partie à considérer d abord? variantes : BPS, DPS, RPS, etc. Beaucoup de rééchantillonnages : ajoutent du bruit et perte de la précision.

94 Conclusion générale sur le filtrage récursif bayésien Représentation des objets par des densités de probabilité qu on : estime avec le filtre de Kalman ; approche avec le filtrage particulaire. : densités gaussiennes, fonction linéaires. : densités quelconques. Problèmes de suivi en vision par ordinateur : filtrage particulaire en général plus adapté.

95 Devenir du suivi Ce que l on sait (très bien) faire Suivre un ou des objets. Analyser une trajectoire. Ce que l on commence à savoir faire Utiliser des modèles de représentation plus complexes. Détecter un comportement ou un événement connu. Ce que l on ne sait pas encore faire Détecter un comportement ou un événement inconnu. Prédire et/ou analyser un comportement, événement. Suivre un objet durant une longue séquence.