Introduction au Filtrage en Temps Discret. Filtrage de Kalman et Modèles de Markov Cachés

Transcription

1 Université de Rennes 1 Master Électronique et Télécommunications Spécialité SISEA (Signal, Image, Systèmes Embarqués, Automatique) Introduction au Filtrage en Temps Discret Filtrage de Kalman et Modèles de Marov Cachés François Le Gland INRIA Rennes et IRMAR

2

3 Table des matières 1 Introduction (estimation) Importance de l information a priori, via un exemple Estimation bayésienne Filtrage de Kalman Systèmes linéaires gaussiens Filtre de Kalman Lisseur de Kalman Extensions aux systèmes non linéaires Filtre de Kalman linéarisé, filtre de Kalman étendu Filtre de Kalman unscented Systèmes non linéaires non gaussiens, et extensions Équation d état (modèle a priori) Équation d observation (modèle de capteur) Filtre bayésien optimal Représentation probabiliste Équation récurrente Approximation particulaire Introduction (classification) 45 7 Modèles de Marov cachés Chaînes de Marov à état fini Modèles de Marov cachés i

4 8 Equations forward / bacward de Baum Equation forward Equation bacward Algorithme de Viterbi Formules de re estimation de Baum Welch 75 A Rappels de probabilités 83

5 Chapitre 1 Introduction (estimation) Le filtrage consiste à estimer l état d un système dynamique, c est à dire évoluant au cours du temps, à partir d observations partielles, généralement bruitées. Typiquement, on dispose d une suite (Y 0, Y 1,, Y n ) d observations, obtenues après traitement préalable du signal brut recueilli au niveau des capteurs. Chaque observation Y est reliée à l état inconnu X par une relation probabiliste du type par exemple P[Y dy X = x] = g (x, y) dy, Y = h(x ) + V, avec un bruit additif V indépendant de X, qui modélise l erreur d observation. Tel qu il est formulé, le problème de l estimation de l état inconnu X n à partir des observations (Y 0, Y 1,, Y n ) est en général mal posé, et il est utile d introduire un modèle a priori qui donne une description probabiliste de la suite (X 0, X 1,, X n ). 1.1 Importance de l information a priori, via un exemple Pour s en convaincre, considérons le cas très simple où il n y a pas de dynamique dans l évolution de l état du système, c est à dire que X n x, pour tout n, et x R m est un paramètre inconnu. On désigne par x 0 la vraie valeur du paramètre. Pour simplifier encore la discussion, on suppose que les observations d dimensionnelles (Y 1, Y 2,, Y n ) dépendent linéairement du paramètre. On a donc Y = H x + V, où H est une matrice d m. Si m = d, et si la matrice carrée H est inversible, alors on peut considérer l estimateur suivant x n = H 1 ( 1 n Y ) = H 1 (H x n V ) = x 0 + H 1 ( 1 n V ). n n n =1 1 =1 =1

6 2 Master Recherche SISEA 16/17 Sous l hypothèse 1 n n V 0, (1.1) =1 quand le nombre n d observations tend vers l infini, on obtient la convergence de l estimateur x n vers la vraie valeur du paramètre. Si m > d, alors le problème est en général mal posé, même dans le cas favorable où la matrice H est de rang maximal égal à d. Considérons en effet le problème d optimisation suivant min x R m { 1 2 n Y H x 2 }. =1 Les conditions d optimalité du premier ordre pour la minimisation par rapport à x R m du critère n n n 1 2 Y H x 2 = 1 2 Y 2 x H ( Y ) + n 1 2 x H H x, s écrivent =1 H =1 =1 n Y = n H H x = H x = 1 n =1 n Y, compte tenu que la matrice H est de rang plein. Dans le cas précédent, où m = d et la matrice H est inversible, on obtient la solution unique x n = H 1 ( 1 n n Y ). Dans le cas considéré ici, il y a un nombre infini de solutions, et on peut seulement affirmer que x n { x R m : H x = 1 n } Y. n On vérifie que H x n = 1 n =1 =1 n Y = H x n =1 =1 n V, et à la limite quand le nombre n d observations tend vers l infini, on obtient sous l hypothèse (1.1) H x n H x 0, c est à dire qu asymptotiquement, lorsque le bruit d observation a été éliminé par moyennisation, on sait seulement que le paramètre inconnu x appartient au sous espace affine I(x 0 ) de dimension (m d) défini par =1 I(x 0 ) = { x R m : H x = H x 0 }. L existence d un nombre infini de solutions possibles n est donc pas liée à la présence du bruit d observation. Elle existe même en absence de bruit d observation, c est à dire même si V n 0, pour tout n = 1, 2,.

7 Filtrage de Kalman et Modèles de Marov Cachés 3 Pour lever l indétermination x I(x 0 ), on essaye d utiliser des informations supplémentaires sur le paramètre inconnu x, par exemple : x est proche de µ, c est à dire qu on introduit une information a priori. On peut formaliser la prise en compte de cette information supplémentaire en considérant le problème d optimisation suivant min x R m { 1 2 n Y H x (x µ) Σ 1 (x µ) }, =1 où Σ est une matrice symétrique définie positive, de dimension m. Les conditions d optimalité du premier ordre pour la minimisation par rapport à x R m du critère 1 2 n Y H x (x µ) Σ 1 (x µ) =1 = 1 2 n n Y 2 x H ( Y ) + n 1 2 x H H x =1 = µ Σ 1 µ x Σ 1 µ x Σ 1 x, s écrivent n H ( Y ) + Σ 1 µ = (n H H + Σ 1 ) x =1 = (H H + 1 n Σ 1 ) x = H ( 1 n n Y ) + 1 n Σ 1 µ. =1 En utilisant le résultat du Lemme 1.1 ci dessous, avec le choix R = I et Q = n Σ, on obtient (H H + 1 n Σ 1 ) 1 = n Σ n Σ H (H Σ H + 1 n I) 1 H Σ. On en déduit que (H H + 1 n Σ 1 ) 1 H = Σ H (H Σ H + 1 n I) 1, et (H H + 1 n Σ 1 ) 1 1 n Σ 1 = I Σ H (H Σ H + 1 n I) 1 H, ce qui donne la solution unique suivante x n = Σ H (H Σ H + 1 n I) 1 ( 1 n Y ) + [ I Σ H (H Σ H + 1 n n I) 1 H ] µ. =1 On vérifie que x n = Σ H (H Σ H + 1 n I) 1 H x 0 + [ I Σ H (H Σ H + 1 n I) 1 H ] µ + Σ H (H Σ H + 1 n I) 1 ( 1 n n V ), =1

8 4 Master Recherche SISEA 16/17 d où on déduit la limite suivante x n x = Σ H (H Σ H ) 1 H x 0 + [ I Σ H (H Σ H ) 1 H ] µ, quand le nombre n d observations tend vers l infini. L inversibilité de la matrice H Σ H est démontrée dans le Lemme 1.3 ci dessous. On vérifie que H x = H x 0, c est à dire que x appartient au sous espace affine I(x 0 ), et on peut montrer qu il s agit du point projeté orthogonal (pour le produit scalaire associé à la matrice Σ 1 ) du point µ sur le sous espace affine I(x 0 ), solution du problème d optimisation min x I(x 0 ) c est à dire du problème d optimisation { 1 2 (x µ) Σ 1 (x µ) }, { min 1 x R m 2 (x µ) Σ 1 (x µ) } sous la contrainte H x = H x 0. En d autres termes, l accumulation des observations permet d apprendre le sous espace affine I(x 0 ), et l information a priori permet de choisir un point particulier dans ce sous espace. µ x x 0 I(x 0 ) Figure 1.1: Prise en compte de l information a priori Lemme 1.1 Soit Q et R deux matrices symétriques définies positives, de dimension m et d respectivement. Alors (H R 1 H + Q 1 ) 1 = Q Q H (H Q H + R) 1 H Q,

9 Filtrage de Kalman et Modèles de Marov Cachés 5 et de plus (H R 1 H + Q 1 ) 1 H = Q H (H Q H + R) 1 R. Preuve. On remarque d abord que H Q H + R R et H R 1 H + Q 1 Q 1 au sens des matrices symétriques, ce qui prouve que les matrices (H Q H + R) et (H R 1 H + Q 1 ) sont inversibles. On vérifie alors que [ Q Q H (H Q H + R) 1 H Q ] [H R 1 H + Q 1 ] = Q H R 1 H + I Q H (H Q H + R) 1 (H Q H + R R) R 1 H Q H (H Q H + R) 1 H = I, et d autre part, en multipliant à droite par H, on obtient (H R 1 H + Q 1 ) 1 H = Q H Q H (H Q H + R) 1 H Q H = Q H Q H (H Q H + R) 1 (H Q H + R R) = Q H (H Q H + R) 1 R. Remarque 1.2 Cette formule d inversion permet de remplacer l inversion de la matrice (H R 1 H+ Q 1 ) de dimension m, par l inversion de la matrice (H Q H +R) de dimension d, avec en général d m. En particulier, dans le cas où d = 1, la matrice H est un vecteur ligne H = h, la matrice R est un scalaire R = r, et la formule devient ( h h r + Q 1 ) 1 = Q Q h h Q r + h Q h. Lemme 1.3 Soit Σ une matrice symétrique définie positive, de dimension m, et soit H une matrice d m, avec d m, de rang plein égal à d. Alors la matrice H Σ H est inversible. Preuve. Soit u R d tel que u (H Σ H ) u = (H u) Σ (H u) = 0. Comme Σ est inversible, alors nécessairement H u = 0, et comme H est de rang plein, on en déduit que u = 0.

10 6 Master Recherche SISEA 16/ Estimation bayésienne Dans de nombreux cas, la prise en compte de l information a priori peut se ramener au problème statique suivant : étant donnés deux variables aléatoires X et Y, qu apporte le fait d observer la réalisation Y = y sur la connaissance que l on a de X? Soit X et Y deux vecteurs aléatoires de dimension m et d respectivement. Par définition, un estimateur de X à partir de l observation de Y est un vecteur aléatoire ψ(y ) de dimension m, où ψ est une application mesurable définie sur R d à valeurs dans R m. Naturellement ψ = ψ(y ) n est pas égal à X : une mesure de l écart entre l estimateur et la vraie valeur est fournie par l erreur quadratique moyenne E X ψ(y ) 2. (1.2) L estimateur du minimum d erreur quadratique moyenne (MMSE, pour minimum mean square error) de X sachant Y est un estimateur X(Y ) tel que pour tout autre estimateur ψ(y ). E X X(Y ) 2 E X ψ(y ) 2, La Proposition 1.4 ci dessous montre que cet estimateur est obtenu à l aide de la densité conditionnelle p X Y =y (x) de X sachant Y = y, définie par p X Y =y (x) = p X,Y (x, y) R m p X,Y (x, y) dx = p X,Y (x, y) p Y (y) où p X,Y (x, y) désigne la densité conjointe des variables aléatoires X et Y., (1.3) Proposition 1.4 Soit X et Y des vecteurs aléatoires de dimension m et d respectivement. L estimateur MMSE de X sachant Y est la moyenne conditionnelle, i.e. X(y) = E[X Y = y] = x p X Y =y (x) dx. R m Preuve. Soit ψ(y ) un estimateur quelconque. E X ψ(y ) 2 = E X X(Y ) E[ ( X(Y ) ψ(y )) (X X(Y )) ] + E X(Y ) ψ(y ) 2, et on remarque que E[ ( X(Y ) ψ(y )) (X X(Y )) ] = = ( X(y) ψ(y)) (x X(y)) p X,Y (x, y) dx dy R m R d = ( X(y) ψ(y)) { (x X(y)) p X Y =y (x) dx } p Y (y) dy = 0, R d R m

11 Filtrage de Kalman et Modèles de Marov Cachés 7 par définition de X(y) (on peut aussi utiliser directement le résultat de la Proposition A.4). On a donc E X ψ(y ) 2 = E X X(Y ) 2 + X(y) ψ(y) 2 p Y (y) dy, R d et le vecteur ψ(y) qui minimise cette expression est ψ(y) = X(y) Dans le cas particulier des vecteurs aléatoires gaussiens, le résultat général obtenu ci dessus peut être précisé de la façon suivante. Proposition 1.5 Soit Z = (X, Y ) un vecteur aléatoire gaussien de dimension m + d, de moyenne Z = ( X, Ȳ ) et de matrice de covariance Q Z = Q X Q Y X Si la matrice Q Y est inversible, alors la densité conditionnelle p X Y =y (x) du vecteur aléatoire X sachant Y = y, est une densité gaussienne de moyenne et de matrice de covariance Remarque 1.6 On vérifie aisément que Q XY Q Y. X(y) = X + Q XY Q 1 Y (y Ȳ ), R = Q X Q XY Q 1 Y Q Y X. 0 R Q X, au sens des matrices symétriques, c est à dire que l utilisation de l information supplémentaire (Y = y), ne peut que réduire l incertitude que l on a sur le vecteur aléatoire X. La majoration R Q X est évidente, et la minoration R 0 résulte de l identité ( u (Q 1 Y Q Y X u) ) Q X Q XY u 0 = ( u (Q 1 Y Q Y X u) ) Q Y X Q Y (Q X Q XY Q 1 Y 0 Q Y X u Q Y X) u = u R u, Q 1 Y pour tout vecteur u R m, ce qui permet de conclure que R 0. En outre, la matrice R ne dépend pas de y, et peut donc être calculée avant même de disposer de la valeur prise par l observation Y. Remarque 1.7 Soit X = X(Y ) l estimateur MMSE de X sachant Y. Compte tenu que X = X + Q XY Q 1 Y (Y Ȳ ), dépend de façon affine du vecteur aléatoire Y, on en déduit que (X, X, Y ) est un vecteur aléatoire gaussien, comme transformation affine du vecteur aléatoire gaussien Z = (X, Y ).

12 8 Master Recherche SISEA 16/17 Remarque 1.8 Si Y = (Y, Y ) où les composantes Y et Y sont indépendantes, alors Q X Q XY Q XY Q Z = Q Y X Q Y 0, Q Y X 0 Q Y et si les matrices Q Y et Q Y sont inversibles, alors la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y = y, avec y = (y, y ), est une distribution de probabilité gaussienne de moyenne X(y) = X + Q XY Q 1 Y (y Ȳ ) = X + et de matrice de covariance ( QXY ) Q XY Q Y 0 0 Q Y 1 y Ȳ y Ȳ = X + Q XY Q 1 Y (y Ȳ ) + Q XY Q 1 Y (y Ȳ ), R = Q X Q XY Q 1 Y Q Y X = Q X ( QXY ) Q XY Q Y 0 0 Q Y = Q X Q XY Q 1 Y Q Y X Q XY Q 1 Y Q Y X. 1 Q Y X Q Y X Exemple 1.9 Soit X et V deux vecteurs aléatoires gaussiens indépendants, de moyenne X et 0, et de matrice de covariance Q X et Q V, respectivement, et on pose Y = H X + V. Le vecteur aléatoire Z = (X, Y ) est alors gaussien, comme transformatiuon affine du vecteur aléatoire gaussien (X, V ), de moyenne Z = ( X, H X) et de matrice de covariance Q X Q X H Q Z =. H Q X H Q X H + Q V En effet, par différence de sorte que Y H X = H (X X) + V, Q XY = E[ (X X) (H (X X) + V ) ] = E[ (X X) (X X)) ] H + E[ (X X) V ] = Q X H,

13 Filtrage de Kalman et Modèles de Marov Cachés 9 et Q Y = E[ (H (X X) + V ) (H (X X) + V ) ] = H E[ (X X) (X X)) ] H + E[ V V ] + H E[ (X X) V ] + E[ V (X X) ] H = H Q X H + Q V. Pour établir ces deux identités, on a utilisé dans la dernière égalité le fait que (X X) est indépendant de V, donc E[ (X X) V ] = 0. Si la matrice Q V est inversible, alors a fortiori la matrice Q Y = H Q X H + Q V est inversible, et il découle de la Proposition 1.5 que la densité conditionnelle p X Y (x) du vecteur aléatoire X sachant Y, est une densité gaussienne de moyenne et de matrice de covariance déterministe X(Y ) = X + Q X H (H Q X H + Q V ) 1 (Y H X), R = Q X Q X H (H Q X H + Q V ) 1 H Q X. Preuve de la Proposition 1.5. Dans le cas où la matrice Q Z n est pas nécessairement inversible, on montre que la fonction caractéristique de la loi conditionnelle du vecteur aléatoire X sachant Y est égale à exp{i u X 1 2 u Ru}, c est à dire que la loi conditionnelle du vecteur aléatoire X sachant Y est une loi gaussienne de moyenne X et de matrice de covariance R. On vérifie que E[ exp{i v Y } exp{i u X 1 2 u R u} ] = exp{i u X i u Q XY Q 1 Y Ȳ 1 2 u R u} E[ exp{i v Y } exp{i u Q XY Q 1 Y Y } ] = exp{i u X i u Q XY Q 1 Y Ȳ 1 2 u R u} Φ Y (v + Q 1 Y Q Y X u) = exp{i u X i u Q XY Q 1 Y + i (v + u Q XY Q 1 Y Ȳ 1 2 u Q X u u Q XY Q 1 Y Q Y X u ) Ȳ 1 2 (v + u Q XY Q 1 = exp{i u X + i v Ȳ 1 2 u Q X u u Q XY v 1 2 v Q Y v} Y ) Q Y (v + Q 1 Y Q Y X u)} = Φ X,Y (u, v) = E[ exp{i v Y } exp{i u X} ],

14 10 Master Recherche SISEA 16/17 et compte tenu que v R d est arbitraire, on obtient E[ exp{i u X} Y ] = exp{i u X 1 2 u R u}. Il est donc important de disposer d une information a priori sur l état inconnu X n, par exemple de disposer d une équation d état décrivant l évolution de X n quand n varie. L objectif de cette première partie du cours est de fournir des algorithmes efficaces de calcul des distributions de probabilité conditionnelles P[X n dx Y 0, Y 1,, Y n ], dans le cas particulier des systèmes linéaires gaussiens. Dans ce cas, il sera possible de résoudre exactement le problème de filtrage de façon optimale, par la mise en œuvre du filtre (et du lisseur) de Kalman. Ce cas peut être vu comme un cas particulier de modèles beaucoup plus généraux, comme les systèmes non linéaires à bruits non gaussiens, ou les modèles de Marov cachés à espace d état général. Dans ce cas, il ne sera pas possible de résoudre exactement le problème de filtrage de façon optimale, et il faudra avoir recours à la mise en œuvre de méthodes de résolution approchées, par exemple de filtres particulaires.

15 Chapitre 2 Filtrage de Kalman Le problème de filtrage (en temps discret) se présente en général de la manière suivante : on considère {X }, un processus (dont les caractéristiques statistiques sont connues) représentant l état d un système non observé. A l instant, on recueille une observation Y qui est formée d un signal (i.e. une fonction h(x ) de l état X ) et d un bruit additif Y = h(x ) + V. Les caractéristiques statistiques du bruit de mesure {V } sont également supposées connues. A l instant, on dispose de l information Y 0: = (Y 0,, Y ) et le but est d obtenir le plus d information possible sur l état du système X (on veut, par exemple, pouvoir calculer un estimateur X de X ). On a vu à la Section 1.2 que la solution consiste à calculer la distribution de probabilité conditionnelle de la variable aléatoire X sachant Y 0:. Dans le cas des systèmes décrits à la Section 2.1, le cadre est gaussien et l évolution de cette distribution de probabilité conditionnelle (déterminée par sa moyenne et sa matrice de covariance) est régie par les équations du filtre de Kalman, présentées à la Section 2.2 et très simples à mettre en œuvre. Dans tous les autres cas, par exemple dans le cas des systèmes non linéaires avec des bruits non gaussiens, ou dans le cas de modèles encore plus généraux qui seront introduits au Chapitre 4, l évolution de cette distribution de probabilité conditionnelle est determinée par un tout autre type d équations, qui seront décrites au Chapitre 5 et dont la mise en oeuvre pratique sera présentée à la Section 5.3. Les techniques développées dans le cas linéaire peuvent parfois s étendre au cas non linéaire par des méthodes de linéarisation, présentées à la Section 3.1. Les filtres ainsi obtenus sont très souvent utilisés en pratique mais ont parfois des performances peu satisfaisantes. 2.1 Systèmes linéaires gaussiens On considère une suite d états cachés {X } à valeurs dans R m, vérifiant X = F X 1 + f + G W, (2.1) 11

16 12 Master Recherche SISEA 16/17 où {X } et {W } prennent respectivement leurs valeurs dans R m et R p, et une suite d observations {Y } à valeurs dans R d, vérifiant et on suppose que Y = H X + h + V, (2.2) la condition initiale X 0 est gaussienne, de moyenne X 0 et de matrice de covariance Q X 0, la suite {W } est un bruit blanc gaussien, de matrice de covariance Q W, la suite {V } est un bruit blanc gaussien, de matrice de covariance Q V, les suites {W } et {V } et la condition initiale X 0 sont mutuellement indépendants. La signification du modèle (2.1) est la suivante même si l état X 1 = x est connu exactement à l instant ( 1), on peut seulement dire que l état X à l instant est incertain, et distribué comme un vecteur aléatoire gaussien, de moyenne F x + f et de matrice de covariance G Q W G, si l état X 1 est incertain à l instant ( 1), et distribué comme un vecteur aléatoire gaussien, de moyenne X 1 et de matrice de covariance Q X 1, alors cette incertitude se propage à l instant : même en absence de bruit, c est à dire même si G = 0, l état X à l instant est incertain, et distribué comme un vecteur aléatoire gaussien, de moyenne F X 1 + f et de matrice de covariance F Q X 1 F. Proposition 2.1 La suite {Z = (X, Y )} est un processus aléatoire gaussien à valeurs dans R m+d. Preuve. Comme sortie d un système linéaire à entrées gaussiennes, la suite {Z } est un processus aléatoire gaussien. En effet, pour tout instant n, le vecteur aléatoire (Z 0, Z 1,, Z n ) peut s exprimer comme transformation affine du vecteur aléatoire (X 0, W 1,, W n, V 0, V 1,, V n ) qui par hypothèse est un vecteur aléatoire gaussien, donc le vecteur aléatoire (Z 0, Z 1,, Z n ) est gaussien, comme transformation affine d un vecteur aléatoire gaussien. 2.2 Filtre de Kalman On considère un système linéaire du type (2.1) (2.2), c est à dire X = F X 1 + f + G W, (2.3) Y = H X + h + V, (2.4) avec les hypothèses faites à la Section 2.1. A l instant, on dispose de l information Y 0: = (Y 0, Y 1,, Y ).

17 Filtrage de Kalman et Modèles de Marov Cachés 13 L objectif est d estimer de façon optimale et récursive le vecteur aléatoire X à partir de Y 0:. Si on adopte le critère du minimum de variance, il s agit d après la Section 1.2 de calculer la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y 0:. Comme le cadre est gaussien, il suffit de calculer la moyenne et la matrice de covariance X = E[X Y 0: ] et P = E[(X X ) (X X ) Y 0: ]. On définit également les quantités suivantes X = E[X Y 0: 1 ] et P = E[(X X ) (X X ) Y 0: 1 ]. D après la Remarque 1.6, les matrices de covariances conditionnelles P et P des observations, c est à dire que ne dépendent pas P = E[(X X ) (X X ) ] et P = E[(X X ) (X X ) ]. Supposons connue la distribution de probabilité conditionnelle du vecteur aléatoire X 1 sachant Y 0: 1. Pour calculer la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y 0:, on procède en deux étapes : dans l étape de prédiction, on calcule la distribution de probabilité conditionnelle du vecteur aléatoire X sachant les observations passées Y 0: 1, ce qui est facile à partir de (2.3), dans l étape de correction, on utilise la nouvelle observation Y, et en particulier, on considère la composante de l observation Y qui apporte une information nouvelle par rapport aux observations passées Y 0: 1, c est à dire et d après (2.4), on a I = Y E[Y Y 0: 1 ], I = Y (H E[X Y 0: 1 ] + h + E[V Y 0: 1 ]) = Y (H X + h ), compte tenu que V et Y 0: 1 sont indépendants. Remarque 2.2 Par définition, toute fonction des variables (Y 0,, Y 1, Y ) peut s exprimer en fonction des variables (Y 0,, Y 1, I ), et réciproquement. On en déduit que (Y 0: 1, I ) contient exactement la même information que Y 0:. Lemme 2.3 Le processus {I } est un processus gaussien à valeurs dans R d, appelé processus d innovation. En particulier, le vecteur aléatoire I est gaussien, de moyenne nulle et de matrice de covariance Q I = H P H + QV, et indépendant de Y 0: 1. Plus généralement, le vecteur aléatoire (X X, I ) est gaussien, de moyenne nulle et de matrice de covariance P P H, et indépendant de Y 0: 1. H P H P H + QV

18 14 Master Recherche SISEA 16/17 Preuve. D après la Remarque 1.7, l observation prédite E[Y Y 0: 1 ] dépend de façon affine des observations passées (Y 0, Y 1,, Y 1 ), de sorte que l innovation I dépend de façon affine des observations (Y 0, Y 1,, Y ). On en déduit que le vecteur aléatoire (I 0, I 1,, I ) est gaussien, comme transformation affine d un vecteur aléatoire gaussien. Toujours d après la Remarque 1.7, l état prédit X = E[X Y 0: 1 ] dépend de façon affine des observations passées (Y 0,, Y 1 ), de sorte que le vecteur aléatoire (Y 0,, Y 1, X X, I ) dépend de façon affine du vecteur (Y 0, Y 1,, Y, X ) formé de l état courant X et des observations (Y 0, Y 1,, Y ). On en déduit que le vecteur aléatoire (Y 0,, Y 1, X X, I ) est gaussien, et donc a fortiori le vecteur aléatoire (X X, I ) est gaussien, comme transformation affine d un vecteur aléatoire gaussien. Compte tenu que E[X X Y 0: 1] = 0 et E[I Y 0: 1 ] = 0, par définition, on en déduit que le vecteur aléatoire (X X, I ) est indépendant de Y 0: 1. D après l équation (2.4), on a et on en déduit que I = Y (H X + h ) = H (X X ) + V, (2.5) Q I = E[I I ] = E[(H (X X ) + V ) (H (X X ) + V ) ] = H E[(X X ) (X X ) ] H + E[V V ] + E[V (X X ) ] H + H E[(X X ) V ] = H P H + QV. Dans cette dernière égalité, on a utilisé le fait que (X X ) est indépendant de V, donc E[(X X ) V ] = 0. On déduit également de (2.5) que E[(X X ) I ] = E[(X X ) (H (X X ) + V ) ] = E[(X X ) (X X ) ] H + E[(X X ) V ] = P H. Dans cette dernière égalité, on a de nouveau utilisé le fait que (X X ) est indépendant de V, donc E[(X X ) V ] = 0. Remarque 2.4 Compte tenu que la distribution de probabilité conditionnelle du vecteur aléatoire Y sachant Y 0: 1 est gaussienne, de moyenne H X + h et de matrice Q I inversible, on

19 Filtrage de Kalman et Modèles de Marov Cachés 15 obtient l expression suivante L n = = n exp{ 1 2 (Y (H X + h )) (Q I ) 1 (Y (H X + h )) } n exp{ 1 2 I (QI ) 1 I }, pour la vraisemblance du modèle, a une constante multiplicative près. Théorème 2.5 (Filtre de Kalman) On suppose que la matrice de covariance Q V est inversible, pour tout instant. Alors { X } et {P } sont définis par les équations suivantes X = F X 1 + f, et P = F P 1 F + G Q W G, X = X + K [Y (H X + h )], P = [I K H ] P, où la matrice K = P H [H P H + QV ] 1, est appelée gain de Kalman, et avec les initialisations X 0 = X 0 = E[X 0 ] et P 0 = QX 0 = cov(x 0 ). Remarque 2.6 On vérifie que la suite {P } ne dépend pas des observations : elle peut donc être pré calculée, en particulier dans le cas simple où les coefficients F = F, G = G, H = H, Q W = QW et Q V = QV sont constants. Remarque 2.7 Si les coefficients F, f et G dans l équation (2.1) et les coefficients H et h dans l équation (2.2) dépendent des observations Y 0: 1, alors la suite {Z = (X, Y )}, et a fortiori la suite {X }, n est plus gaussienne, mais conditionnellement à Y 0: 1 le couple (X, Y ) est gaussien. On dit que la suite {X } est conditionnellement gaussienne, et on vérifie facilement que la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y 0: est gaussienne, de moyenne X et de matrice de covariance P données encore par les équations du Théorème 2.5. Preuve. On procède en plusieurs étapes. Le point central est la Proposition 1.5 qui sera constamment utilisée.

20 16 Master Recherche SISEA 16/17 Expression de X 0 et P 0 en fonction de X 0 et P 0 : Le vecteur aléatoire (X 0, Y 0 ) est gaussien, de moyenne et de matrice de covariance données par X 0 P0 P 0 H 0 et, H 0 X 0 + h 0 H 0 P0 H 0 P0 H 0 + QV 0 respectivement. D après la Proposition 1.5, la distribution de probabilité conditionnelle du vecteur aléatoire X 0 sachant Y 0 est gaussienne, de moyenne et de matrice de covariance X 0 = X 0 + P 0 H 0 [H 0 P 0 H 0 + Q V 0 ] 1 [Y 0 (H 0 X 0 + h 0 )], P 0 = P 0 P 0 H 0 [H 0 P 0 H 0 + Q V 0 ] 1 H 0 P 0. Expression de X et P en fonction de X 1 et P 1 : Le vecteur aléatoire (X, Y 0,, Y 1 ) est gaussien, et d après la Proposition 1.5, la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y 0: 1 est gaussienne, de moyenne X et de matrice de covariance P. D après l équation (2.3), c est à dire X = F X 1 + f + G W, on a X = E[X Y 0: 1 ] = F E[X 1 Y 0: 1 ] + f + G E[W Y 0: 1 ] = F X 1 + f, compte tenu que W et Y 1 sont indépendants. Par différence X X = F (X 1 X 1 ) + G W, de sorte que P = E[(X X ) (X X ) ] = E[(F (X 1 X 1 ) + G W ) (F (X 1 X 1 ) + G W ) ] = F E[(X 1 X 1 ) (X 1 X 1 ) ] F + G E[W W ] G + G E[W (X 1 X 1 ) ] F + F E[(X 1 X 1 ) W ] G = F P 1 F + G Q W G. Dans cette dernière égalité, on a utilisé le fait que (X 1 X 1 ) est indépendant de W, donc E[(X 1 X 1 ) W ] = 0.

21 Filtrage de Kalman et Modèles de Marov Cachés 17 Expression de X et P en fonction de X et P : Le vecteur aléatoire (X, Y 0,, Y ) est gaussien, et d après la Proposition 1.5, la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y 0: est gaussienne, de moyenne X et de matrice de covariance déterministe P. D après la Remarque 2.2, on a X = E[X Y 0: ] = X + E[X X Y 0:] = X + E[X X Y 0: 1, I ] = X + E[X X I ], compte tenu que les vecteurs aléatoires (X X ) et I sont indépendants de Y 0: 1, d après le Lemme 2.3. Par différence de sorte que X X = (X X ) ( X X ) = (X X ) E[X X I ], P = E[ (X X ) (X X ) ] = E[ ((X X ) E[X X I ]) ((X X ) E[X X I ]) ]. Pour calculer la moyenne conditionnelle et la matrice de covariance conditionnelle du vecteur aléatoire X sachant Y 0:, il suffit donc de calculer la moyenne conditionnelle et la matrice de covariance conditionnelle du vecteur aléatoire (X X ) sachant I. En d autres termes, pour estimer l état caché X au vu des observations Y 0: il suffit d estimer de quelle quantité, exprimée en fonction de l écart I constaté entre la nouvelle observation et l observation prédite, corriger l estimation prédite X. C est de cette propriété que découle la forme récursive du filtre de Kalman. D après le Lemme 2.3, le vecteur aléatoire (X X, I ) est gaussien, de moyenne nulle et de matrice de covariance P P H. H P H P H + QV Si la matrice Q V est inversible, alors a fortiori la matrice QI = H P H + QV et d après la Proposition 1.5 on a immédiatement est inversible, X = X + P H [H P H + QV ] 1 I, et ce qui termine la démonstration. P = P P H [H P H + QV ] 1 H P,

22 18 Master Recherche SISEA 16/ Lisseur de Kalman On dispose désormais de l information Y 0:n = (Y 0, Y 1,, Y n ), et l objectif est d estimer de façon optimale le vecteur aléatoire X à partir de Y 0:n, pour un instant intermédiaire entre l instant initial 0 et l instant final n. Si on adopte le critère du minimum de variance, il s agit d après la Section 1.2 de calculer la distribution de probabilité conditionnelle du vecteur aléatoire X sachant Y 0:n. Comme le cadre est gaussien, il suffit de calculer la moyenne et la matrice de covariance X n = E[X Y 0:n ] et P n = E[(X X n ) (X X n ) Y 0:n ], et clairement, Xn n = X n et Pn n = P n pour = n. D après la Remarque 1.6, la matrice de covariance conditionnelle P n ne dépend pas des observations, c est à dire que P n = E[(X X n ) (X X n ) ]. Théorème 2.8 (Lisseur de Kalman) On suppose que les matrices de covariance Q V et P sont inversibles, pour tout instant. Alors { X n} et {P n } sont définis par les équations rétrogrades suivantes X 1 n = X 1 + L ( X n X ), P n 1 = P 1 L (P P n ) L, avec la matrice de gain et avec les initialisations L = P 1 F (P ) 1, X n n = X n et P n n = P n. Preuve. On remarque que le vecteur aléatoire Y peut s exprimer comme transformation affine du vecteur aléatoire (X, V ), et donc a fortiori comme transformation affine du vecteur aléatoire (Y 0: 1, X X, V ). De même, le vecteur aléatoire Y +p peut s exprimer comme transformation affine du vecteur aléatoire (X +p, V +p ), et par transitivité comme transformation affine du vecteur aléatoire (X, W +1,, W +p, V +p ), et donc a fortiori comme transformation affine du vecteur aléatoire (Y 0: 1, X X, W +1,, W +p, V +p ). On en déduit que le vecteur aléatoire Y 0:n = (Y 0: 1, Y,, Y n ) peut s exprimer comme transformation affine du vecteur aléatoire (Y 0: 1, X X, Z +1:n) où Z +1:n = (W +1,, W n, V, V +1,, V n ) par définition. Les vecteurs aléatoires Y 0: 1, X X et Z +1:n sont mutuellement indépendants, et il résulte

23 Filtrage de Kalman et Modèles de Marov Cachés 19 de la Remarque 1.8 que U n 1 = E[X 1 Y 0: 1, X X, Z +1:n] = X 1 + E[X 1 X 1 Y 0: 1, X X, Z +1:n] = X 1 + E[X 1 X 1 Y 0: 1 ] + E[X 1 X 1 X X ] + E[X 1 X 1 Z +1:n ] = X 1 + E[X 1 X 1 X X ], compte tenu que E[X 1 X 1 Y 0: 1 ] = 0 par définition, et où on a utilisé dans la dernière égalité le fait que (X 1 X 1 ) est indépendant de Z +1:n, donc E[X 1 X 1 Z +1:n ] = 0. Par différence X 1 U n 1 = (X 1 X 1 ) (U n 1 X 1 ) = (X 1 X 1 ) E[X 1 X 1 X X ], de sorte que E[(X 1 U n 1 ) (X 1 U n 1 ) ] = E[ ((X 1 X 1 ) E[X 1 X 1 X X ]) ((X 1 X 1 ) E[X 1 X 1 X X ]) ]. Pour calculer la moyenne conditionnelle et la matrice de covariance conditionnelle du vecteur aléatoire X 1 sachant (Y 0: 1, X X, Z +1:n), il suffit donc de calculer la moyenne conditionnelle et la matrice de covariance conditionnelle du vecteur aléatoire (X 1 X 1 ) sachant (X X ). D après la Remarque 1.7, l état estimé X 1 = E[X 1 Y 0: 1 ] et l état prédit X = E[X Y 0: 1 ] dépendent de façon affine des observations passées (Y 0,, Y 1 ), de sorte que le vecteur aléatoire (X 1 X 1, X X ) dépend de façon affine du vecteur aléatoire (Y 0,, Y 1, X 1, X ). On en déduit que le vecteur aléatoire (X 1 X 1, X X ) est gaussien, comme transformation affine d un vecteur aléatoire gaussien. Par différence X X = F (X 1 X 1 ) + G W,

24 20 Master Recherche SISEA 16/17 de sorte que E[(X 1 X 1 ) (X X ) ] = E[(X 1 X 1 ) (F (X 1 X 1 ) + G W ) ] = E[(X 1 X 1 ) (X 1 X 1 ) ] F + E[(X 1 X 1 ) W ] G = P 1 F. Dans cette dernière égalité, on a utilisé le fait que (X 1 X 1 ) et W sont indépendants, donc E[(X 1 X 1 ) W ] = 0. On en déduit que le vecteur aléatoire gaussien (X 1 X 1, X X ) est de moyenne nulle et de matrice de covariance P 1 P 1 F. F P 1 P Par hypothèse la matrice P est inversible, et d après la Proposition 1.5 on a immédiatement U n 1 = X 1 + P 1 F (P ) 1 (X X ) = X 1 + L (X X ), et E[(X 1 U n 1 ) (X 1 U n 1 ) ] = P 1 P 1 F (P ) 1 F P 1 = P 1 L P L. On rappelle que (Y 0: 1, X X, Z +1:n) contient davantage d information que Y 0:n, de sorte que X n 1 = E[X 1 Y 0:n ] = E[U n 1 Y 0:n] = X 1 + L ( X n X ). Par différence X 1 X n 1 = (X 1 U n 1 ) + (U n 1 X n 1 ) et U n 1 X n 1 = L (X X n ), de sorte que P n 1 = E[ (X 1 X n 1 ) (X 1 X n 1 ) ] = E[ ((X 1 U n 1 ) + (U n 1 X n 1 )) ((X 1 U n 1 ) + (U n 1 X n 1 )) ] = E[ (X 1 U n 1 ) (X 1 U n 1 ) ] + E[ (U n 1 X n 1 ) (U n 1 X n 1 ) ] + E[ (U n 1 X n 1 ) (X 1 U n 1 ) ] + E[ (X 1 U n 1 ) (U n 1 X n 1 ) ] = (P 1 L P L ) + L P n L. Dans cette dernière égalité, on a utilisé le fait que

25 Filtrage de Kalman et Modèles de Marov Cachés 21 (U n 1 X n 1 ) dépend de (Y 0: 1, X X, Z +1:n), et E[X 1 U n 1 Y 0: 1, X X, Z +1:n] = 0 par définition, donc E[ (X 1 U n 1 ) (U n 1 X n 1 ) ] = 0.

26 22 Master Recherche SISEA 16/17

27 Chapitre 3 Extensions aux systèmes non linéaires On considère une suite d états cachés {X } à valeurs dans R m, vérifiant X = b (X 1 ) + σ (X 1 ) W, (3.1) où {X } et {W } prennent respectivement leurs valeurs dans R m et R p, et une suite d observations {Y } à valeurs dans R d, vérifiant et on suppose que Y = h (X ) + V, (3.2) la condition initiale X 0 est gaussienne, de moyenne X 0 et de matrice de covariance Q X 0, la suite {W } est un bruit blanc gaussien, de matrice de covariance Q W, la suite {V } est un bruit blanc gaussien, de matrice de covariance Q V inversible, les suites {W } et {V } et la condition initiale X 0 sont mutuellement indépendants. La signification du modèle (3.1) est la suivante même si l état X 1 = x est connu exactement à l instant ( 1), on peut seulement dire que l état X à l instant est incertain, et distribué comme un vecteur aléatoire gaussien, de moyenne b (x) et de matrice de covariance σ (x) Q W (σ (x)). La plupart des propriétés obtenues à la Section 2.1 ne sont pas vraies pour le système décrit par les équations (3.1) et (3.2). En particulier, le processus {Z = (X, Y )} n est pas gaussien (ni même conditionnellement gaussien), et les moments conditionnels de X sachant Y 0: ne peuvent pas être calculés de manière simple. Deux approches pragmatiques sont présentées dans ce chapitre, qui permettent d obtenir des estimateurs sous optimaux, c est à dire qui n atteignent pas nécessairement le minimum de l erreur quadratique moyenne, mais qui sont néanmoins très 23

28 24 Master Recherche SISEA 16/17 largement utilisés en pratique. La première approche présentée à la Section 3.1 repose sur des techniques de linéarisation, et donne lieu au filtre de Kalman linéarisé et au filtre de Kalman étendu. La deuxième approche présentée à la Section 3.2 repose sur des techniques d approximation gaussienne et de quadrature numérique, et donne lieu au filtre de Kalman dit unscented. Dans les chapitres suivants, on abandonnera ce point de vue de lineéarisation ou d approximation gaussienne, et on s attachera d abord à caractériser la distribution de probabilité conditionnelle de l état caché sachant les observations, soit par une représentation probabiliste, soit par une équation récurrente dans l espace des distributions de probabilité, et on proposera ensuite des approximations numériques reposant sur méthodes de simulation de type Monte Carlo. 3.1 Filtre de Kalman linéarisé, filtre de Kalman étendu On considère le système non linéaire X = b (X 1 ) + σ (X 1 ) W, Y = h (X ) + V, (3.3) et on suppose que les fonctions b et h sont dérivables. En linéarisant le système (3.3) autour d une suite déterministe donnée, ou bien autour de l estimateur courant, on peut obtenir des algorithmes sous optimaux, qui sont décrits ci dessous. Filtre de Kalman linéarisé On se donne une suite (déterministe) { x } à valeurs dans R m, appelée trajectoire nominale (on peut prendre par exemple x comme une approximation de la moyenne de X ). La méthode consiste à linéariser les fonctions b et σ autour de x 1, c est à dire b (x) b ( x 1 ) + b ( x 1) (x x 1 ) et σ (x) σ ( x 1 ), et la fonction h autour de x, c est à dire h (x) h ( x ) + h ( x ) (x x ). Le système non linéaire (3.3) est alors remplacé par le système linéaire gaussien X = F X 1 + f + G W, avec Y = H X + h + V, F = b ( x 1), f = b ( x 1) x 1 + b ( x 1 ) et G = σ ( x 1 ), et avec H = h ( x ) et h = h ( x ) x + h ( x ).

29 Filtrage de Kalman et Modèles de Marov Cachés 25 On applique alors exactement le filtre de Kalman à ce nouveau système, d où l algorithme sous optimal suivant X = b ( x 1 ) + b ( x 1) ( X 1 x 1 ), et P = b ( x 1) P 1 (b ( x 1)) + σ ( x 1 ) Q W (σ ( x 1 )), X = X + K [ Y (h ( x ) + h ( x ) ( X x )) ], P = [I K h ( x )] P, avec la matrice de gain K = P h ( x ) [ h ( x ) P (h ( x )) + Q V ] 1. A la place de la première et la troisième de ces équations, on peut utiliser X = b ( X 1 ), X = X + K [Y h ( X )]. On choisit l initialisation X 0 et P 0 de telle sorte que N( X 0, P 0 de la distribution de probabilité du vecteur aléatoire X 0. ) soit une bonne approximation Filtre de Kalman étendu Au lieu de linéariser autour d une trajectoire nominale déterministe { x }, on peut utiliser l estimateur courant. La méthode consiste à linéariser les fonctions b et σ autour de X 1, c est à dire b (x) b ( X 1 ) + b ( X 1 ) (x X 1 ) et σ (x) σ ( X 1 ), et à linéariser la fonction h autour de X, c est à dire h (x) h ( X ) + h ( X ) (x X ). Le système non linéaire (3.3) est alors remplacé par le système conditionnellement linéaire gaussien X = F X 1 + f + G W, avec Y = H + h + V, F = b ( X 1 ), f = b ( X 1 ) X 1 + b ( X 1 ) et G = σ ( X 1 ),

30 26 Master Recherche SISEA 16/17 et avec et on remarque que H = h ( X ) et h = h ( X ) X + h ( X ), F X 1 + f = b ( X 1 ) et H X + h = h ( X ). On applique alors exactement le filtre de Kalman à ce nouveau système, au vu de la Remarque 2.7, d où l algorithme sous optimal suivant X = b ( X 1 ), et P = b ( X 1 ) P 1 (b ( X 1 )) + σ ( X 1 ) Q W (σ ( X 1 )), X = X + K [Y h ( X )], avec la matrice de gain P = [I K h ( X )] P, K = P (h ( X )) [h ( X ) P (h ( X )) + Q V ] 1. On choisit l initialisation X 0 et P 0 de telle sorte que N( X 0, P 0 de la distribution de probabilité du vecteur aléatoire X 0. ) soit une bonne approximation Remarque 3.1 Dans cet algorithme, la suite {P } dépend des observations, et ne peut donc pas être pré calculée. 3.2 Filtre de Kalman unscented On considère à nouveau le système non linéaire (3.3), c est à dire X = b (X 1 ) + σ (X 1 ) W, Y = h (X ) + V, et on ne suppose plus que les fonctions b et h sont dérivables, mais on suppose que les fonctions b, h et σ et certaines fonctions associées, peuvent être intégrées par rapport à certaines distributions de probabilité gaussiennes. Au lieu de s appuyer sur une linéarisation des fonctions autour de l estimateur courant, on se propose ici de remplacer les différentes distributions de probabilité conditionnelles par des distributions de probabilité gaussiennes ayant même moyenne et même matrice de covariance,

31 Filtrage de Kalman et Modèles de Marov Cachés 27 d utiliser des formules de quadrature, développées initialement pour le calcul numérique d intégrales, pour approcher ces moyennes et ces matrices de covariance conditionnelles. Le premier point peut s interpréter comme une projection, au sens de la distance de Kullbac Leibler, sur la famille des distributions de probabilité gaussiennes. Le calcul des deux premiers moments (moyenne et matrice de covariance) de la distribution de probabilité conditionnelle µ (dx) = P[X dx Y 0: 1 ], c est à dire le calcul de la moyenne conditionnelle et de la matrice de covariance conditionnelle du vecteur aléatoire X sachant Y 0: 1, est facile. Par définition X = E[X Y 0: 1 ] = E[b (X 1 ) Y 0: 1 ] + E[σ (X 1 ) W Y 0: 1 ] compte tenu que = R m b (x) µ 1 (dx), E[σ (X 1 ) W Y 0: 1 ] = E[ E[σ (X 1 ) W X 1, Y 0: 1 ] Y 0: 1 ] = E[σ (X 1 ) E[W X 1, Y 0: 1 ] Y 0: 1 ] = 0, où on a utilisé dans la dernière égalité l indépendance de (Y 0,, Y 1, X 1 ) et de W, donc E[W X 1, Y 0: 1 ] = 0. Par différence de sorte que P = E[ (X X ) (X X ) Y 0: 1 ] X X = (b (X 1 ) X ) + σ (X 1 ) W, = E[ ((b (X 1 ) X ) + σ (X 1 ) W ) ((b (X 1 ) X ) + σ (X 1 ) W ) Y 0: 1 ] = E[ (b (X 1 ) X ) (b (X 1 ) X ) Y 0: 1 ] + E[σ (X 1 ) W (b (X 1 ) X ) Y 0: 1 ] + E[ (b (X 1 ) X ) W σ (X 1) Y 0: 1 ] + E[σ (X 1 ) W W σ (X 1) Y 0: 1 ] = (b (x) X ) (b (x) X ) µ 1 (dx) + σ (x) Q W σ (x) µ 1(dx), R m R m

32 28 Master Recherche SISEA 16/17 compte tenu que E[σ (X 1 ) W W σ (X 1) Y 0: 1 ] = E[ E[σ (X 1 ) W W σ (X 1) X 1, Y 0: 1 ] Y 0: 1 ] = E[ σ (X 1 ) E[W W X 1, Y 0: 1 ] σ (X 1) Y 0: 1 ] = E[ σ (X 1 ) Q W σ (X 1) Y 0: 1 ], où on a utilisé dans la dernière égalité l indépendance de (Y 0,, Y 1, X 1 ) et de W, donc E[W W X 1, Y 0: 1 ] = Q W, et compte tenu que E[σ (X 1 ) W (b (X 1 ) X ) Y 0: 1 ] = E[ E[σ (X 1 ) W (b (X 1 ) X ) X 1, Y 0: 1 ] Y 0: 1 ] = E[σ (X 1 ) E[W X 1, Y 0: 1 ] (b (X 1 ) X ) Y 0: 1 ] = 0, où on a encore utilisé dans la dernière égalité l indépendance de (Y 0,, Y 1, X 1 ) et de W, donc E[W X 1, Y 0: 1 ] = 0. En revanche, le calcul des deux premiers moments (moyenne et matrice de covariance) de la distribution de probabilité conditionnelle µ (dx) = P[X dx Y 0: ], c est à dire le calcul de la moyenne conditionnelle et de la matrice de covariance conditionnelle du vecteur aléatoire X sachant Y 0:, n est pas immédiat, et on commence par le calcul des deux premiers moments (moyenne et matrice de covariance) de la distribution de probabilité conditionnelle jointe du vecteur aléatoire (X, Y ) sachant Y 0: 1, qui est plus facile. On rappelle que a déjà été obtenu plus haut, et par définition X = R m b (x) µ 1 (dx), Ŷ = E[Y Y 0: 1 ] On rappelle que P = = E[h (X ) Y 0: 1 ] + E[V Y 0: 1 ] = R m h (x) µ (dx). (b (x) X ) (b (x) X ) µ 1 (dx) + σ (x) Q W σ (x) µ 1(dx), R m a déjà été obtenu plus haut, et par différence Y Ŷ = (h (X ) Ŷ ) + V,

33 Filtrage de Kalman et Modèles de Marov Cachés 29 de sorte que Ξ = E[ (Y Ŷ ) (Y Ŷ ) Y 0: 1 ] = E[ ((h (X ) Ŷ ) + V ) ((h (X ) Ŷ ) + V ) Y 0: 1 ] = E[ (h (X ) Ŷ ) (h (X ) Ŷ ) Y 0: 1 ] + E[V V Y 0: 1] + E[ (h (X ) Ŷ ) V Y 0: 1] compte tenu que = + E[V (h (X ) Ŷ ) Y 0: 1 ] R m (h (x) Ŷ ) (h (x) Ŷ ) µ (dx) + QV, E[V (h (X ) Ŷ ) Y 0: 1 ] = E[ E[V (h (X ) Ŷ ) X, Y 0: 1 ] Y 0: 1 ] = E[ E[V X, Y 0: 1 ] (h (X ) Ŷ ) Y 0: 1 ] = 0. où on a utilisé dans la dernière égalité l indépendance de (Y 0,, Y 1, X ) et de V, donc E[V X, Y 0: 1 ] = 0, et C = E[ (X X ) (Y Ŷ ) Y 0: 1 ] = E[ (X X ) (h (X ) Ŷ ) Y 0: 1 ] + E[ (X X ) V Y 0: 1] = R m (x X ) (h (x) Ŷ ) µ (dx). On remplace la distribution de probabilité conditionnelle jointe du vecteur aléatoire (X, Y ) sachant Y 0: 1 par la distribution de probabilité gaussienne de moyenne et de matrice de covariance X Ŷ et respectivement. Si la matrice Q V est inversible, alors a fortiori la matrice Ξ est inversible, et d après la Proposition 1.5 on obtient immédiatement les approximations suivantes X = X + C Ξ 1 P C C Ξ, (Y Ŷ ) et P = P C Ξ 1 C,

34 30 Master Recherche SISEA 16/17 pour les deux premiers moments de la distribution de probabilité conditionnelle µ, c est à dire pour la moyenne conditionnelle et de la matrice de covariance conditionnelle du vecteur aléatoire X sachant Y 0:. Ces équations ne sont pas fermées, c est à dire que les moments X et P ne s expriment pas en fonction des moments X 1 et P 1 seulement, mais en fonction de toute la distribution de probabilité conditionnelle µ 1, et de même, les moments X et P ne s expriment pas en fonction des moments X et P seulement, mais en fonction de toute la distribution de probabilité conditionnelle µ. Pour fermer ces équations, on adopte le principe de projection énoncé plus haut. On remplace la distribution de probabilité conditionnelle µ 1 par la distribution de probabilité gaussienne de moyenne X 1 et de matrice de covariance P 1 = S 1 S 1, et en effectuant le changement de variable x = X 1 + S 1 u, on obtient les approximations X b (u) exp{ 1 du 2 u 2 } (2π) m/2, et P ( b (u) X ) ( b (u) X ) exp{ 1 2 u 2 } + σ (u) Q W σ (u) exp{ 1 2 u 2 } du (2π) m/2 du (2π) m/2 où par définition b (u) = b ( X 1 + S 1 u) et σ (u) = σ ( X 1 + S 1 u). De même, on remplace la distribution de probabilité conditionnelle µ par la distribution de probabilité gaussienne de moyenne X et de matrice de covariance P = S (S ), et en effectuant le changement de variable x = X + S u, on obtient les approximations et et où par définition Ξ Ŷ R m ĥ (u) exp{ 1 2 u 2 } du (2π) m/2, R m (ĥ(u) Ŷ ) (ĥ(u) Ŷ ) exp{ 1 2 u 2 } C S R m u (ĥ(u) Ŷ ) exp{ 1 2 u 2 } ĥ (u) = h ( X + S u). Il reste donc à calculer les intégrales des fonctions non linéaires du (2π) m/2 + QV, du (2π) m/2, b (u), b (u) b (u), σ (u) Q W σ (u), ĥ(u), u ĥ (u) et ĥ(u) ĥ (u),

35 Filtrage de Kalman et Modèles de Marov Cachés 31 par rapport à la densité gaussienne réduite centrée. Remarque 3.2 Si on suppose que les fonctions b et h sont dérivables, et qu on utilise un développement limité au premier ordre au voisinage de u = 0 dans les intégrales ci dessus, on retrouve les équations du filtre de Kalman étendu. L idée ici est de ne pas linéariser, et de calculer les intégrales en utilisant des formules de quadrature numérique. On introduit les formules de quadrature suivantes, reposant sur la notion de σ points. En dimension m, la densité de probabilité gaussienne centrée réduite (de matrice de covariance identité) est représentée par 2m + 1 points de quadrature (u m,, u m ) appelés σ points, et définis par u 0 = 0, u i = e i m + κ et u i = u i, où e i désigne le i ème vecteur de base, affectés des poids w 0 = κ m + κ et w i = w i = 1 2 (m + κ), (3.4) pour tout i = 1,, m (d autres choix de σ points sont possibles). On vérifie que +m i= m w i = 1, +m i= m w i u i = 0 et +m i= m w i u i u i = m e i e i = I, c est à dire que les deux premiers moments sont pris en compte exactement. Plus généralement R m ϕ(u) exp{ 1 2 u 2 } et un changement de variable évident donne aussitôt R m ϕ(µ + Σ 1/2 u) exp{ 1 2 u 2 } du +m (2π) m/2 i= m du +m (2π) m/2 i= m w i ϕ(u i ), i=1 w i ϕ(µ + Σ 1/2 u i ), pour toute fonction ϕ définie sur R m, c est à dire que les σ points (x m,, x m ) associés à la distribution de probabilité gaussienne de vecteur moyenne µ et de matrice de covariance Σ, sont définis par la relation x i = µ + Σ 1/2 u i, soit x 0 = µ, x i = µ + Σ 1/2 e i m + κ et x i = µ Σ 1/2 e i m + κ, pour tout i = 1,, m. On vérifie que +m i= m w i x i = µ et +m i= m w i (x i µ) (x i µ) = m Σ 1/2 e i (Σ 1/2 e i ) = Σ, c est à dire que les deux premiers moments sont pris en compte exactement. Plus généralement encore, soit X un vecteur aléatoire gaussien de vecteur moyenne µ et de matrice de covariance Σ, et soit T une transformation non linéaire définie sur R m. Clairement ϕ(t (µ + Σ 1/2 u)) exp{ 1 2 u 2 } i=1 du +m (2π) m/2 i= m w i ϕ(t (x i )),

36 32 Master Recherche SISEA 16/17 pour toute fonction ϕ définie sur R m, c est à dire que les σ points (x m,, x m) associés au vecteur aléatoire transformé X = T (X), sont simplement obtenus par la relation x i = T (x i) à partir des σ points (x m,, x m ) associés au vecteur aléatoire X, soit x 0 = T (µ), x i = T (µ + Σ 1/2 e i m + κ) et x i = T (µ Σ 1/2 e i m + κ), pour tout i = 1,, m. Avec ces formules de quadrature, on obtient l algorithme de filtrage sous optimal suivant. Expression de X et P en fonction de X 1 et P 1 = S 1 S 1 : On introduit les σ points x 0 = X 1, x i = X 1 + S 1 e i m + κ et x i = X 1 S 1 e i m + κ, affectés des poids (3.4) pour tout i = 1,, m, et on définit le vecteur moyenne et la matrice de covariance P X +m = w i b (x i ), i= m +m = w i (b (x i ) X ) (b (x i ) X ) + +m i= m i= m w i σ (x i ) Q W σ (x i) = S (S ). Expression de X et P en fonction de X et P = S (S ) : On introduit les σ points x 0 = X, x i = X + S e i m + κ et x i = X S e i m + κ, affectés des poids (3.4) pour tout i = 1,, m, on définit le vecteur moyenne la matrice de covariance Ξ = et la matrice de corrélation et on pose +m i= m C = X = X + C Ξ 1 Ŷ = +m i= m w i h (x i ), w i (h (x i ) Ŷ ) (h (x i ) Ŷ ) + Q V, +m i= m w i (x i X ) (h (x i ) Ŷ ), (Y Ŷ ) et P = P C Ξ 1 C = S S.

37 Chapitre 4 Systèmes non linéaires non gaussiens, et extensions On considère une suite d états cachés {X } à valeurs dans R m, vérifiant X = f (X 1, W ), (4.1) où {X } et {W } prennent respectivement leurs valeurs dans R m et R p, et une suite d observations {Y } à valeurs dans R d, vérifiant et on suppose que Y = h (X ) + V, (4.2) la condition initiale X 0 n est pas nécessairement gaussienne, la suite {W } est un bruit blanc, pas nécessairement gaussien, la suite {V } est un bruit blanc, pas nécessairement gaussien, les suites {W } et {V } et la condition initiale X 0 sont mutuellement indépendants. On ne suppose pas que les fonctions f et h sont dérivables. On suppose en revanche que il est facile de simuler un vecteur aléatoire selon la loi η 0 (dx) de X 0, il est facile de simuler un vecteur aléatoire selon la loi p W (dw) de W, la loi du vecteur aléatoire V admet une densité q V (v) qu il est facile d évaluer pour tout v R d. 33

38 34 Master Recherche SISEA 16/ Équation d état (modèle a priori) Proposition 4.1 La suite {X } est une chaîne de Marov à valeurs dans R m, c est à dire que la loi conditionnelle par rapport au passé P[X dx X 0,, X 1 ] = P[X dx X 1 ], ne dépend que du passé immédiat, avec le noyau de probabilités de transition P[X dx X 1 = x] = Q (x, dx ), défini par Q ϕ(x) = E[ ϕ(x ) X 1 = x] = ϕ(f (x, w)) p W (dw), R p pour toute fonction test ϕ mesurable bornée, définie sur R m. Preuve. Compte tenu que W est indépendant de (X 0,, X 1 ), on a E[ ϕ(x ) X 0,, X 1 ] = E[ ϕ(f (X 1, W )) X 0,, X 1 ] = R p ϕ(f (X 1, w)) p W (dw), pour toute fonction test ϕ mesurable bornée définie sur R m. Clairement, le résultat ne dépend que de X 1, c est à dire que et E[ ϕ(x ) X 0,, X 1 ] = E[ ϕ(x ) X 1 ], E[ ϕ(x ) X 1 = x] = ϕ(f (x, w)) p W (dw). R p Remarque 4.2 Si f (x, w) = b (x) + w, et si la loi p W (dw) de W admet une densité encore notée p W (w), c est à dire si pw (dw) = pw (w) dw, alors Q (x, dx ) = p W (x b (x)) dx c est à dire que le noyau Q (x, dx ) admet une densité. En effet, le changement de variable x = b (x) + w donne immédiatement Q ϕ(x) = ϕ(b (x) + w) p W (w) dw = R m ϕ(x ) p W (x b (x)) dx, R m pour toute fonction test ϕ mesurable bornée, définie sur R m. Remarque 4.3 En général, le noyau Q (x, dx ) n admet pas de densité. En effet, conditionnellement à X 1 = x, le vecteur aléatoire X appartient nécessairement au sous ensemble M(x) = {x R m : il existe w R p tel que x = f (x, w)}, et dans le cas où p < m ce sous ensemble M(x) est généralement, sous certaines hypothèses de régularité, une sous variété différentielle de dimension p dans l espace R m. Il ne peut donc pas y avoir de densité pour la loi Q (x, dx ) du vecteur aléatoire X.