Pr ediction lin eaire

Transcription

1 Prédiction linéaire La prédiction linéaire fait partie intégrante des filtres adaptatifs basés sur les algorithmes de moindres carrés rapides. De plus, elle joue un rôle important dans de nombreuses applications, notamment l analyse des signaux ou la compression. INRS-EMT J. Benesty

2 Plan La matrice d autocorrélation La prédiction linéaire avant La prédiction linéaire arrière Relation entre les prédicteurs avant et arrière Relations de récurrence sur l ordre et l algorithme de Levinson-Durbin Le filtre de prédiction linéaire en treillis Résumé INRS-EMT J. Benesty 1

3 La matrice d autocorrélation Soit une série temporelle stationnaire réelle x(n), le vecteur correspondant aux L données les plus récentes est: x L (n) = x(n) x(n 1) x(n L +1) T, et la matrice d autocorrélation de dimension L L est: R L = E { x L (n)x T L(n) } (1) r(0) r(1) r(l 1) = r(1) r(0) r(l 2) r(l 1) r(l 2) r(0) Pour un vecteur de longueur L +1: x L+1 (n) = x(n) x(n 1) x(n L) T, la matrice d autocorrélation de dimension (L +1) (L +1)est: INRS-EMT J. Benesty 2

4 où R L+1 = E { x L+1 (n)x T L+1(n) } (2) r(0) r(1) r(l) = r(1) r(0) r(l 1) r(l) r(l 1) r(0) r(0) r T = r R L RL r = b, r(0) r T b r = r(1) r(2) r(l) T est un vecteur d autocorrélation à L éléments et r b = r(l) r(l 1) r(1) T. On voit bien donc comment les deux matrices R L+1 et R L sont reliées. INRS-EMT J. Benesty 3

5 La prédiction linéaire avant Le but de la prédiction linéaire avant est d estimer la valeur d un signal à l instant n à partir de ses valeurs aux instants antérieurs n 1, n 2,. L erreur de prédiction linéaire avant s écrit: où e a (n) = x(n) L a L,l x(n l) l=1 = x(n) a T Lx(n 1) (3) a L = a L,1 a L,2 a L,L T est le vecteur prédicteur avant à L éléments, et: x(n 1) = x(n 1) x(n 2) x(n L) T. On cherchera à minimiser le critère suivant: J (a L )=E{e 2 a(n)}, (4) INRS-EMT J. Benesty 4

6 ce qui donne: J (a L ) a L = 2E { e a (n) e } a(n) a L = 2E {e a (n)x(n 1)} = 0 L 1, (5) finalement, on a: E { x(n 1)x T (n 1) } a L = E {x(n 1)x(n)} R L a L = r. (6) Le système précédent peut être formulé différemment en augmentant sa taille: r(0) r T 1 Ea,L = r a L 0 L 1 où R L R L+1 1 a L = Ea,L, (7) 0 L 1 E a,l = r(0) r T a L (8) est la puissance d erreur de prédiction avant. En fait E a,l = J min (EQM minimale). INRS-EMT J. Benesty 5

7 Ecrivons les erreurs de prédiction linéaire avant à l ordre L et L i: e a,l (n) = x(n) e a,l i (n) = x(n) L a L,l x(n l), (9) l=1 L i l=1 Le principe d orthogonalité nous dit que: a L i,l x(n l). (10) E {e a,l (n)x(n 1)} = 0 L 1. (11) Pour 1 i L, on peut facilement vérifier en utilisant (11) que: E {e a,l (n)e a,l i (n i)} =0. (12) Donc quand L, E {e a (n)e a (n i)} =0et la suite e a (n) est un bruit blanc. C est pourquoi le filtre d erreur de prédiction est aussi appelé blanchisseur. INRS-EMT J. Benesty 6

8 La prédiction linéaire arrière Le but de la prédiction linéaire arrière est d estimer la valeur d un signal à l instant n L àpartirdeses valeurs aux instants futurs n, n 1, n 2,. L erreur de prédiction linéaire arrière s écrit: où e b (n) = x(n L) L b L,l x(n l +1) l=1 = x(n L) b T Lx(n) (13) b L = b L,1 b L,2 b L,L T est le vecteur prédicteur arrière à L éléments, et: x(n) = x(n) x(n 1) x(n L +1) T. On cherchera à minimiser le critère suivant: J (b L )=E{e 2 b(n)}, (14) INRS-EMT J. Benesty 7

9 ce qui donne: J (b L ) b L = 2E { e b (n) e } b(n) b L = 2E {e b (n)x(n)} = 0 L 1, (15) finalement, on a: E { x(n)x T (n) } b L = E {x(n)x(n L)} R L b L = r b. (16) Le système précédent peut être formulé différemment en augmentant sa taille: où RL r b r(0) r T b bl 1 R L+1 bl 1 = = 0L 1 E b,l 0L 1, (17) E b,l E b,l = r(0) r T b b L (18) est la puissance d erreur de prédiction arrière. En fait E b,l = J min (EQM minimale). INRS-EMT J. Benesty 8

10 Une propriété importante de la prédiction arrière est qu elle fournit un ensemble de signaux non corrélés: les erreurs e b,l (n) pour les ordres successifs 0 l L ne sont pas corrélées. En effet, soit le vecteur: e b,0 (n) e b,1 (n) e b,2 (n). e b,l 1 (n) ou encore = b T b T b T L 1 1 x L (n), e b (n) = T b x L (n). (19) La matrice de covariance correspondante s écrit: E { e b (n)e T b (n) } = T b R L T T b. (20) Par définition, c est une matrice symétrique. Le produit R L T T b est une matrice triangulaire inférieure, à cause de l équation (17) et la diagonale principale se compose des puissances des erreurs de prédiction E b,l (0 l L 1). Mais T b est aussi une matrice triangulaire inférieure et donc le produit doit avoir la même structure; comme il doit être symétrique, ce ne INRS-EMT J. Benesty 9

11 peut être qu une matrice diagonale, soit: E { e b (n)e T b (n) } = diag{e b,l }, (21) et les erreurs de prédiction arrière sont décorrélées. D autre part, puisque: T b R L T T b = diag{e b,l }, (22) en prenant l inverse: T T b et finalement: R 1 L T 1 b = diag{e b,l } 1, (23) R 1 L = T T b diag{e b,l } 1 T b. (24) C est la décomposition triangulaire, dite de Cholesky, de la matrice d autocorrélation inverse. INRS-EMT J. Benesty 10

12 Relation entre les prédicteurs avant et arrière Soit la matrice carrée d ordre L, dite co-identité, suivante: J L = qui retourne les composantes d un vecteur. On peut facilement vérifier que: R L J L = J L R L. (25) La matrice R L est donc aussi symétrique par rapport à la seconde diagonale, elle est dite doublement symétrique ou persymétrique. Rappelons que: R L b L = r b. (26) INRS-EMT J. Benesty 11

13 En multipliant par la matrice co-identité J L : J L R L b L = J L r b R L J L b L = r = R L a L, (27) comme R L est supposée inversible, il vient: a L = J L b L. (28) D autre part: E b,l = r(0) r T b b L = r(0) r T b J L J L b L = r(0) (J L r b ) T a L = r(0) r T a L = E a,l = E L (29) Pour un signal d entrée stationnaire, les puissances d erreur de prédiction avant et arrière sont égales et les coefficients sont les mêmes, mais dans l ordre inverse. INRS-EMT J. Benesty 12

14 Relations de récurrence sur l ordre et l algorithme de Levinson-Durbin On mettra en évidence des relations entre les équations de prédiction linéaire à l ordre L 1 et L. Soient r a,l et r b,l les vecteurs suivants: r a,l = r(1) r(2) r(l) T, r b,l = J L r a,l, et soit l équation: RL r b,l r T b,l r(0) 1 a L 1 0 = E L 1 0 (L 1) 1 K L, (30) où le scalaire K L représente la quantité: K L = r(l) a T L 1r b,l 1 = r(l) a T L 1J L 1 r a,l 1. (31) INRS-EMT J. Benesty 13

15 Le facteur: est appelé coefficient de réflexion. k L = K L E L 1 (32) Avec la prédiction linéaire arrière, il vient de même: r(0) r T a,l r a,l R L 0 b L 1 1 = K L 0 (L 1) 1 E L 1, (33) en multipliant les deux membres par le facteur k L,on a: R L+1 0 k L b L 1 k L = k2 L E L 1 0 (L 1) 1 K L. (34) En soustrayant ensuite (34) de (30), on obtient: R L+1 1 k L b L 1 a L 1 k L = EL 1 (1 kl 2 ). 0 L 1 INRS-EMT J. Benesty 14

16 En supposant R L+1 invertible, la solution unique au système précédent est le prédicteur avant à l ordre L, d où les équations de récurrence suivantes: a L = al 1 0 k L bl 1 1, (35) E L = E L 1 (1 k 2 L), (36) a L,L = k L. (37) Puisque la puissance de l erreur de prédiction est toujours positive, quel que soit l ordre, on en déduit: et k l 1, l 1, (38) 0 E l E l 1, l 1. (39) En itérant sur la puissance, on a: E L = r(0) L (1 kl 2 ). (40) l=1 INRS-EMT J. Benesty 15

17 L ensemble des équations (35)-(37) représente l algorithme de Levinson-Durbin. La complexité pour résoudre l équation de la prédiction linéaire à l ordre L à l aide de l algorithme de Levinson-Durbin est de l ordre L 2 au lieu de L 3. Table 1: L algorithme de Levinson-Durbin. Initialisation: E 0 = r(0) For 1 l L : k l = 1 r(l) a T l 1 E J l 1r a,l 1 l 1 a l = al 1 0 k l J l E l = E l 1 (1 k 2 l ) 1 a l 1 INRS-EMT J. Benesty 16

18 Le filtre de prédiction linéaire en treillis Les coefficients k l établissent des relations directes entre les erreurs de prédiction avant et arrière pour les ordres successifs. A partir de la définition de l erreur de prédiction avant à l ordre L: e a,l (n) = x(n) a T Lx(n 1) (41) et de la récurrence sur les coefficients: a L = al 1 0 k L bl 1 1, il vient: e a,l (n) =e a,l 1 (n) k L b T L 1 1x(n 1). (42) L erreur de prédiction arrière à l ordre L est: e b,l (n) = x(n L) b T Lx(n), (43) INRS-EMT J. Benesty 17

19 et à l ordre L 1: e b,l 1 (n) = x(n L +1) b T L 1x L 1 (n) = b T L 1 1x(n). (44) Par suite, ces erreurs de prédiction s expriment par: e a,l (n) =e a,l 1 (n) k L e b,l 1 (n 1), (45) e b,l (n) =e b,l 1 (n 1) k L e a,l 1 (n). (46) La structure correspondante est donnée a la figure 1; c est la section de filtre en treillis et un filtre complet d ordre L est constitué d un ensemble de L telles sections en cascade. Bien sûr, au départ, e a,0 (n) =e b,0 (n) =x(n). e a,l 1 (n) - + e a,l (n) k L e b,l 1 (n) z e b,l (n) Figure 1: Cellule de filtre de prédiction en treillis. INRS-EMT J. Benesty 18

20 Les coefficients de réflexion peuvent être caractérisés d une manière statistique. Soit l intercorrélation suivante: E {e a,l (n)e b,l (n 1)} = r(l +1) b T Lr a,l a T LJ L r a,l + a T LR L b L. En raison de l équation de la prédiction arrière: R L b L = r b,l = J L r a,l, la somme des deux derniers termes de cette intercorrélation est nulle, d où: E {e a,l (n)e b,l (n 1)} = r(l +1) b T Lr a,l = K L+1, et finalement: k L = E {e a,l 1(n)e b,l 1 (n 1)} E L 1. (47) Les coefficients k L de réflexion représentent l intercorrélation normalisée des erreurs de prédiction avant et arrière. INRS-EMT J. Benesty 19

21 Le coefficient k L est lié aux L zéros z l du filtre RIF de prédiction d erreur d ordre L, dont la fonction de transfert s écrit: A L (z) =1 L a L,l z l = l=1 L ( 1 zl z 1), (48) l=1 et puisque k L = a L,L,ona: k L =( 1) L+1 L l=1 z l. (49) Le filtre A L (z) est à phase minimale, c est-à-dire que z l 1. INRS-EMT J. Benesty 20

22 Nous allons montrer que le filtre A L (z) =1 L a L,l z l (50) l=1 est à phase minimale. Pour simplifier les notations, posons: w l = a L,l, avec w 0 =1. Le polynôme devient: A L (z) = L w l z l. (51) l=0 Soit le vecteur suivant: w = w 0 w 1 w L T, nous savons que: R L+1 w = Ea,L. (52) 0 L 1 Soit λ une racine quelconque du polynôme, on en déduit que: A L (z) =(1 λz 1 ) L 1 l=0 c l z l, avec c 0 =1. (53) INRS-EMT J. Benesty 21

23 Remarquer que λ peut être un nombre complexe, donc les coefficients c l sont en général complexes. Ainsi, le vecteur w peut encore s écrire: où w = c λ c, (54) c = 1 c 1 c 2 c L 1 0 T = c T 0 T, c = 0 1 c 1 c 2 c L 1 T = 0 c T T. En remplaçant (54) dans (52), on obtient: R L+1 c = λr L+1 c + Ea,L. (55) 0 L 1 Maintenant, si on multiplie à gauche par c H des deux côtés de l expression précédente, on a: D où: c H R L+1 c = λ c H R L+1 c. (56) c H R L+1 c 2 = λ 2 ( c H R L+1 c) 2. (57) INRS-EMT J. Benesty 22

24 En utilisant l inégalité de Schwartz: c H R L+1 c 2 ( c H R L+1 c)(c H R L+1 c). (58) Or: c H R L+1 c = 0 c H r(0) r T r R L 0 c = c H R L c, (59) de même: c H R L+1 c = c H 0 R L r b r T b r(0) c = c H R L c, (60) d où: c H R L+1 c = c H R L+1 c et l inégalité de Schwartz devient: c H R L+1 c 2 ( c H R L+1 c) 2. (61) D après (57), on voit bien que λ INRS-EMT J. Benesty 23

25 Résumé Erreur de prédiction linéaire avant: e a (n) =x(n) a T Lx(n 1). La minimisation du critère: J (a L )=E{e 2 a(n)} donne R L a L = r. Puissance d erreur de prédiction avant: E a,l = r(0) r T a L. Erreur de prédiction linéaire arrière: e b (n) =x(n L) b T Lx(n). La minimisation du critère: J (b L )=E{e 2 b(n)} INRS-EMT J. Benesty 24

26 donne R L b L = r b. Puissance d erreur de prédiction arrière: E b,l = r(0) r T b b L. Relation entre les prédicteurs avant et arrière: a L = J L b L, E a,l = E b,l. Relation de récurrence sur l ordre: a L = al 1 0 k L bl 1 1. INRS-EMT J. Benesty 25