Traitement du Signal Signaux aléatoires : filtrage, processus ARMA, applications

Transcription

1 Traitement du Signal Signaux aléatoires : filtrage, processus ARMA, applications 17 novembre 2014 Nancy Bertin - nancy.bertin@irisa.fr

2 Signaux aléatoires : filtrage, ARMA, applications 1 Filtrage des signaux aléatoires 2 Processus autorégressifs (AR) à moyenne ajustée (MA) 3 Pause et exercices 4 Exemples d applications 2 M1 RI Traitement du Signal 17/11/2014

3 Filtrage des signaux aléatoires 1 Filtrage des signaux aléatoires Filtrage : des signaux aux processus Filtrage et stationnarité : relations de Wiener-Lee Exemple d application : signal bruité Filtrage et modélisation 2 Processus autorégressifs (AR) à moyenne ajustée (MA) 3 Pause et exercices 4 Exemples d applications 3 M1 RI Traitement du Signal 17/11/2014

4 Filtrage : des signaux aux processus Si x[n] est un signal issu de la réalisation d un processus aléatoire X = {X t } t T, c est... un signal. On peut donc a priori utiliser les mêmes définition et relation de filtrage qu en déterministe : Le filtre est défini par sa réponse impulsionnelle h, L opération de filtrage est définie par la convolution : y[n] = h x[n] Peut-on généraliser directement aux processus? Quelles conséquences sur les propriétés statistiques? 4 M1 RI Traitement du Signal 17/11/2014

5 Filtrage d un processus aléatoire Soit X = {X t } t T un processus aléatoire, et un filtre (déterministe) H de réponse impulsionnelle h. On définit le processus aléatoire Y = {Y t } t T, résultat du filtrage de X par H, comme : t T, Y t = + p= h[p]x t p = + p= h[t p]x p conditions d existence (notions de convergence ps, etc.) On se limitera aux processus SSL, pour lesquels ce sera simple. 5 M1 RI Traitement du Signal 17/11/2014

6 Filtrage des processus stationnaires Filtrage des processus stationnaires. Soit X = {X t } t T un processus stationnaire au sens large, de moyenne µ X et de fonction d autocovariance R XX [k]. Soit un filtre H de réponse impulsionnelle h. Si h est de module sommable ( p h[p] < ), alors : Le processus filtré Y t = h X t existe. Y = {Y t } t T est un processus stationnaire au sens large. Sa moyenne est µ Y = µ X p h[p]. Son autocovariance est { R Y Y [m] = + k= R XX C hh [m k] où C hh [m] = + k= h[k] h[k m] 6 M1 RI Traitement du Signal 17/11/2014

7 Démonstration On rappelle la définition d un processus SSL : Sa moyenne E[X t ] = µ X est indépendante de t ; Le processus est d ordre deux : E[ X t 2 ] < ; Sa fonction d autocovariance R XX (k) = E[(X t µ X )(X t+k µ X )] ne dépend que de k. Soit Y t = h X t : [ ] µ Y = E[Y t ] = E p h[p]x t p = p h[p]e [X t p] = p h[p]µ X p h[p] R Y Y [m] = E [(Y t µ Y )(Y t+m µ Y )] =... 7 M1 RI Traitement du Signal 17/11/2014

8 Remarques sur le filtre La condition h est de module sommable ( p h[p] < ) correspond à la condition sur le domaine de convergence de la transformée en Z (stabilité EBSB) h est déterministe! Les définitions et conditions vues en déterministe s appliquent encore (causalité, stabilité, etc.) même si on ne le démontrera pas proprement en terme de convergence des processus dans l espace probabilisé. 8 M1 RI Traitement du Signal 17/11/2014

9 Filtrage et DSP On rappelle la définition (WK) de la DSP d un processus X : S X (f) = R XX (τ)e 2iπfτ dτ Alors, en notant H(f) la TFtd de h, on a : S Y (f) = H(f) 2 S X (f) 9 M1 RI Traitement du Signal 17/11/2014

10 Relations de Wiener-Lee Les relation entre les propriétés statistiques des deux processus (DSP, autocovariance, intercovariance) forment ce qu on appelle les relations de Wiener-Lee : Relations de Wiener-Lee R XY [k] = R XX h[k] R Y Y [k] = R XY h[ k] = R XX [k] h[k] h[ k] S Y (f) = H(f) 2 S X (f) (Attention à la notation usuelle, mais abusive, de la convolution) 10 M1 RI Traitement du Signal 17/11/2014

11 Formule des interférences De manière plus générale, pour démontrer les relations précédentes en une fois, on peut établir la formule des interférences qui exprime l intercorrélation entre les sorties de deux filtres en fonction de l intercorrélation de leurs entrées. Y 1 = h X Y 2 = h X R Y1 Y 2 [k] = h 1 [k] R X1 X 2 [k] h 2 [ k] Cette formule et ses corollaires peuvent, par exemple, servir à identifier la réponse impulsionnelle d un filtre. 11 M1 RI Traitement du Signal 17/11/2014

12 Exemple d application : signal bruité On reçoit un signal d entrée s[n] = x[n] + b[n] composé de la somme : d un signal informatif (ou signal d intérêt ) x[n] connu que l on veut récupérer d un bruit aléatoire b[n] (décorrélé du signal s, souvent blanc gaussien iid) Un filtrage peut-il réduire l influence du bruit sur les tâches ultérieures? 12 M1 RI Traitement du Signal 17/11/2014

13 Rapport signal-sur-bruit On quantifie l influence du bruit dans le signal total par le rapport signal-sur-bruit (RSB) : RSB = P x P b Souvent exprimé en décibels : RSB db = 10 log 10 P x /P b En anglais SNR (signal-to-noise ratio) Plus il est petit, plus il y a de bruit! 13 M1 RI Traitement du Signal 17/11/2014

14 RSB après filtrage Grâce aux DSP et aux relations de filtrage, on a : SX (f)df RSB pre = SB (f)df Après filtrage : RSB post = H(f) 2 S X (f)df H(f) 2 S B (f)df Suivant les connaissances / hypothèses que l on a sur les signaux, si on sait construire un bon filtre H(f), on peut améliorer le RSB. Exemple : filtre de Wiener (filtre optimal pour séparer deux processus aléatoires de puissance connue, sous certaines hypothèses). 14 M1 RI Traitement du Signal 17/11/2014

15 Exemple : sinusoïde bruitée 15 M1 RI Traitement du Signal 17/11/2014

16 Filtrage et modélisation Le filtrage permet de modifier les propriétés spectrales et statistiques d un signal. idée : utiliser ce fait pour modéliser et caractériser un processus aléatoire comme le filtrage d un autre processus plus simple, en estimant : la DSP ou la variance d un bruit blanc d entrée les caractéristiques du filtre qui, prenant ce bruit en entrée, permet d obtenir le processus étudié. 16 M1 RI Traitement du Signal 17/11/2014

17 Processus autorégressifs (AR) à moyenne ajustée (MA) 1 Filtrage des signaux aléatoires 2 Processus autorégressifs (AR) à moyenne ajustée (MA) Processus MA Processus AR Processus ARMA 3 Pause et exercices 4 Exemples d applications 17 M1 RI Traitement du Signal 17/11/2014

18 Cadre général On va s intéresser aux processus pouvant s écrire comme le filtrage d un bruit blanc centré par un filtre à fonction de transfert rationnelle. Bruit d entrée caractérisé par sa DSP (constante, car bruit blanc) ou sa variance σ 2 Filtre caractérisé par les coefficients de sa transformée en Z : H(z) = b 0 + b 1 z b q z q 1 + a 1 z a p z p 18 M1 RI Traitement du Signal 17/11/2014

19 Processus MA Lorsque le filtre est RIF, sa TZ s écrit : H(z) = Q b k z k k=0 Y t = Q k=0 b kx t k E[Y t ] = µ Y = µ X Q k=0 b k On dit que Y t est un processus à moyenne ajustée (MA) d ordre Q (en abrégé AR(Q)). 19 M1 RI Traitement du Signal 17/11/2014

20 Estimation d un processus MA Q k R Y Y [k] = σ 2 i=0 b i b i+k Le problème d identification des coefficients b en fonction des estimateurs de l autocovariance est un problème non-linéaire. Par conséquent, il faut des algorithmes de programmation non-linéaire pour le résoudre. Comme on préfère la linéarité, ce modèle est moins utilisé que le suivant. 20 M1 RI Traitement du Signal 17/11/2014

21 Processus AR Lorsque le filtre est purement récursif, sa TZ s écrit : H(z) = P k=1 a kz k Y t = X t P k=1 a ky t k On dit que Y t est un processus autorégressif (AR). 21 M1 RI Traitement du Signal 17/11/2014

22 Processus AR et prédiction linéaire On peut montrer que pour tout k 1, E[Y (n k)x t ] = 0 On note ˆX(n) = X(n) W (n) = P i=1 X(n i) Alors E[X(n k)(x(n) ˆX(n))] = 0 L erreur ε(n) = X(n) ˆX(n) est orthogonale à tous les processus du passé On dit que ˆX(n) est la meilleure régression linéaire en moyenne quadratique de X(n) ou le meilleur prédicteur linéaire de X(n). De manière générale, l opération consistant à estimer X(n) inconnu en fonction du passé est appelée prédiction linéaire, et est étroitement liée à la modélisation du processus comme un AR. 22 M1 RI Traitement du Signal 17/11/2014

23 Relations statistiques R XY [k] = R XX [k] h[k] X est un bruit blanc centré donc R XX [k] = σ 2 δ[k] Réponse impulsionnelle : h[k] = E[Y n X n+k ] = R Y Y [k] + Autocorrélation : P a i R Y Y [k + i] i=1 R Y Y [k] = E[X n Y n+k ] E[a i Y n i Y n k ] 23 M1 RI Traitement du Signal 17/11/2014

24 Équations de Yule-Walker La relation précédente nous donne : { Si k = 0 R Y Y [0] = σ 2 P i=1 a ir Y Y [i] Si k 1 R Y Y [k] = P i=1 a ir Y Y [k i] système d équations linéaire dit de Yule-Walker 24 M1 RI Traitement du Signal 17/11/2014

25 Formulation matricielle En exploitant la structure de matrice de Toeplitz de la matrice de covariance de Y on peut écrire le système précédent sous forme matricielle R Y a = c : R Y Y (0) R Y Y (1)... R Y Y (P ) R Y Y (1) R Y Y (1) R Y Y (P ) R Y Y (0) 1 a 1.. a P = σ La résolution de ce système permet d estimer les paramètres du filtre et la variance du bruit blanc d entrée. Elle implique le évidemment l estimation de la matrice de covariance (R Y Y ˆR Y Y ). 25 M1 RI Traitement du Signal 17/11/2014

26 Résolution des équations de Yule-Walker Il existe de nombreuses méthodes de résolution du système précédent. On pourra retenir : L inversion matricielle directe ou par décomposition de Cholesky (mais coût de calcul et risques d instabilité si mauvais conditionnement). Un algorithme itératif : l algorithme de Levinson-Durbin. 26 M1 RI Traitement du Signal 17/11/2014

27 Principe de l algorithme de Levinson-Durbin L algorithme de Levinson est itératif On établit une formule de récurrence donnant les coefficients à l ordre (p + 1) à partir des coefficients à l ordre p, en cherchant progressivement à écrire : X t ˆX (p) t = p a k,p X t k k=1 Intermédiaires de calcul : σp 2 (p) est la variance de l erreur de prédiction (X t ˆX t ) La récurrence s écrit : a k,p+1 = a k,p a p+1,p+1 a p+1 k,p On note k p = a p,p S obtient en écrivant l erreur de prédiction rétrograde (différence entre l échantillon courant X t et la projection orthogonale de X t sur les échantillons (X t+1,..., X t+p ) 27 M1 RI Traitement du Signal 17/11/2014

28 Algorithme de Levinson-Durbin À partir des covariances γ(0),..., γ(p ) (estimées...) : 1 Initialisation : k 1 = γ(1)/γ(0), a 1,1 = γ(1)/γ(0), σ1 2 = γ(0)(1 k2 1 ) 2 Pour p = 2 : P répéter : 1 k p = σ 2 p 1 2 a p,p = k p ( γ(p) p 1 k=1 a k,p 1γ(p k) 3 Pour m = 1 : p 1, a m,p = a m,p 1 k p a p m,p 1 4 σ 2 p = σ p 1 (1 k 2 p) 3 Lorsque p = P (ordre souhaité), a k = a k,p ) 28 M1 RI Traitement du Signal 17/11/2014

29 Processus ARMA Dans le cas le plus général l équation aux différences est : y[n] + a 1 y[n 1] + a 2 y[n 2] a p y[n p] = b 0 x[n] + b 1 x[n 1] b q x[n q] Le filtre est à fonction de transfert rationnelle : H(z) = b 0 + b 1 z b q z q 1 + a 1 z a p z p Le processus est dit autorégressif à moyenne ajustée (ARMA(P,Q)). 29 M1 RI Traitement du Signal 17/11/2014

30 Applications La modélisation et l estimation de processus aléatoires ARMA a des applications en : Compression de données pour la transmission ou le stockage Prédiction (deviner la prochaine valeur du signal) Interpolation de données manquantes Estimation de la DSP 30 M1 RI Traitement du Signal 17/11/2014

31 Pause et exercices 1 Filtrage des signaux aléatoires 2 Processus autorégressifs (AR) à moyenne ajustée (MA) 3 Pause et exercices Exercices Pause 4 Exemples d applications 31 M1 RI Traitement du Signal 17/11/2014

32 Exercice 1 Soit un filtre linéaire dont l entrée est un processus aléatoire X t et la sortie le processus Y t = X t T, à T fixé. On suppose que X t est centré, stationnaire, de dsp S XX (f). 1 Le processus Y t est-il SSL? calculer sa fonction d autocorrélation. 2 En déduire la densité spectrale S Y Y (f). 3 Quelle est la réponse fréquentielle du filtre? 4 Retrouver cette réponse en calculant la fonction de transfert en z du système. 32 M1 RI Traitement du Signal 17/11/2014

33 Exercice 2 Un bruit blanc de densité spectrale a/2 est filtré par un filtre passe-bas idéal de fréquence de coupure B. 1 Quelle est la fonction d autocorrélation du bruit blanc? 2 Calculer la puissance du signal de sortie. 3 Calculer la fonction d autocorrélation du signal de sortie. 33 M1 RI Traitement du Signal 17/11/2014

34 Exercice 3 On considère un processus autorégressif d ordre 1 défini par : x[n] = ax[n 1] + v[n] où v[n] est un bruit blanc centré, a = 0.6, S v (f) = σv 2 = Calculer la fonction d autocorrélation R XX [m]. 2 En déduire la densité spectrale de puissance S XX (f). 34 M1 RI Traitement du Signal 17/11/2014

35 Exercice 4 Soit le processus MA obtenu par un filtre de réponse impulsionnelle discrète suivante : { 1/8 si 0 n N 1 h[n] = 0 ailleurs avec N = 8. On applique à l entrée un signal centré blanc de variance 1. 1 Calculer le module carré de la réponse impulsionnelle du filtre. 2 En déduire la densité spectrale du processus en sortie ainsi que sa puissance. 3 En déduire l allure de la fonction d autocorrélation en sortie. Déterminer le support de cette fonction. 4 En Scilab, simuler un bruit de 2000 échantillons et son filtrage, évaluer la fonction d autocovariance en sortie puis la dsp par une FFT sur 512 points. Comparer simulation et calcul. 35 M1 RI Traitement du Signal 17/11/2014

36 Pause (15-20 minutes) 36 M1 RI Traitement du Signal 17/11/2014

37 Exemple d applications 1 Filtrage des signaux aléatoires 2 Processus autorégressifs (AR) à moyenne ajustée (MA) 3 Pause et exercices 4 Exemples d applications Modélisation de signaux Modélisation du bruit de quantification Détection et filtrage adapté 37 M1 RI Traitement du Signal 17/11/2014

38 Modélisation de signaux Étant donné le problème à résoudre (qu est-ce qui est connu, inconnu, quel est le but), on va en général modéliser le problème de manière aléatoire ou mixte (une partie déterministe, une partie aléatoire) Exemple : modèle harmonique X[n] = N k=1 A kexp(2jπf k n), A k et f k variables aléatoires La question de l ordre des modèles est souvent un problème difficile Comme on sait surtout travailler avec des processus SSL, on va s arranger pour qu ils le soient : En éliminant les tendances et composantes saisonnières (régression) Exemple : tendance affine X(t) = αt + β + Y (t) En travaillant sur des portions de signal assez courtes pour être considérées comme SSL La première chose à faire avant de traiter un signal est toujours de le regarder! 38 M1 RI Traitement du Signal 17/11/2014

39 Exemple Modélisation d une presque sinusoïde : sinus + bruit vs. AR(2) 39 M1 RI Traitement du Signal 17/11/2014

40 Modélisation du bruit de quantification Numérisation = échantillonnage + quantification On a parlé de l échantillonnage (périodisation du spectre, Shannon...) Quid de la quantification? modélisation par un bruit 40 M1 RI Traitement du Signal 17/11/2014

41 Formalisation Un système de quantification uniforme de pas q associe à un signal numérique x[n] le signal quantifié x Q [n] tel que : x[n] [(k 1 2 )q, (k )q[ xq [n] = kq On suppose qu il n y a pas d écrêtage (K max q max n (x[n])) On note ε[n] = x[n] x Q [n] le bruit de quantification L opération de quantification est équivalente à l ajout d un bruit additif. 41 M1 RI Traitement du Signal 17/11/2014

42 Hypothèses sur le bruit On suppose généralement que le bruit ε est un bruit blanc, centré, de loi uniforme sur [ q/2; q/2] (L hypothèse de loi uniforme semble raisonnable. L hypothèse bruit blanc peut davantage surprendre. N hésitez pas à vérifier ce que vous en pensez avec Scilab!). Par conséquent, d un point de vue formel : E[ε(n)] = 0 E[ε(n + k)ε(k)] = δ(n)q 2 /12 S ε (f) = q 2 /12 42 M1 RI Traitement du Signal 17/11/2014

43 Rapport signal-sur-bruit de quantification Pour une dynamique d entrée Q et un nombre de bits n de quantification : q = 2Q 2 n On obtient la puissance du bruit de quantification : Q 2 2 2n /3 Si la puissance du signal était P x on obtient le RSB en db : RSB db = 10 log 10 ( 3P x2 2n V 2 ) 43 M1 RI Traitement du Signal 17/11/2014

44 Variation du RSB En particulier, RSB db = 6n + f(p x, Q) D où un résultat assez connu : on améliore le RSB de quantification de 6 db en ajoutant un bit. (On peut également montrer, dans le domaine continu après reconstruction, qu on peut également améliorer le RSB de 3dB par doublement de la fréquence d échantillonnage, dans certaines limites. Pas forcément rentable!) 44 M1 RI Traitement du Signal 17/11/2014

45 Détection Un autre problème classique en traitement du signal est la détection de la présence d un signal attendu dans un bruit. On dispose d observations x[n] issues d un processus Suivant les cas, x[n] peut prendre deux formes : Le signal est présent : x[n] = s[n] + b[n] Le signal est absent : x[n] = b[n] s[n] est un signal déterministe de durée N B n est un bruit centrée SSL dont b[n] est une réalisation But : déterminer un filtre linéaire causal d entrée x et de sortie y qui maximise le RSB, de manière à optimiser la détection du signal x (débruitage pour l aide à la décision) 45 M1 RI Traitement du Signal 17/11/2014

46 RSB cible Soit h la réponse impulsionnelle du filtre recherché. On note y N (s) = h s[n = N] (réponse du filtre au signal seul à l instant N) On note y N (b) = h b[n = N] Le RSB instantané en sortie du filtre est RSB = y2 N (s) E[Y 2 n (B)] 46 M1 RI Traitement du Signal 17/11/2014

47 Filtre adapté (1/3) Le filtre adapté est le filtre qui maximise RSB = y2 N (s) E[Y 2 n (B)] (En fait, il est défini à une constante près. On peut par exemple imposer une condition de normalisation de type yn (s) = 1). On peut écrire les relations données sous forme matricielle : y N (s) = s T R h y N (n) = b T R h s T R h = 1 Puis, en passant au carré, on obtient : E[Y 2 N(B)] = he[b R B T R]h 47 M1 RI Traitement du Signal 17/11/2014

48 Filtre adapté (2/3) B R B T R est la matrice de covariance du bruit (retourné dans le temps). On la note Γ BB. On a maintenant, pour un filtre quelconque et pour le filtre adapté (h ): RSB = ht s R s T R h h T Γ BB h On définit la fonction : α(h) = h T Γ BB h (RSB RSB ) α est une fonction négative pour tout h et nulle en h. 48 M1 RI Traitement du Signal 17/11/2014

49 Filtre adapté (3/3) On dérive α pour chercher son maximum (dérivation matricielle que je vous épargne). On obtient : h = 1 RSB Γ 1 BB s R Avec la relation de normalisation : RSB = s R T Γ 1 BB s R h est appelé le filtre adapté. Connaissant le signal s à détecter et la covariance du bruit, c est celui qui optimise le RSB en sortie. 49 M1 RI Traitement du Signal 17/11/2014

50 Filtre adapté et bruit blanc Dans le cas particulier d un bruit blanc, Γ BB = σ 2 B I. On a alors : h [n] = s[n n] En présence de bruit blanc, le filtre adapté est simplement le signal à détecter, retourné dans le temps. On parle en anglais de matched filtering. 50 M1 RI Traitement du Signal 17/11/2014