Processus Aléatoires

Transcription

1 Processus Aléatoires Luc Deneire Iannis Aliferis École Polytechnique de l Université de Nice Sophia Antipolis Polytech Nice Sophia,, [email protected]

2 Ce document contient une grande partie des informations données au cours et aux TDs. Cela signifie qu il n est en aucun cas complet (auto-suffisant) ; une grande quantité d information (commentaires, explications, diagrammes, démonstrations etc.) est donnée pendant les séances, oralement ou à l aide du tableau, en plus de documents projetés en cours. Les statistiques, c est comme le bikini : ça donne des idées mais ça cache l essentiel Coluche Processus Aléatoires 2

3 Table des matières 1 Introduction De la variable aléatoire vers le processus aléatoire Bibliographie Processus Stochastiques Définition Grandeurs statistiques Stationnarité Stationnarité (au sens large) bm=propriétés de R_X(tau) Cyclo-stationnarité Mesurer l espérance (un peu de Statistique) Ergodicité Interpétation de l espérance et de la variance Densité spectrale de puissance Densité spectrale de puissance (ssl) Densité spectrale de puissance (csl) Densité spectrale de puissance : propriétés Deux processus stochastiques Filtrage d un processus stochastique Processus gaussien : définition Processus gaussien : propriétés Signal binaire aléatoire Exercices Bruit Définition Bruit thermique : definition Bruit thermique : dsp disponible Bruit blanc Bruit coloré

4 4 Signaux passe-bande (rappels) definition Bruit coloré passe-bande Autocorrélation de p.s. complexes Bruit utile Analyseur dynamique Processus aléatoires à temps discret Processus et modèles aléatoires discrets Moyenne, autocorrélation et stationarité La matrice de corrélation Les innovations Modèles stochastiques (AR, MA, ARMA) Les équations de Yule-Walker Prédiction linéaire avant Estimateur MMSE et principe d orthogonalité Filtre de Wiener Filtre de Wiener non-causal Filtre de Wiener causal Filtre de Wiener FIR Prédiction linéaire Prédiction linéaire avant Prédiction linéaire arrière Relation entre prédiction avant et arrière L algorithme de Levinson-Durbin Interprétations des paramètres K m et m Filtres en treillis La méthode des moindres carrés (LS : Least Squares) Introduction Fenêtrage Principe d orthogonalité pour les moindres carrés Equations normales Interprétation géométrique Propriétés de l estimation des moindres carrés Exercices Une ménagerie de Processus Processus de Bernoulli Définition v.a. binomiale, géométrique v.a. Bernoulli v.a. binomiale v.a. Géométrique Indépendance Temps d attente Temps d arrivée Processus Aléatoires 4

5 6.1.9 Exemple de réalisation Séparation de processus Combinaison de processus bm=binomiale -> Poisson bm=binomiale -> Poisson Processus de Poisson Définition bm=nombre d arrivées en tau Première arrivée Indépendance Temps d attente Temps d arrivée Processus de Bernoulli / Poisson «Incidence aléatoire» Exemples de réalisation Exercices Chaînes de Markov Définition Matrice de transition Trajectoires Classification des états Périodicité Comportement à long terme Chaînes ergodiques Processus de naissance et de mort Exercices Syllabus Ce polycopié couvre le cours de Processus Aléatoires, donné en ELEC3, comprenant la partie cours magistral ainsi que les exercices donnés en travaux dirigés. Outre qu il convient (malheureusement ) de rappeler que la présence aux cours et travaux dirigés est obligatoire, il est utile d indiquer que les matières enseignées dans ces cours demandent un travail régulier qui ne peut pas être compensé par un travail, même sérieux, sur un temps court avant les DS (devoirs surveillés). De manière à aider les étudiants motivés que vous êtes à fournir ce travail régulier, les travaux dirigés devront être impérativement préparés chaque semaine, et cette préparation sera sanctionnée par une note de contrôle continu. D autre part, deux devoirs surveillés seront organisés pour chaque cours. Le contrôle des connaissances sera donc organisé de la manière suivante : Processus Aléatoires 5

6 Processus Aléatoires Contrôle continu D.S. 1 (1 ème cours) Pondération 4 % 6 % Le devoir surveillé consistera en une courte question théorique et trois exercices, il sera à livre ouvert (c est-à-dire une copie de ce polycopié, avec annotations possibles, mais sans les solutions des TDs). Le contrôle continu consistera en la préparation d exercices des travaux dirigés. En début de séance, un exercice sera posé en mini DS, sans documents. Il sera noté immédiatement. Processus Aléatoires 6

7 Chapitre 1 Introduction Un processus aléatoire (ou processus stochastique) peut être vu comme un processus qui est le résultat d un événement aléatoire. Il peut également être vu comme étant une collection de variables aléatoires. 1.1 De la variable aléatoire vers le processus aléatoire Signal déterministe : x(t) = A cos(ωt) Signal stochastique (aléatoire) : n(t) =...? Bruit Bour$e (et produit$ dérivé$... ) Systèmes de communication Information Incertitude Physique classique : Nature déterministe Systèmes complexes : impossible de tout calculer (x i, x i ) Description statistique (p.ex., théorie des gaz) Physique quantique : Nature indéterministe Impossible de mesurer (x, ẋ). Approche probabiliste du monde «Si l on sait exactement ce que l on va faire, à quoi bon le faire?» (Pablo Picasso) Bibliographie Probabilités, Processus de Bernoulli, Poisson, Markov : D. Bertsekas, J. Tsitsiklis, Introduction to Probability, Athena Scientific, Belmont, 22 Signaux aléatoires, bruit, filtrage : S. Haykin, Communication Systems, 3rd edition, John Wiley & Sons, New York, 1994, Ch. 4 7

8 S. Haykin Adaptive Filtering R. Gray Statistical Signal Processing J. Proakis, M. Salehi, Communication Systems Engineering, Prentice Hall, 21, Ch. 3. Processus Aléatoires 8

9 Chapitre 2 Processus Stochastiques e Polytechnique de l UNS tech Nice-Sophia 3e année 2.1 Définition ocessus Stochastiques 6 Associer une fonction à chaque issue d une expérience aléatoire éfinition Associer une fonction à chaque issue d une expérience aléatoire x1 (t) X(ω, t) t ω1 Ω xi (t) = X(ωi, t) une réalisation de X(ω, t) ω2 x2 (t) ωn t xn (t) X(ω, t) " X(t) : P.S. t X(ω, tm ) " X(tm ) : V.A. tm Grandeurs statistiques Observer X(t) aux instants t1, t2,..., tk Obtenir k V.A. : X(t1 ), X(t2 ),..., X(tk ) Densité de probabilité conjointe : px(t1 )X(t2 )...X(tk ) (x1, x2,..., xk ) 9

10 Espérance (statistique du premier ordre) : m X (t 1 ) E {X(t 1 )} = + x p X(t1)(x) dx Autocorrélation (statistique du second ordre) : R X (t 1, t 2 ) R X(t1)X(t 2) = E {X(t 1 )X(t 2 )} = + x 1 x 2 p X(t1)X(t 2)(x 1, x 2 ) dx 1 dx 2 Autocovariance (statistique du second ordre) : C X (t 1, t 2 ) cov[x(t 1 ), X(t 2 )] = E {{X(t 1 ) E {X(t 1 )}}{X(t 2 ) E {X(t 2 )}}} = R X (t 1, t 2 ) m X (t 1 )m X (t 2 ) = + [x 1 m X (t 1 )][x 2 m X (t 2 )] p X(t1)X(t 2)(x 1, x 2 ) dx 1 dx Stationnarité «Est-ce que les propriétés statistiques changent avec le temps?» Observer X(t) aux instants t 1, t 2,..., t k Obtenir k V.A. : X(t 1 ), X(t 2 ),..., X(t k ) Observer X(t) aux instants t 1 + T, t 2 + T,..., t k + T Obtenir k V.A. : X(t 1 + T ), X(t 2 + T ),..., X(t k + T ) X(t) stationnaire au sens strict (sss) : p X(t1)X(t 2)...X(t k )(x 1, x 2,..., x k ) = p X(t1+ T )X(t 2+ T )...X(t k + T )(x 1, x 2,..., x k ) k, T, (t 1, t 2,..., t k ) X(t) stationnaire au sens large (ssl) : k = 1 (sss : p X(t1)(x) = p X(t1+ T )(x) p X (x), T, t 1 ) ssl : m X (t 1 ) = m X k = 2 (sss : p X(t1)X(t 2)(x 1, x 2 ) = p X(t1+ T )X(t 2+ T )(x 1, x 2 ), T, t 1, t 2 ) ssl : R X (t 1, t 2 ) = R X (τ), τ = t 2 t 1 Processus Aléatoires 1

11 École Polytechnique de l UNS 3e année École Polytechnique dede l UNS École Polytechnique l UNSA 3e année 3e année Stationnarité (au sens large) x1 (t) τ τ Stationnarité (au sens large) Stationnarité (au sens large) x1 (t) x2 (t) t τ τ mx (t) = mx t RX (t1, t2 ) = RX (τ ) t x2 (t) mx (t) = mx xn (t) RX (t1, t2 ) = RX (τ ) t t1 t xn (t) t2 t1 + T t2 + T t t1 t2 1 t1 + T t2 + T Propriétés de RX (τ ) X(t) : stationnaire (au sens large) Propriétés de RX (τ1.) RX (τ ) = E {X(t + τ )X(t)} RXsens ( τ )large) = E {X(t τ )X(t)} = RX (τ ) : fonction paire X(t) : stationnaire2.(au RXτ() = E {X(t)X(t)} = E X (t) = σx(t) + mx (t) RX (τ ) = E[X(t )X(t)] Propriétés de R X (τ )= R (τ ) : fonction paire RX ( τ ) = E[X(t τ )X(t)] X X () " 4. RX (τ ) R 2 2 (t) = σ 2 RX () = X(t) E[X(t)X(t)] = E X : stationnaire (au sens large) X(t) + mx (t) RX (τ ) 1.RXR()(τ ) = E[X(t + τ )X(t)] X 2. RX ( τ ) = E[X(t τ )X(t)] =)RX" (τ ) : fonction paire RX (τ fluctuations lentes 2 + mx (t)2 3. RX () = E[X(t)X(t)] = E X 2 (t) = σx(t) fluctuations rapides 4. RX (τ ) RX () τ RX (τ ) fluctuations lentes Temps de décorrélation fluctuations rapides Temps :de décorrélation : τ : RX (τ ) = αrx (), p.ex. : α =.1 τ τ : RX (τ ) = αrx (), p.ex. : α =.1 Temps de décorrélation : Processus Aléatoires τ : RX (τ ) = αrx (), p.ex. : α =

12 École Polytechnique de l UNSA École Polytechnique de l UNS École Polytechnique de l UNS Signal sinusoïdal ; fréquence aléatoire 3e année 3e année 3e année 1. Signal sinusoïdal ; fréquence aléatoire Signal sinusoïdal ; fréquence aléatoire X(t) = a cos(2πf t) ; F v.a. uniforme sur [, W ] (W = 1) mx (t) = a sinc(2w t) a2 {sinc[2w +uniforme τ[, )] )]}W ] X(t) RX (t = τa = t2= at1t) )= cos(2πf t) ; F (2t v.a. 1sur 1 ;X(t) cos(2πf ; F2 v.a. uniforme W sinc[2w ] (W sur = (τ 1)[, Signal non stationnaire m (t) = a sinc(2w t) X m (t) = a sinc(2w t) X 5 1 (W = 1) 2 ; τt1= t1 ) = a2(2t{sinc[2w (2t1 + τ(τ)])]} sinc[2w (τ )]} RX (t 1 ; R τx = (t t21 ) =t2a2 {sinc[2w 1 + τ )] sinc[2w Signal stationnaire non Signal non stationnaire Signal sinusoïdal ; amplitude aléatoire Signal sinusoïdal ; amplitude aléatoire Signal sinusoïdal ; amplitude aléatoire X(t) = A cos(2πf t) ; A v.a. uniforme sur [, 1] (f = 1) mx (t) = 12 cos(2πf t) RX (t1 ; τ = t2 t1 ) = 16 {cos[2πf (2t1 + τ )] + cos(2πf τ )} X(t) t) ; et AR v.a. uniforme sur [, 1] (f = 1) mx (t=+atcos(2πf ) = mx (t) X (t + T ; τ ) = RX (t; τ ) m = 12 cos(2πf t) (au sens large) X (t) cyclo-stationnaire Signal t) ; A sur RX (t 1 ; X(t) τ = t2= A t1 )cos(2πf = 16 {cos[2πf (2tv.a. )] + cos(2πf τ )}[, 1] (f = 1) 1 + τuniforme 1 cos(2πf t) mx (t +mtx) (t) = m= et R (t + T ; τ ) = R (t; τ ) X (t) X X 2 1 Signal {cos[2πf (2t1 + τ )] + cos(2πf τ )} cyclo-stationnaire RX (t1 ; τ = t2 (au t1 )sens = large) mx (t + T ) = mx (t) et RX (t + T ; τ ) = RX (t; τ ) Signal cyclo-stationnaire (au sens large) Processus Aléatoires Processus Stochastiques 9 Processus Stochastiques

13 École École Polytechnique de l UNS de l UNSA Polytechnique Département d Électronique Département d Électronique 3e année 3e année Signal sinusoïdal ; phase aléatoire Signal sinusoïdal ; phase aléatoire = atcos(2πf + Θ) ; Θ v.a. X(t) =X(t) a cos(2πf + Θ) ; Θt v.a. uniforme sur uniforme [, 2π] (a =sur 1, f[, = 2π] 1) (a = 1, f = 1) mx (t) =X (t) = m 2 2 RX (t 1 ;R τx =(t t21 ) =t2a2 cos(2πf ; τt1= t1 ) = τa2) cos(2πf τ ) Signal stationnaire (au sens large) Signal stationnaire (au sens large) Cyclo-stationnarité «Est-ce que les propriétés statistiques changent périodiquement avec le temps?» Observer X(t) aux instants t1, t2,..., tk Obtenir k V.A. : X(t1 ), X(t2 ),..., X(tk ) Cyclo-stationnarité Observer X(t) aux instants t1 + T, t2 + T,..., tk + T que Obtenir k V.A.statistiques : X(t1 +changent T ), X(tpériodiquement T )?» 2 + T ),..., X(t «Est-ce les propriétés aveckle+temps X(t) Observer X(t)cyclo-stationnaire aux instants t1, t2,.. au., tksens strict (css) T : px(t1k)x(t (x1, x),2,.....,. X(t, xk )) = px(t1 +T )X(t2 +T )...X(tk +T ) (x1, x2,..., xk ) 2 )...X(t " Obtenir V.A. : X(tk1)), X(t 2 k k, (t1, t2,..., tk ) Observer X(t) aux instants t1 + T, t2 + T,..., tk + T X(t) cyclo-stationnaire au sens large (csl) T : " Obtenir V.A. :: X(t T ),= X(t., X(t +1T) ) T+T ),.).(x) k = 1k (css px(t (x) px(t, k t 1) 1 csl : mx (t1 au +T mx(css) (t1 ) T : sens strict X(t) cyclo-stationnaire ) = px(t1 )X(t (x1,: xp2x(t,...1,)x(t xk ) 2= px(t (x1, )x(x, 2x)k ), t1, t2 ) k 2= 2 (css = p2x(t 2,.1.,.x )...X(t +T )...X(t 1, x 2 ) )X(t ) (x 1 +T k) k +T ) 1 +T )X(t 2 +T k, (t1,csl t2,.:..r, txk )(t1 + T ; τ ) = RX (t1 ; τ ) X(t) cyclo-stationnaire au sens large (csl) T : k = 1 (css : px(t1 ) (x) = px(t1 +T ) (x), t1 ) Mesurer l espérance (un peu de Statistique) csl : mx (t1 + T ) = mx (t1 ) k = 2 (css : px(tx(t) (x1, x2 ) = px(t (x1x(t, x2 ),) t1, t2 ) 1 )X(t2 )à l instant )X(t2 +Tv.a. ) Figer t 1; +T obtenir csl : RX (t1 + T ; τ ) = RX (t1 ; τ ) Comment mesurer E {X(t )}? Observer n réalisations à t : échantillon de taille n La population génère de v.a. Xi (t ) : indépendantes, même distribution, µx(t ), σx(t ) n X Moyenne de l échantillon : X (t ) = n1 Xi (t ) i=1 E X (t ) = µx(t ) Processus Aléatoires Processus Stochastiques

14 σ 2 X(t) = 1 n σ2 X(t ) X(t ) : estimateur convergent de E {X(t )} Moyenne d ensemble (n ) = Espérance 2.4 Ergodicité «Est-ce que les moyennes statistiques sont égales aux moyennes temporelles?» Équiv. : «Est-ce qu une seule réalisation x(t) caractérise complètement le processus stochastique X(t)?» Ergodicité au sens strict : Condition nécessaire : X(t) stationnaire au sens strict <...> lim T 1 T +T/2 T/2... dt ess = E {...} Ergodicité au sens large : Condition nécessaire : X(t) stationnaire au sens large 1. <x(t)> = lim T 1 T +T/2 T/2 esl = E {X(t)} = m X x(t) dt 2. Γ X (τ) = <x(t + τ)x(t)> = lim T 1 T esl = E {X(t + τ)x(t)} = R X (τ) X(t) : p.s. stationnaire au sens large +T/2 +T/2 T/2 x(t + τ)x(t) dt +T/2 Définir : µ x (T ) = 1 T x(t) dt, γ x (T ; τ) = 1 x(t + τ)x(t) dt T/2 T T/2 variables aléatoires { (dépendent de T et de la réalisation choisie) } +T/2 + +T/2 E {µ x (T )} = 1 T E x(t) dt x(t)p X(t) (x) dt dx = 1 T T/2 +T/2 T/2 E {γ x (T ; τ)} =... = R X (τ) Ergodicité au sens large : <x(t)> = lim T 1 T Γ X (τ) = lim T 1 T = 1 T E {X(t)} dt = 1 T +T/2 T/2 +T/2 T/2 T/2 +T/2 T/2 m X dt = m X x(t) dt = lim µ x(t ) esl = m X T x(t + τ)x(t) dt = lim γ x(t ; τ) esl = R X (τ) T Égalité au sens : lim T E {µ x (T )} = m X et lim T var[µ x (T )] = Interpétation de l espérance et de la variance Signal x(t) ergodique au sens large Processus Aléatoires 14

15 E {X(t)} ssl esl = m X = <x(t)> = composante continue (DC) E {X(t)} 2 = P dc E { X(t) 2} = R X () esl = Γ x () = <x(t) 2 > = P tot (DC+AC) σx(t) 2 = var[x(t)] = E { (X(t) E {X(t)}) 2} = E { X(t) 2} E {X(t)} 2 esl = <x(t) 2 > <x(t)> 2 = <(x(t) <x(t)>) 2 > = P ac (AC) σ X(t) = Pac : valeur efficace (rms) E { X(t) 2} = E {X(t)} 2 + σ 2 X(t) P tot = P dc + P ac 2.5 Densité spectrale de puissance Densité spectrale de puissance (ssl) X(t) stationnaire au sens large Définir : Puissance de X(t) : S X (f) = F [R X (τ)] = R X (τ) = F 1 [S X (f)] = + + E { X(t) 2} = R X (t, t) = R X () = R X (τ) e j 2πfτ dτ S X (f)e + j 2πfτ df + S X (f) : densité spectrale de puissance (en Watt/Hz) Densité spectrale de puissance (csl) S X (f) df X(t) cyclo-stationnaire au sens large m X (t + T ) = m X (t) R X (t + T ; τ) = R X (t; τ) : périodique en t, série de Fourier : R X (t; τ) = + n= RX(τ) n } {{ } c n e + j 2π(n/T)t c n = RX(τ) n = 1 +T/2 R X (t; τ) e j 2π(n/T)t dt T T /2 +T/2 «Composante continue» c = RX (τ) = 1 T R X (t; τ) dt R X (τ) T /2 S X (f) = F [ RX (τ) ] : d.s.p. moyenne sur une période Processus Aléatoires 15

16 Utiliser S X (f) à la place de S X (f, t) = F [R X (t; τ)] Si T v.a.c. uniforme [, T ] : X(t + T ) stationnaire au sens large Attention : csl ssl seulement si on ajoute une phase aléatoire (absence de synchronisation ; voir An Introduction to Cyclostationary Noise) Densité spectrale de puissance : propriétés S X (f), f S X () = + R X (τ) dτ S X ( f) = S X (f), si X(t) réel On note X (f, T ) la T.F. d une réalisation tronquée : X (f, T ) = T/2 T/2 x(t) exp( j 2πft) dt Signal tronqué : X (f, T ) 2 densité spectrale d énergie 1 T X (f, T ) 2 : périodogramme (dimensions de d.s.p.) estimation spectrale X (f, T ) : v.a. (dépend de la réalisation choisie) Si X(t) ergodique au sens large, 1 S X (f) = lim T T E { X (f, T ) 2} 1 = lim T T E T/2 T/2 En pratique : E {...} = moyennage Deux processus stochastiques 2 x(t) exp( j 2πft) dt X(t), Y (t) stationnaires conjointement, au sens large : 1. X(t) et Y (t) stationnaires au sens large 2. R XY (t, t + τ) = E {X(t)Y (t + τ)} = R XY (τ) Propriétés : R XY (τ) = R Y X ( τ) Densité spectrale croisée de puissance («spectre croisé») S XY (f) = F [R XY (τ)] = R XY (τ) = F 1 [S XY (f)] = S XY (f) = S Y X ( f) = S Y X (f) + + R XY (τ) e j 2πfτ dτ S XY (f)e + j 2πfτ df Processus Aléatoires 16

17 2.6 Filtrage d un processus stochastique Filtre linéaire, invariable dans le temps Réponse impulsionnelle h(t), fonction de transfert H(f) Entrée x(t), sortie y(t) (réalisations) y(t) = + h(λ)x(t λ) dλ X(t) stationnaire au sens large { + } m Y (t) = E {Y (t)} = E h(λ)x(t λ) dλ = + = m X h(λ) dλ = H()m X = m Y R Y (t, t + τ) =... = R Y (τ) Y (t) stationnaire au sens large S Y (f) = H(f) 2 S X (f) + h(λ)e {X(t λ)} dλ S Y X (f) = H(f)S X (f) 2.7 Processus gaussien : définition Observer X(t) aux instants t 1, t 2,..., t k Obtenir k v.a. : X(t 1 ), X(t 2 ),..., X(t k ) X(t) p.s. gaussien si les v.a. X(t 1 ), X(t 2 ),..., X(t k ) sont conjointement gaussiennes, k Densité de probabilité conjointe : p X(t1)X(t 2)...X(t k )(x 1, x 2,..., x k ) 1 = exp { [ 1 (2π) k/2 det(c) 1/2 2 (x mx ) T C 1 (x m X ) ]} x = (x 1 x 2... x k ) T m X = (m X(t1) m X(t2)... m X(tk )) T = (m X (t 1 ) m X (t 2 )... m X (t k )) T C i,j = cov[x(t i ), X(t j )] = E { (X(t i ) m X(ti))(X(t j ) m } X(tj)) = E {X(t i )X(t j )} m X(ti)m X(tj) = R X (t i, t j ) m X (t i )m X (t j ) Processus gaussien : propriétés X(t) est caractérisé uniquement par m X (t) et R X (t, t + τ) Stationnarité au sens large stationnarité au sens strict X(t i ), X(t j ) : Non-corrélation indépendance (Rappel : X, Y non corrélées si cov[x, Y ] = E {XY } E {X} E {Y } = ; si E {X} = ou E {Y } =, décorrélation : E {XY } = R XY = ) Filtrage linéaire de X(t) nouveau processus gaussien Processus Aléatoires 17

18 École Polytechnique de l UNSA École Polytechnique de l UNS 3ee année 3 année Signal binaire aléatoire Signal binaire aléatoire x(t) +A t A td Tb + X(t) = k= Ak p(t ktb Td ) + à temps discret, p (a = +A) = p (a = A) =.5 Ak : p.s. discret X Ak k Ak k E[A ] = X(t) = Ak p(t ktb Td ) k v.a. Am, Ank= indépendantes RA (m, n) = E[Am An ] = A2 δ(m n) p(t) = 1, t Tb Ak : p.s. discret à temps discret, pak (ak = +A) = pak (ak Tb : constante E = [, Tb ] k } uniforme Td :{A v.a.c., = A) =.5 v.a. Am, An indépendantes RA (m, n) = E {Am An } = A2 δ(m n) 27 p(t) = 1, t Tb Tb : constante Td : v.a.c., uniforme [, Tb ] ( τ 2, τ < Tb A 1 Tb RX (τ ) =, ailleurs SX (f ) = A2 Tb sinc2 (Tb f ) P (f ) 2 où P (f ) = F[p(t)] SX (f ) = Tb 2.8 Exercices Exercice 2.1 Fréquence aléatoire On définit le processus stochastique X(t) = a cos(2πf t) où F est une variable aléatoire, uniformément répartie sur [, W ], et a une constante réelle. 1. Tracer plusieurs réalisations x(t). 2. Calculer la moyenne statistique mx (t). 3. Calculer la fonction d autocorrélation statistique RX (t1, t2 ). 4. Examiner la stationnarité de X(t). Exercice 2.2 Amplitude aléatoire On définit le processus stochastique X(t) = A cos(2πf t) où A est une variable aléatoire, uniformément répartie sur [, 1], et f une constante réelle. Processus Stochastiques Mêmes questions que pour l exercice Déterminer la densité de probabilité du premier ordre px (x; t), px(t) (x). Processus Aléatoires 18

19 Exercice 2.3 Phase aléatoire On définit le processus stochastique X(t) = a cos(2πft+θ) où Θ est une variable aléatoire, uniformément répartie sur [, 2π[, et a, f sont des constantes réelles. Mêmes questions que pour l exercic 2. Exercice 2.4 Exponentielles aléatoires On définit le processus stochastique X(t) = e At, constitué d une famille d exponentielles dépendant de la variable aléatoire A, de densité de probabilité p A(a) uniforme sur [, 1]. Mêmes questions que pour l exercice 2. Exercice 2.5 Deux gaussiennes On définit le processus stochastique X(t) = A + Bt, formé à partir de deux v.a. A et B gaussiennes, centrées et indépendantes. Mêmes questions que pour l exercice 2. Exercice 2.6 Estimation Soit A(t) un processus stochastique stationnaire au second ordre et centré. On se propose de prédire, à partir d une observation jusqu au temps t, la valeur du processus stochastique à un instant ultérieur t + T. On appelle Â(t + T ) cet estimateur ] et on définit l erreur de prédiction : ɛ = E [[A(t + T ) Â(t + T )]2. 1. Pour Â(t + T ) = λa(t), trouver la valeur λ qui minimise l erreur de prédiction. 2. Calculer alors cette erreur. 3. On appelle ρ le coefficient de corrélation entre les v.a. A(t ) et A(t + T ). Exprimer ɛ en fonction de la variance et de ρ. 4. Dans quel cas l erreur est-elle la plus grande? Exercice 2.7 Temps discret On considère un processus stochastique à temps discret X(k). Pour k fixé, X(k) est une variable aléatoire de moyenne m et de variance σ 2. Pour k 1 différent de k 2 les v.a. X(k 1) et X(k 2) sont indépendantes (et donc décorrélées). Calculer la fonction d autocorrélation de X(k) et sa DSP. Exercice 2.8 Séquence binaire aléatoire Processus Aléatoires 19

20 On considère le processus stochastique X(t) dont une réalisation est présentée à la Figure 1. Il s agit d une séquence aléatoire de symboles binaires : Le 1 et le sont représentés par une impulsion d amplitude +A et A, respectivement, de durée T (une constante). Les impulsions ne sont pas synchronisées : le délai T d du début de la première impulsion après l instant t = est une variable aléatoire, uniformément répartie entre et T. Les symboles et 1 sont équiprobables et indépendants. Calculer : 1. La fonction de probabilité p X(t) (x). 2. La moyenne statistique E {X(t)}. 3. La fonction d autocorrélation de X(t). 4. La densité spectrale de puissance S X(f) de X(t). 5. La densité spectrale d énergie d une impulsion d amplitude A et de durée égale à T. x a t b 1 2 Fig. 1 Exercice 2.9 Délai aléatoire Processus Aléatoires 2

21 On considère le processus stochastique X(t) dont une réalisation est présentée à la Figure 2. Il s agit d un signal numérique périodique non synchronisé : le délai t d de la première période après l instant t = est une variable aléatoire, uniformément répartie entre et T. Calculer : 1. La fonction de probabilité p X(t) (x). 2. La moyenne et l autocorrélation statistiques. 3. La moyenne et l autocorrélation temporelles. 4. La densité spectrale de puissance de X(t). Conclusion sur la stationnarité et l ergodicité du processus X(t). x a 1 2 t Fig. 2 Processus Aléatoires 21

22 Processus Aléatoires 22

23 École Polytechnique de l UNS 3e année Signal binaire aléatoire x(t) +A t A RX (τ ) = A2 " 1 τ Tb # Chapitre 3 td Tb, τ < Tb, ailleurs SX (f ) = A2 Tb sinc2 (Tb f ) SX (f ) = P (f ) 2 Tb où P (f ) = F[p(t)] Bruit Bruit Définition Définition Signal indésirable Signal indésirable Contrôle incomplet Contrôle incomplet Externe ou interne au système Externe ou interne au système Additif multiplicatif Additifouou multiplicatif Y (t) Y (t)= = s(t)+n s(t)+n (t)(t) Bruit thermique : definition Inhérent à tout composant électronique Dû au mouvement aléatoire des électrons libres dans les conducteurs 18 R : Processus Stochastiques Tension aux bornes d une résistance Moyenne nulle Variance σv2 = 2(πKT )2 R/3h (V 2 ) K : constante de Boltzmann, J/K h : constante de Planck, J s T : température, K dsp SV (f ) = 2Rh f / [exp(h f /KT ) 1] (V2 /Hz) h f Approximation pour f << KT /h : SV (f ) 2RKT 1 2KT (V2 /Hz) 23

24 École Polytechnique de l UNSA 3e année Température standard : T = 29K, KT /h = 1 THz Bruit thermique : dsp disponible Modèle équivalent (Thévenin) d une résistance R : Rth = R, considérée sans bruit «Source de tension» : dsp SV (f ) 2RKT (V2 /Hz) Densité spectrale de puissance disponible (charge adaptée) : Sa (f ) = SV (f ) KT = 4R 2 (W/Hz) dsp disponible : ne dépend pas de R École Polytechnique de l UNS Bruit blanc 3e année Processus stochastique avec dsp constante : Bruit blanc SX (f ) Processus stochastique avec dsp constante : = η 2 η : dsp des fréquences positives SX (f ) = η Température équivalente : Te = η/k 2 η : dsp des fréquences positives Fonction d autocorrélation : Température équivalente : Te = η/k Fonction d autocorrélation : Z + η 2πf τ η η RX (τr)x=(τ ) = + ηee jj2πf τ dfdf = = δ(τ )2 δ(τ ) RX (τ ) SX (f ) η 2 η 2 f τ Bruit blanc gaussien centré : rien de plus aléatoire Bruit blanc gaussien centré : rien de plus aléatoire le bruit blanc est irréalisable (puissance moyenne infinie ) si on l observe à l oscillo, il est toujours différent (RX = ) mais pour chaque base de temps il a la même allure (contient toutes les frequences) 2. Blanc se réfère à la dsp Gaussien à la densité de probabilité 3. Si un bruit blanc est gaussien à moyenne nulle, alors les v.a. qu on obtient à τ 6= sont décorrélées, c.a.d. indépendantes. Le bruit blanc gaussien centre est la «chose» la plus aléatoire qui existe... Commentaires 1. le bruit blanc est irréalisable (puissance moyenne infinie ) si on l observe à l oscillo, il est toujours différent (RX = ) mais pour chaque base de temps il a la même allure (contient toutes les frequences) 2. Blanc se réfère à la dsp Bruit blanc filtré (fonction de transfert H(f )) Gaussien à la densité de probabilité 2 2 S3.Y (f ) H(f H(f ) η/2 Si un = bruit blanc) estsgaussien nulle, alors les v.a. qu on obtient à τ = sont décorrélées, X (f ) à=moyenne c.a.d. indépendantes. Le bruit blanc gaussien centre est la «chose» la plus aléatoire qui existe Bruit coloré Processus Aléatoires note 1 of slide 33 24

25 R Y (τ) = η 2 F 1 H(f) 2 Bande passante équivalente bruit, B N : E { Y 2} = R Y () = η 2 + H(f) 2 df = η + H(f) 2 df ηb N H(f) 2 max Exemple : bruit blanc à l entrée d un filtre passe-bas idéal H(f) = 1, B f +B S Y (f) = η/2, B f +B R Y (τ) = η 2 2Bsinc(2Bτ) E { Y 2} = + H(f) max = 1 B N = E{Y 2 } η H(f) = B 2 max S Y (f) df = ηb Processus Aléatoires 25

26 Processus Aléatoires 26

27 Chapitre 4 Signaux passe-bande (rappels) 4.1 definition y(t) Y (f) : signal réel, déterministe (passe-bande) Y (f), f [f c B, f c + B] (autour de ±f c ) y + (t) Y + (f) : signal analytique (passe-bande, f > ) f < Y + (f) = Y (f) f = Y + (f), f [f c B, f c + B] 2Y (f) f > y(t) = Re{y + (t)} ỹ(t) Ỹ (f) : enveloppe complexe (bande de base) Ỹ (f) = Y + (f + f c ), f [ B, +B] y(t) = Re{y + (t)} = Re{ỹ(t) exp( j 2πf c t)} ỹ(t) = y I (t) + j y Q (t) y(t) = y I (t) cos(2πf c t) y Q (t) sin(2πf c t) ỹ(t) = a(t) exp( j φ(t)) y(t) = a(t) cos(2πf c t + φ(t)) y I (t), y Q (t), a(t), φ(t) : signaux réels, en bande de base [ B, +B] Bruit coloré passe-bande Bruit blanc à l entrée d un filtre sélectif Obtenir une expression N(t) =... pour le p.s. à la sortie S N (f) = η 2 H(f) 2, f [f c B, f c + B] (autour de ±f c ) Représentation canonique : N(t) = Re{Ñ(t) exp( j 2πf ct)} = N I (t) cos(2πf c t) N Q (t) sin(2πf c t) Propriétés : N I (t), N Q (t) conjointement stationnaires au sens large N I (t), N Q (t) de moyenne nulle et de même variance que N(t) 27

28 { S N (f f c ) + S N (f + f c ) B f B S NI (f) = S NQ (f) = ailleurs Si N(t) gaussien : N I (t), N Q (t) conjointement gaussiens Si N(t) gaussien centré et S N (f) symétrique autour de ±f c : N I (t), N Q (t) indépendants Bruit blanc gaussien centré à l entrée d un filtre sélectif Représentation canonique : N(t) = N I (t) cos(2πf c t) N Q (t) sin(2πf c t) Transformation en amplitude / phase (Statistiques Appliquees, TD 4.3) N I (t), N Q (t) indépendants : N(t) = R(t) cos[2πf c t + Φ(t)] R(t) = NI 2(t) + N Q 2 (t) Φ(t) = arctan[n Q (t)/n I (t)] N I (t) = R(t) cos(φ(t)), N Q (t) = R(t) sin(φ(t)) Φ(t) : uniformément répartie entre [, 2π[ R(t) : distribution de Rayleigh { ( ) r σ exp r2 p R (r) = 2 2σ r 2 r < 4.2 Autocorrélation de p.s. complexes X(t) : p.s. passe-bande, X(t) enveloppe complexe X(t) = Re{ X(t) [ exp( j 2πf c )} = 1 2 X(t) exp( j 2πfc t) + X (t) exp( j 2πf c )] R X (t 1, t 2 ) = E {X(t { 1 )X(t 2 )} = 1 4 E X(t1 ) X(t } 2 ) exp( j 2πf c (t 1 + t 2 )) { E X (t 1 ) X } (t 2 ) exp( j 2πf c (t 1 + t 2 )) { E X(t1 ) X } (t 2 ) exp( j 2πf c (t 1 t 2 )) { E X (t 1 ) X(t } 2 ) exp( j 2πf c (t 1 t 2 )) { R X (t 1, t 2 ) = 1 2 {E Re X(t1 ) X(t } } 2 ) exp( j 2πf c (t 1 + t 2 )) { {E Re X(t1 ) X } } (t 2 ) exp( j 2πf c (t 1 t 2 )) { E X(t1 ) X(t } 2 ) = (sans démonstration) { R X (t 1, t 2 ) = 1 2 {E Re X(t1 ) X } } (t 2 ) exp( j 2πf c (t 1 t 2 )) { R X(t 1, t 2 ) E X(t1 ) X } (t 2 ) R X (t 1, t 2 ) = 1 2 Re {R X(t 1, t 2 ) exp( j 2πf c (t 1 t 2 ))} Si X(t) ssl, R X(t 1, t 2 ) = R X(τ) Processus Aléatoires 28

29 R X( τ) = R Xτ S X(f) = F [R X(τ)] : dsp réelle, pas toujours symétrique 4.3 Bruit utile Analyseur dynamique Injecter un signal aléatoire X(t) à l entrée ; mesurer la sortie Y (t) Filtre linéaire, fonction de transfert : H(f) = S Y X(f) S X (f) Estimer les dsp à partir de TF (FFT) de réalisations tronquées (tr. #2.5.3) : H(f) = E {Y(f, T )X (f, T )} E { X (f, T ) 2 } En pratique : E {...} = moyennage (AVG: STABLE (MEAN) / TIM AV OFF) Bruit blanc : contient toutes les fréquences Technique rapide ; uniquement pour les systèmes linéaires Technique lente : balayage fréquentiel (tous les systèmes) Cohérence : γ 2 (f) = S XY (f)s XY (f)/s X(f)S Y (f) = 1 sinon problème : résolution fréquentielle, non-linéarités, bruit externe Exercice 4.1 Filtrage / échantillonnage Processus Aléatoires 29

30 École Polytechnique de l UNS Processus Stochastiques École Polytechnique de l UNSA TD 3 Bruit et filtrage Deux bruits 3.1 Filtrage blancs gaussiens, / échantillonnage centrés, décorrélés, stationnaires au sens large, de densité Deux spectrale bruits blancs degaussiens, puissance centrés, η 1/2 décorrélés, et η 2/2 stationnaires respectivement, au sens large, se superposentdeà densité l entrée spectrale d unde filtre puissance RC ηpasse-bas. 1 /2 et η 2 /2 respectivement, se superposent à l entrée d un filtre RC passe-bas. X 1 (t) X(t) H(f) Y (t) X 2 (t) La sortie Y (t) est échantillonnée. Quelle est la condition qu il faut imposer La sortie sur la Y fréquence (t) est échantillonnée. d échantillonnage siquelle on veutest que la les condition échantillons successifs qu il faut de imposer sur la Y fréquence (t) soient indépendants d échantillonnage? si on veut que les échantillons successifs de Y (t) Remarque soient indépendants 1 On considère? que l autoccorélation statistique de Y (t) est nulle si elle est inférieure à 1% de la valeur maximale. Remarque 4.1 On considère que l autoccorélation statistique de Y (t) est Remarque 2 On peut utiliser la relation (paire de Fourier) : e a t 2a a 2 +(2πf). nulle si elle est inférieure à 1% de la valeur maximale «Démodulation» Remarque 4.2 On peut utiliser la relation (paire de Fourier) : e a t 2a. a 2 +(2πf) X(t) 2 H 1 (f) Y (t) Échantillons indépendants si décorrélés (parce que Y (t) processus gaussien) ; échantillons décorrélés si autocorélation statistique nulle (parce que Y (t) 2processus exp ( j2πf c t) centré). T e ln(.1)rc 4.61RC, f e.22/rc. Les fonctions de transfert des deux filtres sont données par (B << f c ): { { 1, f ± f c B 1, f B H 1 (f) = H 2 (f) =, ailleurs, ailleurs On considère la superposition d un signal harmonique s(t) = a cos(2πf ct) Le processus stochastique X(t), à l entrée du premier filtre, est stationnaire et d un bruit gaussien, centré, de variance σ 2, à bande étroite autour de f au sens large, réel, à temps continu. c. Une représentation du signal bruité est donnée par l expression : a. Calculer la moyenne statistique de Y (t). Exercice 4.2 Signal bruité U(t) x(t) = a cos(2πf ct) + n(t) Processus Stochastiques 1 H 2 (f) Utiliser la représentation canonique pour donner les deux composantes (en phase et en quadrature de phase) de X(t). Calculer la moyenne statistique et la variance de chaque composante. Calculer leur densité de probabilité conjointe. Exprimer X(t) en module et phase et calculer la densité de probabilité marginale de R(t). Remarques : 1. Les deux composantes d un bruit gaussien, centré, à bande étroite sont statistiquement indépendantes si la dsp S N (f) est symétrique autour de la fréquence f c. 2. Utiliser la définition de la fonction de Bessel modifiée de première espèce d ordre zéro : Exercice 4.3 Démodulation I (x) = 1 2π 2π exp(x cos φ) dφ Processus Aléatoires 3 V (t)

31 X2 (t) La sortie Y (t) est échantillonnée. Quelle est la condition qu il faut imposer sur la fréquence d échantillonnage si on veut que les échantillons successifs de Y (t) soient indépendants? Remarque 1 On considère que l autoccorélation statistique de Y (t) est nulle si elle est inférieure à 1% de la valeur maximale. 2a École Polytechnique Département Remarque 2 de Onl UNSA peut utiliser la relation (paire de Fourier)d Électronique : e a t a2 +(2πf )2. 3e année 3.2 «Démodulation» X(t) Y (t) H1 (f ) U (t) V (t) H2 (f ) 2 exp ( j 2πfc t) Les fonctions de transfert desfiltres deuxsont filtres sont par données par Les fonctions de transfert des deux données (B << fc (B ) : << fc ) : ( ( 1, f 1, B f B 1, f ± f f B c ± 1, f B c H2 (f ) = H1 (fh)1= (f ) =, ailleurs H2 (f ), =ailleurs, ailleurs, ailleurs Le processus stochastique X(t), à l entrée du premier filtre, est stationnaire Le processus stochastique X(t), à l entrée du premier filtre, est stationnaire au sens large, réel, à temps continu. au sens large, réel, à temps continu. 1. Calculer la moyenne statistique de Y (t). a. Calculer la moyenne statistique de Y (t). 2. Calculer la densité spectrale de puissance SY (f ) en fonction de SX (f ). On met SY (f ) sous la forme : Processus Stochastiques 1 SY (f ) = SY+ (f ) + SY (f ) avec SY+ (f ) = pour f et SY (f ) = pour f. c. Exprimer SY (f ) en fonction de SY+ (f ). d. Calculer la fonction d autocorrélation statistique de U (t) en fonction de celle de Y (t). e. Donner l expression de la dsp SV (f ) de V (t) en fonction de SU (f ), puis de SY+ (f ). On suppose maintenant que X(t) est un bruit blanc centré, de densité spectrale de puissance SX (f ) = η/2. f. Calculer la fonction d autocorrélation et la puissance de Y (t). g. Calculer la fonction d autocorrélation et la puissance de V (t). Remarque 4.3 L autocorrélation RX (t, t + τ ) d un processus stochastique complexe est donnée par RX (t, t + τ ) = E[X(t) X(t + τ )]. 1. E[Y (t)] =. ( SX (f ) 2. SY (f ) =, f ± fc B., sinon c. SY+ ( f ) = SY (f ). d. RU (τ ) = 4e j 2πfc τ RY (τ ). ( SU (f ), B f B e. SV (f ) = = 4SY+ (f + fc )., sinon f. RY (τ ) = g. RV (τ ) = Processus Aléatoires η sinc(2bτ ) cos(2πfc τ ) ; P = RY () 2 4 η2 2Bsinc(2Bτ ); P = RV () = η4b. = η2b. 31

32 TD 3 Bruit et filtrage 3.1 Filtrage / échantillonnage Deux bruits blancs gaussiens, centrés, décorrélés, stationnaires au sens large, de densité spectrale de puissance η 1 /2 et η 2 /2 respectivement, se superposent à École Polytechnique l entrée d un filtre de l UNSA RC passe-bas. X 1 (t) Exercice 4.4 Démodulation X(t) H(f) Y (t) X 2 (t) La sortie Y (t) est échantillonnée. Quelle est la condition qu il faut imposer sur la fréquence d échantillonnage si on veut que les échantillons successifs de Y (t) soient indépendants? Remarque 1 On considère que l autoccorélation statistique de Y (t) est nulle si elle est inférieure à 1% de la valeur maximale. On Remarque donne le schéma-bloc 2 On peutd un utiliser récepteur la relation composé (paire d un defiltre Fourier) passe-bande : e a t et 2a a 2 +(2πf). 2 d un démodulateur cohérent : 3.2 «Démodulation» X(t) H 1 (f) Y (t) U(t) H 2 (f) V (t) 2 exp ( j2πf c t) Les fonctions Les fonctions de transfert de transfert des deux desfiltres deuxsont filtres données sont par données (B << par f c) (B: << f c ): { { { { 1, f 1, ± f f c ± Bf c B 1, f 1, B H 1(f) f B H = 1 (f) = H 2(f) =, ailleurs H 2 (f), = ailleurs, ailleurs, ailleurs Le signal aléatoire à l entrée du récepteur peut être modélisé par : Le processus stochastique X(t), à l entrée du premier filtre, est stationnaire au sens large, réel, à temps X(t) continu. = S(t) + W (t) où S(t) a. Calculer est le signal la moyenne modulé en statistique amplitude et de W Y (t) (t). un bruit blanc, gaussien, centré, de dsp égale à η/2. ÀProcessus l émetteur, Stochastiques on obtient S(t) en multipliant 1 le message M(t) (signal aléatoire, stationnaire au sens large, dont la dsp se situe en bande de base et occupe une bande passante égale à B) avec le signal d un oscillateur local, A c cos(2πf ct). À la sortie du filtre passe-bande, on a Y (t) = S(t) + N(t). Utiliser la représentation canonique du bruit passe-bande sous la forme : N(t) = N I(t) cos(2πf ct) N Q(t) sin(2πf ct). Calculer les rapports signal sur bruit (SNR) suivants : 1. au niveau du canal : SNR c = 2. à l entrée du démodulateur (SNR e), 3. à ls sortie du récepteur (SNR s). puissance de S(t) puissance du bruit dans la b.p. du message, Processus Aléatoires 32

33 S(t) = AM(t). cos(2πf c t + Θ) ; où Θ est une v.a. uniformément répartie sur [, 2π], qui tient compte du fait qu il n y a pas synchronisation entre M(t) et l oscillateur local. E {S(t)} = indépendance A c.e {M(t)}.E {cos(2πf c t + Θ)} = R S (t, t + τ) = E {A c M(t) cos(2πf c t + Θ).A c M(t + τ) cos(2πf c (t + τ) + Θ)} = A 2 ce {M(t)M(t + τ)} 1 2 E {cos(2πfcτ) + cos(2πf c(t + τ) + 2Θ)} Donc = A2 c 2 R M (τ). cos(2πf c τ) S(f) = F{R S (τ)} = A2 c 2 (S M (f f c ) + S M (f + f c )) La puissance vaut donc P S = R S () = A2 c A 2 R M () = P 2 c M On obtient alors : SNR c = P S SNR e : P bruit = A 2 c 2.P M ηb S Y (f) = H 1 (f) 2 S X (f) (on a une dsp de niveau η/2 sur les intervalles f c ± B et f c ± B). 2 c d où SNR e = A 2.P M 2.ηB On s intéressera à la partie réelle de U(t) U(t) = 2.Y (t) cos(2πf c t + Θ) = 2.(A c M(t) cos(2πf c t + Θ) + N(t)). cos(2πf c t + Θ) = 2.(A c M(t) + N I (t)) cos 2 (2πf c t + Θ) 2.N Q (t) sin(2πf c t + Θ) cos(2πf c t + Θ) = (A c M(t) + N I (t))(1 + cos(4πf c t + 2.Θ).N Q (t) sin() + sin(4πf c t + 2.Θ) On en déduit : E {U(t)} = A c.e {M(t)}, et R u (t, t+τ) = E {U(t)U(t + τ)} 2. = indpendances...= A 2 cr M (τ)+r NI (τ). De même S U (f) = A 2 cs M (f) + S NI (f) (contribution du signal + contribution du bruit) ; avec S NI (f) = S N (f f c ) + S N (f + f c ), donc de dsp 2. η 2 sur la bande de B à B. La puissance du bruit vaut donc P NI = 2.ηB. Et donc SNR S = A2 c.p M 2.η.B = SNR c. Processus Aléatoires 33

34 Processus Aléatoires 34

35 Chapitre 5 Processus aléatoires à temps discret. Cette partie du cours traite, après des rappels servant principalement à fixer les notations, de la matrice de corrélation et des processus autorégressifs et à moyenne mobile. 5.1 Processus et modèles aléatoires discrets Moyenne, autocorrélation et stationarité. Soit un processus stochastique discret représenté par la série temporelle X(n), X(n 1),..., X(n M), on définit la moyenne par : µ X (n) = E {X(n)} (5.1) où E {.} est l opérateur espérance mathématique. De même, l autocorrélation prend la forme : r(n, n k) = E {X(n)X (n k)}, k =, ±1, ±2,... (5.2) où l astérisque représente la conjugaison complexe. La fonction d autocovariance s écrit : c(n, n k) = E {[X(n) µ X (n)][u(n k) µ X (n k)] }, k =, ±1, ±2,... (5.3) Un processus est dit strictement stationnaire si tous ses moments sont indépendants du temps. Un processus est dit faiblement stationnaire, ou stationnaire au sens large, si µ X (n) = µ n r(n, n k) = r(k) n On notera au passage que r() représente la valeur quadratique moyenne ou puissance de X(n), tandis que c() = σx 2 représente la variance. 35

36 5.1.2 La matrice de corrélation. Définissons un vecteur d observation (qui est un vecteur aléatoire ) X(n) tel que : X T (n) = [X(n), X(n 1),..., X(n M + 1)] (5.4) On définit alors la matrice de corrélation par : R = E { X(n)X H (n) } (5.5) où X H (n) représente la transposée hermitienne de X(n), c est-à-dire le vecteur transposé conjugué. En détaillant la matrice de corrélation, on obtient immédiatement : r() r(1) r(m 1) r( 1) r() r(m 2) R =..... (5.6). r( M + 1) r( M + 2) r() 1. La matrice de corrélation d un processus stochastique discret stationnaire est hermitienne. Une matrice est dite hermitienne si elle est égale à sa transposée hermitienne, i.e. R = R H (5.7) Cette propriété découle directement de la définition de la matrice de corrélation. On peut d ailleurs aisément vérifier que r( k) = r (k). Dans le cas d un processus à valeurs réelles, la matrice R est symétrique. 2. La matrice de corrélation d un processus stationnaire discret est une matrice Toeplitz carrée. Une matrice carrée est dite Toeplitz si tous les éléments d une même diagonale ou sous-diagonale sont égaux. On voit directement que c est le cas ici. D autre part, cette propriété est directement liée à la propriété de stationnarité (au sens large) du processus. Cette propriété est importante, car elle permet dans bien des cas de simplifier les calculs algébriques. 3. La matrice de corrélation d un processus stationnaire discret est toujours définie non négative (et souvent définie positive). Soit X un vecteur aléatoire complexe quelconque de dimension M x1. Définissons Y = u H X(n) (et donc y = u H (n)x). La puissance de Y est définie par : E { Y 2} = E {Y Y } = E { u H X(n)X H (n)u } = u H E { X(n)X H (n) } u = u H Ru (5.8) Processus Aléatoires 36

37 Ce qui implique u H Ru, d où, par définition, R est définie semipositive. En fait, la matrice R sera singulière principalement si le processus est constitué de K sinusoïdes avec K M. Application 5.1 Soit un processus constitué d une sinusoïde complexe bruitée X(n) = α exp(jωn) + V (n), n =, 1,..., N 1 (5.9) où V (n) est une réalisation du bruit blanc (E {V (n)v (n k)} = σ 2 vδ k ) à moyenne nulle. La sinusoïde et le bruit sont supposés indépendants, ce qui permet d écrire : soit r(k) = E {{X(n)X (n k)} α = 2 + σv 2 k = α 2 exp(jωk), k (5.1) ρ exp(jω) exp(jω(m 1)) R = α 2 exp( jω) ρ exp(jω(m 2)) exp(jω( M + 1)) exp(jω( M + 2)) ρ (5.11) où ρ est le rapport signal-bruit défini par ρ = α 2 σ. v 2 Dans le cas où ce rapport est infini (c est-à-dire dans le cas sans bruit), R peut s écrire : R = 1 e jω e 2jω.. e (M 1)jω [. 1e jω e 2jω e (M 1)jω] (5.12) Il s ensuit que la matrice R est de rang 1. Dans le cas de K sinusoïdes, nous aurons donc une matrice de rang (au plus égal) à K Les innovations. Soit un processus stationnaire X(n) de séquence d autocorrélation r(n) et de densité spectrale de puissance (dsp) S xx (f) définie sur f 1 2. On suppose que S xx (f) est réelle et continue pour tout f 1 2. On peut définir S xx (z) = r(m)z m (5.13) m= Processus Aléatoires 37

38 La densité spectrale étant obtenue en évaluant S xx (z) sur le cercle unité. Supposons que S xx (z) est analytique dans une région incluant le cercle unité. On peut alors écrire la série de Laurent : log S xx (z) = ce qui, sur le cercle unité, devient : log S xx (f) = m= m= ν(m)z m (5.14) ν(m)e j2πfm (5.15) Les coefficients ν(m) sont donc les coefficients de Fourier de la série de Fourier représentant la fonction périodique log S xx (f). Donc : ν(m) = log S xx (f)e j2πfm df, m = ; ±1,... (5.16) S xx (f) étant une fonction réelle et paire, il s ensuit que [ ] S xx (z) = exp ν(m)z m m= = σ 2 vh(z)h(z 1 ) (5.17) où σv 2 = e ν() et [ ] H(z) = exp ν(m)z m, z > r 1 (5.18) m=1 En évaluant S xx (z) sur le cercle unité, nous obtenons l expression : S xx (f) = σ 2 v H(f) 2 (5.19) Les coefficients ν(m) sont appelés coefficients cepstraux et la séquence ν(m) est appelée cepstre de la séquence d autocorrélation r(m). Le filtre H(z) est analytique dans la zone z > r 1 < 1. On peut donc développer H(z) sous la forme causale (série de Taylor) : H(z) = h n z n (5.2) m= Si on excite l entrée de ce filtre par un bruit blanc V (n) de puissance σ 2 v, la sortie sera un processus stationnaire X(n) de densité spectrale de puissance S xx (f) = σ 2 v H(f) 2 = σ 2 vh(z)h(z 1 ) e j2πf. De même, si X(n) est un signal stationnaire ayant cette dsp, le fait de passer ce signal dans un filtre 1/H(z) nous fournit un bruit blanc à la sortie. On parle de filtre blanchissant et la sortie V (n) est appelée processus d innovation associé à X(n) Cette représentation est appelée représentation de Wold. Processus Aléatoires 38

39 v(n) Bruit blanc Filtre Linéaire causal H(z) u(n) = h k v(n k) k= u(n) Filtre Linéaire causal 1 H(z) v(n) Bruit Blanc Figure 5.1 Représentation de Wold Modèles stochastiques (AR, MA, ARMA). On restreint S xx (z) à être de la forme : S xx (z) = σv 2 B(z)B(z 1 ) A(z)A(z 1 ) r 1 < z < r 2 (5.21) où B(z) et A(z) ont leurs racines à l intérieur du cercle unité. On peut alors écrire : H(z) = σv 2 B(z) A(z) = 1 + q b k z k k= r p 1 < z (5.22) a k z k De plus, par construction, H(z) est causal, stable et à phase minimale. Son inverse 1/H(z) est également causal, stable et à phase minimale. On peut exprimer la relation ci-dessus par l équation aux différences suivante : X(n) + k=1 p a k X(n k) = k=1 Processus autorégressif (AR) q b k V (n k) (5.23) Processus Aléatoires 39 k=

40 Un processus autorégressif est caractérisé par B(z) = 1, et donc par l équation aux différences : X(n) + p a k X(n k) = V (n) (5.24) k=1 On peut également représenter ce processus par la figure suivante. v(n) Bruit blanc + z 1 u(n) Processus AR + a 1 z 1 + a q 1 z 1 a q Figure 5.2 Filtre générateur de processus AR Exercice 5.1 D ans l exemple de processus AR donnés, justifiez (par les pôles et zéros) l allure des courbes. Processus à moyenne mobile (MA : Moving Average) Processus Aléatoires 4

41 Figure 5.3 Exemples de processus AR. Bruit blanc ; A=[ ] ; A = [ ] Un processus autorégressif est caractérisé par A(z) = 1, et donc par l équation aux différences : X(n) = q b k v(n k) (5.25) k= v(n) z 1 z 1 z 1 b 1 b 2 b p 1 b p Figure 5.4 Filtre générateur de processus MA u(n) processus MA Processus autorégressif à moyenne mobile (ARMA) C est le processus général décrit ci-dessus. Processus Aléatoires 41

42 Figure 5.5 Exemples de processus MA. Bruit blanc, B= [ ]/4 ; B=[ 1 (1 éléments) 1]/ Figure 5.6 Exemples de processus AR. Bruit blanc, A=[ ] B comme ci-dessus Processus Aléatoires 42

43 v(n) Bruit blanc + z 1 b + processus ARMA + a 1 b 1 + z 1 + a q 1 b p z 1 a q Figure 5.7 Filtre générateur de processus ARMA Processus Aléatoires 43

44 5.1.5 Les équations de Yule-Walker. La représentation de Wold nous apprend qu il y a relation biunivoque entre la densité spectrale de puissance d un processus stationnaire X(n) et sa représentation par un bruit blanc filtré (AR, MA, ARMA). D autre part, nous savons que la dsp est reliée de la même manière à la séquence d autocorrélation. Cette section fera le lien entre les paramètres des filtres et la matrice d autocorrélation. Pour ce faire, il suffit d écrire l autocorrélation, en tenant compte de l équation aux différences d un processus ARMA : Soit E {X(n)X (n m)} = p a k E {X(n k)x (n m)} k=1 q +b k E {V (n k)x (n m)} k= (5.26) r xx (m) = p a k r xx (m k) + k=1 q b k r vx (m k) (5.27) Le terme de cross-corrélation r vx (m) peut s écrire en fonction du filtre H(z) par (en se rappelant que V (n) est blanc) : r vx (m) k= = E {X { (n)v (n + m)} } = E h k X (n k)x(n + m) k= = σ 2 vh m m (5.28) Les relations entre la séquence d autocorrélation et les coefficients des filtres du processus ARMA peuvent donc s écrire : r x (m) = p a k r xx (m k), k=1 p a k r xx (m k) + σv 2 k=1 q m k= h k b k+m, m > q m q r xx( m) m < (5.29) Dans le cas d un processus AR, ces équations se simplifient comme suit : p a k r xx (m k), m > k=1 r xx (m) = p a k r xx (m k) + σv, 2 m = k=1 rxx( m) m < (5.3) Processus Aléatoires 44

45 Ce sont les équations de Yule-Walker qui s écrivent sous forme matricielle : r() r (1) r (p) r(1) r() r (p 1) r(p) r(p 1) r() 1 a 1. a p = σ 2 v. pace6mm (5.31) Prédiction linéaire avant. Le problème posé est, étant donné un processus X(n) stationnaire au sens large, de prédire l échantillon X(k) en connaissant les M échantillons précédents. ˆX(k) = M a M (m)x(k m) (5.32) m=1 Le critère que nous allons utiliser pour caractériser la qualité de la prédiction est l erreur quadratique moyenne (variance de l erreur de prédiction) : { min E X(k) ˆX(k) 2} = min a M (m) a M (m) E M X(k) + 2 a M (m)x(k m) (5.33) Soit, en appelant l erreur de prédiction d ordre M à l instant k : F M (k) et en posant a M () = 1 : m=1 F M (k) = X(k) ˆX(k) = X(k) + M a M (m)x(k m) = m=1 L erreur quadratique moyenne vaut alors : E { F M (k) 2} = r() + 2R p a p(k)r(k) + k=1 p k=1 l=1 M a M (m)x(k m) m= (5.34) p a p(l)a p (k)r(l k) (5.35) Le filtre de coefficients a M (m)(m =, 1,..., M) est encore appelé filtre d erreur de prédiction. Processus Aléatoires 45

46 5.2 Estimateur MMSE et principe d orthogonalité. Une autre approche de la théorie de l estimation est l approche de Bayes. Soit un paramètre θ à estimer, on introduit une fonction de coût C(θ, ˆθ), où le paramètre estimé est ˆθ(U). θ et ˆθ(U) étant des variables aléatoires, nous minimiserons l espérance mathématique de ce coût, appelé risque de Bayes. { R(ˆθ(.)) = E C(θ, ˆθ(U)) } { = E θ,u {C(θ, ˆθ(U)) }. (5.36) L estimateur est donc la fonction ˆθ(.) qui minimise le risque de Bayes : De plus, on peut montrer que : min ˆθ(.) ˆθ(.) = arg min R(ˆθ(.)) (5.37) ˆθ(.) R(ˆθ(.)) = min R(ˆθ(U) U) (5.38) ˆθ(U) En d autres mots, pour minimiser le risque global R(ˆθ(.)), c est-à-dire minimiser une fonction par rapport à la fonction ˆθ(.), il suffit de minimiser le risque conditionnel R(ˆθ(U) U) par rapport à ˆθ(U), qui est un nombre. Le critère MMSE. Un cas particulier largement utilisé est le critère de l erreur quadratique moyenne minimale (Minimum Mean Squared Error) où la fonction de coût est : C MMSE ( θ) = θ 2 avec θ = θ ˆθ(U). Dans ce cas, on obtient : min ˆθ(U) R MMSE (ˆθ(U) U) = min f(θ U) θ ˆθ(U) 2 dθ (5.39) ˆθ(U) La minimisation nous donne : ˆθ R MMSE(ˆθ(U) U) = 2 Ce qui peut encore s écrire : f(θ U)(θ ˆθ(U))dθ = (5.4) D où ˆθ(U) f(θ U)dθ } {{ } =1 = θf(θ U)dθ (5.41) ˆθ MMSE (U) = E {θ U} (5.42) Processus Aléatoires 46

47 L estimateur est donc la moyenne a posteriori de θ si U. Pour s assurer qu il s agit bient d un minimum, on vérifie aisément que : 2 2 ˆθ R MMSE(ˆθ U) = 2 f(θ U)dθ = 2 > (5.43) De plus, cette dernière équation nous indique que nous sommes en présence d un minimum global. Cet estimateur peut aisément s étendre au cas de paramètres vectoriels. Le principe d orthogonalité pour les estimateurs MMSE. Ce principe est extrêmement important, car il permet d obtenir l estimateur MMSE autrement qu en calculant l espérance a posteriori du paramètre, ce qui n est pas toujours aisé, puisque cela demande en général la connaissance de la distribution de probabilité conditionnelle de celui-ci. Celui-ci s exprime par : { ˆθ(U) = E {(θ U)} E ((θ ˆθ(U))g(U) } =, g(.) (5.44) où g(.) est une fonction scalaire. Démonstration : Supposons ˆθ(U) = E {(θ U)}, alors, pour n importe quel g(.) : } E {ˆθ(U)g(U) = f θ,u (θ, U)g(U)dθdU vf v=θ U (v U)dv = f U (U)g(U)dU vf θ U (v U)dv f θ U (θ U)dθ } {{ } =1 = vf θ,u (v, U)g(U) = E {θg(u)}. (5.45) L autre implication se démontre d une manière similaire. Une interprétation géométrique sera faite dans le cadre du filtrage linéaire optimal ci-dessous. 5.3 Filtre de Wiener. Une classe importante de problèmes peut s énoncer de la manière suivante : soit un signal s(n), corrompu par du bruit additif v(n), on recherche un filtre qui permette de transformer ce signal u(n) = s(n) + v(n) en un autre y(n), similaire en un certain sens à un signal donné par ailleurs (d(n)). Cela correspond au schéma bloc (5.8). Dans le cas de l égalisation, u(n) est la sortie du canal, v(n) est le bruit additif, dont on fait généralement l hypothèse qu il est blanc et gaussien, et d(n) Processus Aléatoires 47

48 s(n) u(n) Filtre linéaire y(n) d(n) + + optimal + - e(n) Bruit v(n) Figure 5.8 Modèle pour le filtrage linéaire optimal. représente les données que l on devrait idéalement recevoir. Il parait évident que le filtre de Wiener sera dans ce cas une approximation de l inverse du canal. Le schéma bloc (5.9) illustre cette manière de voir. d(n) Filtre H(z) s(n) u(n) Filtre linéaire optimal ( 1/H(z)) y(n) e(n) v(n) Bruit Figure 5.9 Modèle pour l egalisation linéaire. Hypothèses On suppose que les signaux u(n), d(n) et v(n) sont stationnaires et mutuellement stationnaires au sens large, et de moyenne nulle Filtre de Wiener non-causal On adoptera le critère MMSE, de plus, comme le filtre que l on utilise est un filtre linéaire, on parle plus précisément de LMMSE (Linear MMSE). En Processus Aléatoires 48

49 effet, dans le cas du critère MMSE, la fonction qui transforme u(n) en y(n) est généralement non linéaire (on parle de filtrage non linéaire). L équation de minimisation s écrit donc (avec ˆd(n) = y(n)) : { min E d(k) ˆd(k) 2} = min h k,n h k,n E d(k) n= 2 h k,n u(k n) (5.46) Où h k,n sont les coefficients du filtre à l instant k, rien ne nous indiquant pour l instant que ce filtre est invariant dans le temps. Pour obtenir l expression du filtre, nous allons exploiter le principe d orthogonalité des estimateurs MMSE : { E (d(k) ˆd(k))u } (k m) =, m (5.47) Soit : { } E ˆd(k)u (k m) = E { n= h k,n u(n)u (k m) = E {d(k)u (k m)}, m Ce qui, accompagné des hypothèses de stationarité devient : n= } (5.48) h k,n r uu (m + k n) = r du (m) m (5.49) En faisant la substitution et n k n, on obtient : n= h k,n+k r uu (m n) = r du (m) m (5.5) Où la dépendance par rapport au temps (à l indice k) disparait (i.e. la dépendance par rapport à k n apparait plus que dans les coefficients du filtre, donc les équations sont valable pour toute valeur de k et les valeurs des coefficients sont donc indépendantes de k), soit en posant h k,n+k = h n : n= h n r uu (m n) = r du (m) m (5.51) Ce sont les équations normales. Dans le cas tout-à-fait général que nous traitons ici, nous sommes confrontés à une infinité d équations en une infinité d inconnues h n. Cependant, le membre gauche de l équation (5.51) est un produit de convolution. En définissant : S du (z) = n= r du (n)z n, et H(z) = n= h n z n. (5.52) Processus Aléatoires 49

50 l équation (5.51) devient H(z)S uu (z) = S du (z). Soit : H(z) = S du(z) S uu (z) (5.53) En notant l erreur quadratique minimale (le MMSE) ξ, et par le principe d orthogonalité : ξ { E (d(k) ˆd(k)) ˆd } (k) = E Ce qui permet de déterminer : = E { d(k) ˆd(k) } 2 = E { (d(k) ˆd(k))d } (k) n= { E = E { d(k) 2} { E d(k) ˆd (k) { h n E (d(k) ˆd(k))u } (k n) { d(k) ˆd (k) = } {{ } } = = E { ˆd(k) } 2 (5.54) (d(k) ˆd(k)) ˆd } (k) } {{ } } = = E { d(k) 2} E { ˆd(k) } 2 E { d(k) 2} ou encore, pour permettre le calcul : ξ = E { d(k) 2} { E d(k) ˆd } (k) = r dd () h ne {u (k n)d(k)} = r dd () n= n= h ne {r du (n)} (5.55) (5.56) En se rappelant qu on peut retrouver chaque élément de la séquence d autocorrélation par la formule : r dd (k) = 1 S dd (z)z k 1 dz (5.57) 2πj C où l intégrale circulaire est calculée dans la région de convergence de S dd (z). Il s ensuit que : σd 2 = r dd () = 1 S dd (z)z 1 dz (5.58) 2πj C d autre part, par le théorème de Parseval, on a : n= h ne {r du (n)} = 1 H(z)S du (z 1 )z 1 dz (5.59) 2πj C Processus Aléatoires 5

51 En combinant ces deux équations, on obtient : ξ nc = 1 [S dd (z) H nc (z)s du (z 1 )]z 1 dz (5.6) 2πj C Application 5.2 Filtre de Wiener non causal pour un processus AR(1) Soit un signal u(n) = s(n) + v(n) où s(n) est un processus AR(1) décrit par l équation s(n) =.6s(n 1) + ν(n) où le processus d innovations ν(n) a une puissance σ 2 ν =.64 et le bruit blanc additif σ 2 v = 1. On désire obtenir le filtre de Wiener tel que, dans le sens LMMSE, y(n) = s(n) (en d autres termes, d(n) = s(n)). Le filtre optimal est donné par l équation (5.53). On a donc soit S du (z) = S su (z) D autre part D où par indépendance de s(n) et v(n) σν 2 = S ss (z) = H(z)H(z 1 ) S ss (z) =.64 (1.6z)(1.6z 1 ) S uu (z) = S ss (z) + σ 2 v(= 1) = 2(1.3z 1.3z) (1.6z)(1.6z 1 ) H optnc (z) =.3555 (1 1/3z)(1 1/3z 1 ) On peut vérifier aisément que ce filtre est non causal. Le MMSE peut être évalué par l équation (5.6). L intégrand vaut : z 1 S ss (z)[1 H optnc (z)] =.3555 (z 1/3)(1 1/3z) Le seul pôle à l intérieur du cercle unité est z = 1 3. Le résidu est donc donné par : /3z z= 1 3 =.4 L erreur quadratique minimale atteignable est donc : ξ = MMSE nc =.4 Processus Aléatoires 51

52 5.3.2 Filtre de Wiener causal. On se limitera cette fois à un filtre IIR causal : y(n) = h k u(n k) (5.61) k= D une manière similaire au filtre de Wiener non-causal, on trouve : h n r uu (m n) = r du (m) m (5.62) n= Et l erreur quadratique minimale est donnée par : ξ = σ 2 d h nopt E {rdu(n)} (5.63) n= Où les équations de Wiener-Hopf (5.62) sont réduites aux m, ce qui nous empêche d avoir recours à la transformée en z de la même manière que ci-dessus. Cependant, la représentation de Wold (les innovations) vient à notre secours. En effet, nous pouvons considérer u(n) comme le résultat du filtrage d un bruit blanc (innovations) i(n) par un filtre G(z), partie à phase minimale obtenue par la factorisation spectrale de S uu (z) : S uu (z) = σ 2 i G(z)G(z 1 ) (5.64) Où le rayon de convergence r 1 de G(z) est inférieur à 1. En adoptant la représentation de Wold inverse, on peut considérer que le filtre de Wiener est la cascade du filtre blanchissant 1/G(z) appliqué à u(n) suivi par un filtre Q(z) dont la sortie est y(n). (la cascade de deux filtres causaux...) y(n) = q k i(n k) (5.65) n= L application du principe d orthogonalité à e(n) = d(n) y(n) nous donnera les équations normales : q n r ii (m n) = r di (m) m (5.66) n= L avantage de partir d un bruit blanc est que r ii (n) = δ n, ce qui conduit aux solutions : q l = r di(m) r ii () = r di(m), m (5.67) Processus Aléatoires 52 σ 2 i

53 D où la transformée en z de q l prend la forme : Q(z) = n= q k z k = 1 σ 2 i r di (k)z k (5.68) Si l on définit la partie causale de la densité cross-spectrale de puissance [S di (z)] + : Alors on remarque que : [S di (z)] + = n= r di (k)z k (5.69) k= Q(z) = 1 σ 2 i [S di (z)] + (5.7) Pour déterminer [S di (z)] +, il suffit d exprimer la sortie du filtre blanchissant : i(n) = w m u(n m) (5.71) m= où w m est la réponse impulsionnelle du filtre blanchissant : 1 G(z) = W (z) = m= w m z m (5.72) Ensuite, on exprime la cross-corrélation entre les innovations et la réponse voulue : r di (m) = E {d(n)i (n m)} = w k E {d(n)u (n k m)} = k= w k r du (m + k) k= La transformée de r di (m) est alors donnée par : S di (z) = = = [ ] w k r du (m + k) m= k= w k k= m= k= w k z m m= r du (m + k)z k r du (k)z k = W (z 1 )S du (z) = S du(z) G(z 1 ) z k (5.73) (5.74) Processus Aléatoires 53

54 D où : Q(z) = 1 σ 2 i [ ] Sdu (z) G(z 1 ) + Enfin, le filtre de Wiener IIR s exprime par : H opt (z) = Q(z) G(z) = 1 σ 2 i G(z) [ Sdu (z) G(z 1 ) ] + (5.75) (5.76) En résumé, pour obtenir le filtre IIR de Wiener, il faut procéder à la factorisation spectrale de S uu (z), pour obtenir G(z) et ensuite déterminer la partie causale de S du (z)/g(z 1 ). Application 5.3 Filtre de Wiener IIR causal pour un processus AR(1) On écrit cette fois S uu (z) sous la forme : S uu (z) = 1.8(1 1/3z 1 )(1 1/3z) (1.6z)(1.6z 1 ) Ce qui permet de déterminer σ 2 i = 1.8 et Se rappelant : On obtient : S ss (z) = [ ] Sdu (z) G(z 1 ) + G(z) = 1 1/3z 1 1.6z 1.64 (1.6z)(1.6z 1 ) [ ].64 = [ (1 1/3z)(1.6z 1 ) ].8.266z = + 1.6z 1 1 1/3z.8 = 1.6z 1 Le filtre IIR optimal peut donc s écrire : ( ) ( ) 1.6z 1.8 H optiir = 1/ /3z 1 1.6z 1 4/9 = 1 1/3z 1 et une réponse impulsionnelle h optiir (n) = 4 9 (1 3 )n, n + + Processus Aléatoires 54

55 De la même manière que dans le cas non causal, on trouve le MMSE par la formule (5.6) où l intégrand vaut cette fois : et on trouve.3555 (z 1/3z)(1.6z) ξ = MMSE iir =.444 On remarque que cette valeur est proche de celle du filtre optimal non causal Filtre de Wiener FIR La procédure pour obtenir un filtre de Wiener est de toute évidence assez complexe et, de plus, demande la connaissance de la séquence infinie d autocorrélation. Il parait donc naturel de se limiter à un filtre FIR, qui nous donnera ci-dessous une procédure de calcul nettement plus simple. On se limitera cette fois à un filtre FIR : y(n) = M 1 n= h k u(n k) (5.77) D une manière similaire au filtre de Wiener non-causal, on trouve : M 1 n= h n r uu (m n) = r du (m) m =, 1,..., M 1 (5.78) L avantage est que l on peut exprimer les équations (5.78) sous la forme matricielle : Rh = r du (5.79) où R est la matrice d autocorrélation du signal u(n) et r du est le vecteur de crosscorrélation r du = [r du (), r du (1),..., r du (M 1)] T. La solution du problème est donc : h opt = R 1 r du (5.8) La détermination de cette solution par la méthode directe demande encore un effort de calcul de l ordre de M 3. Heureusement, l algorithme de Levison-Durbin que nous verrons plus loin ramènera la complexité à O(M 2 ) (voire M log M par calculateur parallèle) en exploitant la structure Toeplitz de la matrice d autocorrélation. L erreur quadratique minimale est donnée par : M 1 ξ = σd 2 h nopt rdu(n) = σd 2 r H dur 1 r du (5.81) n= Processus Aléatoires 55

56 Application 5.4 Filtre de Wiener FIR pour un processus AR(1) En reprenant les exemples précédents, on détermine la densité spectrale de puissance du signal s(n) par : La séquence d autocorrélation vaut Le systéme d équation est alors : S ss (f) = σν H(f) = 1.6e j2πf 2.64 = cos 2πf r ss (m) = (.6) m 2h() +.6h(1) = 1.6h() + 2h(1) =.6 soit : h() =.451, h(1) =.165 Ce qui donne l erreur quadratique minimale : MMSE fir = 1 h()r ss () h(1)r ss (1) =.45 Soit une valeur très proche de celle dérivée dans le cas du filtre IIR causal. 5.4 Prédiction linéaire Prédiction linéaire avant. Le problème posé est, étant donné un processus y(n) stationnaire au sens large, de prédire l échantillon y(k) en connaissant les M échantillons précédents. ŷ(k) = M a M (m)y(k m) (5.82) m=1 Le critère que nous allons utiliser pour caractériser la qualité de la prédiction est le critère MSE : min E { y(k) ŷ(k) 2} = min a M (m) a M (m) E M y(k) + 2 a M (m)y(k m) (5.83) Processus Aléatoires 56 m=1

57 Soit, en appelant l erreur de prédiction d ordre M à l instant k : f M (k) et en posant a M () = 1 : f M (k) = y(k) ŷ(k) = y(k)+ M a M (m)y(k m) = m=1 M a M (m)y(k m) (5.84) Le filtre de coefficients a M (m)(m =, 1,..., M) est encore appelé filtre d erreur de prédiction. En utilisant le principe d orthogonalité, nous interprétons la solution à ce problème de la manière suivante : le point ŷ(k) dans le sous-espace généré par y(k 1),..., y(k M) est la projection orthogonale de y(k) sur ce sous-espace. La figure 5.1 illustre cette interprétation. m= y(k) f M (k) ŷ(k) [y(k 1)...y(k M)] Figure 5.1 Interprétation géométrique du principe d orthogonalité pour la prédiction linéaire Une expression de l orthogonalité peut s écrire : M E {f M (k)y (k i)} = a M (m)e {y(k i)y (k m)} = m= M a M (m)r yy (i m) =, i = 1,..., n m= (5.85) Grâce à la stationarité de y(n), les équations sont indépendantes du temps et le filtre optimal est constant dans le temps. Processus Aléatoires 57

58 Le MMSE (ξ = σf,m 2 ) est donné par : σ 2 f,m = E { f M 2 (k) } M = E y(k) + 2 a Mopt (m)y(k m) = E {f M (k)y (k)} + = E {f M (k)y (k)} M m=1 m=1 a M opt (m) E {f M (k)y (k m)} } {{ } = (5.86) En introduisant les vecteurs : Y M+1 (k) = [y(k), y(k 1),..., y(k M)] T et a M = [1, a M (1),..., a M (M)] T l erreur de prédiction s écrit : f M (k) = Y T M+1 (k)a M. Les conditions d orthogonalité s écrivent alors : (5.87) E {Y M+1 (k)fm (k)} = E {y(k)f M (k)} E {y(k 1)f M (k)}.. E {y(k M)f M (k)} avec, en développant l erreur de prédiction. = σ 2 f,m. (5.88) E {Y M+1 (k)fm (k)} = E { Y M+1 (k)ym+1(k) H } a M = σ 2 f,m. = R M+1a M (5.89) Ces équations sont appelées équations normales. On remarque qu on obtient exactement les équations de Yule-Walker que nous avons dérivées dans le cas d un processus AR. Donc, dans le cas où y(n) est un processus AR d ordre M, nous obtiendrons comme filtre prédicteur le filtre de synthèse du processus AR, et la variance de l erreur de prédiction σf,m 2 sera égale à la puissance σ2 v du processus d innovation ν(n). En d autres termes, le filtre prédicteur est un filtre blanchissant qui produit la séquence d innovations ν(n). Processus Aléatoires 58

59 5.4.2 Prédiction linéaire arrière. Quoique a priori un peu artificiel, le problème de la prédiction arrière sera très utile dans la suite des calculs et de la détermination d un algorithme rapide de résolution des équations normales, débouchant sur la représentation des filtres en treillis, intéressante à plus d un titre. Le problème est simplement de déterminer une estimation d un échantillon y(k M) en fonction des M échantillons subséquents : ŷ(k M) = M b M (m)y(k M + m) (5.9) m=1 Le critère que nous allons utiliser pour caractériser la qualité de la prédiction est encore le critère MSE : min b M (m) E { y(k M) ŷ(k M) 2} M = min E b M (m) y(k M) + 2 b M (m)y(k M + m) m=1 (5.91) Soit, en appelant l erreur de prédiction arrière d ordre M à l instant k : g M (k) et en posant b M () = 1 : g M (k) = y(k M) ŷ(k M) M = y(k M) + a M (m)y(k M + m) = m=1 M b M (m)y(k M + m) m= (5.92) Le filtre de coefficients b M (m)(m =, 1,..., M) est encore appelé filtre d erreur de prédiction arrière. En utilisant le principe d orthogonalité, nous interprétons la solution à ce problème de la manière suivante : le point ŷ(k M) dans le sous-espace généré par y(k), y(k 1),..., y(k M + 1) est la projection orthogonale de y(k M) sur ce sous-espace. Une expression de l orthogonalité peut s écrire : E {g M (k)y (k M + i)} = = M b M (m)e {y(k M + i)y (k M + m)} m= M b M (m)r yy (i m) =, i = 1,..., n m= (5.93) Grâce à la stationarité de y(n), ces équations sont toujours indépendantes du temps et le filtre optimal est constant dans le temps. Processus Aléatoires 59

60 y(k M) g M (k) ŷ(k M) [y(k)...y(k M+)] Figure 5.11 Interprétation géométrique du principe d orthogonalité pour la prédiction linéaire arrière Le MMSE (ξ = σg,m 2 ) est donné par : σ 2 g,m = E { g M 2 (k) } M = E y(k M) + 2 b Mopt (m)y(k M + m) = E {b M (k)y (k M)} + = E {b M (k)y (k M)} M m=1 m=1 Les conditions d orthogonalité s écrivent alors : b M opt (m) E {b M (k)y (k M + m)} } {{ } = (5.94) E {Y M+1 (k)gm (k)} = E {y(k)g M (k)} E {y(k 1)g M (k)}. E {y(k M)g M (k)} =. σ 2 g,m (5.95) avec, en développant l erreur de prédiction : Processus Aléatoires 6

61 E {Y M+1 (k)gm (k)} = E { Y M+1 (k)ym+1(k) H } b M =. σ 2 g,m = R M+1b M Ce sont les équations normales pour la prédiction linéaire arrière. (5.96) Relation entre prédiction avant et arrière Appelons J la matrice d identité arrière : J = J inverse l orde des lignes et des colonnes. On voit alors clairement que : (5.97) JR M+1 J = R T M+1 = R M+1 (5.98) Des équations normales pour la prédiction arrière, on déduit alors : R M+1 Jb M = JR M+1JJb M = JR M+1b M = J. σ 2 g,m = σ 2 g,m. (5.99) On voit donc clairement que les équations normales pour la prédiction linéaire avant et arrière sont identiques, à l ordre des coefficients près : b M = Ja M, soit b M (i) = a M (M i), i = 1,..., M, σ 2 g,m = σ 2 f,m (5.1) 5.5 L algorithme de Levinson-Durbin Si on résoud les équations de manière directe, cela implique l inversion d une matrice, et donc une complexité d ordre M 3. Un algorithme rapide a été développé par Levinson (1948) et Durbin (1959) qui permet de diminuer la complexité d un ordre (M 2 ). De plus, il permet d introduire élégament la représentation des filtres en treillis. Processus Aléatoires 61

62 L algorithme est récursif dans l ordre, ce qui signifie que l on détermine les prédicteurs d ordre m, m = 1,..., M. L étape initiale est laissée au soin du lecteur. Admettons que nous ayons la solution pour l ordre m, la solution à l ordre m + 1 peut s écrire : R m+2 a M +K m+1w m+1 = σ 2 f,m.. m+1 +K m+1x m+1 = σ 2 f,m+1. (5.11) Pour obtenir la solution sous la forme [σf,m+1 2 ], il faut adopter x m+1 de la forme [ ] T et il est clair que l on peut choisir x m+1 de la forme [ m+1 σf,m 2 ]T, ce qui fixe simplement : K m+1 = m+1 σ 2 f,m (5.12) Ce choix particulier, et la relation que nous avons fait entre prédiction arrière et prédiction avant permet alors d écrire l équation précédente sous la forme : R m+2 a m +K m+1 b m σ 2 f,m. La récursion sur la solution devient : = +K m+1 m+1 a m+1 = (I + K m+1 J) [ a m ] m+1. σ 2 f,m = σ 2 f,m+1. (5.13) (5.14) En particulier, a m+1 (m + 1) = K m+1. L erreur de prédiction devient alors : σ 2 f,m+1 = σ 2 f,m + K m+1 m+1 = σ 2 f,m(1 K 2 m+1) (5.15) Une puissance devant être positive, l équation précédente implique que D autre part, on a que K m+1 1 (5.16) σ 2 m+1 σ 2 m σ 2 1 σ 2 (5.17) ce qui confirme l intuition selon laquelle l augmentation de l ordre de prédiction diminue l erreur de prédiction. Dans le cas d un processus AR(m), après l ordre m, les variances seront égales (voir plus haut). Processus Aléatoires 62

63 On peut résumer l algorithme de Levinson comme suit : Algorithme de Levinson Initialisation récursion a = [1], σf, 2 = r yy()pace5mm m+1 = [r yy (m + 1) r yy (1)]a m K m+1 = m+1 [ σf,m 2 ] [ ] a a m+1 = m + K m+1 Ja m σf,m+1 2 = σf,m(1 2 Km+1) 2 Par récursion, l algorithme de Levinson demande environ 2n multiplications, soit, au total : M 2n = n=1 2M(M + 1) 2 M 2 (5.18) Interprétations des paramètres K m et m 1 Les paramètres K m sont appelés coefficients de réflection, en effet, l équation σ 2 f,m+1 = σ2 f,m (1 K2 m+1) est similaire à celle de la théorie des lignes où K m est le coefficient de réflection au droit d une discontinuité (différence d impédance caractéristique) dans la ligne. Le paramètre m+1 (et donc K m+1 peut être interprété comme étant une cross-corrélation entre l erreur de prédiction avant et l erreur de prédiction arrière. On peut montrer : K m+1 = E {f m(k)g m(k 1)} E { f m (k 1) 2 } (5.19) Cette dernière expression est appelée coefficient de corrélation partielle (PARCOR). 5.6 Filtres en treillis. A partir de l algorithme de Levinson, en écrivant les récursions sur les coefficients des filtres de prédiction, avec la relation a m = Jb m : [ am a m+1 = [ bm b m+1 = ] [ ] + K m+1 ] [ b m ] (5.11) + K m+1 a m Processus Aléatoires 63

64 a M,1 a M,2 a M,M AM (z) École Polytechnique de l UNSA En écrivant ces équations sous la forme de transformées en z : A m+1 (z) = A m (z) + K m+1 B m (z)z 1 B m+1 (z) = K m+1 A m (z) + B m (z)z 1 (5.111) Ces deux équations décrivent une section d un filtre en treillis, que l on peut représenter sous la forme de la figure f (k) f 1 (k) f M 1 (k) f M (k) y(k) a (z) a 1 (z) a M 1 (z) a M (z) K 1 K 2 K M K 1 K2 z 1 z 1 z 1 K M b (z) b 1 (z) b M 1 (z) b M (z) g (k) g 1 (k) g M 1 (k) g M (k) Figure 5.12 Filtre en treillis pour la prédiction linéaire. En réécrivant les équations (5.84) et (5.92) sous la forme f m (k) = A m (z)y(k) et b m (k) = B m (z)y(k), les sorties des sections de treillis sont f m (k) et b m (k) si on excite l entrée du premier filtre par le signal y(k), ce qui justifie les annotations de la figure Un des premiers avantages, surtout dans des implémentations VLSI, est la modularité de ces filtres : il suffit d ajouter des sections pour obtenir une meilleure prédiction, sans que les coefficients PARCOR précédents doivent être modifiés. En effet, dans le cas d une implémentation directe par un filtre transversal comme en figure 5.13, l augmentation de l ordre total du filtre demande une modification de tous les coefficients a m (k), ce qui oblige à refaire l entièreté du calcul. y(k) z 1 z 1 z 1 f M (k) Figure 5.13 Filtre transversal pour la prédiction linéaire. Processus Aléatoires 64

65 D autre part, d un point de vue numérique, le fait que les coefficients PAR- COR sont bornés ( K m < 1 ) nous assure des résultats intermédiaires également bornés, ce qui est très intéressant dans les calculateurs à virgule fixe (pas d overflow ). 5.7 La méthode des moindres carrés (LS : Least Squares) Introduction Dans le filtrage de Wiener, le critère d optimalité est stochastique : on désire minimiser la moyenne de l erreur au carré. Pour cela, nous avons besoin de la statistique de second ordre des processus (moyennes et covariances). Une autre approche consiste à minimiser, non plus la moyenne stochastique, mais temporelle de cette erreur, c est la méthode des moindre carrés (L.S. : Least Squares). En se reportant à la figure 5.8, on obtient le critère : ξ(h) = k 2 k=k 1 e(k) 2 (5.112) Dans ce cas-ci, les coefficients h du filtre optimal sont d office constants sur la période d observation. Si on désire tenir compte d une non stationnarité du canal, il suffit d opter pour le critère : ξ(h) = k 2 En adoptant un filtre FIR de longueur M, on a : k=k 1 λ k e(k) 2 < λ 1 (5.113) M 1 e(i) = d(i) h k u(i k) (5.114) k= D autre part, pour tenir compte du caractère stochastique du problème, on modélise le processus à identifier comme étant le signal filtré auquel on a ajouté du bruit (en général blanc additif), comme indiqué à la figure L objectif principal de cette modélisation sera de caractériser les perfomances de l estimée Fenêtrage. Les bornes k 1 et k 2 peuvent être choisies de différentes manières. On se placera dans le cas où nous disposons des données [u(), u(1),..., u(n 1)] La méthode de la covariance ne fait pas d hypothèses sur les valeurs des données en dehors de la fenêtre d observation. On peut alors exprimer les Processus Aléatoires 65

66 Filtre "vrai" d(n) + ɛ(n) bruit de mesure s(n) u(n) Filtre linéaire + + Least-Squares y(n) + - e(n) Bruit v(n) Figure 5.14 Modèle pour le filtrage par les moindres carrés. données sous une forme matricielle : u(m 1) u(m) u(n 1) u(m 2) u(m 1) u(n 2) U = u() u(1) u(n M) (5.115) On peut alors exprimer l équation (5.114) sous forme vectorielle, e = d U T h (5.116) en notant e = [e(m 1)e(M) e(n 1)] et d = [d(m 1)d(M) d(n 1)] L expression U T h représentant la convolution entre les données u(i) et le filtre de coefficients h k, on appelle parfois U T la matrice de convolution. La méthode de la corrélation fait l hypothèse que les valeurs des données en dehors de la fenêtre d observation sont nulles. On peut alors exprimer les données sous une forme matricielle : u(1) u(m 1) u(n 1) u(m 2) u(n 2) u(n 1) U = u() u(n M) u(n M + 1) u(n 1) (5.117) Processus Aléatoires 66

67 L équation (5.116) reste alors valable en notant e = [e()e(1) e(n + M 1)] et d = [d()d(1) d(n + M 1)] La méthode du préfenêtrage fait l hypothèse que les valeurs des données avant u() sont nulles. On peut alors exprimer les données sous une forme matricielle : u(1) u(2) u(m 1) u(m) u(n 1) u(1) u(m 2) u(m 1) u(n 2) U = u() u(1) u(n M) (5.118) L équation (5.116) reste alors valable en notant e = [e()e(1) e(n 1)] et d = [d()d(1) d(n 1)] La méthode du postfenêtrage fait l hypothèse que les valeurs des données après u(n 1) sont nulles (sans faire d hypothèses sur les données antérieures à u(). On peut alors exprimer les données sous une forme matricielle : u(m 1) u(m) u(n 1) u(m 2) u(m 1) u(n 2) u(n 1) U = u() u(1) u(n M) u(n M + 1) u(n 1) (5.119) L équation (5.116) reste alors valable en notant e = [e(m 1)e(M) e(n+m 1)] et d = [d(m 1)d(M) d(n+m 1)] Principe d orthogonalité pour les moindres carrés On se placera dorénavant dans la méthode de covariance. On définit alors le nouveau critère à minimiser sous la forme vectorielle : On détermine alors : ξ(h) = e H e, où e = d U T h (5.12) h (ξ(h)) = e H e h e H e h 1. e H e h M 1 En utilisant les relations de l appendice, on trouve (5.121) h (ξ(h)) = (d UT h) H U T = e H U T (5.122) Processus Aléatoires 67

68 Cette relation, pour avoir un minimum, doit être annulée. Ensuite, on vérifie aisément que la dérivée seconde est positive. On peut donc écrire e H U T = (5.123) qui exprime l orthogonalité entre les erreurs et les entrées du filtre optimal. On a donc un principe d orthogonalité similaire à celui du cas stochastique (filtre de Wiener). De la même manière, toute combinaison linéaire de l équation précédente est valable, et on obtient aisément que : e H y = e H ˆd (5.124) que l on interprète en disant que l erreur doit être orthogonale aux entrées et à l estimation Equations normales Cette relation d orthogonalité nous amène directement à une interprétation géométrique. Dérivons d abord la solution du problème des moindres carrés (équation (5.122)). En notant, pour la facilité U T = X, on obtient les équations normales pour la méthode des moindres carrés : (d Xĥ)H X = ĥ = (XH X) 1 X H d (5.125) où (X H X) 1 X H est appelée la matrice pseudo-inverse de X et où on a supposé que X H X était invertible. L erreur minimale étant alors exprimée par : ξ min = ê H ê = (d Xĥ)H (d Xĥ) = dh d d H Xĥ ĥh X H d + ĥh X H Xĥ = d H d d H X(X H X) 1 X H d (5.126) Ce qui exprime l erreur et la solution directement en fonction des données et de la réponse désirée. On définit alors, de manière analogue au cas stochastique, la matrice ce corrélation : Φ = X H X = φ(, ) φ(1, ) φ(m 1, ) φ(, 1) φ(1, 1) φ(m 1, 1) φ(, M 1) φ(1, M 1) φ(m 1, M 1) (5.127) Processus Aléatoires 68

69 où on peut détailler les éléments de la matrice de corrélation que l on appellera les fonctions d autocorrélation moyennées dans le temps. φ(t, k) = N 1 i=m 1 u(i k)u (i t) (5.128) On peut aisément vérifier que cette matrice d autocorrélation possède essentiellement les mêmes propriétés que la matrice d autocorrélation stochastique, à savoir qu elle est Hermitienne, définie non négative et possède des valeurs propres réelles non négatives. D autre part, par construction, elle est le produit de deux matrices rectangulaires Toeplitz. De la même manière, on définit le vecteur de cross-corrélation entre l entrée u et la réponse désirée d : Θ = [θ(), θ(1),, θ(m 1)] T = X H d (5.129) On peut alors réécrire l équation (5.125) sous la forme : Φĥ = Θ (5.13) qui sont les équations normales pour la méthode des moindres carrés. On y retrouve la relation entre la matrice d autocorrélation et la matrice de crosscorrélation d une manière similaire à l équation (5.79) pour le critère MMSE dans le cas stochastique. Le vecteur de sortie est alors exprimé par : L erreur minimale s écrit alors : y = ˆd = Xĥ (5.131) ξ min = d H d Θ H Φ 1 Θ (5.132) Interprétation géométrique. L abstraction relative de ces équations, la notion d orthogonalité et la représentation par des vecteurs laissent supposer que l on peut donner une interprétation géométrique du problème des moindres carrés et de la solution. En effet, les colonnes de la matrice de données X, Φ et P définissent un espace vectoriel de dimension N M + 1. Le vecteur de données est de dimension N et est donc défini dans un espace de dimensions N. D autre part, la relation d orthogonalité entre l erreur minimale et l estimation des données (ˆd)(on se rappellera que eˆd = ) signifie que l on peut diviser l espace des données en l espace des données estimées et son complément orthogonal qui est l espace de l erreur. On parle souvent dans la littérature de sous-espace signal et sous-espace bruit, ce dernier étant en l occurence le bruit du à l erreur. Processus Aléatoires 69

70 Enfin, pour le passage de l espace total aux sous-espaces signal et bruit, on définit l opérateur de projection P = X(X H X) 1 X H. En effet, la relation ˆd = X(X H X) 1 X H d = Pd met en lumière que l opérateur P nous fait passer de d à ˆd. Cet opérateur peut donc être interprété comme l opérateur de projection de l espace total sur le sous-espace signal. D autre part, on définit l opérateur de projection orthogonal I P qui assure la projection des données sur le sous-espace bruit. La figure 5.15 illustre cela dans le cas de M = 1 et N = 3, c est-à-dire 4 données en entrée et un filtre de longueur 2. ˆd d P I P e min Figure 5.15 Interprétation géométrique de la méthode des moindres carrés. Exemple Cas d un filtre de longueur 2 et de 4 données Processus Aléatoires 7

71 Considérons le cas N = 3, M = 1 avec u = [5, 3, 1, 1] T ; d = [7, 4, 1] T. On obtient immédiatement 3 5 X = L opérateur de projection vaut : P = X(X H X) 1 X T = (5.133) Ce qui permet de trouver la solution : Et l erreur d estimation : y = ˆd = y = ˆd = Cet exemple est illustré par la figure (5.134) (5.135) Figure 5.16 Exemple d estimation LS Processus Aléatoires 71

72 5.7.6 Propriétés de l estimation des moindres carrés. 1. L estimée ĥ est non biaisée, si {ɛ(i)} est à moyenne nulle. Notons la valeur vraie du filtre h o. Alors, de On déduit : ĥ = (X H X) 1 X H d et d = Xh o + ɛ (5.136) ĥ = (X H X) 1 X H Xh o + (X H X) 1 X H ɛ = h o + (X H X) 1 X H ɛ (5.137) Les données représentées par X étant déterministes et ɛ(i) étant à moyenne nulle, on déduit immédiatement : } E {ĥ = h o (5.138) 2. Si ɛ(i) est un bruit blanc à moyenne nulle et de variance σ 2, l estimée ĥ a une matrice de covariance valant σ 2 Φ 1. Les relations suivantes nous mènent directement à ce résultat : { } cov{ĥ} = E (ĥ h)(ĥ h)h = E {(X H X) 1 X H ɛɛ H X(X H X) 1} = (X H X) 1 X H E { ɛɛ H} X(X H X) 1 = (X H X) 1 X H σ 2 IX(X H X) 1 = σ 2 (X H X) 1 X H X(X H X) 1 = σ 2 (X H X) 1 = σ 2 Φ 1 (5.139) 3. Si ɛ(i)} est un bruit blanc à moyenne nulle et de variance σ 2, l estimée ĥ est la meilleure estimée linéaire non-biaisée (BLUE : Best Linear Unbiased Estimate). Considérons un estimateur linéaire non biaisé h = Bd = h = BXh o + Bɛ (5.14) } De même, l hypothèse de moyenne nulle du bruit implique E { h = BXh o. Pour que l estimée h soit non biaisée, il faut donc : BX = I (5.141) Processus Aléatoires 72

73 On peut donc écrire h = h o + Bɛ et la covariance s exprime : cov{ h} } = E {( h h)( h h) H = E {Bɛɛ H B H} (5.142) = σ 2 BB H En définissant une matrice Ψ = B (X H X) 1 X H, nous avons les relations : ΨΨ H = BB H BX(X H X) 1 (X H X) 1 X H B H + (X H X) 1 = BB H (X H X) 1 (5.143) or, ΨΨ H, puisque c est une forme quadratique, donc BB H (X H X) 1 et la proposition initiale est prouvée. 4. Si ɛ(i) est un bruit blanc gaussien à moyenne nulle et de variance σ 2, l estimée ĥ est l estimée non-biaisée de variance minimale. (MVUE : Minimum Variance Unbiased Estimate). La manière de démontrer cette affirmation est de comparer la covariance de l estimée à la matrice d information de Fisher. Nous en laissons la démonstration à titre d exercice. 5.8 Exercices Exercice 5.2 Un processus auto-régressif (AR) d ordre un X(n) à valeurs réelle est défini par l équation aux différences : X(n) + a 1X(n 1) = V (n) où a 1 est une constante et V (n) est un processus blanc de variance σ 2 v. 1. Montrer que si V (n) a une moyenne non nulle, le processus AR X(n) est non stationnaire. 2. Si V (n) est à moyenne nulle et que la constante a 1 < 1, montrer que la varriance de X(n) vaut σ 2 x = σ2 v 1 a Dans ces conditions, trouver la fonction d autocorrélation du processus AR X(n). Tracer cette fonction d autocorrélation pour < a 1 < 1 et pour 1 < a 1 <.. 1. Moyenne variant dans le temps : E {X(n)} = E {V (n)} + a 1E {X(n 1)} 2. σ 2 x + a 1σ 2 x = σ 2 v 3. E {X(n)X(n m)} = a 1E {X(n 1)X(n m)} r xx(m) = a 1.r xx(m 1) Processus Aléatoires 73

74 Exercice 5.3 Soit un processus X(n) à moyenne mobile défini par X(n) = V (n) +.75V (n 1) +.25V (n 2) où V (n) est un processus blanc centré de variance 1. On peut approximer ce processus par un processus AR U(n) d ordre M. Trouvez cette approximation pour les ordres 2, 5 et 1 (pour les ordres 5 et 1, on pourra s aider de Scilab). D abord, on calcule r() = 2; r(1) =.9375 et r(2) =.25 Ensuite, on a l équation de Yule Walker, R[1; a 1; a 2] T = [σ 2 v; ; ] T Commentez vos résultats. où R = r() r(1) r(2) r(1) r() r(1) r(2) r(1) r() Pour M = 2, on trouve a 1 = et a 2 = ainsi que σv 2 = (facile à faire en écrivant les équations et en faisant une résolution par substitution). Pour M = 5, on trouve A = [1.; ; ; ; ;.11656] T et σv 2 = Pour M = 1, on trouve A = [ ; ; ; ;.12598;.1381;.13231;.9182;.277;.121] T et σv 2 = On en déduit que l approximation M = 2 est plutôt bonne, et qu un processus MA peut être approximé presque parfaitement par un processus AR d ordre élevé (par exemple ici M = 1). Exercice 5.4 Un processus aléatoire X(n) de moyenne nulle et de matrice de corrélation R est filtré par un filtre à réponse impulsionnelle finie de réponse impulsionnelle w = [w, w 1,, w N ] T. Montrer que la puissance moyenne à la sortie du filtre vaut w H Rw. Que vaut cette puissance si le processus stochastique à l entrée du filtre est un bruit blanc de variance σ 2? La sortie du filtre Y (n) peut s écrire Y (n) = [w, w 1,, w N ][X(n), X(n 1),, X(n N)] T = w T X, donc, E {Y (n)y (n)} = w H E { X T X } w = w H Rw. Si on a un bruit blanc : R = σ 2 I σ 2 y = w H w Exercice 5.5 Processus AR(2) Processus Aléatoires 74

75 Soit un processus AR(2) déterminé par A = [1,.975,.95] et σv 2 = 1. On demande, selon les notations du cours : les zéros de A(z) ; les pôles de H(z) ; la transformée en z de la fonction d autocorrélation (utiliser le résultat du point précédent) ; la densité spectrale de puissance du processus (faire un diagramme de Bode, utiliser votre cours d automatique et l expression de H(z) ) ; Ecrire les équations de Yule-Walker, en déduire r(), r(1) et r(2) ; à partir du point précédent et du cours, déterminez r(k), k > 2 ; Solution A(z) = 1 + a 1z 1 + a z 2 2 z 1,2 =.478 ±.844i H(z) = 1/A(z) donc les zéros de A(z) sont les pôles de H(z) S xx(z) = σvh(z)h(1/z) 2 = z z z z z 4 En Scilab, utiliser la fonction syslin pour modéliser S xx(z) (avec l option d parce qu on est en discret ). On trouve alors Exercice 5.6 Processus AR(2) Soit un processus autorégressif d ordre 2 X n décrit par l équation aux différences suivantes : X n = X n 1.5X n 2 + V n où V n est un bruit blanc de moyenne nulle et de variance.5 Ecrivez les équations de Yule-Walker pour ce processus. Résolvez ces deux équations pour les valeurs de l autocorrélation r(1) et r(2). Trouvez la variance de X n. Equations de Yule-Walker : [ r() r(1) ] [ r(1) r() 1.5 ] = [ r(1) r(2) r(1) = 2/3r(); r(2) = r()/6 de σ 2 x = r() et de σ 2 v = r() r(1) +.5r(2) (première ligne de l équation de Yule-Walker), on déduit r() = σ 2 v/(1 2/3 + 1/6.5) = 1.2 Processus Aléatoires 75 ]

76 Processus Aléatoires 76

77 Chapitre 6 Une ménagerie de Processus 6.1 Processus de Bernoulli Définition Variable de Bernoulli Expérience aléatoire : succès / échec Variable aléatoire discrète X : deux valeurs possibles { p, x = 1 (succès) p X (x) = 1 p, x = (échec) E {X} = 1 p + (1 p) = p var[x] = E { X 2} E {X} 2 = 1 2 p + 2 (1 p) p 2 = p p 2 = p(1 p) Processus de Bernoulli Séquence {X i } de v.a de Bernoulli indépendantes Processus discret à temps discret X m = 1 : succès / arrivée pendant la période m v.a. binomiale, géométrique S : v.a. binomiale p, n (v.a. discrète) Nombre de succès sur n essais n S = X i : somme de n v.a. Bernoulli indépendantes i=1 p S (m) = E {S} = ( ) n p m (1 p) n m n = m m(n m) pm (1 p) n m ( m n) n E {X i } = np i=1 77

78 pt (t) = (1 p)t 1 p, " " E[T ] = 1/p var[t ] = (1 p)/p2 École Polytechnique de l UNSA ind var[s] = n X i=1 3e année var[xi ] = np(1 p) T : v.a. géométrique p (v.a. discrète) Nombre d essais jusqu au premier succès inclus (échecs + 1 succès) pt (t) = (1 p)t 1 p, t = 1, 2,... E {T } = 1/p var[t ] = (1 p)/p2 v.a. Bernoulli E[X] = v.a. Bernoulli Bernoulli.8.6 E[X].2.4 X. Espérance / écarttype p : probabilité de succès à un essai E {X} = p, σx = Processus Aléatoires p p(1 p) 78

79 École Polytechnique de l UNS École Polytechnique de l UNSA 3e année v.a. binomiale v.a. binomiale E[S] = np, σs = Binomiale n = Fonction de probabilité p =.3 p = m : nombre de succès E {S} = np, σs = p np(1 p) v.a. Géométrique Processus Aléatoires 79 5 Géométrique

80 École Polytechnique de l UNSA e année v.a. Géométrique v.a. Géométrique p = Espérance / écarttype p =.5. Fonction de probabilité.5 Géométrique t : essais jusqu au 1er succès (inclus) pt (t) = (1 p)t 1 p, pt (t) = (1 p)t 1 p, t = 1, 2,... E[T ] = 1/ t = 1, 2,... Processus Aléatoires Processus Stochastiques 8 28

81 3e année Géométrique E[T] 2 T Espérance / écarttype 1 École Polytechnique de l UNSA 14.2 clus) p : probabilité de succès à un essai p E[T ] = 1/p, σ(1t = p)/p (1 p)/p École Polytechnique de l UNS E {T } = 1/p, σt = Indépendance Indépendance 28 3e année 47 Xi : v.a. indépendantes Si U,X V i indépendantes f (U ), g(v ) indépendantes : v.a. indépendantes Le processus de Bernoulli se renouvelle chaque instant Si U, V indépendantes fà (U ), g(v ) indépendantes Le futur est indépendant du passé Le processus de Bernoulli se renouvelle à chaque instant Exemple : on observe Xi pendant n = 5 intervalles Le futur est indépendant du passé Aucun succès jusqu à n = 5 Exemple : on observe Xi pendant n = 5 intervalles T : le nombre d essais (temps) jusqu au premier succès T Aucun succès n n, = jusqu au 5 n : le temps qui jusqu à reste, après premier succès P (TT : nle=nombre (temps) t T > n) d essais = (1 p)t 1 p = P (Tjusqu au n = t) premier succès T : le temps reste, après n, jusqu au premier succès mémoire Processus de n Bernoulli : sans qui P (T n = t T > n) = (1 p)t 1 p = P (T n = t) Processus de Bernoulli : sans mémoire " " " " Processus Aléatoires Temps d attente 48 81

82 Le futur est indépendant du passé Exemple : on observe Xi pendant n = 5 intervalles " " " " Aucun succès jusqu à n = 5 T : le nombre d essais (temps) jusqu au premier succès T n : le temps qui reste, après n, jusqu au premier succès P (T n = t T > n) = (1 p)t 1 p = P (T n = t) Processus de Bernoulli : sans mémoire 48 École Polytechnique de l UNSA e année Temps d attente Temps d attente Ym : le temps de la m-ième arrivée Tm : le temps d attente entre arrivées " T =Y " YTm1 :=ley1 temps de lamm-ième = 2, 3,.. arrivée. m m Ym 1, Tm : le temps d attente entre arrivées T1 : v.a. géométrique, de paramètre p T1géométrique, = Y1 T2 : v.a. de paramètre p, indépendante de T1 T = Ym de v.a. Ym 1, m= 3,. paramètre.. m {Tm } : séquence géométriques, de 2, même p, indépendantes Tdéfinition géométrique, de paramètre du processus de Bernoulli p 1 : v.a. alternative T2 : v.a. géométrique, de paramètre p, indépendante de T1 49 {Tm } : séquence de v.a. géométriques, de même paramètre p, indépendantes définition alternative du processus de Bernoulli École Polytechnique de l UNS Processus Stochastiques e année 29 Temps d arrivée Temps d arrivée Ym = T1 + T Tm T1,..., Tm v.a. géométriques, de même paramètre p, indépendantes E[Ym ] = E[T1 ] + E[T2 ] E[Tm ] = m/p var[y Ymm ]=ind.. 2. ]+ =Tvar[T ]2 ++ var[t +T..m. + var[tm ] = m(1 p)/p T = t) = P (m 1 succès en 1 essais)p (succès en p, t) indépendantes YmT..,.,PT(Ymm v.a. géométriques, det même paramètre 1,m paramètre Distribution E {Ym } de = Pascal E {T1de }+ E {T2 }m+:... + E {Tm } = m/p " ind 2 t 1] +m... + var[t var[ym ] = var[t ] +=var[t p)/p 2 p (1 p)t m m pym1(t), ] t= = m(1 m, m + 1,... m 1 Ym m, P (Ym = t) = P (m 1 succès en t 1 essais)p (succès en t) Distribution de Pascal de paramètre m : pym (t) = t 1 m p (1 p)t m m 1 Exemple de réalisation Processus Aléatoires 8 6 ivées entre et t 1 Pr. de Bernoulli, p =.2, 5 t = m, m + 1, R script : n = 5 # nombre d essais p =.2 # probabilité de succès # vecteur de n Bernoulli X = rbinom( n, 1, p ) # accumuler les arrivées N = * (1:n) # initialisation

83 École Polytechnique de l UNSA Exemple de réalisation e année Exemple de réalisation R script : Pr. de Bernoulli, p =.2 8 # vecteur de X = rbinom( # accumuler N = * (1:n N[1] = X[1] for (i in 2: N[i] = N[ } Nombre d arrivées entre et t 1 n = 5 # nom p =.2 # pr # ajouter le plot( :n, c lines( :n, 5 t R script : n = 5 # nombre d essais p =.2 # probabilité de succès # vecteur de n Bernoulli X = rbinom( n, 1, p ) # accumuler les arrivées N = * (1:n) # initialisation N[1] = X[1] for (i in 2:n) { N[i] = N[i-1] + X[i] } # ajouter le point (,) plot( :n, c(,n), type="p" ) lines( :n, c(,n), type="h" ) Processus Stochastiques Processus Aléatoires 83 3

84 École Polytechnique de l UNS 3e année École Polytechnique de l UNSA Séparation de processus École Polytechnique de l UNS 3e année 3e année Séparation de processus Séparation de processus Les décisions sur les arrivées du processus d origine sont indépendantes À partir d un processus de Bernoulli, obtenir deux nouveaux processus de Bernoulli : " (en haut) paramètre p q bas) paramètre p (1 du q) " Les (en décisions sur les arrivées processus d origine sont indépendantes À partir d un processus de Bernoulli, Les décisions sur les arrivées du processus d origine deux nouveaux processus de Bernoulli : Àobtenir partir d un processus de Bernoulli, " (en p q processus de Bernoulli : obtenir haut) deuxparamètre nouveaux " (en bas) paramètre p (1 q) (en haut) paramètre p q (en bas) paramètre p (1 q) sont indépendantes Combinaison de processus Combinaison de processus Combinaison de processus Deux processus de Bernoulli indépendants, de paramètres p et q de Bernoulli indépendants, Deux processus Obtenir un nouveau processus de Bernoulli de paramètres p et q de paramètre 1 (1 p)(1 q) = p + q pq Obtenir un nouveau processus de Bernoulli Deux processus de Bernoulli indépendants, de de paramètre paramètres p et1q (1 p)(1 q) = p + q pq Obtenir un nouveau processus de Bernoulli de paramètre 1 (1 p)(1 q) = p + q pq Binomiale Poisson S : v.a. binomiale p, n ; nombre de succès sur n essais indépendants Si p 1, n 1 et p n = w : m n n wm w n m ps (m) = m p (1 p)n m = m(n m) nm 1 n n m wm 31w Processus Stochastiques = n(n 1)...(n m+1) m nm 1 n m n n m+1 wm 1 w 1 w = nn n 1 n... n m n n m m wm e w 1 = e w wm = pz (m) n Processus Stochastiques Z : v.a. Poisson, de paramètre w (v.a. discrète) E {Z} = w = np var[z] = w np(1 p) Z : nombre de succès, quand on a w succès en moyenne Processus Aléatoires 84

85 S : v.a. binomiale p, n ; nombre de succès sur n essais indépendants Si p # 1, n $ 1 et p n = w : " n" m n w n m wm ps (m) = m p (1 p)n m = m(n m) nm 1 n " wm w n m = n(n 1)...(n m+1) m nm 1 n " " m n n 1 n m+1 w m w n = n n... n 1 w m 1 n n wm w m w w m e 1 = e m = pz (m) n Z : v.a. Poisson, de paramètre w (v.a. discrète) E[Z] = w = np var[z] = w np(1 p) Z : nombre de succès, quand on a w succès en moyenne École de l UNSA Département Polytechnique En pratique, l approximation est valide si : n 1 et p.1 Si X, Y des v.a. Poisson indépendantes, de paramètres w, u : X + Y v.a. Poisson de paramètre w + u d Électronique 3e année En pratique, l approximation est valide si : n 1 et p.1 Si X, Y des v.a. Poisson indépendantes, de paramètres w, u : X + Y v.a. Poisson de paramètre w + u 54 Binomiale Poisson 2 Poisson Binomiale.8.4. Fonction de probabilité.12 B: n = 1, p =.1 / P: w = m : nombre de succès Processus de Poisson Définition Processus discret à temps continu, d intensité λ N (t), nombre d arrivées entre et32 t Nτ, N (t + τ ) N (t) : nombre d arrivées entre t et t + τ P (k, τ ), P ({il y a k arrivées dans l intervalle [t, t + τ ]}) = pnτ (k) Propriétés Processus Stochastiques 1. Homogénéité temporelle : P (k, τ ) indépendant de t 2. Indépendance : Les nombres d arrivées dans des intervalles disjoints sont des variables aléatoires indépendantes 3. Petits intervalles : Si δ, Processus Aléatoires 1 λδ P (k, δ) λδ,k =,k = 1,k > 1 85

86 2. Indépendance : Les nombres d arrivées dans des intervalles disjoints sont des variables aléatoires indépendantes 3. Petits intervalles : 1 λδ Si δ, P (k, δ) λδ École Polytechnique de l UNSA,k =,k = 1,k > e année Nombre Nombre d arrivées en d arrivées τ en τ δ τ τ en nτ =en τ /δnpériodes Discretiser Discretiser = τ /δ périodes (,(, δ) λδ PP δ)1 1,λδP (1,, δ) P λδ (1, δ) λδ Processus de Bernoulli de paramètre λδ NProcessus de Bernoulli de paramètre λδ τ : nombre de succès sur n essais indépendants (binomiale) E[N Nττ ] :=nombre de succès sur n essais indépendants (binomiale) n λδ = λτ δ E λδ = λτ {N, binomiale Poisson τ} = n % & k (k, τ ) = nk (λδ) (1 λδ)n k e nλδ (nλδ) pnδτ (k) =,Pbinomiale kpoisson k n k )k n n k = e λτ,τk) ==, 1, 2,... k pnτ (k) = P(λτk(k, e nλδ (nλδ) k (λδ) (1 λδ) k n Nτ : loi de Poisson de paramètre λτ, E[Nτ ] = λτ, var[n τ ] = λτ )k Intensité λ :=arrivées unité,dektemps e λτ /(λτ =, 1, 2,... k Nτ : loi de Poisson de paramètre λτ, E {Nτ } = λτ, var[nτ ] = λτ Intensité λ : arrivées / unité de temps Première arrivée T : le temps d arrivée du premier événement (v.a. continue) t) = 1 P (T > t)33= 1 P (, t) = 1 e λt (λt) = 1 e λt, t dft (t) pt (t) = = λe λt, t dt T : v.a. exponentielle E {T } = 1/λ var[t ] = 1/λ2 P (T t) = 1 e λt Processus FTStochastiques (t) = P (T P (T > t) = e λt Indépendance Le processus de Poisson se renouvelle à chaque instant Le futur est indépendant du passé Exemple : on observe le processus jusqu à l instant t T : le temps du premier événement après t P (T t > s) = P ( arrivées dans [t, t + s]) = P (, s) λs = e λs (λs) : T t v.a. exponentielle = e Processus de Poisson : sans mémoire Processus Aléatoires 86

87 6.2.5 Temps d attente Y m : le temps de la m-ième arrivée T m : le temps d attente entre arrivées T 1 = Y 1 T m = Y m Y m 1, m = 2, 3,... T 1 : v.a. exponentielle, de paramètre λ : p T1 (t) = λe λt T 2 : v.a. exponentielle, de paramètre λ, indépendante de T 1 {T m } : séquence de v.a. exponentielles, de même paramètre λ, indépendantes définition alternative du processus de Poisson Temps d arrivée Y m = T 1 + T T m T 1,..., T m v.a. exponentielles, de même paramètre λ, indépendantes : p Ti (t) = λe λt E {Y m } = E {T 1 } + E {T 2 } E {T m } = m/λ var[y m ] ind = var[t 1 ] + var[t 2 ] var[t m ] = m/λ 2 Si δ, δ p Ym (y) = P (y < Y m y + δ) = P (m 1 arrivées avant y)p (1 arrivée entre y et y + δ) = P (m 1, y)λδ Distribution Erlang d ordre m : λy (λy)m 1 p Ym (y) = e (m 1) λ = λm y m 1 e λy (m 1), y Processus de Bernoulli / Poisson Bernoulli Poisson Processus discret, à temps discret continu Rythme d arrivées p par essai λ/temps Nombre d arrivées N à n essais dans un intervalle τ binomiale n, p Poisson λτ E {N} np λτ σ N np(1 p) λτ Temps d attente T géométrique exponentielle E {T } 1/p 1/λ σ T (1 p)/p 1/λ Temps d arrivée Y m Pascal Erlang E {Y m } m/p m/λ σ Ym m(1 p)/p m/λ Processus Aléatoires 87

88 N Temps d attente T E[T ] σt Temps d arrivée Ym E[Ym ] σym géométrique 1/p (1 p)/p Pascal m/p m(1 p)/p École Polytechnique de l UNSA exponentielle 1/λ 1/λ Erlang m/λ m/λ 63 3e année «Incidence «Incidence aléatoire» aléatoire» L t V U t U V t Poisson d intensité λ : temps Poisson d intensité λ de : moyenne 1/λ d attente exponentiels, Choisir instant t entre deux arrivées consécutives, U, V 1/λ tempsund attente exponentiels, de moyenne Temps entreun arrivées : V t Uentre = L deux arrivées consécutives, U, V Choisir instant V t : v.a exponentielle, paramètre λ Temps entre arrivées : V U = L t U : v.a exponentielle, paramètre λ V t ),t (:t v.a (V U ) exponentielle, : v.a. indépendantesparamètre λ Lt = t :Uv.a ) + (V t ) (U exponentielle, paramètre λ L(V : v.a. Erlang d ordre, E[L]indépendantes = 2/λ ( ) t ), (t U ) :2 v.a. E[temps d attente mesuré] = 2E[temps d attente du processus] L = (t U ) + (V t ) Le paradoxe de l incidence aléatoire L : v.a. Erlang d ordre 2, E {L} = 2/λ ( ) E {temps d attente mesuré} = 2E {temps d attente du processus} Le paradoxe de l incidence aléatoire École Polytechnique de l UNS Exemples de réalisation R script : Exemples de réalisation Pr. de Poisson, = 1 Processus Stochastiques n = 2 # lambda = 15 # temps T = rexp 5 1 # temps Y = * Y[1] = T for (i i Y[i] } Nombre d arrivées entre et t # ajoute plot( c( 3 t Processus Aléatoires 88

89 6.3 Exercices Exercice 6.1 Pluie Après un jour de pluie, le nombre de jours jusqu au prochain jour pluvieux suit une distribution géométrique de paramètre p, indépendamment du passé. Calculer la probabilité qu il pleuve le 13 e et 17 e jour d un mois. P = p 2. Exercice 6.2 Données binaires Un flux binaire est caractérisé par une probabilité d erreur à un bit égale à p =.2. Les erreurs sont indépendantes. 1. Donner une description détaillée (fonction de probabilité, espérance et variance) du nombre de bits sans erreur (N b ) entre deux bits erronnés. 2. On combine deux flux binaires indépendants, de même probabilité d erreur, pour obtenir des symboles de deux bits. Donner une desciption détaillée du nombre de symboles sans erreur (N s) entre deux symboles erronés. 1. N b + 1 : v.a. géométrique de paramètre p ; p Nb (n) = (1 p) n p, E[N b ] = 1 p 1, var[n b] = (1 p)/p N s + 1 : v.a. géométrique de paramètre q = 1 (1 p) 2 ; p Ns (n) = (1 q) n q, E[N s] = 1 q 1, var[ns] = (1 q)/q2. Exercice 6.3 Parking Dans une rue de circulation moyenne, les places sont occupées de façon indépendante les unes des autres. Les probabilités d occupation sont égales à q d =.7 (côté droite) et q g =.6 (côté gauche). 1. Combien de places vous devez «attendre» en moyenne si vous voulez vous garer? 2. Combien de places vous devez «attendre» en moyenne s il y a deux voitures devant vous qui veulent se garer? (Afin de simplifier le problème, on fera l hypothèse que les voitures ne se garent pas simultanément à des places opposées.) Combiner les places libres. 1. E[T ] = 1/(1 q gq d ) 2. E[Y 3] = 3/(1 q gq d ) Exercice 6.4 En parallèle Processus Aléatoires 89

90 Dans un système de N calculateurs en parallèle, la probabilité qu une tâche à traiter arrive pendant une unité de temps est égale à p. On envisage deux algorithmes de répartition des tâches : 1. De façon aléatoire et équiprobable, chaque tâche arrivée est attribuée à un calculateur. 2. De façon déterministe, chaque tâche est attribuée de façon cyclique à un calculateur. Donner la fonction de probabilité, l espérance et la variance du temps d attente à un calculateur pour chaque algorithme. 1. Séparation de processus, p T (t) = (1 p N )t 1 p N p, E[T ] = N/p, var[t ] = N N p 2 2. Temps d attente = Y N, p T (t) = ( ) t 1 N 1 p N (1 p) N t, E[T ] = N/p, var[t ] = N 1 p p 2. Exercice 6.5 Jeu vidéo Votre neveu passe tout son temps devant sa console en jouant au même jeu. On note p la probabilité qu il gagne une partie et on considère qu elle est indépendante des autres résultats. Vous entrez dans sa chambre à 18h25 et vous constatez qu il est en train de perdre une partie. Calculer la fonction de probabilité du nombre de parties (L) perdues entre la dernière partie gagnée et la première partie qu il va gagner dans l avenir. Quelle est l espérance de L? Pourquoi vos observations sont contestées par votre neveu? Incidence aléatoire dans un processus à temps disctet. p L(n) = np 2 (1 p) n 1, E[L] = 2 p 1 alors que E[T ] = 1 p. Exercice 6.6 Accidents Entre 8h et 9h du matin, les accidents de circulation arrivent suivant un processus de Poisson de paramètre λ 1 = 5 accidents par heure. Entre 9h et 11h, les accidents sont modélisés par un autre processus de Poisson, indépendant du premier, de paramètre λ 2 = 3 accidents par heure. Calculer la fonction de probabilité de la variable aléatoire représentant le nombre d accidents de circulation entre 8h et 11h. Somme de deux v.a. de Poisson indépendantes, de paramètres w 1 = λ 11h = 5, w 2 = λ 22h = 6. Donc le nombre d accidents entre 8h et 11h est donné par une v.a. de Poisson de paramètre w = w 1 + w 2 = 11. Exercice 6.7 La Poste Processus Aléatoires 9

91 On considère qu à la Poste on trouve deux types de clients : ceux qui veulent poster une lettre et ceux qui veulent retirer un colis. Les premiers arrivent suivant un processus de Poisson de paramètre λ 1 et les deuxièmes arrivent suivant un autre processus de Poisson, indépendant du premier, de paramètre λ Montrer que le nombre d arrivées totales est un processus de Poisson de paramètre λ 1 + λ Montrer que la probabilité que le client qui vient d arriver (petit intervalle) poste une lettre, P ({il y a une arrivée lettre} {il y a une arrivée}), est égale à λ 1 λ 1 +λ Il faut montrer que le processus combiné est un processus de Poisson : indépendance, homogénéité et petits intervalles. Les petits intervalles donnent comme intensité λ 1 + λ Calculer la probabilité conditionnelle avec les formules de petits intervalles. Exercice 6.8 Ampoules Les temps de vie T a et T b de deux ampoules sont des v.a. indépendantes et distribuées de façon exponentielle de paramètre λ a et λ b, respectivement. 1. Montrer que la v.a. T = min (T a, T b ) est exponentielle de paramètre λ a + λ b. Interpréter le résultat. 2. Calculer l espérance de la v.a. S = max(t a, T b ) T en utilisant le théorème d espérance totale. 3. Calculer l espérance de la v.a. X = max(t a, T b ). 1. F T (t) = P (T t) = 1 P (T t) = 1 P (T a > t T b > t) =... λ a λ a+λ b + 1 λ a λ b λ a+λ b. 2. E {S} = 1 λ b 3. E {X} = E {S} + E {T } =... Exercice 6.9 Uniforme On considère un processus de Poisson de paramètre λ et l événement A = {il y a une arrivée dans l intervalle [a, b]}. Montrer que la densité de probabilité du temps d arrivée T conditionnée sur A, p T A (t), est uniforme dans [a, b]. A = {une arrivée entre [, l]}. F T A (t) = P (T t A) =... = t l p T A (t) = df T A (t) dt = 1 l, t l. Exercice 6.1 Achats Processus Aléatoires 91

92 Les clients sortent d une librairie suivant un processus de Poisson, de paramètre λ clients par heure. La variable aléatoire discrète D n représente la somme dépensée par le n-ième client. Les v.a. D i suivent la même distribution, sont indépendantes entre elles ainsi qu avec le processus de Poisson. On définit la somme totale S(t) = D 1 + D 2 + D N(t), où N(t) est le nombre de clients sortis jusqu à l instant t. Si N(t) =, on pose S(t) =. Montrer que : E {S(t)} = E {N(t)} E {D i} var(s(t)) = E {N(t)} var(d i) + var(n)(e {D i}) 2. A.N. : λ = 81 clients par jour, t = une journée, E {D i} = 8 EUR, σ Di = 6 EUR. E {N(t)} = λt = 81, var[n(t)] = λt = 81 E {S(t)} = 648 EUR σ S(t) = 9 EUR Processus Aléatoires 92

93 Chapitre 7 Chaînes de Markov 7.1 Définition Processus discret à temps discret ou continu Séquence de variables aléatoires X n x n S = {1, 2,..., m} Propriété de Markov : P (X n+1 = j X n = i, X n 1 = i n 1,..., X = i ) = P (X n+1 = j X n = i) Processus avec mémoire Terminologie États : les membres de l ensemble S Probabilité de transition : P (X n+1 = j X n = i) p ij 7.2 Matrice de transition p 11 p p 1m P = p 21 p p 2m p m1 p m2... p mm Normalisation : m p ik = 1, i S k=1 Exemple : suivre un cours 93

94 Normalisation : m ' École Polytechnique de l UNSA... p1m... p2m pmm p11 p12 p21 p22 P= pm1 pm2 pik = 1, i S k=1 3e année Exemple : suivre un cours à jour P= ( en retard Trajectoires Probabilité d une trajectoire P (X = i, X1 = i1,..., Xn = in ) = P (X = i )pi i1... pin 1 in Probabilité d une transition à n étapes Trajectoires (n) pij, P (Xn = j X = i) Probabilité d une trajectoire P (X = i, X1 = i1,..., Xn = in ) = P (X = i )pi i1... pin 1 in Équation de Chapman Kolmogorov Xtransition Probabilité(n)d une à n étapes (r) (n r) pij = pik pkj, 1 r n 1 k (probabilité totale) (n) (2) Application pour n = 2 : pij = X pij " P (Xn = j X = i) pik pkj k # Équation Chapman Matrice de nde transitions : Kolmogorov P(2) = P2 '(n)(r) (n r) n (n) pij = P pik= ppkj, 1 Département r n d Électronique 1 3e(probabilité totale) année École Polytechnique de l UNS k 7.4 Classification des états * (2) Classification des états # # Application pour n = 2 : pij = Matrice de n transitions : 1 2 k pik pkj 3 4 P(2) = P2 P(n) = Pn 5 L état j est accessible à partir de l état i si : L état j est accessible à partir de l état i si : (n) n : pij > (n) n de : pl état ij > A(i) : l ensemble des états accessibles à partir i État i transitoire : État i récurrent : Processus Aléatoires j A(i) : i / A(j) j A(i) : i A(j) 94 Les états A(i) forment une classe : j A(i), A(j) = A(i) Processus Stochastiques 39 7 )

95 École Polytechnique de l UNSA 3e année A(i) : l ensemble des états accessibles à partir de l état i État i transitoire : j A(i) : i / A(j) État i récurrent : j A(i) : i A(j) Les états A(i) forment une classe : j A(i), A(j) = A(i) Une chaîne de Markov est composée de : Une ou plusieurs classes récurrentes Éventuellement, quelques états transitoires Un état récurrent est accessible à partir de tous les états de sa classe Un état transitoire n est pas accessible à partir d un état récurrent Au moins un état récurrent est accessible à partir d un état transitoire École Polytechnique de l UNS 7.5 3e année Périodicité Périodicité 2 S1 3 1 S S3 Classe récurrente périodique : il existe une partitions1,..., Sd (d > 1) de ses états telle que : pace-.3cm j Sk+1, k < d si i Sk et pij >, j périodique S1, k=d : Classe récurrente Classe récurrente apériodique : S n : p >, i, j il existe une partition ( 1,.ij.., Sd (d > 1) de ses états telle que : j Sk+1, k < d si i Sk et pij >, j S1, k=d (n) 72 (n) Classe récurrente apériodique : n : pij >, i, j à long terme 7.6 Comportement Comportement à long terme Une seule classe récurrente, apériodique (+ des états transitoires) 1. seule Pour chaque état j, Une classe récurrente, apériodique (+ des états transitoires) (n) pij πj, i n 1. Pour chaque état j, 2. Les πj sont la solution unique du système : (n) pij π" " j, i πj = k 3. πk pkj, j n et πk = 1 k États transitoires : πj = États récurrents : πj > # # (n) Processus Aléatoires limn P (Xn = j) = lim# n k P (X = k)pkj = k P (X = k)πj 95 = πj k P (X = k) #= πj # Si i, P (X = i) = πi : P (X1 = i) = k P (X = k)pki = k πk pki = πi πi : distribution de probabilités stationnaire 73

96 École Polytechnique de l UNSA 3e année 2. Les πj sont la solution unique du système : πj = X k X et πk pkj, j πk = 1 k 3. États transitoires : πj = États récurrents : πj > limn P (Xn = j) = limn = πj X X k P (X = k) = πj Si i, P (X = i) = πi : P (X1 = i) = 7.7 P (X = k)πj k k πi : distribution École Polytechnique de l UNS X (n) P (X = k)pkj = X P (X = k)pki = k X πk pki = πi k de probabilités stationnaire 3e année Chaînes ergodiques Chaînes ergodiques Une classe récurrente, apériodique (+ des états transitoires) Une seule seule classe récurrente, apériodique (+ des états transitoires) ij (n) uij :(n) : nombre depar passages par l état j pendant les n premières u nombre de passages l état j pendant les n premières transitions, avections, état de départ X = i avec état de départ X = i fréquence relative de passages : transi- uij (n) πj n n uij (n) qijk (n) : nombre de transitions j k pendant n premières: transitions, fréquence relative delespassages n n avec état de départ X = i πj uij (n)p qijkk(n) qijk (n) : nombre de transitions j pendant les jk n premières transitions, = πj pjk fréquence relative de transitions : n n n avec état de départ X = i Justification de πk = j πj pjk : passages par k = j transitions j vers k qijk (n) uij (n)pjk = πj pjk74 n n n X : passages par k = transitions j vers k fréquence relative de transitions : Justification de πk = X πj pjk j 7.8 j Processus de naissance et de mort Processus de naissance et de mort Processus de Markov, transitions uniquement entre les états voisins = i 1 Xn = i) Processus Markov, = transitions entredles= états voisins bi = Pde(X i + 1 Xuniquement P (X n+1 n = i), i n+1 bi = P (Xn+1 = i + 1 Xn = i), di = P (Xn+1 = i 1 Xn = i) 1 bm 1 dm 1 1 b1 d1 1 b b bm 2 b1 1 1 dm bm 1 m m 1 d1 d2 dm 1 dm πj = k πk pkj, j se simplifie : πk pkj : fréquence relative de transitions qikj (n)/n, n Processus Symétrie Aléatoires : qik(k+1)(n) = qi(k+1)k (n), n, k m 1 πk bk = πk+1 dk+1 "j 1 πk+1 k= πk = "j 1 Normalisation : bk πk+1 πk k= dk+1 j = bk dk+1 96, k m 1 πj = π b b1... bj 1, 1 j m d1 d2... dj πj = 1 75

97 7.9 Exercices Exercice 7.1 Suivre un cours On considère que chaque semaine, en fonction du temps consacré à sa préparation, un étudiant peut soit être à jour par rapport au cours, soit en retard. Cette situation est modélisée à l aide d une chaîne de Markov à deux états dont la matrice de transition est donnée par ( ).8.2 P = Classifier les états de cette chaîne. 2. Calculer la probabilité de se retrouver, à long terme, dans chaque état. 1. Une classe récurrente, non périodique : états 1 et π 1 = p 21 p 12 +p 21 = 3, 4 π 2 = p 12 p 12 +p 21 = 1. 4 Exercice 7.2 Parapluies Un enseignant a deux parapluies qu il utilise pendant ses déplacements entre chez lui et son bureau. S il pleut et si un parapluie est disponible à l endroit de départ, il s en sert. Si il ne pleut pas, il oublie systématiquement de prendre un parapluie. On suppose que la probabilité qu il pleuve au moment de son départ est toujours égale à p. 1. Modéliser ce problème en utilisant une chaîne de Markov à trois états, représentant le nombre de parapluies disponibles à l endroit de départ. 2. Calculer la probabilité que l enseignant se retrouve, à long terme, sans parapluie sous la pluie. 1. États, 1, 2. Une classe récurrente, non périodique. 2. π = 1 2π 2 = 1 p 1 p(1 p), π1 = π2 =, P = πp =. 3 p 3 p 3 p Exercice 7.3 Routeur Processus Aléatoires 97

98 On considère que les paquets de données arrivant à un routeur sont stockés et puis retransmis. La capacité du routeur est de m paquets. Le temps est discretisé de façon telle que, à chaque instant, le routeur peut effectuer l une des opérations suivantes : Recevoir un paquet, avec probabilité b >, si le nombre de paquets stocqués est inférieur à m. Transmettre un paquet déjà reçu, avec probabilité d > s il y a au moins un paquet stocqué. Rester inactif, avec probabilité 1 b s il n y a aucun packet stocké, 1 d s il y a m packets stockés et 1 b d dans les autres cas. 1. Modéliser ce problème en utilisant une chaîne de Markov à m + 1 états, représentant le nombre de paquets stockés au routeur. 2. Calculer les probabilités stationnaires π i. 3. Examiner le cas m. 1. Processus de naissance et de mort, états S = {, 1,..., m}. ( 2. π j = π b ) j, d j m. { 1 (b/d) ( b ) i, b 1 (b/d) Normalisation π i = 1 m+1 d d 1, b = 1 m+1 d 3. b/d < 1 : lim m π i = ( ) ( 1 b b d d b/d 1 : lim m π i = (tous les états sont transitoires ). Exercice 7.4 Matrice doublement stochastique Une matrice de transition d une chaîne de Markov irréductible et apériodique est dite doublement stochastique si la somme des éléments de chaque colonne est égale à 1 : n p ij = 1, j = 1,, m. i=1 Exercice : l élève supersitieux Un élève superstitieux fréquente une école dans un bâtiment circulaire muni de m portes, où m est un entier impair. L élève n utilise jamais deux fois la même porte successivement, mais utilise la porte adjacente dans le sens des aiguilles d une montre avec probabilité p et l autre porte avec probabilité 1 p. Déterminez la chaine de Markov de l exercice. Montrez que la matrice de transition de l exercice est doublement stochastique Montrez que les probabilités stationnaires sont π j = 1/m, j = 1,, m p... 1 p 1 p p... 1 p p p... 1 p + équations des probas stationnaires Exercice 7.5 Processus de Markov Processus Aléatoires 98 ) i

99 Le professeur Tournesol donne des D.S. qui sont soit durs, soit moyennement durs, soit faciles. Heureusement, il ne donne jamais deux D.S. durs de suite. S il donne un D.S. dur, le D.S. suivant est de façon équiprobale, soit moyennement dur, soit facile. Par contre, s il donne un D.S. moyennement dur ou facile, le test suivant est du même niveau de difficulté avec une probabilité de 5 %, et d un des autres niveaux de difficulté avec une probabilité de 25 %. Modélisez ce processus par une chaîne de Markov et trouvez les probabilités stationnaires. π 1 = 1/5, π 2 = π 3 = 2/5 Processus Aléatoires 99