GEI 756 Processus stochastiques et traitement statistique de signau aléatoires Bloc : Notions de base Semaine 3: Introduction au processus stochastiques Denis Gingras Janvier 03 Plan du cours Définition d un processus stochastique Moments statistiques d un processus stochastique Corrélation et covariance: cas gaussien simple Propriétés Indépendance Orthogonalité Corrélation Stationnarité Ergodisme Processus stochastiques - cas discret héorème de Einstein-Wiener-Khinchin Densité spectrale de puissance et décomposition de Wold Échantillonnage d un processus stochastique Bruit «blanc» et processus à bande passante ransformée de Karhunen-Loève Processus composé ou processus stochastique double Processus périodiques et quasi-périodiques
Définition d un processus stochastique Préambule: Dans le cours précédent, nous avons étudié les notions de probabilité, de variables aléatoires et de vecteurs aléatoires, ainsi que leurs propriétés statistiques. Aujourd hui nous allons aborder le concept de processus stochastiques et de signau aléatoires. Grossièrement, on peut considérer un processus aléatoire comme étant une suite infinie de variables aléatoires qui évolue dans le temps ou dans l espace. On passe donc de la variable aléatoire (un seul élément) à un vecteur aléatoire (nombre fini de variables aléatoires) à un processus aléatoire (nombre infini de variables aléatoires) 3 Définition d un processus stochastique Soit le résultat d une epérience aléatoire. Supposons que pour chaque résultat de l epérience nous assignons un signal Xt (, ). La collection de tels signau constitue un processus stochastique. L ensemble des epériences iet la variable t peuvent être continus ou discrets. X ( t, ) Xt (, ) Pour une epérience fiée { k }, le signal correspondant X k X ( t, k) est une fonction du temps, i.e. une réalisation du processus. Lorsque c est le temps qui est fié, X ( to) X ( to, ),nous avons alors une variable aléatoire. L ensemble de toutes les réalisations des epériences au cours du temps forme le processus stochastique Xt (). n X ( t, ) k X ( t, ) X ( t, ) 0 X ( t, ) t t t 4
Définition d un processus stochastique Un signal aléatoire temporel est une fonction de deu variables. L'une des variables prend ses valeurs dans l espace réel ou complee (e. le temps), l'autre étant la réalisation d'une variable aléatoire. Variable indépendante, e. : temps Xt (, ) Résultat d une epérience aléatoire À t fié, Xt (, ) est une v.a. À fié, Xt (, ) est un signal temporel (une «trajectoire» du processus) Si t est à temps discret on parle alors de suite ou de séquence aléatoire 5 Définition d un processus stochastique Soit ( n); n Z une suite de variables aléatoires Pour chaque n ; f n ( ) densité de probabilité de ( n) moments E n E n [ ( )], [ ( )], si n est le temps : série temporelle, ie, signal aléatoire Le modèle mathématique du processus physique sous - jacent générant le signal aléatoire est appelé processus aléatoire ou processus stochastique. Remarque : pour une variable aléatoire réalisation pour un signal aléatoire ensemble de réalisations réparties dans le temps appelé " trajectoires". 6 3
Définition d un processus stochastique rajectoires d'un signal aléatoire. Variable aléatoire = nombre réel dont la valeur est imprévisible avant de l'observer lors d'une epérience. Réalisation de = valeur prise par lors d'une epérience. Signal aléatoire (t) = signal dont tel que pour tout t, (t) est une variable aléatoire. Réalisation d'un signal aléatoire (t) = ensemble des valeurs prises par les v.a. (t) quand t varie. Appelé aussi trajectoire. 7 Définition d un processus stochastique Fonction aléatoire = processus stochastique continu: t prend un continuum de valeurs sur un interval Suite aléatoire = processus stochastique discret {...,,0,,,...} On associe à chaque instant t une variable (ou un vecteur) aléatoire Modélisation de grandeurs pour lesquelles impossible de prédire une valeur eacte à un instant futur. 8 4
Signau aléatoires Eemples (n) bruit n (n) séquence binaire codée n.75v V (n) tension de batterie n 9 Signal aléatoire : un eemple avec trajectoires (-3) (n) Bruit: trajectoire n X (-3) (n) Bruit: trajectoire n E[(-3)] E((n)) Bruit: moyenne d ensemble de trajectoires n 0 5
Signal aléatoire : un eemple avec trajectoires (-3) (n) Bruit: trajectoire moyenne temporelle n X(-3) (n) Bruit: trajectoire moyenne temporelle n E[(-3)] E((n)) Bruit: moyenne d ensemble des trajectoires moyenne temporelle n Processus stochastiques Soit X(t) un signal aléatoire. Lorsque t est fiée, alors X(t) représente une v.a. Sa distribution est donnée par, F X (, t) F X (, t) P{ X ( t) } Notez que dépend de t, puisque pour différentes valeurs de t, nous obtenons différentes v.a. car elles n ont pas nécessairement des propriétés statistiques identiques. De plus, f (, t) X df (, t) X d représente la PDF (ordre ) du processus X(t). 6
Processus stochastiques Eemple: Soit La fonction X ( t) cos( 0t ), où est une v.a. distribuée uniformément entre -π et π, avec α et ω o constants. X(t) est un processus aléatoire (p.a.) et dépend de t, puisque pour différentes valeurs de t, nous obtenons différentes v.a. Pour t fie, montrez que la PDF du er ordre de la v.a. correspondante est donnée par, 3 Processus stochastiques Éléments de solution La fonction ( t) cos( 0t ), f, g( ) cos 0t dcos d f f ( ) d d 0t cos 0t d d f f ( ),0 d d 4 f,0, 7
Processus stochastiques Pour t = t et t = t, X(t) représente deu v.a. différentes X = X(t ) et X = X(t ). Leur distribution jointe est,, t, t ) P{ X ( t ), X ( t ) } Et la fonction F X ( f (,, t, t ) X F (,, t, t ) X Représente la densité de e ordre du processus X(t). De manière similaire la fonction f X (,, n, t, t, tn) représente la densité du n ième ordre du processus X(t). La détermination complète du processus requiert la connaissance de la PDF (ordre n) f X (,, n, t, t, tn) t i, i,,, n pour tout t et pour tout n (impossible en pratique) 5 Processus stochastiques Fonction de distribution et densité de probabilité générales Distribution ou fonction de répartition (Cumulative distribution function) d un processus aléatoire F (, t,...,, t ) P( ( t ),..., ( t ) ) n n n n t t t,..., t ou i j n Fonction de densité de probabilité d ordre n F (, t,..., n, tn) f(, t,..., n, tn)... n 6 8
Moments d un processus stochastique Espérance mathématique m ( t ) f (, t ) d E ( ( t )) Fonction d autocorrélation Covariance (moment d ordre ) R ( t, t ) E( ( t ) ( t ) ) f (, t,, t ) d d La covariance "mesure" une dépendance linéaire entre les différentes valeurs d'un signal aléatoire. C ( t, t) E(( ( t) m( t))( ( t) m( t) ) Covariance croisée (mutuelle) entre deu processus C ( t, t ) E(( ( t ) m ( t ))( y( t ) m ( t ) ) y y NB: Ce sont des moyennes d ensemble, pas des moyennes temporelles! Hypothèse : une infinité d'epériences dans des conditions identiques 7 Moments d un processus stochastique Coefficient de corrélation du processus est défini par r ( t, t ) C ( t, t ) C ( t, t ) C ( t, t ) Variance ( t) C ( t, t) E(( ( t) m )( ( t) m ) ) 8 Lien entre covariance et corrélation croisées C ( t, t ) R ( t, t ) m ( t ) m ( t ) y y y NB: Les deu processus sont orthogonau si Ry ( t, t ) 0, t, t Les processus sont non-corrélés si Cy ( t, t) 0, t, t Cas scalaire et application à la variance ( t) R ( t) m ( t) 9
Moments d un processus stochastique Eemple La fonction X ( t) acos( 0t ), où est une v.a. distribuée uniformément entre 0 et π, a est également une v.a., indépendante de. rouvons la fonction d auto-corrélation R 9 R ( t, t) E a cos( ot ) a cos( ot ) E cos( ( )) cos( ) a o t t E ot ot or Ecos( ot ot ) cos( ot ot ) d 0 donc, R ( t, t) E a cos( o( t t)) NB: Constante positive Cas d un processus stochastique gaussien Un processus (t) est normal (gaussien) si les v.a. ( t), ( t),... ( t n ) sont conjointement normales. Cas scalaire Cas vectoriel ( m( t)) pn (, t) ep( ) ( t) ( t) pn (, t) ep n ( ) det C ( t) ( m ( t)) C ( t)( m ( t)) 0 0
Processus stationnaire Le comportement statistique d'une processus aléatoire n'est pas nécessairement identique à un temps t et t quelconque. Pour s'affranchir de cette difficulté, on définit la notion de stationnarité d'un signal Définition Au sens strict les densités de probabilité jointe de tout les v.a. sont invariantes dans le temps. f (, t,...,, t ) f (, t,...,, t ) n n n n pour tout réel et pour tout entier n Les caractéristiques statistiques sont indépendantes du temps. Cette hypothèse est difficile à vérifier dans le cas pratique Processus stationnaire Définition Au sens large, processus faiblement stationnaire (ordre ) E((t)) indépendante de t, variance indépendante de t. Dans le cas stationnaire, la fonction de covariance ne dépend plus que de l'intervalle entre les deu variables de temps considérées C ( t, t ) C ( t t ) C ( ), C ( ) C C, ij, ii, jj Stationnaire au sens strict Faiblement stationnaire Inverse n est pas vérifié sauf pour un processus gaussien Dans un contete applicatif, on se limite, généralement au cas de stationnarité d'ordre (au sens large). Invariance temporelle des corrélations et des covariances Pour un processus stochastique scalaire C ( )
Processus stationnaire Eemple: où a et b sont v. a. réelles. Vérifions si ce processus est stationnaire. a) Au sens large (SSL) ordre E ( t) E a cos( t) E b sin( t) 3 Soit la fonction ( t) a cos( t) bsin( t), o E a et E b sont des constantes 0 0 ( t) est stationnaire ( SSL) uniquement si E a 0 et E b 0. Au sens large (SSL) ordre E( t) ( t ) E ( a b )cos( o ) ( a b )cos( ot o ) absin( ot o ) donc R est indépendante de t ssi Eab 0, et E a E b, constante R ( ) cos( o ) Autrement dit, (t) est SSL seulement si a et b sont v. a. à moyenne nulle, non-corrélées et de même variance. o Processus stationnaire Eemple: b) Au sens stricte (SSS) Posons, 4 Vérifions si le processus est stationnaire. ( t ) a cos( t ) bsin( t ), 0 0 si t / 4, alors ( t ) ( t ) asin( t ) bcos( t ), 0 0 0 0 0 f (, t,...,, t ) f (, t,...,, t ) peut s ' écrire, n n n n f (, ; t, t ) f (, ;0, ) 0 0 Le membre de droite est la PDF conjointe f ab (a,b) car (0)=a et (Π/ω o )=b. Le membre de gauche est indépendant de t si la fonction 0 f (, ; t, t ) g g a b Il revient à dire que si (t) est stationnaire (SSS), alors f ab (a,b) est circulairement symétrique. Montrez que l inverse est aussi vrai.
Processus stationnaire Stationnarité : définition cas discret les propriètés statistiques sont indépendantes du temps ( n) ie, E[ ( n) ( n k ) ( n k )... ( n k )] est indépendant de n l0 l l lm autocorrelation E n n k R k (n) [ ( ) ( )] ( ) M 3 4 5 6 7 8 n f f f ( ) ( 4) (7) () () ( 4) ( ) (3) (6) 5 Ergodisme Dans la pratique, on ne dispose souvent que d'une réalisation du phénomène aléatoire. Il devient donc difficile de caractériser statistiquement le signal aléatoire. L'hypothèse d'ergodisme consiste à admettre que l'évolution d'un signal aléatoire au cours du temps apporte la même information qu'un ensemble de réalisations du processus à un temps fie t o. Si un signal est stationnaire et ergodique d ordre, alors, 6 E( t) lim ( t) dt E( t) ( t ) lim ( t) ( t ) dt, ; converge avec probabilité Attention: En pratique, pour un temps à durée finie, ces quantités sont elle-mêmes des v.a.! 3
Ergodisme Processus faiblement stationnaire ergodique Moyennes d ensemble = Moyennes temporelles m E( ( t)) lim ( t) dt N mˆ () i N i NB: On peut étendre la notion d ergodisme pour d autres types de moyennes arithmétiques, comme pour la corrélation et la covariance (convergence au moindres-carrés, i.e. erreur quadratique tend vers 0). 7 C ( ) E( ( t ) ( t) ) lim ( ( t ) m)( ( t) m) dt ˆ C ( ) ( ( i k) m )( ( i) m ) cas discret fini Nk N i Ergodisme Eemples Cas ergodique Fonction du résultat d'un jet de dé toutes les minutes. Le processus est stationnaire et ergodique Cas non-ergodique f( t, ) i i où l'epérience suit une loi uniforme entre 0 et. Le processus est stationnaire mais non ergodique i 8 4
Ergodisme Un signal aléatoire stationnaire discret est ergodique si les moments calculées à partir d une trajectoire (moyennes temporelles) et ceu calculés à partir de moyennes d ensemble pour un temps fie sont égau. 9 si seulement m( ) alors ergodicité d ' ordre si de plus E[ ( n) ( n k] R( k) lim ( n) ( n k) N n alors ergodicité d ' ordre En général, on se limite au moments d ordre deu (cas gaussien). Selon plusieurs auteurs, pour être ergodique, un signal aléatoire doit être stationnaire au sens large. Certains auteurs récemment ont démontré qu un signal aléatoire dans certains casparticuliers peut être ergodique sans être stationnaire. Il n y a pas de consensus dans la littérature sur cette question. Ici nous considérons qu en pratique un signal aléatoire ergodique est stationnaire au sens large. Stationnarité vs Ergodisme Attention: Stationnarité n'implique pas nécessairement ergodisme Ergodisme implique habituellement la stationnarité au sens faible L'ergodisme simplifie grandement l'analyse de signau aléatoires Ergodisme => Histogramme est une estimation de la PDF s.a. stationnaire Signal aléatoire s.a. ergodique 30 5
Processus stochastiques discrets Un processus stochastique discret X n = X(n) est une suite ou une séquence de v.a. La moyenne et la fonction d autocorrélation sont données par, Et la covariance par E{ X ( n)} n R ( n, n ) E{ X ( n) X ( n )} * C ( n, n ) R ( n, n ) * n n Comme auparavant, les notions de stationnarité et d ergodisme s applique ici aussi. Par eemple, X(n) est stationnaire (SSL) si, E { X ( n)}, a constant E X n k X n R k R R * * [ {( ) } {( ) }] ( ) k k i.e., R(n, n ) = R(n n ) = R*(n n )= R(k). 3 Processus stochastiques discrets La propriété semi-positive définie de la séquence d autocorrélation permet de l eprimer sous forme de matrice oeplitz Hermitienne comme suit: 3 R0 R R R R R R R R R R R R * 0 k * * * * k k 0 k R k 0,,,,. Dans le cas d un processus discret (SSL) X(n ) ayant une séquence d autocorrélation { R } k, provenant d un processus continu X(t ) échantillonné, on a les relations suivantes: X ( n) X ( n ) X ( t) ( t n ) R k R k E n n k R k XX * ( ) ( ) ( ) ( ) ( ) ( ) 6
Moments d un processus stochastique discret Ensemble fini de points n=[-n/,n/]: on doit se contenter d une estimation. N / Estimateur de la moyenne mˆ ( ) ( n) N nn/ Estimateurs de la Variance n n n m N N / var( ) ( ) [ ( ) ( ) ˆ ( )] nn/ Estimateurs de la fonction d ' autocorrélation N/k ˆ RSB( k) ( n k) ( n) sans biais N nn/ N/k ˆ RASB( k) ( n k) ( n) asymptotiquement sans biais N k nn/ 33 Moments d un processus stochastique discret Quelques propriétés de la fonction d autocorrélation R k R k symétrie * ( ) ( ), n 0 * a n R n n n0 a n0 a n ( ) ( ) ( ) 0, ( ), définie semi positive ( ou non négative) R (0) R ( k), k 0 34 7
Moments d un processus stochastique discret Pour le cas vectoriel, les matrices de corrélation et de covariance sont définies respectivement par, * R E - * - C E m m où ( n ), ( n ), ( n ),... ( n ) 0 0 0 0N m m ( n0 ), m ( n0 ), m ( n0 ),... m ( n0 N ) 35 Moments d un processus stochastique discret Cas vectoriel Lorsque le processus est stationnaire, la matrice de corrélation est de la forme, R R(0) R ( ) R ( ) R( N ) R () R (0) R ( ) R ( N ) R ( N ) R( N ) R( N 3) R(0) Pour un processus stationnaire, elle est donc de forme oeplitz. Pour le cas complee, elle est hermitienne, i.e., R R * 36 8
Moments d un processus stochastique discret Eemple Soit l estimé de la moyenne d un processus discret stationnaire. On s aperçoit que Et sa variance est, M m -M i m M -M M k mˆ M mˆ ( i), N M N i M est une v.a. dont la moyenne est donné par, E mˆ E, donc un estimé non biaisé M M * * ˆ ˆ m E m ( ( ) ) ( ( ) ) E i k N im km M M * * mˆ E ( ( ) )( ( ) ) i k N im km m C ( i k) C ( m)( ), 0 ssi, C ( m) 0. N N M M M M M M mˆ.. MS im k M m M m0 37 Moments d un processus stochastique discret Cas vectoriel Soit a un vecteur quelconque de N éléments, la version matricielle de, n 0 * a n R n n n0 a n0 a n ( ) ( ) ( ) 0, ( ), devient * a R a 0 Ce qui implique que la matrice inverse R - eiste presque toujours. Si nous appliquons l opération de renversement au vecteur, i.e., alors ( n ), ( n ),..., ( n ), ( n ) 0N 0N 0 0 R R R 38 9
Moments d un processus stochastique discret Cas vectoriel La matrice R de dimension N N peut être répartie de deu façons possibles, devient avec * * r(0) r RN r R RN ou r R N r r(0) r(0) R (0), r R (),..., R ( N ) r R ( N ),..., R () Ces équations sont très utiles pour déterminer la structure en treillis de filtres adaptatifs. 39 Moments d un processus stochastique Cas vectoriel De façon similaire, les matrices de corrélation et de covariance croisées (conjointes) sont données par, * R E y y et C E m m * y - y - y avec y y( n ), y( n ), y( n ),... y( n ) 0 0 0 0N my my( n0), my( n0 ), my( n0),... my( n0 N ) Pour le cas de processus stationnaire, ces matrices ont habituellement une structure oeplitz (tous les éléments de chacune des diagonales sont égau). Si les matrices sont carrés, elles seront oeplitz mais pas nécessairement la symétrie hermitienne (éléments sous la diagonale principale n égalent pas les éléments complees conjugués au dessus de la diagonale principale). Important: Ces deu matrices ne sont pas nécessairement carrés ni hermitienne! Cependant la matrice de corrélation conjointe a la structure oeplitz. 40 0
Moments d un processus stochastique discret Quelques propriétés de la fonction de corrélation croisée: Les fonctions de corrélation et de covariance croisées n ont pas de propriétés spéciales de symétrie, sauf si on inverse et y dans le cas complee. 4 R k R k R k R k * * y ( ) y ( ), mais y ( ) y ( ) C k C k C k C k * * y ( ) y ( ), mais y ( ) y( ) Par ailleurs, la magnitude de la fonction de corrélation croisée est bornée par la moyenne géométrique et la moyenne arithmétique des fonctions d autocorrélations. / R ( k) R (0) R (0) y yy Ry ( k) R (0) Ryy (0) Signal aléatoire :eemple de corrélation Réalisation de deu séquences aléatoires a) [n]; b) [n] versus [n+5]; c) la fonction d'autocovariance. 4
Moments d un processus stochastique Moyenne, variance, écart type, histogramme d un processus stochastique stationnaire ergodique: une seule trajectoire suffit. 3 50 45 Écart type Moyenne X X 0 - - -3 0 500 000 40 35 30 5 0 5 0 5 0-4 - 0 4 X X 43 Densité Spectrale de Puissance Comment définir la densité spectrale de puissance du procesus (t)? A priori on serait tenter de prendre la forme suivante: ft () t e dt Cependant, c est incorrect car cette quantité est elle-même aléatoire et dépend de la trajectoire du processus aléatoire. De plus, cette quantité n a pas de sens mathématique car (t) ne tend pas vers 0 si t tend vers. En fait, un signal aléatoire ne possède pas de transformée de Fourier. La F d une trajectoire (réalisation) du signal aléatoire est elle-même une quantité aléatoire. Cependant, on peut associer au processus stochastique une notion de densité spectrale de puissance (DSP). Pour ce faire, on doit définir une «transformée de Fourier moyenne» et donc de bande passante moyenne du processus. 44
Densité Spectrale de Puissance Une manière de faire est d utiliser la forme suivant. Notez que l opérateur d espérance mathématique est nécessaire. A j ft S( f ) lim E ( t) e dt A A A Le terme /A évite la divergence de l intégrale. L opérateur E reflète le caractère moyen de cette définition. Important: Mauvais, car l écart-type est de l ordre de S (f) si A est grand. hèoreme de Einstein-Wiener-Kintchine La densité spectrale de puissance S XX (ω) d'un processus aléatoire stationnaire s'obtient comme la transformée de Fourier de sa fonction d'auto-corrélation. j d d j k S( ) R( ) e d, S( ) R ( k) e k 45 Densité Spectrale de Puissance Si le signal est ergodique, l estimé de la fonction d'auto-corrélation peut être obtenu à partir d'une seule réalisation du signal. De plus, la variance d un processus centré peut s eprimer par, R (0) S ( ) d, d d d R (0) S ( ) d NB: L intégrale de la densité spectrale de puissance (DSP) correspond à de la puissance (watt). Décomposition de Wold De façon générale, une DSP peut s eprimer par composants, S S P ' ( ) ( ) i ( i ) i Une partie régulière (continue) et une partie singulière (impulsions périodiques) 46 3
Densité Spectrale de Puissance Quelques propriétés: En effet, Par ailleurs, jk * jk jk ( ) (0) ( ) ( ) (0) Re ( ) k k k S R R k e R k e R R k e S ( ) est non négatif, i. e. S ( ) 0 S ( ), est réel Cette propriété vient du fait que, Et S ( ) lim E X ( ), où X ( ) ( n) e N N N n0 jn k E X ( ) R ( n k) e R ( k) e N N N ( ) N N N j nk jk n0 k0 kn La quantité E X N se nomme le périodogramme. On verra plus en détails ses propriétés à la 3 e semaine. 47 Densité Spectrale de Puissance Processus ayant une fonction de corrélation de type eponentielle Un grand nombre de processus aléatoires réguliers possèdent une fonction de corrélation de type eponentielle. Les processus ayant cette fonction de corrélation peuvent s eprimer sous une forme récursive (équations de différences ou différentielles). Ils sont des processus dénommés tout-pôles et nous verrons plus tard qu ils correspondent à des modèles dits auto-régressifs (AR). Leur fonction de corrélation est donnée par, k, k 0 j R( k), où e, * k ( ), k 0 Pour cette famille de processus, la DSP s eprime par, S ( ) ( ) cos( ) 48 4
Densité Spectrale de Puissance Processus ayant une fonction de corrélation de type eponentielle Pour le cas où le processus est réel, nous avons, R k R k k ( ) ( ), et la DSP devient, S ( ) ( ) cos( ) Notez que la fonction de corrélation est strictement positive lorsque, 49 Densité Spectrale de Puissance Eemple: reprenons le processus stochastique avec R k k ( ), n n n n n n S () z z z z n n0 n Le premier terme de droite correspond à une série géométrique. On sait que n k aq k n a q, q q Par substitution (attention au domaines de validité!) on obtient pour n positif ou = 0 z z, z ou z n n n n0 n0 z 50 5
Densité Spectrale de Puissance Pour n négatif, le deuième terme s écrit, n n 0 n z z z z, z / n n n Pour ce domaine de validité, ceci est équivalent à, n 0 n n z z z zz, z / z n n0 La DSP complee devient alors, ( ) S ( z), z z z NB: La transformée en z de R eiste seulement si 5 Densité Spectrale de Puissance Pour un processus réel, la DSP est aussi une fonction paire en ω, i.e., La DSP croisée entre (n) et y(n) s eprime par, Où Quelques propriétés: 5 ( ) S ( ) Et une fonction périodique si le processus est discret. S S jk Ry ( k) Sy ( ) e d j k Sy ( ) Ry ( k) e k Le spectre croisé mesure la corrélation entre les processus à une fréquence donnée ω o ( ) S ( ) S S et S S si les processus sont réels * * y ( ) y ( ), y ( ) y ( ). 6
Densité Spectrale de Puissance La fonction de cohérence est définie par le spectre normalisé y ( ) S S y ( ) ( ) S ( ) yy y Sy ( ) ( ) S ( ) S ( ) yy Elle possède la propriété suivante, 0 ( ) y 53 Densité Spectrale de Puissance La densité spectrale complee dans le domaine de la transformée en z est également très importante. k S ( z) R ( k) z La DSP est 54 S () z Son inverse est donnée par, k évalué sur le cercle unitaire. j k R ( k) S( z) z dz C Où le contour d intégration C se prend dans le sens antihoraire et dans la région de convergence. Utilisant la symétrie complee conjuguée de la fonction de corrélation, on peut montrer que S z S z et S z S z pour le cas réel * * ( ) (/ ), ( ) ( ) NB: En présence de singularité, ni la transformée en z, ni son cas particulier, la transformée de Fourier, n eistent à strictement parler. 7
Densité Spectrale de Puissance En présence de singularité, il faut alors faire appel à la décomposition de Wold et considérer la partie régulière (continue) du spectre. Cette partie peut se mettre pour la plupart du temps sous la forme d un polynôme rationnel, Ce qui implique, que pour chaque pôle ou zéro qui se trouve à se trouve aussi un pôle ou un zéro correspondant à En d autres termes, les pôles et les zéros se produisent à des locations complees conjuguées dans le plan du cercle unitaire complee. De plus, pour un polynôme réel, les racines se trouvent en paires. Donc pour la DSP complee d un processus réel, nous avons 4 possibilités: 55 S S P ' ( ) ( ) i ( i ) i * zoz zoz / z * o j o zo e z / z z / z * * o o o o z o j o z e o Densité Spectrale de Puissance Voici graphiquement, les 4 cas possibles de positions des racines d une DSP complee (les sont des pôles, les ronds=zéros) /r /r r r Processus complee Processus réel Utilisant la définition de la DSP complee et sachant que R (n) est non-causal, on peut montrer que la région de convergence de S (z) est un anneau limité par, rr z, où rr r 56 R 8
Densité Spectrale de Puissance La densité spectrale croisée complee est définie de façon similaire La DSP est Sy () z Son inverse est donnée par, On peut montrer que S ( z) R ( k) z y k y évalué sur le cercle unitaire. j k k Ry ( k) Sy ( z) z dz C S z S z et S z S z pour le cas réel * * y ( ) y(/ ), y( ) y( ) 57 Densité Spectrale de Puissance Eemples Réalisation de deu signau aléatoires a) le signal; b) la fonction d'autocovariance; et c) la densité spectrale de puissance 58 9
Échantillonnage de signau aléatoires Soit un processus aléatoire continu (t) que nous allons échantillonner pour obtenir le processus (n) où est la période d échantillonnage. Si la bande passante de la DSP du processus (t) est limitée [-B, B], et si < /B, alors le théorème de Nyquist-Shannon est vérifié, ( t n ) sin ( t n ) ( t) lim n n sinc M. S. k n ( t n ) La fonction de corrélation du processus échantillonné est, 59 R k E n n k R k * ( ) ( ) ( ) ( ) La fonction de corrélation du processus continu peut être reconstruite selon le théorème de Nyquist, k R ( ) lim R ( k )sinc M. S. k k Échantillonnage de signau aléatoires La transformée de Fourier de la séquence des coefficients de corrélation du processus discret est donnée par et définit la densité spectrale de puissance du processus stochastique discret X(n). Puisqu il s agit d un signal continu échantillonné, ayant une bande passante de B à +B avec Alors, SXX ( ) S XX j ( ) R e 0, k B. est une fonction périodique, k S ( ) S ( / ) XX XX 60 30
Échantillonnage de signau aléatoires Processus continu à DSP borné Processus continu échantillonné Processus discret 6 Bruit blanc Définition cas continu: On appelle "bruit blanc" un processus aléatoire (t) centré (à moyenne nulle), stationnaire d'ordre, dont la DSP est constante en fréquence. Dans le cas continu, cela veut dire que le processus n est pas limité en fréquence et donc que sa puissance moyenne tend vers l infinie! Il s agit donc d une construction mathématique qui n a pas d eistence propre en pratique. Sa fonction de covariance est donnée par: C ( ) E(( ( t ) m )( ( t) m )) R ( ) N ( ) NB: R(0) n est pas vraiment une variance proprement dit à cause de la singularité. Sa DSP est donnée par: ( ) S N0 Interprétation : toutes les valeurs entre instants sont indépendantes, peu importe la distance entre eu. Un bruit blanc n a aucune mémoire! Application : modèle par ecellence d un bruit sans mémoire. La sortie d un système ecité par un bruit blanc donne habituellement un bruit coloré à la sortie. Attention: Un bruit blanc n est pas nécessairement gaussien! 0 6 3
Bruit blanc Définition cas discret: On considère d abord un bruit blanc continu, avec une DSP constante = N 0, mais limitée en fréquence entre B et +B. La fonction de covariance devient donc, C (τ)= E(((t+τ)- m )((t)- m ))= R (τ)= BN sinc Bτ 63 Et pour la DSP, on a, S ( ) N, B 0 0, ailleurs Donc, une suite (ou séquence) blanche aléatoire est un processus stochastique discret correspondant au cas échantillonné et limité en fréquence avec =/B, stationnaire SSL, tel que, BN0 pour k 0 R ( k) C( k) 0 pour k,,... d S ( ) o Processus à bande passante étroite Soit un processus réel à bande passante qui s eprime par la forme canonique ( t) cos( t) sin( t), B P 0 Q 0 Où P et Q sont des processus à bande limitée [-B,B] et la fréquence centrale f o est supposée >> B. Associé à ce processus à bande passante, on peut associer le processus complee (enveloppe) et sa fréquence porteuse f 0 w( t) P( t) jq( t) i Donc, f0t i 0 0 f t * i ( ) Re ( ) ( ) ( ) f t B t w t e w t e w t e On peut calculer sa fonction d autocorrélation, qui donne, R ( ) E ( t) ( t ) B B B 64 i f0 i f0 t Rww e E w t w t e Re ( ) Re ( ) ( ) 3
Processus à bande passante étroite Pour que B (t) soit stationnaire au sens large, il est nécessaire et suffisant que le e terme à droite =0, car il est le seul qui dépend de t, donc il faut que, E w( t) w( t ) 0 Satisfaire cette condition permet d eprimer la fonction de corrélation du signal à bande étroite réel en fonction des parties réelles et imaginaires de la fonction d autocorrélation complee de l enveloppe. On peut alors trouver que, * Rww ( ) E w( t) w ( t ) R ( ) j R ( ) P P Q Donc, R ( ) R ( ) Re R ( ) P Q ww et R ( ) R ( ) Im R ( ) P Q Q P ww Et la fonction de corrélation du processus réel à bande passante devient, R ( ) R ( )cos( ) R ( )sin( ) Re R ( ) cos( ) Im R ( ) sin( ) B P o P Q o ww o ww o 65 ransformée de Karhunen-Loève Représentation en série orthonormée d un processus stochastique Étant donné un processus stochastique quelconque. Est-ce que l information qu il contient peut être représentée en terme d un ensemble de v.a. dont l importance décroit selon un arrangement quelconque? Autrement dit, pouvons-nous décomposer le processus en une combinaison de fonctions de bases orthonormales? Il est souvent utile en traitement du signal d avoir une base de fonctions pour laquelle les composantes du signal sont également orthogonales. Lorsque le processus est stationnaire et que le temps d observation du signal est long par rapport à la durée non-négligeable de la fonction de corrélation, alors les eponentielles complees de la DF fournissent une telle base. Mais il est possible de trouver une telle epansion en série pour un temps d observation court et pour des signau non-stationnaires. (Karhunen-Loève) D autres formes de décompositions eistent, telles celles de Haar, Hadamar, etc. 66 33
ransformée de Karhunene-Loève Représentation en série orthonormée d un processus stochastique Ici nous allons étudier une transformation qui permet de décomposer un processus aléatoire en composant ortho-normau et avec des coefficients non-corrélés or statistiquement orthogonal. Soit une séquence aléatoire, représentée par une combinaison linéaire de fonctions orthonormées, N N * ( ) ii ( ), i ( ) i ( ), i n0 n c n où c n n L epansion est orthonormée si, N n0 *, i ( n) j( n) 0 i j i j 67 ransformée de Karhunene-Loève Représentation en série orthonormée d un processus stochastique On désire trouver les fonctions de base tel que, E c c * i j j ij i.e., si (n) est centré, les variables aléatoires c i sont non-corrélées. Sous forme matricielle, nous aurons la transformée de Karhunene-Loève et son inverse * = c, c = = * E c c diag I * i j ii 68 34
ransformée de Karhunene-Loève Représentation en série orthonormée d un processus stochastique La matrice de corrélation des coefficients aléatoires c i s eprime par, i.e., si (n) est centré, les variables aléatoires c i sont non-corrélées. Sous forme matricielle, nous aurons, * R diag ii 69 * * * * E cc E R On voit que nous avons la même forme que la décomposition en vecteur propres et en valeurs propres de la matrice de corrélation. La transformée de KL est unique et l ensemble des fonctions orthonormées correspond au vecteurs propres de la matrice de corrélation. E et ii R i i i ou N R ( n k) ( k) ( n) i i i k0 ransformée de Karhunene-Loève Epansion d un processus aléatoire discret en un ensemble de fonctions orthonormales. AENION: ce n est pas la décomposition d une seule trajectoire, mais bien celle du processus stochastique! 70 35
ransformée de Karhunene-Loève Les quatre premiers vecteurs propres du processus stochastique ayant pour fonction d auto-corrélation R ( ) 0.5 l l 7 ransformée de Karhunene-Loève Représentation en série orthonormée d un processus stochastique Une utilisation importante de la KL est lorsque nous voulons trouver une représentation optimale tronquée utilisant moins de N fonctions orthonormales. Une raison courante arrive lorsque nous avons un signal entaché de bruit additif et que vous voulons séparer le signal du bruit. En utilisant une version tronquée du signal, une partie importante du bruit est éliminée tout en conservant intact l essentiel du signal. Cette approche est utilisée dans de nombreuses situations, également en analyse spectrale pour la séparation de signau. Si les valeurs propres sont classées dans l ordre décroissant, i.e., 7... 3 N Alors l erreur de l approimation de (n) par une somme partielle de M fonctions ortho-normales, sera minimisée en moyenne quadratique M ˆ( n) c ( n), où M N i i i 36
ransformée de Karhunene-Loève Représentation en série orthonormée d un processus stochastique L erreur quadratique moyenne est, N N ( ) ( ) ˆ( ) n0 n0 E e n E n n i En effet, puisque, M ( n) c ( n) c ( n) ˆ ( n) i i i i i i M N N N Et * * * E e e E ci i c jj im jm N im N N N * * i i i i im im im E e e E c R 73 ransformée de Karhunene-Loève Représentation en série orthonormée d un processus stochastique Pour minimiser l erreur quadratique moyenne, on peut montrer, utilisant les multiplicateurs de Lagrange, que nous devons trouver le zéro du gradient de l équation suivante, Ce qui donne, 74 N N * * i R i i i i im im L ( ) L R 0, i M, M,..., N i i i i Ainsi, l ensemble optimal de fonctions de base pour une représentation tronquée d un signal aléatoire est constitué des vecteurs propres de R correspondant au M plus larges valeurs propres les plus grandes. L utilisation des vecteurs propres de R pour caractériser et séparer les portions signal/bruit constitue l une des pierres angulaires du traitement statistique des signau. 37
Processus stochastique double On appelle un processus stochastique double ou processus composé un processus dont la densité de probabilité est-elle-même aléatoire. Par eemple, un processus où la moyenne ou la variance est une variable aléatoire. Quelques eemples: ) Un processus de Poisson où λ (intensité) est une v.a. ) Un processus de Markov caché 3) Un processus ponctuel aléatoire du type, ( t) A ( t t ) i Où les t i et les A i suivent deu distributions différentes. Ce type de processus décrit par eemple la sortie d un photomultiplicateur. i i 75 Processus périodiques et quasi-périodiques Un processus aléatoire est dit périodique de période P si la PDF vérifie f (,,, t, t, t ) f (,,, t k P, t k P,, t k P) X n n X n n n Ceci implique que les moments statistiques sont également périodiques E{ X ( n)} E{ X ( n kp)} R( n, n ) E{ X ( n ) X ( n )} E{ X ( n k P) X ( n k P)} * * R( n, n ) R( n k P, n k P) Ces epressions montrent que la matrice de corrélation d un processus périodique est circulaire dont les éléments d une ligne correspondent à la rotation de la ligne précédente. Or toute matrice circulaire accepte comme vecteurs propres, les vecteurs de la DF. Si le processus est stationnaire SSL et périodique, alors R( l) R( l k P), C( l) C( l k P) 76 38
Processus périodiques et quasi-périodiques Un processus est dit périodique si /,ensemble des nombres rationels 0 Dans le cas contraire, le processus ne répète jamais eactement la même période. Pourtant sa forme semble périodique. On donne le nom quasi-périodique à ce type de signau. Important: On peut montrer que: La transformée de Karhunen-Loève discrète pour la DSP d un processus stationnaire périodique est identique à la transformée de Fourier discrète (DF) de la fonction de corrélation. Si la DF de la fonction de corrélation d un processus stochastique quelconque est calculée pour un intervalle de temps suffisamment long, le résultat est quasi-identique en pratique à la KL discrète. (En effet lorsque le délai est suffisamment grand, la valeur des coefficients de corrélation tend vers 0 (ou les coefficients de Fourier deviennent non-corrélés). 77 39