Systèmes linéaires, Signaux aléatoires, bruits, statistique et probabilités

Signaux et graphes : terminologie Systèmes linéaires, Signaux aléatoires, bruits, statistique et probabilités Cours signaux et systèmes M1 physique Un signal décrit la relation entre un paramètre et un autre paramètre. Par exemple en électronique, une tension électrique variant dans le temps. Comme chaque paramètre peut être considéré comme continu, nous appelons cela un signal continu. Par opposition, passez ce même signal dans un échantillonneur convertisseur analogique-numérique. Chaque paramètre (la tension et le temps) sont alors quantifiés, c est à dire qu ils prennent des valeurs discrètes discontinues. Des signaux quantifiés de la sorte sont appelés signaux discrets ou signaux numériques. Nous utiliserons également l anglicisme «signal digital» pour décrire des signaux dont les deux paramètres sont quantifiés. La plus part du temps, les signaux continus sont présents dans la nature et les signaux discrets sont ceux utilisés par les ordinateurs. 14 Quelques exemples de signaux périodiques Exemple de signal continu aléatoire Sinusoïde Signal continu audio issu d'un microphone par exemple : Rectangle périodique Triangle périodique Dent de scie 15 16

Échantillonnage en temps Échantillonneur-Bloqueur d'ordre zéro (Sample and Hold ou S/H) Exemple de signaux discrets numériques ou signaux «digitaux» TFD -1 Troncature, décalage, fenêtrage 17 18 Signaux et Systèmes Système: Un processus qui produit un signal de sortie en réponse à un signal d entrée. Systèmes linéaires Système continu, système discret: 20

Signaux et Systèmes Signaux et Systèmes Systèmes linéaires: Homogénéité: Additivé: Systèmes linéaires statiques: Homogénéité: Additivé: Invariance par décalage Systèmes invariant en temps (ou statique) : Invariance par décalage 21 22 Réponse statique linéaire: Linéarité statique Exemples de systèmes linéaires et nonlinéaires Linéaires Propagation d ondes telles que les ondes sonores ou électromagnétiques. Circuits électriques RLC, amplis-op et filtres. Systèmes mécaniques en mouvement comprenant masses, ressorts et amortisseurs. Systèmes décrits par des équations différentielles Non-linéaires Système non-linéaire statiquement: la puissance en fonction de la tension dans une résistance P=V 2 R; l énergie rayonnée en fonction de la température R=kT 4 ; l atténuation en fonction de l épaisseur I = e -αx ; etc. Systèmes sans fidélité sinusoïdale: tels que redresseurs, convertisseurs signal sinus. signal carré, etc.. Modifications de signaux tel que échos, résonances et adoucissement d image. Saturation et autres distorsions électronique courantes. Réponse statique non linéaire: Réponse non linéaire et non invariante en temps: 23 Gains statiques multiplication par une constantes. Système unité, système nul. Différentiation, intégration, différence première et somme pour les signaux digitaux. Petites perturbations de systèmes non-linéaires, autour d un point d équilibre. Convolution. Systèmes récursifs. Multiplication d un signal par un autre, modulation d amplitude et controll de gain automatique. Phénomènes d hystérésis, magnétique, stress mécanique. Systèmes avec seuil. 24

Propriétés des systèmes linéaires Addition: Multiplication: Linéaire Tout système composé de systèmes linéaires et d addition de signaux est linéaire. Non-Linéaire 25 Propriétés des systèmes linéaires Commutativité: 26 Propriétés des systèmes linéaires Superposition: 27 Propriétés des systèmes linéaires Superposition décomposition et synthèse décomposition synthèse 28

Décompositions Décomposition indicielle Impulsionnelle Indicielle Symétrique/ Antisymétrique Entrelacée Indicielle x x paire impaire x[n] + x[n n] [n] = 2 x[n] x[n n] [n] = 2 29 30 Décomposition de Fourier Domaine Temporel Domaine Fréquentiel Domaine temporel Domaine fréquentiel 31 Amplitude en fonction du temps (ou d une autre variable) Amplitude en fonction de la fréquence Phase en fonction de la fréquence ou partie Réelle et partie Imaginaire 32

Décomposition en ondelettes Décomposition en ondelettes Base de fonctions localisées en temps, et d échelle variable. Meyer Morlet «chapeau mexicain» 1/1 Dilatation et décalage de la fonction «mère» par la fonction «père» (Morlet): 1/2 33 1/4 1/8 34 Décomposition en ondelettes Décomposition en ondelettes La décomposition en ondelettes permet une analyse à la fois en temps et en fréquence. La base de fonction de décomposition est en effet localisé à la fois en temps et en échelle (ou fréquence). Echelle 35 Temps 36

Transformée de Fourier & Systèmes Linéaires Un système linéaire va être caractérisé par sa réponse impulsionnelle h(t) La transformée de Fourier de h(t) donne la réponse en fréquence du système H(f) x(t) h(t) y(t)=x(t)*h(t) Convolution Boucle ouverte: Systèmes Asservis e(t) s(t) F(p) pas de contrôle de l'évolution du système. Contrôle Systèmes Asservis en boucle fermée: TF TF TF X(f) H(f) Y(f)=X(f). H(f) L inverse est aussi vrai 37 comparateur + erreur consigne - correcteur actionneur processus transmetteur capteur sortie 38 Introduction au traitement des signaux aléatoires Description de Processus Aléatoires Introduction Processus aléatoire Corrélation, autocorrélation... Stationnarité, ergodicité Densité spectrale 40

Signaux aléatoires Signaux aléatoires : Bruit électronique, le signal de parole... Signal déterministe : Quand on connaît le passé, la probabilité d apparition d un niveau donné à l instant t est soit nulle, soit certaine (=1). L information est liée à un certain degré d incertitude, d aléatoire. Signaux aléatoires Paramètres statistiques d un signal aléatoire: Moyenne, variance, autocorrélation, moments,... Ces paramètres peuvent être eux mêmes aléatoires (non stationnaires) Exemple: le signal de parole Signal déterministe formule définissant parfaitement le signal. Signal aléatoire paramètres statistiques définissant les POSSIBILITES d évolution du signal. Valeur future exacte du signal 41 42 Signaux aléatoires Signaux aléatoires L «astuce» du temps différé: On enregistre et on rejoue le signal. Le signal n est plus aléatoire! Il est parfaitement connu. Oui, mais... Traitement en temps réel, futur inconnu Généraliser un traitement à des signaux futurs «presque» identiques à ceux que l on possède déjà Le passé ne permet pas de déterminer complètement l avenir. 43 Signal aléatoire Bruit Exemple : Transmettre la parole sur des câbles d alimentation secteur 50 Hz Le signal important est la parole, c est un signal aléatoire Le bruit gênant est déterministe, c est une sinusoïde à 50 Hz Exemple : Réception d un signal numérique au bout d une ligne de transmission Le signal numérique est aléatoire Le bruit sur la ligne de transmission est aussi aléatoire 44

Processus aléatoire ou stochastique Processus stochastique = famille de fonction aléatoire X(t,u) t est une variable réelle (par exemple le temps) u est un ensemble d événements t et u peuvent être des variables continues ou discrètes X(t,u) peut prendre des valeurs continues ou discrètes, scalaires ou vectorielles. Exemple 1 Bruit thermique dans un ensemble de résistances R={R i, i = 1,N} de même valeur ohmique R 1 R 2 R 3 X(t,R 1 ) X(t,R 2 ) X(t,R 3 ) tk t t t 45 t est une variable continue, R i est une variable discrète X(t,R i ) est une représentation particulière du processus X(t,R) pour l événement «R i a été choisie» 46 Exemple 1 (suite) Pour un instant t k donné, X(t k,r) est une variable aléatoire Le processus aléatoire prend des valeurs continues, scalaires et réelles. Si les signaux étaient numérisés, la variable t deviendrait discrète, ainsi que les valeurs prises par le processus (à cause de la quantification du CAN) Une réalisation particulière X(t,R i ) n est pas un signal déterministe. Tous les signaux sont a priori différents, mais le phénomène physique à l origine du signal est le même pour toutes les résistances Trouver des lois statistiques communes Exemple 2 Signal sinusoïdal à phase aléatoire phase u variable aléatoire uniformément répartie entre 0 et 2π X(t,u) t 47 u est à valeur réelle continue X(t,u) est à valeur continue, scalaire et réelle Un signal particulier X(t,u i ) est déterministe. 48

Exemple 2 (suite) Densité de probabilité de la phase u Espérance mathématique : Exemple 2 (suite) Pour un instant donné t k, calcul des moments statistiques de la variable aléatoire X(t k, u) Toutes les valeurs de la phase u sont équiprobables Pour un instant donné t k, calcul des moments statistiques de la variable aléatoire X(t k, u) 49 50 Exemple 2 (suite) Pour un instant donné t k, calcul des moments statistiques de la variable aléatoire X(t k, u) Variance : Exemple 2 (suite) Pour une valeur particulière u i (événement) de la phase, on peut calculer des paramètres temporels du signal X(t, u i ) Moyenne temporelle Variance temporelle, carré de la valeur efficace 51 Remarque: On obtient ici des valeurs identiques à l espérance et à la variance statistiques 52

Rapport entre amplitude et écart type Analyse statistique et analyse probabiliste Attention! Bien distinguer entre grandeur statistique (propriété du signal) et grandeur probabiliste (propriété du processus sous-jacent). 53 La «moyenne»et la «variance»peuvent signifier des choses différentes, soit la moyenne et la variance au sens statistique du signal, soit la moyenne et la variance au sens probabiliste du processus, les premières n étant qu une réalisation et qu une mesure des secondes. Elles sont entachées d une erreur statistique, typiquement: 54 Caractérisation d un processus aléatoire. Lois de probabilité. Statistiques du premier ordre Fonction de répartition et densité de probabilité pour un t k donné Processus non-stationnaires L espérance mathématique (n=1) et les moments d ordre supérieur sont définis par : Remarque: Les moments peuvent dépendre de t k 55 La moyenne et l'écart type changent. L'écart type reste constant (égal à 1) et la moyenne change de 0 à 2. 56

Histogrammes et densité de probabilité Histogramme et densité de probabilité Histogramme dpp: distribution de poids de probabilité Par construction: N = M 1 H i i= 0 57 Rapports entre l histogramme, la distribution des poids de probabilité et la fonction de densité de probabilité. en français en anglais dpp pmf fdp pdf fdp: fonction de densité de probabilité 58 Exemple: Processus gaussien Un processus, ou signal, ou bruit, gaussien possède une densité de probabilité définie par une loi normale m étant la moyenne et σ "l écart-type" ou "la déviation standard" Exemple: processus gaussien La densité de probabilité représente la statistique des amplitudes du signal à un instant donné, pour l ensemble des réalisations possibles du processus. L allure temporelle des réalisations d un processus gaussien ne ressemble pas forcément à un bruit comme ci dessous. σ=1 m=0 59 60

Exemple: signal sinusoïdal à phase aléatoire La phase ayant une densité de probabilité indépendante du temps, les statistiques ne dépendent pas de l instant t k. Par commodité on se place à t k = 0 Exemple: signal sinusoïdal à phase aléatoire (suite) Fonction de répartition : A t x 1 La densité de probabilité s obtient par dérivation de la fonction de répartition On cherche la fonction de répartition : 61 62 Exemple: signal sinusoïdal à phase aléatoire (suite) Fonction de répartition : Exemple: signal sinusoïdal à phase aléatoire (suite) Densité de probabilité : 1 0.8 0.6 -A 0.4 0.2 0 0 A 63 -A A 64

Caractérisation des processus aléatoires Processus stationnaires et non-stationnaires Statistique du deuxième ordre Relation entre les statistiques prises à deux instants t 1 et t 2 différents On considère deux variables aléatoires Fonction de répartition conjointe Densité de probabilité Si les deux variables aléatoires sont indépendantes (Ce qui se passe à t 1 ne dépend pas de ce qui se passe à t 2 ) 65 La moyenne et l'écart type changent. L'écart type reste constant (égal à 1) et la moyenne change de 0 à 2. 66 Corrélation, Autocorrélation... Corrélation, autocorrélation... Signaux à énergie finie Signaux déterministes Signaux à énergie finie Signaux à puissance finie Mesure de ressemblance Autocorrélation temporelle Energie d un signal continu ou discret Signaux transitoires Signaux de durée finie Existence de la transformée de Fourier Processus aléatoires Statistique du second ordre Caractérisation fréquentielle des signaux aléatoires (Densité spectrale) Autocorrélation statistique 67 En pratique, tous les signaux réels sont à énergie finie. Exemples: 68

Corrélation, autocorrélation... Autocorrélation temporelle Signaux à énergie finie Corrélation, autocorrélation... Signaux à énergie finie L autocorrélation possède la propriétés de symétrie hermitique Si le signal est réel, l autocorrélation est donc réelle est paire. Si x(t) est réel, l autocorrélation est réelle Dimension V²/Hz ou A²/Hz Analogie avec la convolution C est un produit scalaire, projection de x*(t) sur x(t) décalé de τ Pour τ = 0, on retrouve l énergie du signal: R xx (0) = E x R xx (τ) est maximale en τ =0. Rien ne ressemble plus au signal que lui-même. 69 Exemple -T/2 1 T/2 t -T T T τ 70 Corrélation, autocorrélation... Signaux à énergie finie Corrélation, autocorrélation... Signaux à énergie finie Intercorrélation Symétrie hermitique (Attention à l inversion de x et y dans le deuxième membre des équations) Mesure du degré de ressemblance entre deux signaux en fonction d un décalage Projection de x(t) sur y(t+τ), produit scalaire 71 Exemple d intercorrélation x(t) 1 -T/2 T/2-3T/2 -T/2 t T -T R xy (τ) 1 y(t) T/2 3T/2 τ -T Le signal x(t) ressemble le plus à y(t) aux instants -T/2 et T/2. En τ = 0, x(t) ne ressemble pas du tout à y(t) (ils sont orthogonaux, produit scalaire nul). -1 T t 72

Corrélation, autocorrélation... Signaux à puissance finie Approximation de signaux réels Exemples Signal continu x(t) = A Signal sinusoïdal x(t) = A sin(ω t ) Signaux aléatoires, signaux périodiques, impulsion de Dirac, échelon unité... Puissance finie Corrélation, autocorrélation... Signaux à puissance finie Autocorrélation temporelle, intercorrélation Problème de convergence des intégrales et des sommes Notation: Signal à énergie finie = puissance nulle Signal à puissance finie = énergie infinie 73 Dimensions: V² ou A² Autocorrélation: y(t) = x(t) dans les formules précédentes 74 Corrélation, autocorrélation... Corrélation, autocorrélation... Signaux à puissance finie Processus aléatoires Autocorrélation des signaux périodiques Le calcul sur une seule période suffit On peut calculer l autocorrélation temporelle sur une réalisation X(t,u i ) d un processus aléatoire. On se retrouve alors dans le cas précédent. CE N EST PAS CE QUI NOUS INTERESSE ICI!!! L autocorrélation d un signal périodique est elle même périodique. Par définition, le signal périodique ressemble parfaitement à lui même, décalé d une ou plusieurs périodes. 75 On cherche une définition au sens statistique. Observation d un processus aléatoire X(t,u) à deux instants t 1 et t 2. Statistique du second ordre, moment conjoint Autocorrélation statistique 76

Moments du 1 er et du 2 nd ordre Corrélation, autocorrélation... Processus aléatoires Moments du 1 er ordre et du 2 nd ordre : Définitions: 1. La moyenne d un processus aléatoire est l espérance mathématique de la variable X(t). Elle dépend de l instant t. On la note : Autocorrélation dans le cas d un processus réel continu : 2. La fonction d autocovariance (autocorrélation de variables centrées) est la covariance entre les variables aléatoires X(t 1 ) et X(t 2 ) : Fonction d autocovariance Moment conjoint des variables aléatoires centrées 3. La fonction de intercovariance est la covariance entre les variables aléatoires X(t 1 ) et Y(t 2 ) : 77 Quand t 1 = t 2, on obtient la variance du processus aléatoire en t 1. 78 Remarques: Corrélation, autocorrélation... Processus aléatoires Corrélation, autocorrélation... Processus aléatoires Exemple Signal sinusoïdal à phase aléatoire 1) On obtient des fonctions bidimensionnelles des variables t 1 et t 2. Dans le cas d un processus échantillonné discret, on obtiendra des matrices d autocorrélation et d autocovariance. 2) Si ces fonctions ne dépendent que de l écart temporel t 1 t 2, les fonctions d'autocorrélation et d'autocovariance sont monodimensionnelles et dépendent du temps τ = t 1 t 2. 79 u étant une variable aléatoire uniformément répartie, la moyenne du premier terme est nulle. (Voir la densité de probabilité du signal sinusoïdal à phase aléatoire) On obtient : C est une fonction périodique, ne dépendant que de l écart t 1 t 2. Pour t 1 = t 2, on retrouve la variance du processus aléatoire. 80

Stationnarité, ergodicité Processus stationnaire au sens strict Un processus est dit stationnaire au sens strict si toutes se propriétés statistiques sont invariantes dans le temps. Il est dit stationnaire au sens large (SSL) si seules son espérance mathématique (sa moyenne) et sa fonction d'autocorrelation sont invariantes dans le temps. Stationnarité, ergodicité Processus stationnaire au sens strict Les propriétés statistiques (à tous les ordres) sont invariantes dans le temps Les statistiques du second ordre ne dépendent plus que de l écart τ = t 1 t 2 Densité conjointe du second ordre 81 Autocorélation Pour un processus réel 82 Stabilité au second ordre au sens large Stationnarité, ergodicité Exemple de processus stable au sens large (SSL) : Processus harmoniques : Processus ergodique au sens strict Moments statistisques = Moments temporels ou les A k sont des variables aléatoires centrées de variance σ k2 et non corrélées entre elles. On montrera que ce processus est centré et SSL, et que sa fonction d autocovariance est donnée par : 83 Processus ergodique (au sens large) Egalité des Moyennes statistiques et temporelles ainsi que des fonctions d autocorrélation statistiques et temporelles. Moyenne statistique = moyenne temporelle: 84

Stationnarité, ergodicité Densité spectrale Fonctions d autocorrélation statistique et temporelle Signaux déterministes Transformée de Fourier Module et phase Interprétation fréquentielle Signaux aléatoires Ergodique (au sens large) Stationnaire (au sens large) L inverse n est pas vrai. Transformée de Fourier???? Oui, mais pour une réalisation X(t,u i )! Signaux stationnaires ergodiques Estimation des paramètres statistiques à partir des paramètres temporels 85 Exemple Signal sinusoïdal à phase aléatoire X(t,u) = A sin(2πf t+ u) Intuitivement: Une fréquence f d amplitude A. Quelle phase? elle est aléatoire. 86 Densité spectrale Densité spectrale Signaux à énergie finie Contenu fréquentiel des processus aléatoires défini par l énergie ou la puissance (carré de l amplitude) Densité spectrale d énergie (DSE) Densité spectrale d énergie ou de puissance Représentation de la répartition de l énergie ou de la puissance d un signal en fonction de la fréquence Intuitivement: relation entre densité spectrale et spectre (transformée de Fourier) pour les signaux déterministes??? 87 Fonction réelle. Fonction paire si le signal est réel DSE = Transformée de Fourier de la fonction d autocorrélation temporelle Dimension: 88

Energie du signal Densité spectrale Densité spectrale Signaux à puissance finie Densité spectrale de puissance (DSP) Transformée de Fourier de la fonction d autocorrélation temporelle S xx (f) est bien une densité spectrale Dimension : Relation avec la transformée de Fourier 89! T.F. de x(t) limité à une durée T 90 Puissance du signal Densité spectrale S xx (f) est bien une densité de puissance Densité spectrale Processus aléatoire stationnaire (SSL) Théorème de Wiener-Khintchine: Densité spectrale de puissance = Transformée de Fourier de la fonction d autocorrélation statistique 91 Processus aléatoire ergodique Estimation de la fonction d autocorrélation statistique donc de la DSP à partir de la fonction d autocorrélation temporelle des réalisations disponibles du processus aléatoire. 92

Densité spectrale Exemple: Signal sinusoïdal à phase aléatoire Autocorrélation statistique : Densité spectrale de puissance Autocorrélation temporelle (pour une réalisation donnée u i de la phase) (T=1/f 0 ) Densité spectrale de puissance (dsp) La densité spectrale de puissance d un processus SSL + d autocovariance de carré sommable est définie par la transformée de Fourier de sa fonction d autocovariance. temps continu : temps discret : La densité spectrale de puissance représente la puissance contenue dans chaque composante fréquentielle du signal aléatoire. Le signal est donc ergodique (au sens large) 93 94 Densité spectrale de puissance (dsp) Bruit Blanc Bruit blanc de variance = 1 + deux sinusoïdes de fréquence 10 et 15 (rad/s) d amplitudes 0.8 et 0.3. 2 0-2 Time history 30 40 50 60 70 Time (secs) Un bruit blanc est un processus aléatoire SSL centré dont la densité spectrale de puissance est constante sur tout l axe des fréquences. Power Spectral Density 40 30 20 10 Autocorrélation temporelle nulle sauf pour t 1 = t 2 Degrees 0-2000 -4000 5 10 15 20 25 30 Frequency (rads/sec) 5 10 15 20 25 30 Frequency (rads/sec) 95 Exemples de bruits blancs ou roses : Bruits thermiques, ε Bruits de quantification : X Y 96

Signaux aléatoires et générateurs aléatoires Variable aléatoire uniforme sur l intervalle [0,1] Générateurs pseudo-aléatoires uniforme Fonctions intrinsèques : par ex: Variable aléatoire uniforme x = RND en BASIC Algorithme récursif simple : du type Somme de deux variables aléatoires uniformes Somme d un grand nombre de variables aléatoires uniformes Gaussienne Théorème de la limite centrale : «La distribution statistique de la somme de n variables aléatoires indépendantes, possédant la même loi de probabilité, tend asymptotiquement vers une distribution gaussienne lorsque n, quelle que soit la distribution des termes individuels.» 97 attention : Le choix des paramètres a, b et c est important pour la «qualité de hasard» engendré. Par exemple, prendre des valeurs de nombre premiers pour éviter les rebouclages. Il s'agit de nombres pseudo-aléatoire, avec une récurrences qui n est pas nécessairement infinie et parfois insuffisante. 98 Générateurs pseudo-aléatoires normal ou Gaussien X est une variable aléatoire normale, c.a.d de fdp gaussienne normalisée, de moyenne µ = 0 et d écart type σ = 1 En appliquant le théorème de la limite centrale : N X = R i= 1 ou N est suffisamment grand, et ou les R i sont des variables aléatoires uniformes indépendantes sur [0,1]. On ramène la moyenne à 0 en soustrayant N/2. Algorithme (approché) n utilisant que deux générateurs uniformes : ( 2ln R ) 1 2 cos(2 R ) X = 1 π 2 ou R 1 et R 2 sont des variables aléatoires uniformes sur [0,1] i Pour une variable aléatoire Y de moyenne µ et d écart type σ quelconques, faire simplement : Y = σ X + µ N 2 99 Générateur aléatoire de fdp quelconque. Soit deux variables aléatoires x et y et p(x) et q(y) leur fdp respective. La propriété d invariance dit : p ( x) dx = q( y)dy dx dx Donc : q (y) = p(x) = C ou x une variable aléatoire dy dy uniforme p(x) = cst = C donc, en intégrant de part et d autre : 1 x = Q(y) C ou Q(y) est la primitive de la distribution q(y) recherchée et x une variable aléatoire uniforme. 1 Si Q(y) est inversible, on a : y( x) = CQ (x) a y q( y) = a e y / a ( ) = e 1 y = Q ( x) = a log( x) Exemple d application, fdp exponentielle: Q y NB: Cette méthode ne fonctionne pas pour une distribution Gaussienne, dont l intégrale (fonction Φ(x) ou 1-erf(x)) n est pas inversible analytiquement. 100

Générateur aléatoire de fdp quelconque. q y = a e y / a Exemple d application, fdp exponentielle: ( ) y / a 1 Q( y) = e y = Q ( x) = a log( x) et x = RND 100 'CALCULATION OF BINNED HISTOGRAM 110 A=5; 120 DIM Y[4096] Y[0] to X[25000] holds the random output signal, 130 ' 'with has an exponential pdf a exp(-ay) 140 ' 150 FOR I% = 0 TO 4095 160 y[i%] = -LOG(RND)/A; 170 NEXT I% 180 ' 190 GOSUB XXXX 'Mythical subroutine that outputs Y[ ] 200 ' 210 END 101