Traitement des signaux multimédia. S. Natkin Octobre 2001

Transcription

1 Traitement des signaux multimédia S. Natkin Octobre

2 Signaux Toute information physique est perçue comme une grandeur variant dans le temps (signal) Numérisation<=> échantillonnage dans le temps et l'espace:

3 Ondes (1) LE SON EST LA PROPAGATION D'UNE ÉNERGIE MÉCANIQUE DANS UN MILIEU ÉLASTIQUE (AIR, L'EAU,...) LA LUMIÈRE EST LA PROPAGATION D'UNE ÉNERGIE ELECTRO-MAGNETIQUE Déplacement d'une onde sur un ressort (AF) 3

4 Ondes (2) Ondes planes (AF) Ondes sphériques 4

5 Caractéristiques d une onde Période: T (s) Fréquence fondamentale :F=1/T (Hz) Célérité C (m/s) Longueur d onde:l=ct (m) Une onde sonore a une célérité de 330m/s A 16 C dans l air Une onde électromagnétique à une célérité de km/s dans le vide Km/s dans un conducteur comme le cuivre 5

6 Représentation spectrale des signaux Tout signal périodique peut se représenter comme une série de fonctions sinusoïdales dont les fréquences sont des multiples de la fréquence fondamentale (série de Fourrier) f ( t) = = ( a n= 0, n c n= 0, n cos( nωt + ϕ cos( nωt) + bnsin( nωt)) Les signaux "physiques" apériodiques peuvent se représenter comme une transformée intégrale d'une fonctions sinusoidale (transformée de Fourrier) n ) f ( t) = c( x)cos( xωt + ϕ( x)) dx x= 0, 6

7 Exemple signal d horloge 7

8 Spectre du signal d horloge (1) 8

9 Spectre du signal d horloge (2) 9

10 Spectre du signal d horloge (3) 10

11 Spectre d amplitude On représente aussi des spectres de puissances (les raies sont de hauteurs Proportionnelles au carre de raies du spectre d'amplitude) et dephases (Déphasage en radian ou en fraction de la période) 11

12 REPRESENTATION SPECTRE x TEMPS En acoustique on utilise une représentation a deux échelles de temps: Le signal est échantillonne selon une période t On calcule le spectre de l'échantillon considère comme un signal Périodique (série de fourrier) On pressente sur un axe temporel la suite des spectres ainsi construits 12

13 Déformation d un signal sur un canal Tout dispositif physique (un h.p., Une oreille, une caisse de piano, une ligne de transmission) Considère comme un canal de transmission déforme le signal transmis: Par filtrage (transformation du signal émis) Par addition de bruits (éléments exogènes) Un effet de filtrage est souvent interprétable comme une transformation linéaire du spectre (Convolution dans le domaine temporel) Principaux types de filtres simples: Passe haut: coupe les fréquences basses, Passe bas: coupe les fréquences hautes Passe bande: ne laisse passer que dans une gamme de fréquence 13

14 Exemple de filtre passe bande filtre passe bande entre 3 et 7 fois la fondamentale du signal d horloge 14

15 Filtrage numérique audio 15

16 Erreurs de quantification et d échantillonnage 16

17 L image matricielle (bitmap) Numérisation d une image plane sous forme d une matrice de points (pixels) Résolution= Nombres de pixels/pouces (dpi) Un écran 21 pouces (i.e. 53 cm de diagonale) 1024x768 points ou 1280x1024 points 17

18 18

19 19

20 Effet d un filtre linéaire Un filtre linéaire peut être considéré comme un signal g(t): Son effet sur un signal x est le produit de convolution de x et g Mais dans le domaine spectral il suffit de faire le produit des transformées. y( t) = x( s) g( t s) ds x=, Y ( u) = X ( u). G( u) 20

21 Effet d un filtre cas discret 21

22 Exemple 22

23 23 Filtres d analyse d image Utilisés pour transformer ou sélectionner Dans le domaine temporel (cas le plus fréquent) ou fréquentiel (c.f. quantification JPEG) Linéaire ou non linéaires ))), ( ( ), '( )), ( ), ( ( )), ( ), ( ( ), (,,, 1,,, 1,, j m i n pixel Sup Sup m n S m j n pixel d m j n pixel c i m n pixel b i m n pixel a m n S t t j k k i m j t j m j i n k i i n + + = = = = = =

24 Filtres linéaires temporels Calcule une moyenne pondérée de la valeur des pixels sur une zone contiguë Passe bas: coefficients positifs, lisse l image en valeur moyenne Passe haut: Coefficients négatifs, mettent en évidence les pixels atypiques Passe bande: ramènent la dynamique dans un plage définie 24

25 Exemple d application Passe haut: Sélection de forme par détection de seuil, on applique un filtre qui par comparaison avec un seuil permet de détecter les contours d une forme Passe bas: Calcul du réaffichage après diminution de la définition d une image Passe bande: Sélection d une zone par sa couleur 25

26 Effet de flous Flou directionnel 57, 30 pixels, une et trois itérations 26

27 Plage de couleurs Sélection d un gris, remplissage avec du blanc tolérance 50 27

28 Bibliographie (AF) M. ALONSO, E.J. FINN, PHYSIQUE GENERALE TOME II, ED DU RENOUVEAU PEDAGOGIQUE, 1970 (JB) J.BURGER, THE DESKTOP MULTIMEDIA BIBLE, ADDISON - WESLEY, 1992 (JMJ) J.M. JOT, "SYNTHESIZING TREE DIMENSIONNAL SOUND SCENE IN AUDIO AND MULTIMEDIA PRODUCTIONS AND INTERACTIVE HUMAN COMPUTER INTERFACES, 5 CONF INTERFACES DES MONDES REELS ET VIRTUELS, MONTPELLIER, MAI (NB) H. BERRAUD, POUR COMPRENDRE LES MUSIQUES D'AUJOURD'HUI, SEUIL, 1972 (AH) A. HECQUET, L'ESPRIT MIDI, ID MUSIC 1989 (FB) F. BROWN, LA MUSIQUE PAR ORDINATEUR, QUE SAIS JE/PF, 1982 (CR) C. ROADS, L AUDION UMERIQUE, DUNOD 1998 (JW) J. WALKINSON, THE ART OF DIGITAL AUDIO, Focal Press 1989 (EM) E. R. MIRANDA: Computer dound synthesis for the electronic Musicain, Focal Press, 1998 (RB) R. BESSON, Sono et Prise de son, Dunod 1999 Glossaire:recordingeq.com/GlosPubAE.htm#sectA Site IRCAM: 28