Physique du son : nature. Définition. Physique du son : propagation. Physique du son : émission

Transcription

1 Définition Physique du son : nature Le mot son est ambigu. En effet, il désigne à la fois : la vibration physique la sensation qu elle procure L acoustique : acoustique psychoacoustique onde de pression acoustique : créée par des molécules (d air) qui vibrent (oscillent) autour d une position d équilibre ne se propage pas dans le vide transmission de l énergie de proche en proche pas de déplacement de molécules la science s intéressant à la propagation des ondes sonores. Introduction au son numérique p.5 Introduction au son numérique p.6 Physique du son : émission Physique du son : propagation onde émise par un objet qui vibre 2 grandes familles de sources sonores : à excitation entretenue (voix, violon, etc.) à impulsion initiale : percussions (cloche, gong, etc.) 2 types d excitations : déterministes stochastiques (aléatoires) son réfléchi G D son direct onde de pression sphérique célérité : 340 m.s 1 (dans l air) S Introduction au son numérique p.7 Introduction au son numérique p.8

2 Physique du son : propagation... Physique du son : propagation... réflexion absorption E E G S G S D D réflexion (cf. lois de Descartes en optique) absorption : E E Introduction au son numérique p.9 Introduction au son numérique p.10 Physique du son : propagation... Physique du son : réception réception ( perception) G D E S tympan cochlée nerf auditif cerveau E transmission Introduction au son numérique p.11 Introduction au son numérique p.12

3 Représentation temporelle du son Représentation temporelle du son a(t) a(t) : de l onde en fonction du (mesurée au niveau du tympan [oreille externe]) a(t) : de l onde en fonction du (mesurée au niveau du tympan [oreille externe]) Introduction au son numérique p.13 Introduction au son numérique p.14 Discrétisation (1/2) : échantillonnage Discrétisation (2/2) : quantification 1 a[n] = a(n T e ) ã[n] T e = 1/F e échantillonnage 0 quantification fréquence d échantillonnage F e (inverse de la période T e ) (CD : Hz, DAT : Hz, DVD Audio : Hz) Introduction au son numérique p.15 quantification sur k bits 2 k valeurs possibles (anciennement : 8 bits, CD : 16 bits, DVD Audio : 24 bits) erreur de quantification (a ã) : 2/2 k = 2 1 k Introduction au son numérique p.16

4 Représentation discrète Représentation discrète discrétisation (numérisation) = échantillonnage quantification Pulse-Code Modulation (PCM) Introduction au son numérique p.17 discrétisation (numérisation) = échantillonnage quantification [0, 1, 3, 4, 4, 4, 3, 1, 0, -1, -3, -4, -4, -4, -3, -1, 0, 1, 3] Introduction au son numérique p.17 Reconstruction... Représentation des échantillons condition de Nyquist : F e > 2 F max (F max : plus grande fréquence présente dans le son a) théorême de Shannon : le signal continu a(t) peut être reconstruit parfaitement (sans erreur) à partir du signal discret a[n] si et seulement si la condition de Nyquist est respectée exemples : CD : F e = Hz F max < Hz DVD : F e = Hz F max < Hz remarque : la plus grande fréquence audible 20 khz... son numérique nombres : arithmétique : entière / flottante calcul : non signé / signé bits : 8 / 16 / 24 / 32 / 64 représentation machine : little / big endian exemples : anciennes cartes son : entiers 8 bits non signés CD (Compact Disc) : entiers 16 bits signés big-endian DVD (Digital Versatile Disc) : entiers 24 bits signés choix pour la polyphonie (ex : stéréo Gauche / Droite) : séparé : G G G D D D entrelacé : G D G D G D Introduction au son numérique p.18 Introduction au son numérique p.19

5 Formats sonores (1/3) Formats AIFF et RIFF Wave formats non compressés formats bruts : PCM (Pulse-Code Modulation) CDA (Compact Disc Audio) CDR (Compact Disc Raw) raw... structurés (en-tête) : AIFF (Audio Interchange File Format) WAV (Waveform Audio File Format) big-endian big-endian AIFF : Audio Interchange File Format Apple Commodore Amiga SGI (Silicon Graphics, Inc.) big-endian (Motorola, IBM, MIPS, etc.) RIFF WAVE : Resource Interchange File Format Waveform Microsoft little-endian (Intel) exemple : une minute de silence...qualité CD! n = échantillons de 2 2 octets (16 bits, stéréo) Introduction au son numérique p.20 Introduction au son numérique p.21 Format AIFF : un exemple Format Wave : un exemple champ taille (octets) type valeur name 4 texte FORM size 4 entier 4 (8 18) (8 (8 4n)) type 4 texte AIFF name 4 texte COMM size 4 entier 18 channels 2 entier 2 (stéréo) frames 4 entier n bits 2 entier 16 rate 10 réel (IEEE extended double) name 4 texte SSND size 4 entier 8 4n offset 4 entier 0 block size 4 entier 0 data 2 2 n entiers (16 bits) champ taille (octets) type valeur name 4 texte RIFF size 4 entier 4 (8 16) (8 4n) type 4 texte WAVE name 4 texte fmt_ ( _ représentant un espace ) size 4 entier 16 format 2 entier 1 (PCM) channels 2 entier 2 (stéréo) rate 4 entier bytes per second 4 entier rate channels bits/8 = rate 4 block align 2 entier 2 bits 2 entier 16 name 4 texte data size 4 entier 4n data 2 2 n entiers (16 bits) Introduction au son numérique p.22 Introduction au son numérique p.23

6 Formats sonores (2/3) compressions sans perte gzip : inefficace... quantification logarithmique : codage µ-law AU, SND Codage ADPCM![n] = ã[n] ã[n 1] 8 bits logarithmiques sont perceptivement équivalents à 12 bits linéaires ADPCM (Adaptive-Delta Pulse-Code Modulation) au lieu de coder ã[n], calcul du multi-ensemble des différences! = S n {"[n] = ã[n] ã[n 1]}, puis calcul l histogramme des occurences de " dans!, et codage de " avec un nombre de bits utilisés inversement proportionnel au nombre de ses occurrences dans! (Huffman) n 1 n " = { 2(2), 1(4),0(4),1(5),2(3)} Adaptive-Delta Pulse-Code Modulation (ADPCM) Introduction au son numérique p.24 Introduction au son numérique p.25 Codage ADPCM Codage de Huffman...![n] = ã[n] ã[n 1] n 1 n " = { 2(2), 1(4),0(4),1(5),2(3)} -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) Introduction au son numérique p.25 Introduction au son numérique p.26

7 Codage de Huffman... Codage de Huffman... (5) (5) (8) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) Introduction au son numérique p.27 Introduction au son numérique p.28 Codage de Huffman... Codage de Huffman... (18) (10) (10) (5) (8) (5) (8) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) Introduction au son numérique p.29 Introduction au son numérique p.30

8 Codage de Huffman... Codage de Huffman... (18) (18) 1 (10) 0 (10) 1 (5) -2 (2) 2 (3) (8) 1 (5) -1 (4) 0 (4) 0 (5) 1 (8) (2) 2 (3) 1 (5) -1 (4) 0 (4) Introduction au son numérique p.31 Introduction au son numérique p.32 Comparatif PCM / ADPCM Comparatif PCM / ADPCM mots de 4 bits 76 bits 41 bits seulement... Introduction au son numérique p.33 Introduction au son numérique p.34

9 Formats sonores (3/3) compressions avec pertes (inaudibles...) MPEG Audio I Layer 3 (MP3) MP3 Pro Dolby R AC3 MPEG-4 AAC (Advanced Audio Coding)... principe général : analyse spectrale domaine fréquentiel modèle psychoacoustique degré de perceptibilité allocation de bits proportionnelle à la perceptibilité compression sans perte (Huffman) Domaine temporel a(t) a(t) : de l onde en fonction du (mesurée au niveau du tympan [oreille externe]) Introduction au son numérique p.35 Introduction au son numérique p.36 Perception du son (1/2) Perception du son (2/2) cochlée tympan nerf auditif cerveau tympan cochlée (déroulée) nerf auditif cerveau membrane basilaire Introduction au son numérique p.37 Introduction au son numérique p.38

10 Spectre Spectre d a ( f,a) fréquence 1/ f (au niveau de la membrane basilaire [oreille interne]) Introduction au son numérique p.39 Introduction au son numérique p.40 Transformée de Fourier Amplitude S( f ) = Z!! s(t) e i2" ft dt FFT Fréquence notation : S( f ) (en majuscules) est le spectre de s(t) (en minuscules) Dualité temporel / spectral domaine temporel domaine spectral zéro 0 zéro 0 impulsion de Dirac constante sinusoïde impulsion de Dirac addition addition convolution multiplication multiplication convolution Introduction au son numérique p.41 Introduction au son numérique p.42

11 Réponse impulsionnelle r réponse impulsionnelle d une salle : Réponse impulsionnelle r réponse impulsionnelle d une salle : premières réflexions son direct Introduction au son numérique p.43 Introduction au son numérique p.44 Réponse impulsionnelle r réponse impulsionnelle d une salle : Réponse impulsionnelle r réponse impulsionnelle d une salle : réflexions tardives exemple sonore (convolution ) : x = r : une cathédrale... y : Suzanne Vega au restaurant... s = x y : Suzanne Vega dans la cathédrale Introduction au son numérique p.45 Introduction au son numérique p.46

12 Échelles perceptives Échelle des décibels (db) paramètres du son (des partiels) : l et la fréquence sont des grandeurs physiques, mesurables les paramètres perceptifs correspondants sont respectivement le volume et la hauteur (pour les psychoacousticiens, la sonie et la tonie) la loi de Fechner s applique à tout organe sensoriel : la sensation est proportionnelle au logarithme de l excitation nous percevons ces paramètres sur des échelles logarithmiques échelle communément utilisée pour représenter le volume ( ) A V (A) = 20 log 10 A 0dB A(V ) = A 0dB 10 V/(20dB) db SPL (Sound Pressure Level) standards : A 0dB = 10 6 les volumes audibles vont approximativement de 0 à 120 db Introduction au son numérique p.52 Introduction au son numérique p.53 Échelle Bark (d après Barkhausen) les fréquences audibles vont approx. de 20 Hz à 22 khz beaucoup plus proche de la perception que l échelle linéaire Hertz 1 Bark = 100 mels B(F) = F(B) = { { F/100 si F log 2 (F/1000) si F > B si B (B 9)/4 si B > 5 Seuil d audibilité les volumes audibles vont approximativement de 0 à 120 db toutefois le seuil de sensibilité en S a dépend de la fréquence les partiels dont les volumes sont inférieurs au seuil ne sont pas audibles (db) seuil d audibilité! fréquence (Bark) seuil d audibilité S a Introduction au son numérique p.54 Introduction au son numérique p.55

13 Phénomène de masquage physiquement, l addition de signaux de même : est régie par une loi d addition non linéaire qui donne un maximum de 6 db ( doublée pour deux signaux identiques en phase) perceptivement, le seuil de perception est modifié pour un son m (masqué) quand il est joué en même qu un son plus fort M (masquant) Masquage fréquentiel (simultané) cas où M et m sont deux sinusoïdes (sons purs / simples) de fréquences respectives f M et f m d s respectives a M et a m (on suppose a M > a m ) si f m est proche de f M, le son m est masqué par le son M m peut devenir inaudible (db) f M f m fréquence (Bark) l effet de masquage est maximal lorsque f m et f M sont proches Introduction au son numérique p.56 Introduction au son numérique p.57 Exemple : cas d un son harmonique Non linéarités de l oreille (suite) son complexe (superposition de sons simples) ( f p,a p ) des battements peuvent être perçus quand f m n f M (n entier positif) les deux sons purs peuvent interagir pour créer perceptivement des fréquences i f m ± j f M (i et j étant des entiers), créant ainsi des harmoniques «virtuelles» pour une sinusoïde pure fondamentale virtuelle perçue même si physiquement absente F fréquence Introduction au son numérique p.58 Introduction au son numérique p.59

14 Modèle : triangle de masquage évaluation du rapport signal / masque (signal-to-mask ratio, SMR) de chaque partiel le seuil de masquage est quasiment un triangle en échelles Bark-dB : la différence! entre le volume du partiel masquant et son masque (-10 db) le demi-triangle de masquage vers les fréquences basses (pente gauche : 27 db/bark) le demi-triangle de masquage vers les fréquences élevées (pente droite : -15 db/bark) (db)! SMR f M f m fréquence (Bark) en réalité : le sommet du triangle est plus émoussé... la pente de droite peut varier avec la fréquence Introduction au son numérique p.60 Bandes critiques l oreille intègre certaines bandes de fréquence du spectre audible pour chaque fréquence, il y a une bande critique centrée en cette fréquence la largeur de chaque bande est d exactement 1 Bark 24 bandes critiques suffisent pour couvrir l étendue du spectre : numéro début centre fin numéro début centre fin (valeurs des fréquences en Hz) Introduction au son numérique p.61 Masquage temporel Exemple de masque M 2 sortes de masquages temporels : post-masquage survient quand le son masquant disparaît l effet du masquage fréquentiel persiste alors, en s estompant pendant plusieurs millisecondes après cette disparition pré-masquage plus surprenant... l effet de masquage est actif quelques millisecondes avant que le son masquant n apparaisse vraiment toutefois ce phénomène est beaucoup moins prononcé (db) p 1 p 2! p 3 M p 4 p 5 fréquence (Bark) Introduction au son numérique p.62 Introduction au son numérique p.63

15 Exemple de masque M (suite) 5 partiels et le masque associé M (ligne polygonale en gras) : p 1, p 2 et p 4 sont des partiels masquants et contribuent au masque M (les zones de fréquence de leurs contributions sont représentées par des rectangles) p 5 n est ni masquant ni masqué p 3 est masqué (par p 2 ) Construction du masque initialement, le masque est mis à zéro : M 0 (! db) puis les partiels sont parcourus par s décroissantes pour chaque partiel p de fréquence f p et d a p (de volume V (a p )), 3 cas peuvent se produire : 1. si M( f p ) " < V(a p ), alors p est un partiel masquant et M doit être mis à jour avec sa contribution ; 2. si M( f p ) < V (a p ) M( f p ) ", alors p n est ni masquant ni masqué ; 3. si V(a p ) M( f p ), alors p est simplement masqué. On met à jour le masque M itérativement, en conservant la plus grande valeur entre le triangle de masquage associé au partiel courant p et l ancienne valeur de M. On fait cela pour chaque composante de la DFT. Introduction au son numérique p.64 Introduction au son numérique p.65 Exemple (0/5) Exemple (1/5) (db) (db) p 2 p 2! p 1 M p 4 p 1 M p 4 p 3 p 5 p 3 p 5 fréquence (Bark) fréquence (Bark) Introduction au son numérique p.66 Introduction au son numérique p.67

16 Exemple (2/5) Exemple (3/5) (db) (db) p 2 p 2 p 1 M p 4 p 1 M p 4 p 3 p 5 p 3 p 5 fréquence (Bark) fréquence (Bark) Introduction au son numérique p.68 Introduction au son numérique p.69 Exemple (4/5) Exemple (5/5) (db) (db) p 2 p 2 p 1 M p 4 p 1 M p 4 p 3 p 5 p 3 p 5 fréquence (Bark) fréquence (Bark) Introduction au son numérique p.70 Introduction au son numérique p.71

17 Application : compression MPEG oublier les composantes inaudibles pour gagner de l espace mémoire principales étapes d un codeur MPEG I/II niveau 3 ( MP3 ) : 1. analyse spectrale (Fourier) 2. modèle psychoacoustique : calcul du masque 3. en fonction du rapport signal / masque (SMR), quantifier l des composantes spectrales sur un nombre de bits différent exemple : SMR = 10 db 16 bits... SMR < 0 db 0 bits 4. puis codage entropique (Huffman), sans perte Application : tatouage audio watermarking audionumérique rajouter des informations inaudibles au sein d un son existant applications : protection de la propriété intellectuelle (inclusion du copyright) transmission discrète d informations stratégiques... Introduction au son numérique p.72 Introduction au son numérique p.73 Exemple : projet MAGIC Perception du son Musical Audio Graphics Interleaved Coding 3 paramètres : intensité (sonie) hauteur (tonie) timbre volume grave / aigu Introduction au son numérique p.74 Introduction au son numérique p.75

18 Perception du son Perception du son 3 paramètres : intensité (sonie) volume hauteur (tonie) grave / aigu timbre Le timbre est défini par ce qu il n est pas... (c est ce qui permet de différencier deux sons de même intensité et de même hauteur) 3 paramètres : intensité (sonie) volume hauteur (tonie) grave / aigu timbre Le timbre est défini par ce qu il n est pas... (c est ce qui permet de différencier deux sons de même intensité et de même hauteur) (durée) (position dans l espace) Introduction au son numérique p.75 Introduction au son numérique p.75 Spectre et partiels partiel : composante sinusoïdale d un son, maximum local (pic) dans le spectre S( f ) FFT Son harmonique fréquence fondamentale F ( f p,a p ) 0.6 Amplitude Fréquence partiel p = ( f p,a p,! p ) (fréquence,, phase) F F fréquence F perçue dans l intervalle [ ] Hz Introduction au son numérique p.76 Introduction au son numérique p.77

19 Son harmonique fréquence fondamentale F ( f p,a p ) F fréquence fondamentale absente (virtuelle) Fréquence hauteur fréquence F exprimée en Hertz (Hz) (échelle linéaire) hauteur perçue H (échelle logarithmique) H(F) = H réf O log 2 (F/F réf ) F(H) = F réf 2 (H H réf)/o hauteur MIDI (pitch) : F réf = 440 Hz, H réf = 57 O = 12 (nombre de demi-tons par octave) exemple : F = 880 Hz H = 69 remarque : des valeurs entières entre 1 et 127 (codage 7 bits) suffisent à couvrir l intervalle des fréquences audibles [ ] Hz par pas de 1 demi-ton (gamme chromatique). F 2 F octave supérieure F F/2 octave inférieure Introduction au son numérique p.78 Introduction au son numérique p.79 Amplitude F ( f p,a p ) F fréquence A =! P p=1 a p ou A RMS = 1 2! P p=1 a p 2 RMS : Root Mean Square (plus proche de la perception) Amplitude volume A (échelle linéaire) intensité perçue, volume V exprimé en décibels (db) (échelle logarithmique) V (A) = V réf 20 log 10 (A/A réf ) A(V ) = A réf 10 (V V réf)/20 normalisation db SPL (Sound Pressure Level) : A réf = 10 6 (Pa), V réf = 0 db (seuil d audibilité, une molécule d air...) intervalle couvert pour A [0 1] : ]!;120] db (avion à réaction au décollage, seuil de la douleur...) Introduction au son numérique p.80 Introduction au son numérique p.81

20 Son harmonique Enveloppe spectrale (couleur) ( f p,a p ) enveloppe spectrale, couleur C( f ) C ( f p,a p ) F fréquence fréquence pour les sons harmoniques, c est le timbre exemple de la voix : les voyelles (a, e, i, o, u, etc.) Introduction au son numérique p.82 Introduction au son numérique p.83 Enveloppe spectrale (couleur) Brillance enveloppe spectrale, couleur C( f ) C formants fréquence pour les sons harmoniques, c est le timbre exemple de la voix : les voyelles (a, e, i, o, u, etc.) formants : maxima locaux de l enveloppe spectrale centroïde spectrale (brillance) pour un son harmonique : cas général : B =!P p=1a p f p! P p=1 f p B =!N/2 1 m=1 S[m] m! N/2 1 m=1 m paramètre particulièrement sensible pour les trompettes... Introduction au son numérique p.84 Introduction au son numérique p.85

21 Transformations musicales... cas général : modifier un ou plusieurs paramètres du son exemple : robotisation de la voix ; étirement temporel (time-stretching) : exemples : original, ralenti (facteur 2, méthode temporelle), ralenti (facteur 2, méthode spectrale) ; transposition (pitch-shifting) : exemples : original, transposé (octave supérieure, méthode temporelle), transposé (octave supérieure, méthode spectrale 1), transposé (octave supérieure, méthode spectrale 2) ;... MPEG 7 MPEG : Moving Picture Experts Group descripteurs normalisés MPEG 7 pour indexer, classifier les sons des centaines de descripteurs... tentative de description du timbre pour un son quelconque... Introduction au son numérique p.86 Introduction au son numérique p.87 Modèle sinusoïdal [McAulay, Quatieri (IEEE TASSP, 1986)] [Serra, Smith (CMJ, 1990)] Le signal audio s est donné dans le domaine temporel par : Modèle sinusoïdal : un exemple fréquence s(t) = où P est le nombre de partiels et P! a p (t)cos(" p (t)) (-5) p=1 Z t " p (t) = " p (0) 2# f p (u)du (-5) 0 Les fonctions f p (t), a p (t) et " p (t) sont, respectivement, la fréquence, l et la phase du p-ième partiel. fréquence saxophone alto Introduction au son numérique p.88 Introduction au son numérique p.89

22 Modulations... fréquence fréquence vibrato : variation sinusoïdale de la fréquence trémolo : variation sinusoïdale de l Introduction au son numérique p.90