Définition Physique du son : nature Le mot son est ambigu. En effet, il désigne à la fois : la vibration physique la sensation qu elle procure L acoustique : acoustique psychoacoustique onde de pression acoustique : créée par des molécules (d air) qui vibrent (oscillent) autour d une position d équilibre ne se propage pas dans le vide transmission de l énergie de proche en proche pas de déplacement de molécules la science s intéressant à la propagation des ondes sonores. Introduction au son numérique p.5 Introduction au son numérique p.6 Physique du son : émission Physique du son : propagation onde émise par un objet qui vibre 2 grandes familles de sources sonores : à excitation entretenue (voix, violon, etc.) à impulsion initiale : percussions (cloche, gong, etc.) 2 types d excitations : déterministes stochastiques (aléatoires) son réfléchi G D son direct onde de pression sphérique célérité : 340 m.s 1 (dans l air) S Introduction au son numérique p.7 Introduction au son numérique p.8
Physique du son : propagation... Physique du son : propagation... réflexion absorption E E G S G S D D réflexion (cf. lois de Descartes en optique) absorption : E E Introduction au son numérique p.9 Introduction au son numérique p.10 Physique du son : propagation... Physique du son : réception réception ( perception) G D E S tympan cochlée nerf auditif cerveau E transmission Introduction au son numérique p.11 Introduction au son numérique p.12
Représentation temporelle du son Représentation temporelle du son a(t) a(t) : de l onde en fonction du (mesurée au niveau du tympan [oreille externe]) a(t) : de l onde en fonction du (mesurée au niveau du tympan [oreille externe]) Introduction au son numérique p.13 Introduction au son numérique p.14 Discrétisation (1/2) : échantillonnage Discrétisation (2/2) : quantification 1 a[n] = a(n T e ) ã[n] T e = 1/F e échantillonnage 0 quantification fréquence d échantillonnage F e (inverse de la période T e ) (CD : 44100 Hz, DAT : 48000 Hz, DVD Audio : 96000 Hz) Introduction au son numérique p.15 quantification sur k bits 2 k valeurs possibles (anciennement : 8 bits, CD : 16 bits, DVD Audio : 24 bits) erreur de quantification (a ã) : 2/2 k = 2 1 k Introduction au son numérique p.16
Représentation discrète Représentation discrète discrétisation (numérisation) = échantillonnage quantification Pulse-Code Modulation (PCM) Introduction au son numérique p.17 discrétisation (numérisation) = échantillonnage quantification [0, 1, 3, 4, 4, 4, 3, 1, 0, -1, -3, -4, -4, -4, -3, -1, 0, 1, 3] Introduction au son numérique p.17 Reconstruction... Représentation des échantillons condition de Nyquist : F e > 2 F max (F max : plus grande fréquence présente dans le son a) théorême de Shannon : le signal continu a(t) peut être reconstruit parfaitement (sans erreur) à partir du signal discret a[n] si et seulement si la condition de Nyquist est respectée exemples : CD : F e = 44100 Hz F max < 22050 Hz DVD : F e = 96000 Hz F max < 48000 Hz remarque : la plus grande fréquence audible 20 khz... son numérique nombres : arithmétique : entière / flottante calcul : non signé / signé bits : 8 / 16 / 24 / 32 / 64 représentation machine : little / big endian exemples : anciennes cartes son : entiers 8 bits non signés CD (Compact Disc) : entiers 16 bits signés big-endian DVD (Digital Versatile Disc) : entiers 24 bits signés choix pour la polyphonie (ex : stéréo Gauche / Droite) : séparé : G G G D D D entrelacé : G D G D G D Introduction au son numérique p.18 Introduction au son numérique p.19
Formats sonores (1/3) Formats AIFF et RIFF Wave formats non compressés formats bruts : PCM (Pulse-Code Modulation) CDA (Compact Disc Audio) CDR (Compact Disc Raw) raw... structurés (en-tête) : AIFF (Audio Interchange File Format) WAV (Waveform Audio File Format) big-endian big-endian AIFF : Audio Interchange File Format Apple Commodore Amiga SGI (Silicon Graphics, Inc.) big-endian (Motorola, IBM, MIPS, etc.) RIFF WAVE : Resource Interchange File Format Waveform Microsoft little-endian (Intel) exemple : une minute de silence...qualité CD! n = 60 44100 échantillons de 2 2 octets (16 bits, stéréo) Introduction au son numérique p.20 Introduction au son numérique p.21 Format AIFF : un exemple Format Wave : un exemple champ taille (octets) type valeur name 4 texte FORM size 4 entier 4 (8 18) (8 (8 4n)) type 4 texte AIFF name 4 texte COMM size 4 entier 18 channels 2 entier 2 (stéréo) frames 4 entier n bits 2 entier 16 rate 10 réel (IEEE extended double) 44100.0 name 4 texte SSND size 4 entier 8 4n offset 4 entier 0 block size 4 entier 0 data 2 2 n entiers (16 bits) 0 0 0 0 champ taille (octets) type valeur name 4 texte RIFF size 4 entier 4 (8 16) (8 4n) type 4 texte WAVE name 4 texte fmt_ ( _ représentant un espace ) size 4 entier 16 format 2 entier 1 (PCM) channels 2 entier 2 (stéréo) rate 4 entier 44100 bytes per second 4 entier rate channels bits/8 = rate 4 block align 2 entier 2 bits 2 entier 16 name 4 texte data size 4 entier 4n data 2 2 n entiers (16 bits) 0 0 0 0 Introduction au son numérique p.22 Introduction au son numérique p.23
Formats sonores (2/3) compressions sans perte gzip : inefficace... quantification logarithmique : codage µ-law AU, SND Codage ADPCM![n] = ã[n] ã[n 1] 8 bits logarithmiques sont perceptivement équivalents à 12 bits linéaires ADPCM (Adaptive-Delta Pulse-Code Modulation) au lieu de coder ã[n], calcul du multi-ensemble des différences! = S n {"[n] = ã[n] ã[n 1]}, puis calcul l histogramme des occurences de " dans!, et codage de " avec un nombre de bits utilisés inversement proportionnel au nombre de ses occurrences dans! (Huffman) n 1 n " = { 2(2), 1(4),0(4),1(5),2(3)} Adaptive-Delta Pulse-Code Modulation (ADPCM) Introduction au son numérique p.24 Introduction au son numérique p.25 Codage ADPCM Codage de Huffman...![n] = ã[n] ã[n 1] n 1 n " = { 2(2), 1(4),0(4),1(5),2(3)} -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) 000 10 11 01 001 Introduction au son numérique p.25 Introduction au son numérique p.26
Codage de Huffman... Codage de Huffman... (5) (5) (8) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) Introduction au son numérique p.27 Introduction au son numérique p.28 Codage de Huffman... Codage de Huffman... (18) (10) (10) (5) (8) (5) (8) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) -2 (2) 2 (3) 1 (5) -1 (4) 0 (4) Introduction au son numérique p.29 Introduction au son numérique p.30
Codage de Huffman... Codage de Huffman... (18) 0 1 0 (18) 1 (10) 0 (10) 1 (5) -2 (2) 2 (3) (8) 1 (5) -1 (4) 0 (4) 0 (5) 1 (8) 0 1-2 (2) 2 (3) 1 (5) -1 (4) 0 (4) 000 001 01 10 11 Introduction au son numérique p.31 Introduction au son numérique p.32 Comparatif PCM / ADPCM Comparatif PCM / ADPCM 001 01 01 001 01 11 11 10 000 10 10 000 10 11 11 01 001 01 0000 0011 0001 0000 1111 1101 1011 1011 0000 1101 1111 0000 0001 0011 0100 0100 0100 0011 0001 0000 19 mots de 4 bits 76 bits 41 bits seulement... Introduction au son numérique p.33 Introduction au son numérique p.34
Formats sonores (3/3) compressions avec pertes (inaudibles...) MPEG Audio I Layer 3 (MP3) MP3 Pro Dolby R AC3 MPEG-4 AAC (Advanced Audio Coding)... principe général : analyse spectrale domaine fréquentiel modèle psychoacoustique degré de perceptibilité allocation de bits proportionnelle à la perceptibilité compression sans perte (Huffman) Domaine temporel a(t) a(t) : de l onde en fonction du (mesurée au niveau du tympan [oreille externe]) Introduction au son numérique p.35 Introduction au son numérique p.36 Perception du son (1/2) Perception du son (2/2) cochlée tympan nerf auditif cerveau tympan cochlée (déroulée) nerf auditif cerveau membrane basilaire Introduction au son numérique p.37 Introduction au son numérique p.38
Spectre Spectre d a ( f,a) fréquence 1/ f (au niveau de la membrane basilaire [oreille interne]) Introduction au son numérique p.39 Introduction au son numérique p.40 Transformée de Fourier Amplitude S( f ) = Z!! s(t) e i2" ft dt FFT 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 11000 Fréquence notation : S( f ) (en majuscules) est le spectre de s(t) (en minuscules) Dualité temporel / spectral domaine temporel domaine spectral zéro 0 zéro 0 impulsion de Dirac constante sinusoïde impulsion de Dirac addition addition convolution multiplication multiplication convolution Introduction au son numérique p.41 Introduction au son numérique p.42
Réponse impulsionnelle r réponse impulsionnelle d une salle : Réponse impulsionnelle r réponse impulsionnelle d une salle : premières réflexions son direct Introduction au son numérique p.43 Introduction au son numérique p.44 Réponse impulsionnelle r réponse impulsionnelle d une salle : Réponse impulsionnelle r réponse impulsionnelle d une salle : réflexions tardives exemple sonore (convolution ) : x = r : une cathédrale... y : Suzanne Vega au restaurant... s = x y : Suzanne Vega dans la cathédrale Introduction au son numérique p.45 Introduction au son numérique p.46
Échelles perceptives Échelle des décibels (db) paramètres du son (des partiels) : l et la fréquence sont des grandeurs physiques, mesurables les paramètres perceptifs correspondants sont respectivement le volume et la hauteur (pour les psychoacousticiens, la sonie et la tonie) la loi de Fechner s applique à tout organe sensoriel : la sensation est proportionnelle au logarithme de l excitation nous percevons ces paramètres sur des échelles logarithmiques échelle communément utilisée pour représenter le volume ( ) A V (A) = 20 log 10 A 0dB A(V ) = A 0dB 10 V/(20dB) db SPL (Sound Pressure Level) standards : A 0dB = 10 6 les volumes audibles vont approximativement de 0 à 120 db Introduction au son numérique p.52 Introduction au son numérique p.53 Échelle Bark (d après Barkhausen) les fréquences audibles vont approx. de 20 Hz à 22 khz beaucoup plus proche de la perception que l échelle linéaire Hertz 1 Bark = 100 mels B(F) = F(B) = { { F/100 si F 500 9 4 log 2 (F/1000) si F > 500 100 B si B 5 1000 2 (B 9)/4 si B > 5 Seuil d audibilité les volumes audibles vont approximativement de 0 à 120 db toutefois le seuil de sensibilité en S a dépend de la fréquence les partiels dont les volumes sont inférieurs au seuil ne sont pas audibles (db) 120 100 80 60 40 20 0 seuil d audibilité!20 0 5 10 15 20 25 30 fréquence (Bark) seuil d audibilité S a Introduction au son numérique p.54 Introduction au son numérique p.55
Phénomène de masquage physiquement, l addition de signaux de même : est régie par une loi d addition non linéaire qui donne un maximum de 6 db ( doublée pour deux signaux identiques en phase) perceptivement, le seuil de perception est modifié pour un son m (masqué) quand il est joué en même qu un son plus fort M (masquant) Masquage fréquentiel (simultané) cas où M et m sont deux sinusoïdes (sons purs / simples) de fréquences respectives f M et f m d s respectives a M et a m (on suppose a M > a m ) si f m est proche de f M, le son m est masqué par le son M m peut devenir inaudible (db) f M f m fréquence (Bark) l effet de masquage est maximal lorsque f m et f M sont proches Introduction au son numérique p.56 Introduction au son numérique p.57 Exemple : cas d un son harmonique Non linéarités de l oreille (suite) son complexe (superposition de sons simples) ( f p,a p ) des battements peuvent être perçus quand f m n f M (n entier positif) les deux sons purs peuvent interagir pour créer perceptivement des fréquences i f m ± j f M (i et j étant des entiers), créant ainsi des harmoniques «virtuelles» pour une sinusoïde pure fondamentale virtuelle perçue même si physiquement absente F fréquence Introduction au son numérique p.58 Introduction au son numérique p.59
Modèle : triangle de masquage évaluation du rapport signal / masque (signal-to-mask ratio, SMR) de chaque partiel le seuil de masquage est quasiment un triangle en échelles Bark-dB : la différence! entre le volume du partiel masquant et son masque (-10 db) le demi-triangle de masquage vers les fréquences basses (pente gauche : 27 db/bark) le demi-triangle de masquage vers les fréquences élevées (pente droite : -15 db/bark) (db)! SMR f M f m fréquence (Bark) en réalité : le sommet du triangle est plus émoussé... la pente de droite peut varier avec la fréquence Introduction au son numérique p.60 Bandes critiques l oreille intègre certaines bandes de fréquence du spectre audible pour chaque fréquence, il y a une bande critique centrée en cette fréquence la largeur de chaque bande est d exactement 1 Bark 24 bandes critiques suffisent pour couvrir l étendue du spectre : numéro début centre fin 1 20 50 100 2 100 150 200 3 200 250 300 4 300 350 400 5 400 450 510 6 510 570 630 7 630 700 770 8 770 840 920 9 920 1000 1080 10 1080 1170 1270 11 1270 1370 1480 numéro début centre fin 13 1720 1850 2000 14 2000 2150 2320 15 2320 2500 2700 16 2700 2900 3150 17 3150 3400 3700 18 3700 4000 4400 19 4400 4800 5300 20 5300 5800 6400 21 6400 7000 7700 22 7700 8500 9500 23 9500 10500 12000 12 1480 1600 1720 24 12000 13500 15500 (valeurs des fréquences en Hz) Introduction au son numérique p.61 Masquage temporel Exemple de masque M 2 sortes de masquages temporels : post-masquage survient quand le son masquant disparaît l effet du masquage fréquentiel persiste alors, en s estompant pendant plusieurs millisecondes après cette disparition pré-masquage plus surprenant... l effet de masquage est actif quelques millisecondes avant que le son masquant n apparaisse vraiment toutefois ce phénomène est beaucoup moins prononcé (db) p 1 p 2! p 3 M p 4 p 5 fréquence (Bark) Introduction au son numérique p.62 Introduction au son numérique p.63
Exemple de masque M (suite) 5 partiels et le masque associé M (ligne polygonale en gras) : p 1, p 2 et p 4 sont des partiels masquants et contribuent au masque M (les zones de fréquence de leurs contributions sont représentées par des rectangles) p 5 n est ni masquant ni masqué p 3 est masqué (par p 2 ) Construction du masque initialement, le masque est mis à zéro : M 0 (! db) puis les partiels sont parcourus par s décroissantes pour chaque partiel p de fréquence f p et d a p (de volume V (a p )), 3 cas peuvent se produire : 1. si M( f p ) " < V(a p ), alors p est un partiel masquant et M doit être mis à jour avec sa contribution ; 2. si M( f p ) < V (a p ) M( f p ) ", alors p n est ni masquant ni masqué ; 3. si V(a p ) M( f p ), alors p est simplement masqué. On met à jour le masque M itérativement, en conservant la plus grande valeur entre le triangle de masquage associé au partiel courant p et l ancienne valeur de M. On fait cela pour chaque composante de la DFT. Introduction au son numérique p.64 Introduction au son numérique p.65 Exemple (0/5) Exemple (1/5) (db) (db) p 2 p 2! p 1 M p 4 p 1 M p 4 p 3 p 5 p 3 p 5 fréquence (Bark) fréquence (Bark) Introduction au son numérique p.66 Introduction au son numérique p.67
Exemple (2/5) Exemple (3/5) (db) (db) p 2 p 2 p 1 M p 4 p 1 M p 4 p 3 p 5 p 3 p 5 fréquence (Bark) fréquence (Bark) Introduction au son numérique p.68 Introduction au son numérique p.69 Exemple (4/5) Exemple (5/5) (db) (db) p 2 p 2 p 1 M p 4 p 1 M p 4 p 3 p 5 p 3 p 5 fréquence (Bark) fréquence (Bark) Introduction au son numérique p.70 Introduction au son numérique p.71
Application : compression MPEG oublier les composantes inaudibles pour gagner de l espace mémoire principales étapes d un codeur MPEG I/II niveau 3 ( MP3 ) : 1. analyse spectrale (Fourier) 2. modèle psychoacoustique : calcul du masque 3. en fonction du rapport signal / masque (SMR), quantifier l des composantes spectrales sur un nombre de bits différent exemple : SMR = 10 db 16 bits... SMR < 0 db 0 bits 4. puis codage entropique (Huffman), sans perte Application : tatouage audio watermarking audionumérique rajouter des informations inaudibles au sein d un son existant applications : protection de la propriété intellectuelle (inclusion du copyright) transmission discrète d informations stratégiques... Introduction au son numérique p.72 Introduction au son numérique p.73 Exemple : projet MAGIC Perception du son Musical Audio Graphics Interleaved Coding 3 paramètres : intensité (sonie) hauteur (tonie) timbre volume grave / aigu Introduction au son numérique p.74 Introduction au son numérique p.75
Perception du son Perception du son 3 paramètres : intensité (sonie) volume hauteur (tonie) grave / aigu timbre Le timbre est défini par ce qu il n est pas... (c est ce qui permet de différencier deux sons de même intensité et de même hauteur) 3 paramètres : intensité (sonie) volume hauteur (tonie) grave / aigu timbre Le timbre est défini par ce qu il n est pas... (c est ce qui permet de différencier deux sons de même intensité et de même hauteur) (durée) (position dans l espace) Introduction au son numérique p.75 Introduction au son numérique p.75 Spectre et partiels partiel : 1 0.9 0.8 0.7 composante sinusoïdale d un son, maximum local (pic) dans le spectre S( f ) FFT Son harmonique fréquence fondamentale F ( f p,a p ) 0.6 Amplitude 0.5 0.4 0.3 0.2 0.1 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 11000 Fréquence partiel p = ( f p,a p,! p ) (fréquence,, phase) F F fréquence F perçue dans l intervalle [20 20000] Hz Introduction au son numérique p.76 Introduction au son numérique p.77
Son harmonique fréquence fondamentale F ( f p,a p ) F fréquence fondamentale absente (virtuelle) Fréquence hauteur fréquence F exprimée en Hertz (Hz) (échelle linéaire) hauteur perçue H (échelle logarithmique) H(F) = H réf O log 2 (F/F réf ) F(H) = F réf 2 (H H réf)/o hauteur MIDI (pitch) : F réf = 440 Hz, H réf = 57 O = 12 (nombre de demi-tons par octave) exemple : F = 880 Hz H = 69 remarque : des valeurs entières entre 1 et 127 (codage 7 bits) suffisent à couvrir l intervalle des fréquences audibles [20... 22000] Hz par pas de 1 demi-ton (gamme chromatique). F 2 F octave supérieure F F/2 octave inférieure Introduction au son numérique p.78 Introduction au son numérique p.79 Amplitude F ( f p,a p ) F fréquence A =! P p=1 a p ou A RMS = 1 2! P p=1 a p 2 RMS : Root Mean Square (plus proche de la perception) Amplitude volume A (échelle linéaire) intensité perçue, volume V exprimé en décibels (db) (échelle logarithmique) V (A) = V réf 20 log 10 (A/A réf ) A(V ) = A réf 10 (V V réf)/20 normalisation db SPL (Sound Pressure Level) : A réf = 10 6 (Pa), V réf = 0 db (seuil d audibilité, une molécule d air...) intervalle couvert pour A [0 1] : ]!;120] db (avion à réaction au décollage, seuil de la douleur...) Introduction au son numérique p.80 Introduction au son numérique p.81
Son harmonique Enveloppe spectrale (couleur) ( f p,a p ) enveloppe spectrale, couleur C( f ) C ( f p,a p ) F fréquence fréquence pour les sons harmoniques, c est le timbre exemple de la voix : les voyelles (a, e, i, o, u, etc.) Introduction au son numérique p.82 Introduction au son numérique p.83 Enveloppe spectrale (couleur) Brillance enveloppe spectrale, couleur C( f ) C formants fréquence pour les sons harmoniques, c est le timbre exemple de la voix : les voyelles (a, e, i, o, u, etc.) formants : maxima locaux de l enveloppe spectrale centroïde spectrale (brillance) pour un son harmonique : cas général : B =!P p=1a p f p! P p=1 f p B =!N/2 1 m=1 S[m] m! N/2 1 m=1 m paramètre particulièrement sensible pour les trompettes... Introduction au son numérique p.84 Introduction au son numérique p.85
Transformations musicales... cas général : modifier un ou plusieurs paramètres du son exemple : robotisation de la voix ; étirement temporel (time-stretching) : exemples : original, ralenti (facteur 2, méthode temporelle), ralenti (facteur 2, méthode spectrale) ; transposition (pitch-shifting) : exemples : original, transposé (octave supérieure, méthode temporelle), transposé (octave supérieure, méthode spectrale 1), transposé (octave supérieure, méthode spectrale 2) ;... MPEG 7 MPEG : Moving Picture Experts Group descripteurs normalisés MPEG 7 pour indexer, classifier les sons des centaines de descripteurs... tentative de description du timbre pour un son quelconque... Introduction au son numérique p.86 Introduction au son numérique p.87 Modèle sinusoïdal [McAulay, Quatieri (IEEE TASSP, 1986)] [Serra, Smith (CMJ, 1990)] Le signal audio s est donné dans le domaine temporel par : Modèle sinusoïdal : un exemple fréquence s(t) = où P est le nombre de partiels et P! a p (t)cos(" p (t)) (-5) p=1 Z t " p (t) = " p (0) 2# f p (u)du (-5) 0 Les fonctions f p (t), a p (t) et " p (t) sont, respectivement, la fréquence, l et la phase du p-ième partiel. fréquence saxophone alto Introduction au son numérique p.88 Introduction au son numérique p.89
Modulations... fréquence fréquence vibrato : variation sinusoïdale de la fréquence trémolo : variation sinusoïdale de l Introduction au son numérique p.90