SPATIALISATION ET ECRITURE (1) Emmanuel Rio CNAM-CCAM 2005
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
Introduction Comportement physique : source / auditeur / salle Localisation et acoustique virtuelle Structure temporelle : séquenceur / arborescence Ecriture spatiale
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
Son direct propagation dans l air, sans obstacle la direction est perçue source différences entre les deux oreilles : différence de temps (ITD) différence de niveau (ILD) différences spectrales liées à l influence du torse, de la tête et des pavillons db son direct temps
Réflexion réflexion contre les murs la direction est perçue absorption atténuation par la surface (dépend de la fréquence) type de réflexion spéculaire (miroir) : surface lisse diffuse : surface irrégulière source auditeur db son direct réflexion temps
Premières réflexions (1) réflexion contre les murs la direction est perçue ordre de la réflexion nombre de réflexions subies pour une pièce cubique : 6 réflexions de premier ordre source db son direct premières réflexions temps
Premières réflexions (2) densité des réflexions : deviennent trop rapprochées on ne peut plus les isoler plus de direction perçue source db son direct premières réflexions temps
Réverbération Réverbération : on ne perçoit plus de direction champ «diffus» source localisé db son direct premières réflexions non localisé réverbération temps
Son direct / Effet de salle Son direct : propagation dans l air atténuation en fonction de la distance Effet de salle : premières réflexions réverbération moins de variation avec la distance source db son direct premières réflexions effet de salle réverbération temps
Perception de la distance Rapport son direct / réverbération source db son direct premières réflexions effet de salle réverbération temps
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
Exemple 1 : binaural espace capté espace composé espace restitué tête humaine tête artificielle traitements mixage source microphone spatialisation : son direct effet de salle
Exemple 2 : stéréophonie espace capté espace composé espace restitué scène complexe traitements mixage source isolée microphone spatialisation : son direct effet de salle
Espace capté (1) : distance, effet de salle espace réverbérant Captation éloignée : son direct présence d un effet de salle source son direct espace peu réactif source isolée Captation en proximité : son direct majoritairement chambre sourde, studio microphone
Espace capté (2) : microphones monophonique (1 canal) : différentes figures de directivité effet de la distance captation d une source isolée ou d une scène simple omnidirectionnel figure 8 cardioïde différence de temps différence d intensité différence de temps et d intensité tête artificielle stéréophonique (2 canaux) : différents couples de microphones latéralisation (gauche/droite) et effet de distance captation de scènes complexes multi - canal : différents dispositifs (Hamasaki Square, Decca tree, microphone Soundfield) différenciation gauche/droite, avant/arrière, haut/bas + effet de distance
Espace composé spatialisation de sources monophoniques positionnement des sources (direction et distance) projection des sources dans une acoustique virtuelle synthèse d un effet de salle transformation de scènes déjà spatialisées scènes stéréophoniques scènes multi-canal
Panoramique d intensité source virtuelle G r q D qmax
Synthèse d effet de salle : premières réflexions signal source g 0 son direct panoramique t 1 g 1 panoramique premières réflexions t 2 t 3 g 2 g 3 panoramique panoramique S système de restitution t n g n panoramique
Synthèse d effet de salle : premières réflexions signal source g 0 son direct panoramique ligne à retard gauche premières réflexions S panoramique S système de restitution S panoramique droite
Synthèse d effet de salle : réflexions tardives signal source g 0 son direct panoramique premières réflexions panoramique S t g réflexions tardives S système de restitution filtre en peigne : faible coût (filtre IIR) nombreuses réflexions (denses) coloration du timbre
Synthèse d effet de salle : réverbération signal source g 0 son direct panoramique premières réflexions panoramique S mélange t 1 filtrage réverbération S système de restitution S S t 2 t 3 filtrage filtrage répartition S t 4 filtrage
Espace restitué : stéréophonie source fantôme source fantôme
Espace restitué : quadriphonie bonne restitution mauvaise restitution bonne restitution
Espace restitué : 5.1 L C R L et R : stéréophonie classique LFE C : dialogues ne dépend pas de la position de l auditeur Ls Rs Ls et Rs : partie surround localisation imprécise LFE : low frequency effects
Espace restitué : normes (1)
Espace restitué : normes (2)
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
introduction rappels d acoustiques ce qui se passe physiquement et ce que nous en percevons espace capté, espace composé, espace restitué moteurs et spatialisation interfaces, fonctionnalités, exemple
Séquenceur
Interface
Exemple
Implantation des algorithmes ordinateur CPU carte son DSP utilisateur application avec algorithmes de spatialisation son spatialisé ordinateur CPU carte son DSP utilisateur application API algorithmes de spatialisation Application Programming Interface (API) son initial non spatialisé (flux, fichier) commandes de spatialisation
Exemple d API : DirectSound3D (1) de l utilisateur vers le noyau CPU DSP API compatibilité application DirectSound3D pilote carte son RAM RAM HDD VMM du noyau vers l utilisateur
Exemple d API : DirectSound3D (2) CPU application DSP pilote 1 carte son 1 DirectSound3D application pilote 2 carte son 2 Types de commandes : lecture, de fichier son mixage éléments de spatialisation de base
Exemple d API : EAX et A3D Interfaces propriétaires : EAX : cartes son Creative A3D : cartes son Aureal Extensions de DirectSound3D : commandes plus évoluées possibilité d interface visuelle ex EAGLE (Environmental Audio Graphical Librarian Editor)