Débruitage de la parole (Speech enhancement) Asmaa AMEHRAYE Sous l encadrement de: Mr D.Pastor Journée Scientifque TP'05 1
Plan Introduction Méthodes classiques Problématiques Apport de la psycho-acoustique Travaux effectués Démonstration Conclusion & Perspectives Journée Scientifque TP'05 2 1
Introduction Débruitage de la parole Pourquoi? Comment? Journée Scientifque TP'05 1 2
Système mono capteur Hypothèses: 1- Bruit additif s(n) + y(n) b(n) 2- Décorrélation entre bruit b(n) et parole propre s(n). Journée Scientifque TP'05 4 3
Méthodes classiques Soustraction spectrale Filtrage de Wiener Journée Scientifque TP'05 5 4
Soustraction spectrale Deux types de soustraction: SSA SSP Vue sous un angle de filtrage: Tel que: Journée Scientifque TP'05 6 5
Filtrage de Wiener L estimateur minimisant l'erreur quadratique moyenne entre le signal d'entrée et celui en sortie. Où Journée Scientifque TP'05 1 6
Problématiques 1- Estimation du bruit 2- Détection de l activité vocale (DAV) 3- Artéfacts: Bruit musical et Distorsions du signal Journée Scientifque TP'05 8 7
Estimation du bruit Moyenne du signal bruité durant les instants de silence Limitations DAV Bruit coloré Solutions: Un système fiable de Détection d Activité Vocal. Mise à jour de l estimation du bruit même en présence de la parole. Journée Scientifque TP'05 9 9
Détection de l activité vocale (DAV) 1.5 DAV idéal 1 0.5 0 0.5 0 0.5 1 1.5 2 2.5 3 x 10 5 Techniques: Taux de passage par zéro Seuillage d énergie Mesure de périodicité Statistiques d ordre supérieur Journée Scientifque TP'05 10 8
Bruit musical Bruit musical Gênant à la perception humaine Structure aléatoire Premières tentatives de réduire le bruit musical: Berouti [1] Boll [2] Tendance actuelle : Méthodes perceptuelles Journée Scientifque TP'05 11 10
Apport de la psycho-acoustique La présence physique d un son ne garantit pas sa perception auditive. Notions en psycho-acoustique Phénomène du masquage? Comment peut on se servir du masquage pour débruiter? Journée Scientifque TP'05 12 11
Notions de psychoacoustique L aire d audition absolu Courbes d isosonie Journée Scientifque TP'05 13 Bandes critiques 12
Phénomène du masquage Masquage fréquentiel: Bruit masquant une Tonale : BMT Tonale Masquant un Bruit : TMB Bruit masquant un Bruit : BMB Masquage temporel: Pré masquage Post masquage 80 db 70 60 50 40 30 20 10 f(hz) 0 0 1000 2000 3000 4000 5000 6000 7000 8000 Journée Scientifque TP'05 14 13
Q: Comment peut on exploiter le phénomène de masquage pour débruiter? Idée du filtrage perceptuel: Ne tenir compte que du bruit audible Intérêt: Le bruit inaudible servira de masquant pour le bruit résiduel Importance d une estimation précise de la courbe de masquage Journée Scientifque TP'05 15 14
Deux cas limite de l estimée de la courbe de masquage: 50 40 db Sur estimation de la courbe de masquage 70 60 db 30 50 20 10 0 10 Courbe de masquage réelle dsp du signal bruité f(hz) 20 0 1000 2000 3000 4000 5000 6000 7000 8000 40 30 20 Sous estimation de la courbe de masquage f(hz) 10 0 1000 2000 3000 4000 5000 6000 7000 8000 Le bruit résiduel augmente Les distorsions du signal augmentent Besoin d un compromis Journée Scientifque TP'05 16 15
Travaux effectués Etat de l art des algorithmes de débruitage perceptuel. L évaluation des performances des débruiteurs par des mesures objectives perceptuelles. Utiliser Wiener pour le calcul de la courbe de masquage. Pourquoi? Coupler l utilisation de Wiener, pour l estimation de la courbe de masquage, avec un filtrage perceptuel [3]. Et évaluation avec les critères MBSD et SSNR. Journée Scientifque TP'05 17 16
Filtre perceptuel Le filtre perceptuel proposé dans [3] est donné par: Où T k : La courbe de masquage dans le canal FFT k γ Bˆ : Densité spectrale de puissance du bruit Journée Scientifque TP'05 18 17
Démonstration Comparaison entre : Filtrage de Wiener Filtrage perceptuel Eléments d expérience: Fichiers parole de la Base Timit. RSB db ={-5; 0; 5; 10;15;20} Deux types de bruit : Babble de la base NOISEX Bruit Blanc Gaussien Bruit estimé pendant les silences d un DAV idéal Journée Scientifque TP'05 19 18
White noise & Résultats audio: Wiener Méthode perceptuelle Entrée-5dB -5dB Sortie-5dB Sortie-5dB Entrée0dB 0dB Sortie0dB Sortie0dB Entrée5dB 5dB Sortie5dB Sortie5dB Entrée10dB 10dB Sortie10dB Sortie10dB Journée Scientifque TP'05 20 19
Babble noise Résultats audio: Wiener Méthode perceptuelle Entrée-5dB -5dB Sortie-5dB Sortie-5dB Entrée0dB 0dB Sortie0dB Sortie0dB Entrée5dB 5dB Sortie5dB Sortie5dB Entrée10dB 10dB Sortie10dB Sortie10dB Journée Scientifque TP'05 21 20
Evaluation objective (white noise) Résultats MBSD Résultats SNR segmental Journée Scientifque TP'05 22 21
Conclusion L apport de la psycho-acoustique est net. Le besoin d un système de DAV fiable. L estimation du bruit dépend en grande partie de la fiabilité du DAV. Journée Scientifque TP'05 23 22
Perspectives Etude de l'apport d'outils nouveaux de détection et d'estimation non paramétriques [4]. Etude des potentialités des ondelettes dans le débruitage perceptuel. Améliorer l estimation de la courbe de masquage; voir si des corrections sont possibles. L'application de ces approches pour l'amélioration de l'intelligibilité audio et la reconnaissance automatique de la parole pour des applications de téléphonie mobile et de téléphonie main libre. Journée Scientifque TP'05 24
Perspectives Etude de l'apport d'outils nouveaux de détection et d'estimation non paramétriques [4]. Etude des potentialités des ondelettes dans le débruitage perceptuel. Améliorer l estimation de la courbe de masquage; voir si des corrections sont possibles. L'application de ces approches pour l'amélioration de l'intelligibilité audio et la reconnaissance automatique de la parole pour des applications de téléphonie mobile et de téléphonie main libre. Journée Scientifque TP'05 24
Références [1] M. Berouti, R. Schwartz, and J. Makhoul, Enhancement of speech corrupted by acoustic noise, in Proc. IEEE Int. Conf. on Acoustics,Speech, Signal Processing, Washington DC, 1979, pp. 208-211. [2] S. Boll, Suppression of acoustic noise in speech using spectral subtraction, IEEE Transactions on Acoustics, Speech and Signal Processing, vol. 27, no. 2, 1979. [3] Te-Won Lee and Kaisheng Yao," Speech enhancement by perceptual filter with sequential noise parameter estimation ", Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASSP 04). IEEE International Conference on Volume 1, Page(s): I - 693-6 vol.1, 17-21 May 2004 [4] D. Pastor On the detection of signals with unknown distributions and priors in white Gaussian noise, Collection des Rapports de Recherche de l ENST Bretagne, RR- 2006001-SC, 2006. Journée Scientifque TP'05 25 24