1. Introduction. 2. Extraction d observation à partir du signal audio. TP ATIAM, Structuration et résumé audio Mardi 27 janvier h00 17h30

Transcription

1 Sujet : Date : Auteur : TP ATIAM, Structuration et résumé audio Mardi 7 janvier h00 17h30 Geoffroy Peeters 1. Introduction Ce TP vise à construire un système simple mais complet de création de résumé audio. L entrée du système est un fichier wav contenant la totalité du signal audio d un morceau, la sortie du système est un fichier wav contenant le résumé audio d une durée de 0s. La méthode de création du résumé est basée sur le «summary score» proposé dans Cooper 00 (voir références à la fin). Cependant à la différence de cette publication (qui utilise une observation du signal de type MFCC) nous utiliserons une observation de type chroma (voir références à la fin). Les différentes étapes du système à développer sont - Lecture d un fichier wav par la fonction wavread - Extraction à chaque instant du vecteur d observation chroma - Calcul de la matrice de similarité à partir des vecteurs de chroma extraits à chaque instant - Calcul du summary score pour une longueur de 0s à partir de la matrice de similarité - Sélection du summary score le plus élevé - Ecriture du résumé audio par la fonction wavwrite - L objectif de ce TP est également d apprendre à subdiviser le problème posé en sous fonctions effectuant chacune une fonctionnalité précise.. Extraction d observation à partir du signal audio Fonction : Fobservation.m L objectif de cette fonction est d extraire à chaque instant d analyse une représentation de type chroma du signal. Pour rappel, le chroma est un vecteur à 1 dimensions représentant l importance des 1 classes de semi-tons à un instant donné du signal. La fonction à écrire comporte deux étapes : 1) Création d une matrice de filtres effectuant le mapping entre les bins du module de la TF et les valeurs de chroma ) Analyse du signal à fenêtre glissante effectuant : a) le fenêtrage du signal b) le calcul du module de la TF c) le mapping entre le module de la TF et les valeurs de chroma à l aide de la matrice de filtres créé précédemment 1.1 Création de la matrice de filtres Nous notons N le nombre de points de la TF, nous nous intéressons uniquement au demiaxe positif de la TF (indices entre 1 et N/+1). Chaque filtre effectue le mapping entre ce vecteur et un chroma spécifique. Pour rappel, il y a 1 chromas, chacun correspondant à une classe de hauteur de demi-ton c. Une classe de hauteur de demi-ton c représente toutes les hauteurs de demi-tons n tel que c = mod(n, 1)+1. Pour chaque chroma c, le filtre a créer est donc composé de la somme des filtres passebandes chacun centrés sur les demi-tons n tel que c = mod(n, 1)+1. TP ATIAM, Structuration et résumé audio, Peeters 1/7

2 Chacun des filtres passe-bandes est centré sur une hauteur de demi-ton n et s étend de part et d autres jusqu au demi-ton inférieur et supérieur. On s aidera de la formule suivante effectuant le mapping entre les fréquences de la TF, freqtf, et les notes midi correspondantes : miditf = 1*log(freqTF / 440)+69 On utilisera également la formule suivante pour la forme du filtre passe-bande : H = 1/*tanh(pi*(1-*x))+1/; dans lequel x représente la valeur absolue de la distance entre - miditf : la fréquence des bins de la TF exprimé en notes midi et - n : la hauteur de demi-ton considéré x = abs(n - miditf) La figure suivante illustre le filtre de demi-ton pour n=43 (note G ou 98Hz) La figure suivante illustre le filtre de chroma pour c=8 (note G=G+G3+G4+ ) somme des contributions des filtres n tel que 8 = mod(n, 1) On se limitera à l utilisation des filtres entre n = 43 à 95. L ensemble des filtres de chroma seront stockés dans une matrice de taille (1, N/+1), i.e. un filtre de chroma par ligne. Nous représentons ci-dessous la matrice résultante. L affichage s effectue à l aide de la fonction imagesc TP ATIAM, Structuration et résumé audio, Peeters /7

3 1. Calcul du chromagram par analyse à fenêtre glissante L analyse à court terme s effectue à l aide d une fenêtre de type blackman de longueur 0.s, le pas d avancement étant fixé à 0.1s. La conversion en nombre d échantillon s effectue selon L=round(0.*sr_hz) et S=round(0.1*sr_hz) dans lequel sr_hz désigne le sampling rate du signal audio. Le sampling rate dépend du signal (44.1Khz pour gammepno.wav, 11KHz pour song1.wav) et est donné par la fonction wavread. Pour rappel, la taille de la FFT, N, doit être supérieure à la longueur de la fenêtre, L, et puissance de. A chaque trame d analyse, on calculera - fenêtrage du signal - calcul du module de la TF du signal fenêtré - calcul du vecteur de chroma correspondant. Pour cela on multipliera le module de la TF par la matrice de filtre de chroma : (1, N/+1) * (N/+1, 1) = (1, 1) La sortie de la fonction est une matrice dont les lignes correspondent aux 1 valeurs de chroma et les colonnes aux trames successives de l analyse à court terme. Sa taille est (1, nb_trame) 1.3 Test de la fonction On testera la fonction d observation chroma sur le signal gammepno.wav représentant une gamme chromatique ascendante au piano. L affichage de la matrice d observation chroma s effectue à l aide de la fonction imagesc. Le résultat pour le signal gammepno.wav doit ressembler à celui de la figure suivante : à chaque instant la dimension du vecteur de chroma correspond à la tonique de la note jouée(1,, 3, 4,, 1 au cours du temps) TP ATIAM, Structuration et résumé audio, Peeters 3/7

4 3. Calcul de la matrice de similarité des observations Fonction: Fmatricedesimilarite.m A partir de la matrice d observation calculée précédemment, nous calculons la matrice de similarité du morceau. Pour cela nous calculons la distance cosinusoidale entre les vecteurs d observation à tous les couples de temps i et j (calcul de la distance entre toutes les colonnes prises deux à deux). Etant donné la nature symétrique de la matrice, on se limitera avantageusement à calculer la matrice triangulaire inférieure ou supérieure de la matrice et à déduire l autre partie transposition. Pour rappel la distance cosinusoidale entre un vecteur x et un vecteur y est calculée par x( y( i dist = x( y( i La sortie de cette fonction est une matrice carrée symétrique de taille égale au nombre de trames du morceau : (nb_trame, nb_trame) i.1 Test de la fonction A titre d exemple, on montre ci-dessous la matrice de similarité correspondant aux observations calculées précédemment pour le signal gammepno.wav. L affichage s effectue également à l aide de la fonction imagesc TP ATIAM, Structuration et résumé audio, Peeters 4/7

5 4. Filtrage de la matrice de similarité Fonction: Ffiltragematrice.m Afin d accentuer la présence de diagonales dans la matrice de similarité, et donc de mettre en évidence les répétitions de type «séquences» par rapport au bruit de fond, on utilisera la fonction Fmatricefiltrage. Cette fonction effectue un filtrage passe-haut dans le sens perpendiculaire aux diagonales et un filtrage passe-bas dans le sens des diagonales de manière à accentuer la présence de diagonales par rapport au bruit de fond et à lisser les discontinuités des diagonales (répétition non-exacte). Cette partie n ayant pas été étudiée lors du cours, nous nous contenterons d appliquer telle quelle la fonction Ffiltragematrice. S_m = Ffiltragematrice(S_m, STEP_sec) - S_m est la matrice similarité calculée précédemment - STEP_sec est la pas d avancement de l analyse à court terme exprimé en seconde 5. Estimation du point de démarrage du résumé audio: méthode du summary score Fonction: Fsummaryscore.m A partir de la matrice de similarité nous cherchons à estimer le point de départ dans le morceau d un extrait continu de 0s tel que cet extrait soit le plus représentatif du morceau (i.e. similaire au reste du morceau). Pour cela, nous calculons le «summary score» tel que proposé dans Cooper 00. Pour chaque temps (ligne q de la matrice), le summary score est calculé comme la somme des colonnes de la matrice de similarité à q donné. Il représente la similarité de l instant q avec l ensemble des temps du morceau. Pour un segment démarrant en q et de longueur L, le summary score est calculé comme la somme des sommes des colonnes entre q et q+l. Il représente la similarité moyenne du segment [q,q+l] avec l ensemble du morceau. L est la longueur du résumé recherché. Nous recherchons un résumé de longueur 0s (convertir ce temps en nombre de trames en utilisant le pas d avancement (0.1s)). Nous cherchons la valeur de q qui maximise le summary score. La sortie de la fonction est cette valeur de q. 6. Création du résumé audio Le résumé audio est créé en extrayant du signal audio le segment compris entre l instant q et l instant q+l et en le sauvegardant dans un fichier. Attention la valeur q retournée par la fonction Fsummaryscore indique un numéro de trame et non un temps! Ł convertir cette valeur en temps en utilisant le pas d avancement de l analyse (0.1s) Ł convertir la valeur obtenue en nombre d échantillons du signal en utilisant le sampling rate (11.05Hz). Le résumé final sera calculé sur le morceau : song1.wav. TP ATIAM, Structuration et résumé audio, Peeters 5/7

6 7. Clustering du morceau par algorithme de type fuzzy-kmeans Fonction: Ffuzzykmeans.m On écrira un algorithme de type fuzzy-kmeans afin d obtenir une représentation par état du morceau de musique. Calcul des observations Afin d obtenir plus aisément ce type de représentation (mettant en évidence la structure d arrangement du morceau) on utilisera une observation de type timbre. Celle-ci peut s obtenir par exemple en calculant la suite de vecteur MFCCs du signal audio. En utilisera ici une observation basée sur l analyse en composante principale de la partie basse du spectre. 1) calcul du spectrogram du signal audio ) calcul de l analyse en composante principale de la partie basse du spectre à l aide la fonction matlab princomp. On gardera uniquement les 5 composantes principales expliquant la variance maximale du signal. Ecriture de l algorithme de fuzzy-kmeans L algorithme de clustering fuzzy-kmeans est un algorithme itératif de type E-M (Expectation/ Maximization). A chaque itération nous calculons l étape E et l étape M. L étape E calcul pour chaque observation la probabilité d appartenir à un cluster K donné. L étape M calcul pour chaque cluster K une nouvelle définition de son centre en fonction de l attribution des observations à ce cluster. L algorithme procède en répétant les étapes E et M jusqu à convergence. L initialisation s effectuera ici en prenant de manière aléatoire un nombre K d observations et en les considérant comme définition initiale du centre des K clusters. Paramètres d entrée de la fonction : matrice d observation (5, nombre de trame) nombre de clusters K nombre d itération N Initialisation Prendre de manière aléatoire K observations parmi la matrice d observation Définir les centres des K clusters comme ces K observations Itération Etape E 1) Calculer la distance euclidéenne entre chaque observation X et chacun des K clusters ) Transfomer cette distance en probabilité d appartenance d une observation X à un cluster K selon la formule 1 /( b 1) 1 p ( = dist( 3) Normaliser cette probabilité de manière à ce que, pour une observation X donnée, la somme des probabilités d appartenance de X à tous les clusters soit égal à 1 = Etape M Recalculer le centre de chaque cluster K comme la somme pondérée des observations. La pondération s effectue par la probabilité d appartenance de chaque observation au cluster k TP ATIAM, Structuration et résumé audio, Peeters 6/7

7 G k X x = b Nous choisirons K=10, b=, et un nombre d itération égale à 50. x En sortie de l algorithme on assignera chaque observation X au cluster K le plus probable (pour chaque X on choisit le K maximum de P(X,K)). b 8. Bibliographie Article libre de droit expliquant l extraction des vecteurs de chroma : Peeters, G. (006). Chroma-based estimation of musical key from audio-signal analysis. Proc. of ISMIR, Victoria, Canada. Cet article est accessible à l URL suivante : Article libre de droit expliquant l extraction du summary score: Cooper, M. and J. Foote (00). Automatic Music Summarization via Similarity Analysis. Proc. of ISMIR, Paris, France. Cet article est accessible à l URL suivante : TP ATIAM, Structuration et résumé audio, Peeters 7/7