IMPROTEK : INTÉGRER DES CONTRÔLES HARMONIQUES POUR L IMPROVISATION MUSICALE DANS LA FILIATION D OMAX

Transcription

1 IMPROTEK : INTÉGRER DES CONTRÔLES HARMONIQUES POUR L IMPROVISATION MUSICALE DANS LA FILIATION D OMAX Jérôme Nika Ircam - Paris, puis Télécom ParisTech 46 rue Barrault Paris jerome.nika@telecom-paristech.fr Marc Chemillier Centre analyse et e mathématique sociales EHESS, 190 avenue e France Paris chemilli@ehess.fr RÉSUMÉ Le système ImproteK présenté ans cet article propose intégrer un care rythmique et une structure harmonique sous-jacente ans un contexte improvisation. Dans la filiation u logiciel improvisation OMax [4, 3, 13], il repose sur la structure oracle es facteurs pour tirer profit es propriétés particulièrement riches et pertinentes e cet automate ans un contexte musical [5]. Au cours une session improvisation, ce système peut s aapter à une pulsation régulière et proposer es phrases musicales suivant une progression harmonique onnée. ImproteK est conçu comme un instrument interactif éié à la performance : ses improvisations sont construites à partir e la moélisation stylistique réalisée sur le jeu live un musicien ou sur un corpus offline. Associée à es techniques consiérant le corpus comme une mémoire musicale, cette moélisation s éten aux omaines e l harmonisation et e l arrangement ans un moule interaction harmonique. 1. INTRODUCTION Le propos ImproteK est allier moélisation stylistique et interaction pour mettre en place un ialogue original entre es musiciens et un improvisateur virtuel nourrissant sa propre inspiration e leur jeu. Ces eux paraigmes et la structure automate au coeur e son implémentation (section 2) font e ce système un cousin u logiciel improvisation OMax [4, 3, 13] conçu et éveloppé à l Ircam. Dans la lignée es travaux sur la moélisation u style menée par G. Assayag et. al [6], OMax appren le style un improvisateur humain grâce à une représentation basée sur la structure oracle introuite par C. Allauzen et. al [1] et étenue à un contexte musical [5]. Le logiciel élabore un moèle u jeu u musicien en temps réel, et est ensuite à même e naviguer à travers cette représentation en suivant es chemins ifférents e ceux empruntés par son partenaire pour créer ainsi e nouvelles improvisations partageant la même esthétique. Partageant cette intention, ImproteK se concentre sur un contexte improvisation musicale associée à une structure harmonique sous-jacente et présentant une pulsation régulière. Le système propose une interaction enrichie en prenant la pulsation en consiération ans le care une grille accors onnée (section 3). Cette conception e l improvisation est concrètement réalisée par le moyen une architecture permettant son intégration au sein une formation musicale ont le tempo peut être extrait et suivi (section 4). Enfin, ImproteK offre une interaction harmonique en étenant la moélisation stylistique aux omaines e l harmonisation et e l arrangement (section 5). Cet article rappellera premièrement les principes généraux partagés par OMax et ImproteK pour écrire ensuite les éveloppements spécifiques à ce ernier. 2. MODÉLISATION DU STYLE MUSICAL ET STRUCTURE D ORACLE 2.1. Moélisation stylistique pour l improvisation et l harmonisation Depuis M&Jam Factory [21], Cypher e R. Rowe [18], ou Voyager e G. Lewis [14], souvent consiérés comme les premiers systèmes interactifs en temps réel, e nombreux "partenaires virtuels pour l improvisation" ont été éveloppés. La plupart entre eux ont bénéficié u éveloppement es techniques apprentissage automatique avec l iée granissante arriver toujours plus près u iscours musical tenu par l improvisateur humain en interaction. Parmi ces ispositifs, le Continuator [16] conçu par F. Pachet moélise l entrée musicale à l aie un moèle Markovien étenu pour créer e nouvelles phrases à partir e cet apprentissage. Comme ans le moe free OMax, on ne trouve aucun mécanisme e perception rythmique permettant une synchronisation avec le musicien. A l inverse, GenJam [7] éveloppé par J. Biles est plus proche es expériences antérieures OMax avec un moe beat : le logiciel propose un accompagnement comportant un tempo fixé pour guier l improvisation u musicien humain lors e phases écoute. Il répète ensuite certaines es séquences entenues après avoir apporté es moifications à l aie un algorithme génétique. Ban Out of a Box e B. Thom [20] implique également un accompagnateur non-interactif avec un tempo imposé ans un schéma interaction basé sur une logique e "traing fours" : un improvisateur humain et son partenaire virtuel ialoguent en question-réponse sur es séquences e 4 mesures. Chacune es mesures jouées par l improvisateur 147

2 humain est attribuée à une classe appelée playing moe, et la réponse e la machine est composée e 4 mesures appartenant à la même suite e moes. Ce ernier exemple introuit le sujet récurrent e la meilleure segmentation e l entrée musicale et e sa représentation. Cet élément est particulièrement crucial ans le cas e systèmes s attelant à l harmonisation, l arrangement ou plus généralement l accompagnement en faisant appel à un corpus. Qu ils soient interactifs et éiés à la performance ou conçus pour être utilisés "offline", ils peuvent être classés schématiquement selon eux critères : l utilisation exclusive e règles musicales formalisées et l implication un corpus musical (voir [15] pour la situation ImproteK au sein un système e classification plus exhaustif). Dans le cas e cette ernière catégorie, le corpus peut être consiéré comme un environnement apprentissage pour créer es moèles génératifs (par exemple C. Chuan et E. Chew [11], le logiciel Mysong-Songsmith e Microsoft [19]) et/ou comme une mémoire musicale ans laquelle es fragments sont recherchés et réagencés pour composer le nouveau matériau (bassiste e jazz virtuel e G. Ramalho, ImPact [17]). La éfinition e l unité e segmentation pour le traitement u corpus est un élément caractéristique e l approche e ces ifférents systèmes : le grain peut en effet corresponre à quelques notes clés une méloie réuite comme chez C. Chuan et E. Chew, à un seul accor pour les logiciels Songsmith et Ban in a Box (PG Music), ou à certaines caences ou séquences accors ans le projet ImPact e G. Ramalho. L iée est e trouver le meilleur équilibre entre es tranches assez longues pour proposer un accompagnement plausible et cohérent, et es tranches assez fines pour éviter e recopier es fragments trop longs et onc trop ientifiables ans le corpus. Dans le cas Improtek, l unité choisie est la pulsation. En effet, le moèle automate structurant sa mémoire - l oracle es facteurs - permet e s affranchir u choix entre cohérence musicale et originalité par rapport au corpus grâce à la continuité qu il assure par construction, permettant ainsi e travailler avec un grain aussi fin Oracle et reconnaissance e motifs L utilisation première e l oracle es facteurs a été la reconnaissance e motifs ans es chaînes e caractères, pour être ensuite étenue au calcul e facteurs répétés ans un mot et à la compression e onnées. Cet automate acyclique représente au moins tous les facteurs un mot, et l algorithme e construction incrémentale est linéaire en sa longueur, en temps comme en espace (pour le étail e l algorithme, se reporter à [1]). Les propriétés formelles e la structure oracle sont étaillées ans les articles fonateurs, et pleinement appliquées à la problématique e réinjection stylistique [4] ans plusieurs ocuments consacrés à OMax. Aussi, seuls les outils assurant la continuité et la cohérence es séquences générées avec un oracle sont brièvement écrits ici : les transitions et les liens suffixiels. Les transitions (liens en avant, lignes pleines) permettent atteinre chaque sous-séquence (ou facteur) e la séquence origine en partant e l état initial. De cette manière, chaque progression entre eux états consécutifs e la suite origine peut être générée. a b c a b c b c Figure 1. Oracle pour la séquence abcabc : générer un facteur epuis l état initial. La figure 1 présente l oracle construit sur la séquence abcabc et illustre ce point en affichant un chemin utilisant es transitions pour prouire la sous-séquence bc (0, 2, 3, 8), présente à l origine entre les états 5 et 8. L oracle repère également les motifs répétés ans la séquence origine à l aie es liens suffixiels (liens en arrière, lignes pointillées). Ils pointent sur l état final es occurrences précéemment rencontrées un motif. a b c a b c b c Figure 2. Oracle pour la séquence abcabc : exemple u motif répété bc. Dans l exemple e la figure 2, un lien suffixiel connecte les états 7 et 3. 3 est en effet l état le plus à gauche où le plus long suffixe répété e la séquence terminant en 7 (abcabc) est reconnu : bc. La structure oracle peut ainsi être vue comme un outil pour créer e nouvelles séquences grâce à une navigation non-linéaire empruntant ces eux types e liens, sa construction lui permettant e égager la logique ans les progressions présentes ans les chaînes. Dans le cas une application musicale, son aptitue à préserver le iscours u matériau original permet e évelopper une esthétique simultanément nouvelle et proche e celle proposée par les musiciens en interaction. 3. IMPROVISER DANS UN CONTEXTE MÉTRIQUE ET HARMONIQUE 3.1. Oracles en Moe beat Le principe e la version actuelle u logiciel OMax est e faire e chaque élément musical isolé un état ans une instance e la structure oracle. La navigation libre [2] 148

3 en temps réel à travers une mémoire ainsi constituée en fait onc un instrument interactif éié à l improvisation ans un contexte e musique libre. L approche ImproteK iffère par l intégration e eux paraigmes. Premièrement, ses improvisations prennent place ans le care une structure harmonique représentée par une progression symbolique choisie au ébut e chaque session (grille accors), lui permettant ainsi étenre la moélisation stylistique aux omaines e l harmonisation et e arrangement. Ensuite, il intègre un care métrique en instituant la pulsation comme unité élémentaire e ses acquisitions, restitutions, et générations. Pour ce faire, le moule improvisation a été éveloppé sur la base une version précéente OMax (OMax 2.0, 2004) conçue comme une bibliothèque Lisp sous l environnement OpenMusic [9]. Cette version implémentait la structure oracle aussi bien pour un contexte improvisation libre (moe free, imension retenue ans la version actuelle OMax), que pour le cas une pulsation régulière (moe beat, point e épart u éveloppement ImproteK). Dans cette secone optique, chaque état un oracle représente une tranche musicale ont la urée est onnée par le tempo u morceau en cours et contient ifférents types événements ayant lieu entre eux pulsations consécutives. Ces événements peuvent être es séquences musicales sous format MIDI - fragments méloiques ou accompagnement - ou es onnées symboliques comme es labels accors. Lors es phases e génération, ces ifférents éléments constituant les états seront tantôt consiérés comme es résultats élémentaires à concaténer, tantôt comme es étiquettes (ou labels) à comparer avec la séquence onnée en entrée et servant e chemin à suivre pour le parcours un oracle Ecouter et improviser avec l oracle live ImproteK improvise en recherchant puis réagençant es unités élémentaires pré-éxistantes : les nouvelles phrases sont composées en concaténant es tranches e pulsations provenant e sa mémoire musicale. Ces fragments sont collectés e manière continue en suivant le guie que constitue la grille accors servant e référence à la session improvisation. Ce processus fait apparaître une première instance e la structure oracle : l oracle live, qui effectue son apprentissage sur les phrases jouées par les musiciens (figure 3). Ces entrées MIDI sont en effet inexées pulsation après pulsation en temps réel par les labels accors e la grille harmonique en cours (voir section 4.2) et sont onc formatées pour la construction e cet objet. Une "improvisation" u système correspon à la création une nouvelle phrase musicale à partir e la mémoire stockée ans cet oracle live. Dans ce care, les labels accors e l oracle sont consiérés comme es inex pour l heuristique e navigation contrainte (G. Assayag). Ce mécanisme revient à chercher les motifs une séquence entrée (ici la grille harmonique) ans une séquence ifférente (ici les labels accors es états e l oracle). Quan un label correspon, la tranche e pulsation méloique associée est retournée pour être ajoutée à la séquence es Oracle live Figure 3. Apprentissage e l oracle live. résultats es étapes précéentes Navigation contrainte et continuité Improviser en suivant une grille équivaut ici à suivre un chemin ans l automate avec es transitions étiquetées par les labels e cette grille. Si aucune transition inexée par le label souhaité n est trouvée, on cherche à suivre un lien suffixiel permettant aller à un autre état où l on pourra éventuellement lire l étiquette courante. Les liens suffixiels garantissent qu il existe, ans la séquence origine, une partie commune entre les eux fragments concaténés. La navigation recherche onc en premier lieu la continuité en essayant e coller aux enchaînements appris, et cherche les labels inépenamment s ils s inscrivent ans une succession ne figurant à aucun enroit e l oracle construit sur la séquence origine. Un paramètre e continuité est contrôlé à chaque étape u calcul. Il compte le nombre e transitions successives suivies jusqu alors ans la navigation, et inique ainsi la longueur es segments recopiés e la séquence e l oracle. En imposant une continuité maximum, on peut onc quantifier l équilibre souhaité entre la fiélité à la séquence origine et l originalité e la nouvelle improvisation proposée : une valeur élevée ressortira une forte similitue, tanis qu une valeur basse sera à l origine e plus e surprises. Lors e la navigation contrainte, les labels successifs e la grille sont lus pour trouver es pulsations inexées par les mêmes labels ans l oracle live. Si la valeur courante u paramètre e continuité n excèe pas le maximum imposé, la recherche est effectuée en suivant es moes hiérarchisés : Moe "continuity" : Si son label correspon, suivre une transition, mettre à jour la position e la pulsation courante ans l oracle, et retourner le fragment méloique associé. Sinon, passer en moe suffix si es liens suffixiels efficaces sont trouvés, ou en moe nothing ans le cas contraire. Moe "suffix" : Suivre le lien suffixiel pointant sur le plus long suffixe répété pour atteinre ensuite un label corresponant (voire figure 4), mettre à jour la position e la pulsation courante ans l oracle, et re- 149

4 tourner le fragment e méloie associé. Sinon, passer en moe nothing. Moe "nothing" : La recherche e motif est effectuée inépenamment u contexte et le label est cherché ans tout l oracle. Une transposition peut être opérée si nécessaire. guiant le calcul es ifférentes formes e phrases musicales pouvant être générées : e nouvelles improvisations accompagnées ou non (voir section 5) ou es arrangements "live" e la grille (voir paragraphe 4.5). Entrées auio (sect. rythmique) Détection u tempo local Position ans la grille repérée b c a Entrée : Séquence e labels 'accors (grille) Entrées MIDI (improvisation) Segmentation Labellisation Sélection Paramètres Jouer selon la grille en cours Utilisateur INTERFACE a b c a b c A B C A' D B' C' D' Apprentissage Génération Improvisations sauvegarées Oracle live MODULE D'IMPROVISATION D B' C' A' Sortie : Improvisation Figure 4. Navigation contrainte à travers l oracle live. L exemple onné par la figure 4 illustre une étape e la navigation. A ce stae, les labels accors, b, et c ont été cherchés et trouvés ans l oracle live, et la concaténation es fragments musicaux associés D, B et C forme la phrase en construction. La position courante ans l oracle est l avant-ernier état (c / C ) et le label accor suivant lu ans la grille onnée en entrée est a. Aucune transition pointant sur un label corresponant ne pouvant être trouvé, la recherche continue en moe suffix. Le lien suffixiel partant e l état courant pointe, par éfinition, sur l état final u suffixe e bc répété le plus à gauche (bc), soit l état (c /C). Une transition corresponant au label a recherché est trouvée ans cet état. Le lien suffixiel est onc finalement suivi pour sauter e (c / C ) à (c / C), ou l on arrive ans le contexte commun (bc) pour pouvoir finalement atteinre la nouvelle pulsation (a / A ). Cette notion e contexte commun est essentielle puisqu elle assure la cohérence et la musicalité es transitions ans les séquences prouites même si la navigation implique es sauts entre ifférentes zones e l oracle. En effet, ans le cas e cet exemple, on remarque que ni la séquence accors onnée en entrée ni la phrase musicale en sortie ne se trouvaient inscrits en l état ans la mémoire e l oracle live. 4. VERS UN INSTRUMENT INTERACTIF 4.1. Architecture Le jeu es musiciens est reçu, segmenté, formaté et sauvegaré en temps réel via une nouvelle interface éveloppée sous Max/MSP. A travers cette même interface, l utilisateur ImproteK sélectionne une grille accors symbolique qui constituera la colonne vertébrale e l improvisation. Il a également accès aux paramètres e contrôle Figure 5. Architecure Ces instructions e calcul sont envoyées via le protocole OSC au moule improvisation éveloppé sous OpenMusic présenté ans la section précéente (figure 5), suivant ainsi l architecture générale OMax 2.0 qui fonctionnait en interaction avec Max/MSP grâce à une interface basique ne prenant pas en charge la gestion u tempo éveloppée ans le paragraphe suivant. Sous cette version, une pulsation métronomique était imposée par la machine, cette conition impliquant nécessairement la perte une partie e la richesse musicale et contraignant l expression es musiciens. Suite à ce constat, un moule e suivi e pulsation a été implémenté afin e pouvoir extraire irectement le tempo e la session improvisation en cours "Get rhythm" Penant la performance, une source e pulsation extérieure est nécessaire pour segmenter les entrées provenant es musiciens ans le processus écoute, ainsi que pour jouer es phrases rythmiquement en place avec l improvisation en cours. Pour ce faire, ImproteK fait intervenir l association un moule e suivi e pulsation et un système e suivi e partition jouant le rôle un séquenceur en émettant en temps réel la position courante ans la grille harmonique. Cette onnée sert ans un premier temps à marquer chaque pulsation e l improvisation live écoutée avec le label accor courant. D autre part, les phrases prouites par le moule improvisation étant es séquences labélisées, ce signal éclenche le jeu es tranches e pulsations corresponantes. ImproteK se estinant à trouver sa place au sein une formation musicale, il était fonamental que son utilisation n ampute pas la créativité et l expressivité en suboronnant les musiciens au tempo métronomique imposé par ses sorties. L objet Max/MSP beat tracker [8] a été spécialement éveloppé ans l optique être intégré à un environnement parent OMax pour atteinre une musi- 150

5 calité plus riche, les expériences antérieures e l oracle en moe beat impliquant un tempo fixe icté par le système. Ce moule traite es flux MIDI ou auio (par exemple la section rythmique e la formation) et estime en continu le tempo local qui sera utilisé pour générer et jouer es improvisations ajustées à la pulsation humaine nécessairement variable. Penant une phase initialisation, l utilisateur fournit une inication e tempo par une battue manuelle ont le but est également e onner la phase initiale en iniquant les ates absolues es pulsations pour éviter ainsi une synchronisation à contre-temps. Après cette étape, les variations e tempo sont calculées tout au long e la performance (la escription e cette unité, n étant pas le sujet u présent article, voir [8] pour plus e étails). Ce signal est ensuite utilisé comme une horloge venant éclencher les ifférents éléments constituant les séquences chargées ans Antescofo Utiliser un score follower comme séquenceur Antescofo [12] est un système e suivi e partitions polyphoniques et un langage e programmation synchrone pour la composition musicale conçu par A. Cont. Cet objet, éveloppé en tant que moule externe pour Max/MSP, procèe à la reconnaissance automatique e la position et u tempo ans une partition musicale à partir un flux auio provenant un ou plusieurs interprètes. Il permet ainsi la synchronisation e la performance instrumentale avec es éléments informatiques inscrits ans une partition électronique. Chaque séquence calculée par le moule improvisation et estinée à être restituée est onc écrite et sauvegarée sous le format une partition Antescofo, pouvant ainsi être jouée à partir e la position courante e la grille ès son chargement. Les phrases ainsi générées viennent enrichir une collection constituée au fil es sessions pour pouvoir être chargées par l utilisateur au cours e l improvisation. Dans notre utilisation Antescofo, ce sont les pulsations fournies par l objet beat tracker qui tiennent lieu e "notes" ans la partition. Elles viennent éclencher les évènements que sont les orres e jouer les tranches MIDI contenues entre eux pulsations. La notation temporelle ans une partition Antescofo pouvant s effectuer en temps relatif, il est onc possible e faire jouer à un tempo onné une phrase générée à partir un matériau e base ont l acquisition avait été faite à un tempo ifférent Segmenter et inexer les entrées Ce couple objets en charge e la gestion e la pulsation se trouve en aval pour jouer les séquences générées, mais également en amont ans le processus acquisition en temps réel. Au ébut e chaque session improvisation, on se place ans le contexte une grille harmonique connue. Celle-ci est écrite sous la forme une suite e labels accors corresponant chacun à une pulsation et est sauvegarée sous le format Antescofo avec un encoage particulier : on utilise le canal MIDI numéro 16 pour représenter la grille avec es conventions permettant exprimer la fonamentale e l accor et sa nature. Lors e l acquisition es entrées, ces informations sont envoyées par Antescofo et figurent onc ans les buffers MIDI ans lesquels viennent lire les fonctions e la bibliothèque OpenMusic. Ces annotations permettent e segmenter les séquences MIDI par pulsations et attribuer à chacune elles un label harmonique ans l optique e la construction oracles en moe beat ou e séquences musicales Un instrument force e propositions ImproteK est un instrument joué par un interprète interagissant avec le reste e la formation au même titre qu un instrumentiste traitionnel. Ce ernier pilote le système à l aie e l interface graphique pour contrôler en temps réel les paramètres es étapes apprentissage comme e génération qui sont initiées sur emane. Penant la performance, il sélectionne les phrases musicales à onner en entrée pour la moélisation stylistique, choisit les oracles courants (l oracle live tout comme les autres instances impliquées ans le moule harmonisation et arrangement écrit ans la section 5) et il étermine les paramètres techniques comme la continuité maximum pour la navigation ans chaque oracle. Entre autres caractéristiques, le terrain apprentissage, la longueur ou même "l auace" es improvisations sont onc laissées à sa iscrétion. Cet interprète n est pas uniquement en charge e l écoute et e l apprentissage : il irige pleinement le jeu au moyen e contrôles au clavier. Il peut accéer aux phrases créées à partir es erniers évènements musicaux entenus comme à celles issues es sessions précéentes. Différentes formes improvisations lui sont isponibles : elles peuvent être par exemple es phrases méloiques accompagnées ou non, ou es arrangements live e la grille. Grâce au format écriture es partitions Antescofo et à la connaissance e la position courante ans la grille, chaque phrase lancée se met imméiatement à jouer à partir e cette position. Il est onc ainsi possible e changer la phrase en cours e jeu penant un seul et même passage e la grille et par exemple e naviguer entre plusieurs improvisations pour créer une improvisation hybrie. Enfin, le rôle joué par ImproteK peut évoluer penant une même session : il peut tout aussi bien être soliste et/ou accompagnateur selon la nature es séquences choisies par l interprète pour remplir l oracle live. En effet, faire effectuer à cet oracle son apprentissage sur le jeu un accompagnateur permettra e réaliser ensuite un arrangement e la grille en temps réel. L autre approche isponible e la question e l accompagnement est celle fournie par le moule harmonisation et arrangement présenté ans la section suivante. 151

6 5. IMPROVISATIONS HARMONISÉES ET ARRANGÉES Ce moule harmonisation et arrangement peut être utilisé e manière autonome comme une entité inépenante créant un accompagnement pour une méloie sans interaction temps réel. Cepenant, il a été pensé pour être intégré ans l environnement plus vaste ImproteK afin e composer e nouvelles improvisations accompagnées. Il ne connaît ni applique aucune règle musicale et est exclusivement foné sur l utilisation un corpus qui est simultanément consiéré comme un terrain apprentissage pour extraire es mécanismes empiriques, et comme une mémoire musicale ans laquelle piocher pour concrétiser les accompagnements après qu ils ont été calculés L apprentissage Le corpus L apprentissage u corpus est effectué sur trois éléments : la piste méloique (thème, improvisation, solo, etc.), la piste accompagnement, et la grille harmonique associée. Il n est pas conuit sur es onnées purement symboliques comme es partitions mais sur les performances en irect, et est actuellement constitué e stanars e jazz et e morceaux e Bernar Lubat. On emploiera le terme "corpus" pour ésigner l ensemble es moèles, qu ils soient extraits un apprentissage ifféré ou construits lors e la performance en cours. Ici encore, le système écoute les musiciens, segmente ses entrées par pulsation, et appren ces séquences ainsi que les associations entre ces trois éléments (méloie, grille, accompagnement) en construisant es instances oracle. La phase apprentissage est en réalité ouble : un couple oracles est construit pour chaque élément u corpus : un oracle harmonisation et un oracle arrangement (figure 6). Un oracle harmonisation mémorise les séquences associations entre les fragments méloiques et les labels accors pour les pulsations qu il couvre. Dans le cas un oracle arrangement, les associations apprises sont celles entre les labels accors et les fragments accompagnement. Comme leurs noms l iniquent, ces eux objets seront respectivement utilisés pour associer une progression harmonique symbolique à une méloie, et un accompagnement à une progression harmonique symbolique Classes équivalence Cette construction incrémentale tout comme les filtrages par motif successifs écrits ans le prochain paragraphe (5.2.1) est en pratique exécutée sur es classes équivalence. Pour un oracle harmonisation, eux états sont consiérés comme équivalents s ils sont inexés par les mêmes notes sans prenre en compte leurs urées, leurs répétitions ou leur orre ans la tranche e pulsation. De la même manière, eux états un oracle arrangement sont équivalents s ils sont inexés par les mêmes labels accors, quels que soient les fragments accompagnement associés. Ces équivalences ont été introuites pour éviter la rigiité improuctive qu aurait pu amener un critère égalité stricte. Les conséquences structurelles pour les oracles concernent le nombre e liens suffixiels efficaces comme l illustre l exemple simplifié e la figure 7 appliqué à une chaîne e caractère : un oracle construit sur le mot oracle. 1 o 0 1 r r a 2 c a l e c 4 l 5 e 6 2 (o) 0 1 (r) 2 (a) 3 (c) 4 (l) 5 (e) 6 Oracle 'harmonisation Oracle 'arrangement Figure 7. Classes équivalence et liens suffixiels. Dans le premier exemple, chaque lien suffixiel pointe par convention sur l état initial car aucun motif répété n est reperé (chaque lettre n apparaissant qu une fois). Dans le euxième cas introuisant les classes équivalence voyelles et consonnes, es motifs répétés sont observés et la structure est plus complexe Harmonisation et arrangement Cascae oracles Figure 6. Apprentissage es oracles arrangement et harmonisation Harmonisation et arrangement sont réalisés en cascae : une navigation contrainte est effectuée ans un premier 152

7 temps à travers un oracle harmonisation, puis à travers un oracle arrangement (figure 8). Entrée : phrase segmentée Oracle 'harmonisation courant un éveloppement futur un niveau optionnel e substitutions basé sur une grammaire [10]. Les notations et le vocabulaire employés ne oivent pas masquer la portée générale e ce moule. En effet, les termes "harmonisation" et "arrangement" viennent es situations ans lesquelles ImproteK a été utilisé jusqu à maintenant : es sessions improvisation ans un contexte e jazz tonal. Dans autres environnements musicaux, sa généricité lui permet e comprenre autres formes associations verticales pouvant être inexées e manière agnostique en employant une autre grammaire. Oracle 'arrangement courant Sortie : piste 'accompagnement Figure 8. Harmonisation et arrangement en cascae. L étape harmonisation retourne une progression e labels accors, et cette séquence symbolique evient ellemême le chemin à suivre pour la navigation ans l oracle arrangement. La recherche e motifs est cette fois exécutée sur les étiquettes que constituent ces labels accors pour obtenir finalement une séquence formée par la concaténation es tranches accompagnement trouvées à chaque étape e la recherche. La continuité intrinsèque à l utilisation e la structure oracle apporte es progressions harmoniques cohérentes pour la phase harmonisation. Elle propose également une reconstruction homogène à partir es ifférentes pulsations u corpus assemblées pour créer le nouvel accompagnement. Ces propriétés e continuité se répercutent par exemple sur les lignes e basses ans les accompagnements complexes évitant ainsi es phrasés trop accientés Interméiaire formel Il est important e souligner que, même si une étape interméiaire implique es onnées symboliques comme es labels accors, aucune règle harmonique n est appelée pour procéer à l harmonisation et à l arrangement. La énomination choisie pour ce langage formel interméiaire est seulement estinée à l utilisateur pour renre la performance plus intuitive : le système lui-même ignore la signification musicale e ce marquage et ne consière eux labels accors ifférents que comme eux inex à comparer. L insertion e ce langage formel à un niveau interméiaire séparant le procéé en eux étapes isjointes est motivée par trois raisons. Tout abor, il écoule naturellement e la notation usuelle es stanars e jazz comme on peut par exemple les trouver ans les Realbooks où un thème est mis en regar une suite accors corresponante. De plus, cette factorisation u problème permet e multiplier les possibilités : une phrase peut en effet être harmonisée à l aie un oracle onné et ensuite arrangée avec un oracle arrangement appris sur un tout autre corpus. Enfin, cet interméiare permettra implémenter ans 6. EXPÉRIMENTATIONS ET RÉSULTATS ImproteK a servi e partenaire virtuel à es musiciens professionnels, en particulier Bernar Lubat lors e séances improvisation menées à Uzeste epuis Des exemples auio et viéo illustrant les ifférents points aborés ans l article sont isponibles sur la page : http ://ehess.moelisationsavoirs.fr/improtech/improtek. Parmi eux, le contrôle u logiciel en temps réel à l aie e l interface Max/MSP est présenté par le biais une improvisation basée sur es transcriptions u style mambo Erroll Garner. L interaction irecte entre la machine et un instrumentiste est illustrée par es extraits e sessions où le musicien, Bernar Lubat, accompagne la machine jouant une improvisation inspirée e son propre chorus, suivis une iscussion sur le résultat. Une autre série exemples expose l éventail e résultats possibles pour le moule harmonisation et arrangement en proposant successivement plusieurs accompagnements pour une même improvisation jouée en boucle. En effet, selon les choix e l utilisateur concernant les ifférentes parties u corpus à utiliser et les paramètres comme la continuité imposée, le renu peut aller e la simple imitation lorsque les oracles harmonisation, arrangement, et live sont choisis ans une même partie u corpus, à l originalité voire l extravagance quan es oracles complètement inépenants ont été activés. 7. CONCLUSION Le système improvisation musicale présenté ans cet article est capable e égager les logiques es associations horizontales et verticales sous-tenant une performance improvisation pour evenir lui-même force e proposition en éveloppant son esthétique propre inspirée e celle e ses partenaires. Sa matière première est en effet leur jeu : il est simultanément employé comme terrain apprentissage pour la moélisation u style et comme mémoire musicale pour concrétiser ses propres improvisations. Les propriétés e l oracle structurant sa mémoire permettent e s affranchir u ilemme u choix entre innovation et cohérence en assurant la continuité par construction, et en permettant ainsi e travailler avec le grain fin qu est la pulsation. Cette unité est choisie comme élément e base pour les calculs comme pour la restitution finale 153

8 et est servie par un moule e suivi e pulsation pour une interaction enrichie. ImproteK est en effet conçu comme un instrument à part entière et nécessite un interprète pour iriger l apprentissage, la génération, et le jeu en temps réel. Il peut tour à tour être soliste ou accompagnateur, et peut également proposer es improvisations accompagnées grâce au moule harmonisation et arrangement. A plus court terme que certains objectifs techniques comme la prise en charge e l auio, les irections prises actuellement par le projet ImproteK visent à évaluer finement la compatibilité entre la progression harmonique e la grille e la session improvisation et celles résultant u moule harmonisation et arrangement. Au stae actuel, l interprète observe la comparaison entre les eux grilles par l interméiaire e l interface affichant les labels accors respectifs après chaque création improvisation accompagnée. Cette étue permettra une meilleure intégration e l interaction harmonique ans l instrument, et renra son utilisation plus intuitive. 8. REMERCIEMENTS Avec le soutien e l ANR. Projet IMPROTECH ANR-09-SSOC-068. Nous souhaitons remercier la famille OMax, Gérar Assayag, Georges Bloch, et Benjamin Lévy pour les échanges fructueux expériences et iées concernant la conception et l implémentation ImproteK. Nous remercions également Laurent Bonnasse-Gahot qui lui a onné le sens u rythme avec le beat tracker, ainsi que Carlos Agon et Jean Bresson pour leurs conseils concernant OpenMusic, et Arshia Cont pour ses moifications Antescofo sur mesure. Nous aressons enfin un remerciement tout particulier à La Compagnie Lubat pour ses accueils répétés et les collaborations toujours plus enrichissantes. 9. REFERENCES [1] C. Allauzen, M. Crochemore, an M. Raffinot, Factor oracle : A new structure for pattern matching, in SOFSEM 99 : Theory an Practice of Informatics. Springer, 1999, pp [2] G. Assayag an G. Bloch, Navigating the oracle : A heuristic approach, in International Computer Music Conference, vol. 7, 2007, pp [3] G. Assayag, G. Bloch, an M. Chemillier, Omaxofon, Soun an Music Computing (SMC), [4] G. Assayag, G. Bloch, M. Chemillier, A. Cont, an S. Dubnov, Omax brothers : a ynamic topology of agents for improvization learning, in Proceeings of the 1st ACM workshop on Auio an music computing multimeia. ACM, 2006, pp [5] G. Assayag an S. Dubnov, Using factor oracles for machine improvisation, Soft Computing-A Fusion of Founations, Methoologies an Applications, vol. 8, no. 9, pp , [6] G. Assayag, S. Dubnov, an O. Delerue, Guessing the composerõs min : Applying universal preiction to musical style, in Proceeings of the International Computer Music Conference, 1999, pp [7] J. Biles, Genjam : Evolutionary computation gets a gig, in Proceeings of the 2002 Conference for Information Technology Curriculum, Rochester, New York, Society for Information Technology Eucation, [8] L. Bonnasse-Gahot, Donner à omax le sens u rythme : vers une improvisation plus riche avec la machine, École es Hautes Étues en sciences sociales, Tech. Rep., 2010, http ://ehess.moelisationsavoirs.fr/improtech/ocs. [9] J. Bresson, C. Agon, an G. Assayag, Openmusic 5 : A cross-platform release of the computer-assiste composition environment, in 10th Brazilian Symposium on Computer Music, Belo Horizonte, MG, Brésil, [10] M. Chemillier, Towar a formal stuy of jazz chor sequences generate by steeman s grammar, Soft Computing-A Fusion of Founations, Methoologies an Applications, vol. 8, no. 9, pp , [11] C. Chuan an E. Chew, A hybri system for automatic generation of style-specific accompaniment, in 4th Intl Joint Workshop on Computational Creativity, [12] A. Cont, Antescofo : Anticipatory synchronization an control of interactive parameters in computer music, in Proceeings of the International Computer Music Conference, [13] B. Lévy, Visualising omax, Master s thesis, Master ATIAM, Université Pierre et Marie Curie, Paris VI - IRCAM, [14] G. Lewis, Too many notes : Computers, complexity an culture in voyager, Leonaro Music Journal, pp , [15] J. Nika, Intégrer l harmonie ans un processus informatique improvisation musicale, Master s thesis, Master ATIAM, Université Pierre et Marie Curie, Paris VI - IRCAM, 2011, http ://articles.ircam.fr/textes/nika11a/inex.pf. [16] F. Pachet, The continuator : Musical interaction with style, Journal of New Music Research, vol. 32, no. 3, pp , [17] G. Ramalho, P. Rollan, an J. Ganascia, An artificially intelligent jazz performer, Journal of New Music Research, vol. 28, no. 2, pp , [18] R. Rowe, Interactive music systems : machine listening an composing. MIT press, [19] I. Simon, D. Morris, an S. Basu, MySong : automatic accompaniment generation for vocal meloies, in Proceeing of the twenty-sixth annual SIG- CHI conference on Human factors in computing systems. ACM, 2008, pp

9 [20] B. Thom, BoB : an interactive improvisational music companion, in Proceeings of the fourth international conference on Autonomous agents. Citeseer, 2000, pp [21] D. Zicarelli, M an jam factory, Computer Music Journal, vol. 11, no. 4, pp ,