DE L'INSTRUMENT ACOUSTIQUE A L'INTERFACE GESTUELLE, PARCOURS DE L'INTERPRETE CREATEUR

DE L'INSTRUMENT ACOUSTIQUE A L'INTERFACE GESTUELLE, PARCOURS DE L'INTERPRETE CREATEUR Barah Héon-Morissette IACT - Institut Arts Cultures et Technologies, Université de Montréal barah.heon-morissette@umontreal.ca RÉSUMÉ L'interprète est un spécialiste du geste instrumental et de la scène. Étant percussionniste et compositrice, c'est dans cette optique que j'ai entrepris le développement d'une interface gestuelle correspondant à ma corporéité. Cette interface nommée, SIC - Scène Interactive pour la Créativité - est un système ergonomique permettant aux créateurs d'explorer et de développer un geste expert dans une dimension encore peu exploitée dans le domaine musical : le geste-son dans l'espace. Elle exploite des technologies de captation du mouvement et est constituée de deux composantes : kinki utilisant le périphérique Kinect et un sol sensible captant la pression exercée par l'interprète en différents points de la surface. Le développement d'une interface gestuelle appelle un questionnement sur le geste instrumental, la valorisation de la pratique, les différents aspects reliés à l'ergonomie ainsi que le rôle de cette dernière et de la transmission sur le plan de la pérennité des œuvres. 1. INTRODUCTION La vision créatrice est le moteur de toutes les démarches entreprises et présentées dans cet article. L'interaction entre ma vision d'interprète et de compositrice a influencé la recherche et le développement de l'interface gestuelle SIC. Le corps étant au centre de mes préoccupations d'interprète, je définis les gestes associés à ma corporéité ainsi que les paramètres essentiels à la valorisation de la pratique qui seront garants de la pérennité des œuvres utilisant le geste-son dans l'espace. 2. CHOISIR UN INSTRUMENT 2.1. Instrument acoustique Dans notre société occidentale, choisir un instrument de musique est une décision personnelle, parfois issue d'un coup de cœur, d'une expérience sonore musicale intense et marquante [1]. Dans le cas de l'instrument acoustique, il est majoritairement un choix datant de l'enfance ou encore de l'adolescence. Le changement d'instrument dans un parcours musical peut survenir et être dû au développement physique de l'enfant par exemple le passage de la flûte à bec vers la flûte traversière. La physiologie de l'instrumentiste est un facteur déterminant quant à ce choix. De plus, le sentiment d'appartenance pour son instrument est, pour l'interprète, un signifiant touchant à la longévité de sa pratique instrumentale professionnelle ou amateur. En effet, la pratique quotidienne nécessaire à la réussite est une activité qui se répétera tout au long de sa vie ; il est donc essentiel que l'instrumentiste se projette dans l'avenir avec son choix instrumental. 2.2. Interface gestuelle Pour la génération de musiciens actuels 1, choisir une interface gestuelle pour une pratique instrumentale est un acte résultant d'une réflexion, d'une recherche approfondie. L'accessibilité de ces interfaces étant assez limitée et souvent réservée au milieu de recherche universitaire, il est rare que le choix de s'investir dans une pratique instrumentale soit spontané [2]. C'est donc en observant les instruments audionumériques et plus particulièrement les interfaces gestuelles déjà existantes que j'ai amorcé ma démarche en tant qu'interprète et créateur. Le choix d'un instrument mature, ergonomique et correspondant à ma vision ne s'étant pas réellement présenté, j'ai entrepris de réaliser l'interface gestuelle correspondant à ma sensibilité. 2.3. Choisir de créer Actuellement, l'accessibilité aux technologies nous permet d'envisager une multitude de possibilités afin de réaliser l'instrument idéal, l'instrument à notre image et né d'une vision, d'un rêve. Cet instrument rêvé devra répondre à une pratique artistique, un besoin créatif, voir la vision d'une œuvre. La création d'une interface gestuelle implique beaucoup d'étapes de développement avant d'arriver à une œuvre produite sur scène. Il était donc essentiel que j'établisse les critères qui me permettraient de me projeter dans l'avenir avec ma nouvelle interface gestuelle soit : l'ergonomie, la reproductibilité du geste musical et la transmission. Ces paramètres sont essentiels à une pratique instrumentale, à la performance sur scène et au développement de cette culture émergente. 1 Il en sera peut-être autrement dans une quinzaine d'années. 95

3. LE GESTE DE L'INSTRUMENTISTE Le geste instrumental est un sujet très étudié dans le cadre de la conception des nouvelles lutheries. 2 J'aborderai ce sujet avec le regard de l'interprète, celui du développement de l'expertise instrumentale ; ce qui donne à chaque interprète-instrumentiste son identité de performeur. 3 La synthèse des gestes innés, experts et périphériques font l'identité de l'interprète, l'empreinte qu'il laisse dans une œuvre. On peut alors parler de corporéité [4] pour décrire cet ensemble de gestes. Le corps dans sa globalité étant au centre de mes préoccupations musicales, j'ai identifié l'utilisation du geste dans l'espace et la perception du son par le visuel comme étant des éléments de ma corporéité. 3.1. Le geste expert et le geste inné Pour Jean Geoffroy, percussionniste et interprète de l'œuvre Light Music 4 du compositeur Thierry De Mey, le geste est un tout qui appartient à tous. Tous les gestes proviennent de gestes «innés» [6] acquis par mimétisme. Ce geste «inné» devient la base d'un vocabulaire qui, travaillé par le musicien, deviendra le geste «expert» aussi nommé geste instrumental. Le geste artistique est également crucial et donne tout son sens à la technique instrumentale qui, selon Jean Geoffroy, est la combinaison de l'«inné» et de l'«expert». C'est l'équilibre de tous ces gestes qui révèle l'interprétation d'une œuvre. Un mélange d'instinct et d'intellect qui une fois sur scène et, ajouté à la personnalité du musicien proviendrait plus de l'instinct. Peu importe la quantité de travail et de répétition, les circonstances dans lesquelles une œuvre est interprétée font transparaître le geste «inné», le geste qui est propre à l'instrumentiste, son vocabulaire. Ce vocabulaire est donc relatif à un instrument pratiqué pendant de nombreuses heures. Il est associé à un instrument en particulier (geste idiomatique) et à un individu particulier (geste idiosyncrasique). En me basant sur cette réflexion, j'ai étudié mes propres gestes afin de créer un système interactif qui me corresponde. 3.2. Le geste périphérique et corporéité Jouer d'un instrument demande un engagement du corps tout entier pour produire le son. Le geste périphérique (ou ancillaire), qui accompagne la production du son, est bien souvent inconscient, comme le transfert de poids d'une jambe à une autre, mais il peut aussi être volontaire et permettre au spectateur de «voir le son» comme cela a été démontré avec le staccato du marimba 5 [8]. Dans les deux cas, le geste périphérique altère peu l'onde sonore elle-même mais peut influencer sur la perception. Il ajoute à la compréhension, à l'intention musicale. Figure 1. Enchaînement du geste périphérique d'une marimbiste, transfert de poids. 3.3. Le geste-son dans l'espace Le geste libre, sans repère haptique, ni contrainte matérielle, c'est la vision que j'ai du geste dans l'espace. Rendre visible l'invisible, rendre la matière sonore tangible et manipulable. L'espace sonore devient l'instrument. Dans le domaine de la nouvelle lutherie, la relation geste-son est maintenant bien définie [3], mais reste tout de même un défi pour les interfaces gestuelles. Ajouter la notion d'espace au geste-son est ce qui révèle ma vision créatrice et ma corporéité. C'est avec ce regard, que j'ai réfléchi à l'interface qui me permettrait de faire transparaître le geste-son dans l'espace et qui pourrait se mouler, s'adapter aux corps. J'ai donc fait le choix d'utiliser la captation du mouvement par caméra et développer un système interactif et ergonomique pour la performance. Les premiers plans ont été spécifiquement pensés pour la performance scénique, mais l'interface pourrait éventuellement être utilisée dans un autre cadre de création. 2 Dans cet article, je ne fais pas référence aux recherches sur le geste, maintes fois citées, de François Delalande, Claude Cadoz et Marcello Wanderley. Les références présentées sont issues des pensées et de l'analyse intuitive du percussionniste émérite Jean Geoffroy sur son geste. [6] 3 Ce terme est utilisé dans ce contexte pour désigner un instrumentiste qui maîtrise l'art de la scène. 4 Pièce musicale pour un chef solo, projections et dispositif interactif. 5 Le staccato au marimba est un geste volontaire du percussionniste pour faire voir le son au spectateur ; sans ce geste l'auditeur ne pourrait distinguer le staccato. Figure 2. Trois gestes-sons dans l'espace, images de mouvements non consécutifs utilisées dans une miniature (Plasticité, 2012). 96

4. LA PRATIQUE INSTRUMENTALE 4.1. Assiduité et exigences physiques Acquérir les compétences pour maîtriser un instrument de musique requiert de nombreuses années et une régularité dans les pratiques quotidiennes. L'interprète se dévoue à la tâche : «Un musicien professionnel fait subir à son organisme des violences anatomiques équivalentes à celles de grands sportifs. Leur quotidien à tous deux est fait d entraînement, d apprentissage, de répétitions et de pratique.» 6 [5] Cette idée est bien ancrée dans le milieu des instrumentistes acoustiques (instruments de l'orchestre par exemple), mais est souvent oubliée en nouvelle lutherie. Ancrer un geste, un réflexe dans le corps demande du temps et c'est une notion qu'il faut valoriser dans le développement des interfaces gestuelles. 4.2. Valorisation de la pratique Valoriser la pratique instrumentale d'une interface gestuelle est l'une des clés du développement de ces nouveaux instruments. Le problème que rencontre l'instrumentiste qui désire s'investir dans le développement d'un langage musical est souvent confronté au manque d'ergonomie, de transportabilité de l'outil et aux nombreuses connectiques qui doivent être faites avant d'obtenir un son. Toutes ces étapes à franchir pour l'instrumentiste avant de pouvoir s'exprimer avec l'interface sont des obstacles à la pratique instrumentale quotidienne et doivent être réduites au minimum, voir éliminées. 5. REFLEXIONS GENERALES SUR LE DEVELOPPEMENT D'UNE INTERFACE 5.1. Éthique Afin de réaliser une interface gestuelle efficace, il est essentiel de travailler en équipe, agir en collégialité et valoriser la place et l'expertise de chacun. Cependant, la poussée artistique doit être le moteur de la réalisation et du développement. La mise en commun des ressources et des compétences complémentaires viennent ainsi enrichir le projet créatif. L'œuvre Light Music du compositeur Thierry De Mey a été ainsi réalisée grâce à la collaboration de Jean Geoffroy (percussionniste) et Christophe LeBreton (ingénieur musical) : «Ayant chacun leur domaine d'expertise, l'équipe de création a eu une vision forte et complète de l'œuvre et a travaillé à la réalisation d'un but commun, Light Music. De nombreuses fois, l'importance de cette équipe a été mentionnée ; elle est primordiale pour le cheminement vers la première 6 Debès, I., Schneider, M.P. et Malchaire, J. "Les troubles de santé des musiciens", médecine du travail & ergonomie Vol. XL No. 3, 2003, p.110. scénique de l'œuvre, mais également pour en assurer la pérennité.» 7 [7]. C'est avec ce souci de l'éthique que le projet SIC - Scène Interactive pour la Créativité - est réalisé en collaboration. Dès les prémisses du projet, les fonctions et les engagements de chacun des membres de l'équipe 8 ont été établis. 5.2. Ergonomie L'ergonomie n'a peut-être pas la même définition pour un créateur que pour un ingénieur, mais c'est un aspect essentiel pour faciliter la pratique et la performance scénique. Ce que je considère comme étant des critères ergonomiques facilitant la pratique instrumentale (brièvement abordés au point 4.2.) sont : la transportabilité, la maniabilité et la liberté de mouvement (interface sans fil). 5.2.1. Transportabilité et maniabilité Pour pratiquer un instrument, il faut pouvoir le faire quotidiennement dans un environnement propice ; dans un lieu qui n'est ni un laboratoire, ni une salle de concert. L'interface doit pouvoir s'installer de manière semipermanente et ne pas nécessiter une longue période de calibration. Le système doit être fonctionnel en quelques clics de souris. De plus, l'instrumentiste doit pouvoir pratiquer sans avoir recours à l'aide d'un deuxième intervenant pour faire fonctionner ou enchaîner une œuvre. L'instrumentiste doit être autonome. 5.2.2. Sans fil La liberté de mouvement est obtenue ici grâce à une connexion «sans fil», c'est-à-dire sans connexion physique entre l'ordinateur et l'interface se trouvant sur scène. De cette manière, l'ordinateur est mis hors de la vue du spectateur et n'influence ni la scénographie ni le comportement de l'instrumentiste. 5.3. Transmission et pérennité La pérennité des œuvres qui seront produites avec notre instrument passera par le geste et le son, et surtout par la relation qui s'établit entre l'un et l'autre, le «gesteson», plus que par l'interface ou l'outil qui sont des éléments dont la durée de vie est variable. L'interprète a donc un rôle à jouer dans cette chaîne tout autant que le compositeur ou le créateur de l'interface. Il ne peut y avoir de transmission si les œuvres sont créées sans laisser de traces ; elle doit se faire avec une partition revisitée et adaptée aux nouvelles réalités des interfaces gestuelles. L'enseignement d'un interprète à un autre ou 7 Héon-Morissette, B. "Rien dans les mains... Light Music", in Circuit Vol. 22 No. 1 La synchronisation, Les Presses de l'université de Montréal, Montréal, Canada, p. 47. 8 Patrick St-Denis et l'auteur de cet article, Barah Héon-Morissette sous la supervision du Professeur Jean Piché dans les laboratoires de l'iact. 97

la pratique collective pourraient constituer des solutions à ces enjeux. 6. SIC - SCENE INTERACTIVE POUR LA CREATIVITE SIC est un système de captation du mouvement constitué de deux parties indépendantes. La première composante utilise la reconnaissance de geste via le périphérique Kinect alors que la seconde est constituée d'un sol sensible. Les deux composantes peuvent être utilisées ensemble ou séparément dans le cadre d'une performance scénique ou dans d'autres contextes nécessitant un système interactif. 6.1. kinki - Kinect Kreative Interface kinki, développée dans les laboratoires de l'iact en collaboration avec Patrick St-Denis, est une application de détection du mouvement créée avec le logiciel OpenFrameworks et utilisant le capteur Kinect conçu pour la console de jeux vidéo Xbox 360. L'application kinki constitue le premier module de SIC. Après plusieurs essais peu concluants avec d'autres technologies et librairies d'objets Max/MSP/Jitter tels des caméras vidéo, des caméras Web FireWire, les objets softvns 9, Jamoma 10, cv.jit 11, l'utilisation de la Kinect est devenue évidente. Ce périphérique associé à un langage de programmation solide comme OpenFrameworks est très performant, ne présente pas de latence vraiment perceptible, est ergonomique et peu coûteux. 6.1.1. kinki 0.0.2 Cette première version permet la reconnaissance de treize points du squelette. Chacun de ces points assignés à des zones circulaires agit comme déclencheur. Ces zones sont enregistrées lors d'un processus de captation de pose fait par l'utilisateur. La tolérance de chaque zone peut être déterminée et peut varier pour chacune. Les valeurs obtenues par les points du squelette sont associées à l'axe des x et y. Il est aussi possible de relier deux zones de déclenchement par une ligne et ainsi faire varier les valeurs de l'une à l'autre. En assignant un numéro d'identification, huit squelettes peuvent être reconnus simultanément. L'interface de l'utilisateur permet également d'enregistrer jusqu'à cent zones par scène et jusqu'à cent scènes par programme. Les zones et les scènes peuvent être sauvegardées en fichier. Figure 3. Interface-utilisateur de kinki 0.0.2. 6.1.2. kinki 0.0.3 kinki 0.0.3 est une version 3D. Contrairement à la version précédente, l'axe z est également utilisé. L'environnement entourant le squelette a été éliminé pour être remplacé par un cube virtuel de couleur jaune sur fond noir représentant l'espace de scène. Les zones représentées par des points sont maintenant déterminées par des cubes identifiés comme des objets. Ces objets passent du rouge au vert lorsqu'ils sont activés par le point du squelette auquel ils ont été assignés. À l'intérieur, le point central de l'objet sert de centre de gravité alors qu'un axe le relie au point du squelette qui entre dans la zone cubique. Lorsque l'utilisateur entre dans l'objet, la valeur «1» est d'abord envoyée puis six valeurs correspondant à l'axe des x, y et z entre «0. et 1.» ainsi que trois valeurs d'angles. En mode édition, l'utilisateur détermine l'emplacement et la dimension de chacun des objets. Ils peuvent être superposés et imbriqués. L'élément principal qui diffère de la version 0.0.2 est la possibilité d'avoir des objets fixés dans l'espace de jeu alors que d'autres objets bougent avec le squelette en mode body related. Une représentation de l'espace sur 4 plans a été ajoutée pour faciliter le repérage des objets par l'interprète : plan de face, de côté, d'en haut et une vision du narrateur. L'interprète peut manipuler l'interface seul, sans l'aide d'un autre individu, en chargeant un fichier préalablement sauvegardé. En mode concert, l'interprète peut passer d'une scène à l'autre pour changer la disposition des objets dans l'espace. kinki 0.0.3 est beaucoup plus complexe que la première version et a décuplé les possibilités musicales et gestuelles. La complexité du système demande une plus grande maîtrise de l'interface pour arriver à un geste expert. 9 Librairie d'analyse du mouvement et traitement de la vidéo en temps réel pour Max/MSP/Jitter développé par David Rokeby, http://homepage.mac.com/davidrokeby/softvns.html 10 Modules d'analyse du mouvement développé par une équipe de collaborateurs, www.jamoma.org 11 Librairie d'analyse d'image pour Max/MSP/Jitter développé par Jean- Marc Pelletier, www.jmpelletier.com 98

2 y 1 x 3 4 Figure 4. Représentation de l'espace en 4 plans de kinki 0.0.3. 6.2. Sol sensible Cette composante de la «Scène interactive pour la Créativité» (SIC) est constituée d'une grande dalle captant le transfert de poids de l'instrumentiste grâce à des capteurs de force Interlink 12 placés sous un panneau de fibres à densité moyenne (MDF). L'amplitude du geste de l'interprète étant variable, nous avons conçu ce module en deux formats différents pour mieux correspondre au geste périphérique de divers instrumentistes. Naturellement, le clarinettiste ne se déplace pas autant dans l'espace que le ferait un percussionniste ou encore un danseur. C'est dans cette optique que j'ai construit une version de 60 cm x 60 cm et une autre de 120 cm x 120 cm 13. Actuellement, les capteurs sont branchés dans un microcontrôleur Wi-microDig 14. Ce périphérique Bluetooth à 8 entrées analogiques est très simple d'utilisation et excellent pour le prototypage. Éventuellement, nous utiliserons un microcontrôleur plus abordable et sans fil. Les valeurs des capteurs générées par le poids du corps sur la surface peuvent être utilisées indépendamment les uns des autres ou alors ensemble pour déterminer la position du poids sur la surface dans les axes x et y. Figure 4. Sol sensible 60 cm x 60 cm à quatre capteurs. 6.3. Le son de SIC SIC est à ce jour encore en développement. Une première œuvre est prévue pour l'automne 2012. L'aspect sonore reste encore à explorer ainsi que la maîtrise du geste expert pour cette interface gestuelle. Pour l'instant, nous prévoyons développer notre stratégie de mapping via le logiciel Max/MSP. Le mapping étant pour nous une étape relative à la composition d'une œuvre, nous n'en exposerons pas les détails dans cet article. L'interface comme l'instrument est un outil au service de la création. 7. CONCLUSION SIC a été conçu pour répondre à mon besoin de créativité et d'expressivité, mais il s'avère que beaucoup d'avenues sont possibles pour cette interface gestuelle. Les deux composantes, kinki et le sol sensible, ont des perspectives créatives dans plusieurs domaines comme la danse, les installations sonores et la pédagogie. De plus, les qualités ergonomiques de SIC font de cette interface gestuelle un outil créatif accessible pour le développement d'une pratique collective. 8. REMERCIEMENTS 12 Capteur standard 406 FSR, http://www.interlinkelectronics.com/product/standard-406-fsr 13 Valeurs arrondies lors de la conversion du système impérial au système métrique. 14 Périphérique commercialisé par Infusion Systems, www.infusionsystems.com Je tiens à remercier Prof. Jean Piché et Prof. Caroline Traube et, mon collaborateur Patrick St-Denis, l'institut Arts Cultures et Technologies (IACT, le Fonds de recherche sur la société et la culture (FQRSC) pour son soutien financier et l'observatoire interdisciplinaire de création et de recherche en musique (OICRM) pour la bourse de déplacement. 99

9. REFERENCES [1] Bruser, M. "The Art of Practicing, A Guide to Making Music from the Heart", Bell Towe, New York, 1997. [2] Cance, C. et Genevois, H. "Questionner la notion d instrument en informatique musicale : analyse des discours sur les pratiques du méta-instrument et de la méta-mallette", Actes des 14èmes Journées d Informatique Musicale, ACROE et laboratoire ICA, Grenoble, 2009, p. 133-142. [3] Caramiaux, B. "«Gestification» du son : mapping adaptatif geste/son dans un contexte d écoute et de performance musicale", Master 2 Recherche, Mention Informatique, spécialité SAR ; en collaboration avec ParisTech et l IRCAM - Centre Pompidou). Université Pierre et Marie Curie, Paris, Franec, 2008. [4] Caullier, J. "La corporéité de l'interprète", in L'imaginaire musicale entre création et interprétation, L'Harmattan, Paris, France, 2006, p.133-150. [5] Debès, I., Schneider, M.P. et Malchaire, J. "Les troubles de santé des musiciens", médecine du travail & ergonomie Vol. XL No. 3, 2003. [6] Geoffroy, J. "Le geste dans l'œuvre musicale, la musique et le mouvement", in Rencontres musicales pluridisciplinaires : Le Feedback dans la création musicale, GRAME, Lyon, 2006. [7] Héon-Morissette, B. "Rien dans les mains... Light Music", in Circuit Vol. 22 No. 1 La synchronisation, Les Presses de l'université de Montréal, Montréal, Canada, p. 41-50. [8] Schutz, M. "Seeing Music? What musicians need to know about vision" in Empirical Musicology Review Vol. 3 No. 3, Ohio State University Library, Ohio, 2008. 100