ViSiTE DE L ircam. Mercredi 10 novembre 2010

Transcription

1 ViSiTE DE L ircam Mercredi 10 novembre 2010

2 AVANT-PROPOS L objet de cette visite est de donner une vue d ensemble des recherches et développements de l Ircam en proposant des exposés et démonstrations faisant un focus sur les derniers travaux de ses équipes. Conçues dans le contexte de la création contemporaine et en lien direct avec les artistes (compositeurs, chorégraphes, interprètes, etc.), les recherches de l Ircam abordent les problématiques musicales selon un large spectre de disciplines scientifiques : acoustique (modélisation des instruments, des lieux d écoute), traitement de signal (synthèse et traitement sonores, indexation multimédia), informatique (langages, temps réel, interfaces homme-machine, intelligence artificielle, bases de données), psychologie cognitive (audition, interaction multimodale), musicologie et anthropologie. Ces travaux, réunis sous l acronyme Sciences et technologies de la musique et du son (STMS), débouchent sur des réalisations technologiques sous de multiples formes et trouvent des applications dans de nombreux domaines d activité : production et lutherie musicales, production audiovisuelle et multimédia, télécommunications et industries culturelles, transports, design, éducation, etc. Hugues Vinet, directeur scientifique 2

3 SOMMAiRE Analyse et synthèse des sons par Axel Roebel...4 Comment transformer une voix d homme en voix de femme? Quels sont les nouveaux critères pour définir ou classer la musique? Acoustique instrumentale par René Caussé...5 Comment créer un instrument virtuel? Comment jouer avec les paramètres physiques d un instrument? Perception et design sonores par Nicolas Misdariis et Patrick Susini...6 Comment concevoir les sons de notre environnement? Comment intégrer les sons dans les interfaces homme-machine? Interactions musicales temps réel par Frédéric Bevilacqua...7 Comment créer du son, à partir d un geste, en temps réel? Quels sont les derniers moyens pour «saisir» le mouvement en temps réel? Services en ligne par Jérôme Barthélémy...8 Comment garantir à long terme la préservation des œuvres numériques? Représentations musicales par Gérard Assayag...9 Comment faire improviser en direct son propre clone musical? Quels nouveaux outils pour composer? Analyse des pratiques musicales par Samuel Goldszmidt Comment documenter une œuvre aujourd hui avec les moyens à notre disposition? Espaces acoustiques et cognitifs par Olivier Warusfel Comment crée-t-on du son en 3D? Comment faire ressentir le son dans l espace, le manipuler? Les espaces de l Ircam L équipe Recherche et développement À propos de l Ircam

4 ANALYSE ET SYNTHÈSE DES SONS Par Axel Roebel Comment transformer une voix d homme en voix de femme? Quels sont les nouveaux critères pour définir ou classer la musique? Analyse de sons : logiciel AudioSculpt ; remixage polyphonique du son Traitement de la voix : logiciel TRAX, transformations de l expressivité et de l identité Modèle de cuivrage pour les instruments à vent Indexation et recherche d informations musicales L équipe Analyse et synthèse des sons, dirigée par Axel Roebel, étudie des procédés d analyse, de synthèse et de transformation des sons à partir de méthodes de traitement de signal ou de la modélisation acoustique des sources sonores. Des procédures de contrôle sont alors élaborées pour «jouer» des instruments synthétiques ainsi obtenus, notamment à partir d interfaces hommemachine adaptées. Une part importante des travaux récents de l équipe s oriente également vers l analyse et l indexation automatiques des contenus musicaux. Ces recherches donnent lieu au développement d outils de synthèse et de traitement sonores (logiciels SuperVP, AudioSculpt et Diphone Studio) et trouvent de nombreuses applications dans les domaines du traitement de la voix, de la simulation sonore, de l indexation, du multimédia, etc. Dans la brochure R&D > page 17 Ressources et informations de l équipe (projets) > Exemple : les voix au cinéma réalisées par l équipe Analyse et synthèse des sons > Farinelli, Vatel, Tirésia, Les amours d'astrée et de Céladon Logiciel AudioSculpt AudioSculpt est un puissant outil d analyse et de traitement des sons. Il permet de «sculpter» un son de manière visuelle. Après une phase d'analyse, le son s'affiche sous la forme d'un sonagramme et l'utilisateur peut dessiner les modifications qu'il veut lui appliquer. Ces traitements sont principalement le filtrage, la synthèse croisée, la transposition, la dilatation et la compression temporelle, et le copier-coller des zones temps-fréquence. Dans la brochure R&D > page 65 Ecouter des exemples sonores > En savoir plus sur AudioSculpt > Logiciel TRAX SuperVP-TRaX offre une approche originale au traitement de la voix par des transformations sonores de genre et d'âge. Dans la brochure R&D > page 64 Ecouter des exemples sonores > Développements > IrcamTools par Flux Trax, un des premiers plug-ins issus des recherches menées à l Ircam > 4

5 ACOUSTiQUE instrumentale par René Caussé Comment créer un instrument virtuel? Comment jouer avec les paramètres physiques d un instrument? Synthèse par modélisation physique : logiciel Modalys, lutherie virtuelle, contrôle gestuel Bouche artificielle Aide à la facture instrumentale L équipe Acoustique instrumentale, dirigée par René Caussé, étudie le fonctionnement des principales familles d instruments de musique et élabore des modèles suivant les principes de la physique qui prennent en compte les caractéristiques de production (mécanismes d excitation et de résonance) et de rayonnement du son. Les retombées de ces recherches s appliquent en synthèse sonore dite par modélisation physique (développement du logiciel Modalys) et pour l aide à la conception d instruments (améliorations, extensions, évaluation de la qualité ). Dans la brochure R&D > page 14 Ressources et informations de l équipe (projets) > Démonstrations > Logiciel Modalys Modalys est utilisé pour créer des instruments virtuels à partir d'objets physiques simples tels que des cordes, des plaques, des tubes, des membranes, des plectres, des archets et des marteaux notamment. Dans la brochure R&D > page 67 La bouche artificielle Une «bouche artificielle» robotisée a été mise au point, pour l étude des transitoires des instruments à vent ou de leurs fréquences de jeu. Dans le cadre du projet Consonnes : conception et réalisation d un robot musicien, évolution de la bouche artificielle existante, permettant non seulement d effectuer des mesures reproductibles d instruments à vent réels selon différents types d embouchures et de modes d excitation, mais susceptibles également d utilisations musicales. Voir > Projet Consonnes : contrôle des sons instrumentaux naturels et synthétiques Dans la brochure R&D > page 25 Aide à la facture instrumentale L objectif de ce projet est d assister les luthiers à l aide d outils leur permettant de caractériser objectivement les caractéristiques acoustiques des instruments qu ils produisent. Voir > Projet PAFI : plateforme modulaire d aide a la facture instrumentale - page 24 5

6 PERCEPTiON ET DESiGN SONORES par Nicolas Misdariis et Patrick Susini Comment concevoir les sons de notre environnement? Comment intégrer les sons dans les interfaces homme-machine? Design sonore interactif Navigation sonore dans les menus hiérarchiques Intégrée dans les activités de l Ircam en 1999, l équipe intitulée Design sonore, dirigée par Patrick Susini, a pris en 2005 la dénomination de Perception et design sonores. Ses travaux s orientent vers l étude et l analyse perceptives des phénomènes sonores afin d établir des connaissances sur les mécanismes perceptifs associés à la description et à la signification des sons, jusqu à l identification de sources sonores et à la perception de séquences sonores. Les applications en design sonore s attachent à l étude et la conception de l environnement sonore quotidien sous différents aspects : installations et diffusion dans des lieux publics, signalétique sonore, interfaces homme-machine, etc. Le processus de design sonore La figure ci-dessus présente les trois étapes du processus proposé par l équipe Perception et design sonores à la fois comme support pédagogique et comme méthodologie pour la réalisation de projets industriels. Les projets en design sonore de l Ircam > Renault : design sonore pour le véhicule électrique ; sonification d un système de navigation hiérarchique multi-classes ; design sonore d interfaces homme-machine : étude de la notion d urgence ; design sonore de sons de clignotants automobiles > SNCF : design sonore de la signalétique de la gare Montparnasse > Bouygues Telecom : design sonore d'un environnement de navigation vocale > Mairie du IV e arrondissement de la Ville de Paris : réalisation d'un jardin sonore Dans la brochure R&D > page 16 Ressources et informations de l équipe (projets) > et 6

7 interactions MUSiCALES TEMPS RÉEL par Frédéric Bevilacqua Comment créer du son à partir d un geste, en temps réel? Quels sont les derniers moyens pour «saisir» le mouvement en temps réel? Suivi de gestes et contrôle interactif de la synthèse Système modulaire d objets pour la captation L équipe Interactions musicales temps réel, dirigée par Frédéric Bevilacqua, développe de nouveaux paradigmes et technologies d interaction en temps réel entre des interprètes musiciens, danseurs ou acteurs et des systèmes d informatique musicale. Ces dispositifs mettent en œuvre des recherches effectuées par l équipe sur l analyse et la reconnaissance de formes sonores et gestuelles ainsi que le traitement du son interactif. Les applications s articulent autour de trois axes principaux : les œuvres musicales mixtes associant interprète et électronique/informatique, la danse et d autres formes du spectacle vivant, et les logiciels audio interactifs. D autres applications concernent la pédagogie musicale ainsi que la simulation et le design sonore. Les travaux actuels portent principalement sur le suivi de partition, le suivi de gestes, le violon augmenté et la synthèse par corpus. Dans la brochure R&D > page 20 Ressources et informations de l équipe (projets) > À venir > juin 2011 L Ircam, à l occasion de Futur en Seine, en partenariat avec Cap Digital, présente des prototypes mettant en jeu l interaction geste. Urban Musical Game* (jeu de balles musical) : prototype modulaire de contrôle gestuel d'un environnement sonore collaboratif, combinant l'aspect ludique des jeux de balles et de jeux musicaux collectifs. Ircam 7

8 SERViCES EN LiGNE par Jérôme Barthélémy Problématique de la préservation des œuvres numériques Comment garantir à long terme la préservation des œuvres numériques? L équipe Services en ligne a été constituée à l occasion de la réalisation de projets nationaux et européens coordonnés par l Ircam autour de serveurs de bases de données musicales dotés de fonctions de navigation par le contenu. Dirigée par Jérôme Barthélémy, elle a pour mission de coordonner l expertise technique nécessaire à ces projets, en assurant la réalisation d études et le développement de systèmes et applications informatiques opérationnels, offrant de nouvelles perspectives en matière de diffusion de contenus sonores et musicaux. Voir principaux projets > Gamelan : un environnement pour la gestion et l'archivage de la musique et de l'audio numériques Dans la brochure R&D, page 55. > Astree : analyse et synthèse de traitements temps réel - page 55 > Caspar : accès, préservation et restitution de ressources culturelles, œuvres artistiques et scientifiques - page 56 > i-maestro : interactive multimedia environment for technology enhanced music education and creative collaborative composition and performance - page 30 > Ecoute : environnement auteur pour l'écoute musicale instrumentée, la gestion des archives sonores et leur publication multi-supports - page 51 > SemanticHIFI : naviguer, écouter, interagir, jouer, partager sur les systèmes HiFi du futur - page 48 > Cuidado : interfaces de recherche par le contenu et descripteurs pour l'audio et la musique accessibles en ligne - page 49 Dans la brochure R&D > page 21 Page Web > Ircam 8

9 REPRÉSENTATiONS MUSiCALES par Gérard Assayag Comment faire improviser en direct son propre clone musical? Quels nouveaux outils pour composer? Logiciel OMax : clonage du style musical et générativité interactive Logiciel OpenMusic : aide à la composition L équipe Représentations musicales, dirigée par Gérard Assayag, s intéresse à la formalisation informatique des structures musicales. Elle oriente ses travaux autour du développement de l environnement OpenMusic d aide à la composition et à l analyse musicales, permettant le calcul de structures musicales symboliques à partir de langages de programmation graphique. Les travaux récents de l équipe s intéressent plus largement à l analyse automatisée des structures musicales à partir de représentations symboliques, au contrôle de la synthèse, à l orchestration assistée, à la modélisation stylistique, à l improvisation par ordinateur, à l application de modélisation informatique en ethnomusicologie et à la pédagogie musicale assistée Dans la brochure R&D > page 18 Page Web > Ressources et informations de l équipe > Logiciel OMax Logiciel OpenMusic OMax combine l'interaction en temps réel de type Max avec les représentations musicales de haut niveau de type OpenMusic pour créer un «clone» à partir du jeu vivant d'un musicien. Dans la brochure R&D > page 46 Page Web > Vidéos, démonstrations > Page Forum > OpenMusic (OM) est un environnement de programmation visuelle pour la création d applications de composition et d analyse musicale assistées par ordinateur. OpenMusic offre à l utilisateur de nombreux modules qui peuvent être associés à des fonctions mathématiques ou musicales, représentées par des icônes. L utilisateur peut relier ces modules entre eux et créer un programme appelé «patch» qui va générer ou transformer des structures musicales. Les patchs peuvent s emboîter les uns dans les autres pour constituer des programmes et créer des structures de plus en plus élaborées. OpenMusic est aujourd hui utilisé par un grand nombre de compositeurs et de musicologues. Il est enseigné dans les principaux centres d informatique musicale ainsi que plusieurs universités en Europe et aux États-Unis. Dans la brochure R&D > page 68 Page Web > Vidéos, démonstrations > et 9

10 ANALYSE DES PRATiQUES MUSiCALES par Samuel Goldszmidt Comment documenter une œuvre aujourd hui, avec les moyens à notre disposition? Documentation hypermédia des œuvres pour la pédagogie musicale L équipe Analyse des pratiques musicales, dirigée par Nicolas Donin, a pour objet d étude les œuvres et les pratiques musicales savantes des XX e et XXI e siècles. Son champ d activité relève de la musicologie et plus généralement des sciences humaines ; il se développe sur trois plans : recherches empiriques, la composition et l interprétation contemporaines ; travaux musicologiques suscitant la création d outils d écoute et d analyse musicale ; enquêtes historiques et épistémologiques sur les pratiques savantes de la musique au XX e siècle ; édition scientifique d œuvres et d écrits de compositeurs. Voir > Outils de publication multimédia pour la musicologie Dans la brochure R&D > page 52 Voir principaux projets > MuTEC : musicologie des techniques de composition contemporaines dans la brochure R&D, page 54 > Ecoute : environnement auteur pour l écoute musicale instrumentée, la gestion des archives sonores et leur publication multi support page 51 > ScenariPlatform : système de conception de chaînes éditoriales pour les contenus numériques adaptables réutilisables et interactifs > Papier augmenté pour la CAO page 36 > Modélisation informatique des structures algébriques en musique et musicologie (MISA) page 37 > Théories de la composition musicale au XX e siècle page 54 Dans la brochure R&D > page 19 Ressources et informations de l équipe (projets en cours, publications, exemples) > 10

11 ESPACES ACOUSTiQUES ET COGNiTiFS par Olivier Warusfel Comment crée-t-on du son en 3D? Comment faire ressentir le son dans l espace, le manipuler? Logiciel Spat : simulation de scènes sonores spatialisées Expériences d interaction multisensorielle avec audio 3D L équipe Espaces acoustiques et cognitifs, dirigée par Olivier Warusfel, se concacre à la notion d espace, dans sa manifestation ou sa reproduction sonore ainsi que dans sa réalité cognitive. Les disciplines scientifiques concernées sont le traitement du signal pour l élaboration de techniques de reproduction du champ sonore et l informatique appliquée à la conception d interfaces de contrôle de la spatialisation. La perception et la cognition spatiales sont également impliquées pour nourrir en amont la réflexion sur l apport de la dimension spatiale dans l écoute de la musique ou de notre environnement en association avec d autres modalités sensorielles. Les applications artistiques concernent le domaine musical pour le concert ou la post-production et la danse à travers les enjeux de l interaction son/espace/corps. L intégration de fonctions de spatialisation sonore dans les environnements de réalité virtuelle ouvre les perspectives d applications scientifiques pour la recherche en neurosciences sur les dispositifs à visée thérapeutique ou les simulateurs pour le domaine des transports. Dans la brochure R&D > page 15 Page Web > Projets > Logiciel Spat Dans la brochure R&D > page 70 Page Web > Le Spatialisateur (Spat) est un logiciel dédié à la spatialisation du son en temps réel. Conçu sous forme d une bibliothèque, il permet au musicien ou à l ingénieur du son de contrôler la spatialisation du son pour divers systèmes de restitution. Les applications s étendent de la reproduction en contexte domestique (casque d écoute, système stéréophonique ou 5.1) aux situations de concert (distribution de haut-parleurs) ou aux installations sonores holophoniques et interactives. 11

12 LES ESPACES DE L ircam L Espace de projection Olivier Panier des Touches Cette salle expérimentale de 375 m 2 est unique par la variabilité de ses caractéristiques acoustiques. Son temps de réverbération peut passer de 0,4 à 4 secondes. Cette capacité d'adaptation est liée à deux facteurs principaux : des modules prismatiques à trois faces (absorbante, réfléchissante et diffusante), nommés périactes, qui constituent les parois latérales et le plafond. Ces périactes sont commandés par groupe de trois (171 groupes), et toute configuration peut être obtenue en quelques minutes ; la mobilité de son plafond, divisé en trois modules indépendants. Équipé d'accessoires scénographiques et d'une régie son, cet espace peut indifféremment s'utiliser comme salle de concerts, studio d'enregistrement et lieu d'expérimentations acoustiques. > Principales caractéristiques Dimensions horizontales : 24 m x 15,50 m Capacité d'accueil : 250 à 350 places Variabilité du volume : hauteur du plafond entre 1,50 m et 10,50 m Variabilité des caractéristiques acoustiques : temps de réverbération entre 0,4 et 4 secondes. La chambre anéchoïque (ou chambre sourde). Olivier Panier des Touches 12

13 L ÉQUiPE RECHERCHE ET DÉVELOPPEMENT Directeur Hugues Vinet, directeur scientifique de l Ircam, directeur de l UMR STMS (jusqu en décembre 2010), Gérard Assayag, directeur de l UMR STMS (à partir de janvier 2011) Responsables d équipes Acoustique instrumentale : René Caussé Analyse des pratiques musicales : Nicolas Donin Analyse et synthèse des sons : Axel Roebel Espaces acoustiques et cognitifs : Olivier Warusfel Interactions musicales temps réel : Frédéric Bevilacqua Perception et design sonores : Patrick Susini Représentations musicales : Gérard Assayag Service informatique : Laurent Ghys Services en ligne : Jérôme Barthélemy Valorisation scientifique et industrielle : Frederick Rousseau Administration Sylvie Benoit, Martine Grospiron, Ghislaine Montagne, Carole Tan Chercheurs et ingénieurs Carlos A. Agon Amado, Moreno Andreatta, Joël Bensoam, Julien Bloit, Alain Bonardi, Riccardo Borghesi, Jean Bresson, Grégoire Carpentier, Thibaut Carpentier, Christophe Charbuillet, Raffaele Ciavarella, Arshia Cont, Frédéric Cornu, Emmanuel Deruty, Nicholas Ellis, Laurent Feneyrou, François-Xavier Féron, Samuel Goldszmidt, Arnaud Gomes, Thomas Hélie, Olivier Houix, Olivier Labat, Mathieu Lagrange, Bouchra Lamrini, Pierre Lanchantin, Benjamin Lévy, Nicolas Misdariis, Markus Noisternig, Geoffroy Peeters, Charles Picasso, Xavier Rodet, Matthieu Ramona, Francis Rousseaux, Alessandro Saccoia, Norbert Schnell, Diemo Schwarz, Damien Tardieu, Christophe Veaux, Isabelle Viaud-Delmon, Chunghsin Yeh, Bruno Zamborlin Techniciens Nicolas Baubillier, Youcef Bensaid, Gérard Bertrand, Maxence Riffault, Alain Terrier Doctorants Tommaso Bianco, Louis Bigo, Baptiste Caramiaux, Ivan Cohen, Gilles Degottex, Arnaud Dessein, Philippe Esling, Pauline Eveno, Marcelo Freitas Caetano, Sarah Fdili Alaoui, Aurélie Frère, Jérémie Garcia, Thomas Hézard, Renaud Houzet, Stefan Huber, Benjamin Lévy, Marco Liuni, Fivos Maniatakos, John Mandereau, Lara Morciano, Khoa-Van Nguyen, Nicolas Obin, Lise Régnier, David Roze, Joseph Sanson, Noémie Sprenger-Ohana, Antoine Vincent Chercheurs invités Mondher Ayari, Georges Bloch, Suguru Goto, Fabrice Guédy, Nichola Montecchio, Erdal Özbek, Montserrat Pàmies-Vilà, Camilo Rueda, Liao Wei-Hsiang Stagiaires Raphaël Amiot, Guillaume Baudart, Marco Bertola, Adrien Daniel, Matthieu Debove, Jose Etcheveste, Antoine Falaize-Skrzek, Thomas Hézard, Renaud Houzet, Paul Ladyman, Julien Le Bras, Vincent Le Piouffle, Wei-Hsiang Liao, Côme Maestracci, Briac Marcatté, Lise Méron-Lochet, Samuel Moulin, Matteo Padovan, Soho Poignard, Emmanuel Ponsot, François Rigaud, Joël Ross, Baptiste Véricel, Antoine Vincent, Florent Xavier 13

14 L ircam Institut de recherche et coordination acoustique/musique L Institut de recherche et coordination acoustique/musique est aujourd hui l un des plus grands centres de recherche publique au monde se consacrant à la création musicale et à la recherche scientifique. Lieu unique où convergent la prospective artistique et l innovation scientifique et technologique, l institut est dirigé depuis 2006 par Frank Madlener. L Ircam développe ses trois axes principaux création, recherche, transmission au cours d une saison parisienne, d un festival fédérateur, de tournées en France et à l étranger. L Ircam est un des foyers principaux de la création musicale ainsi qu un lieu de production et de résidence pour des compositeurs internationaux. L institut propose une saison riche de rencontres singulières par une politique de commandes. De nombreux programmes d artistes en résidence sont engagés, aboutissant également à la création de projets pluridisciplinaires (musique, danse, vidéo, théâtre et cinéma). Enfin, un grand festival annuel, Agora, permet la présentation de ces créations au public. L Ircam est un centre de recherche à la pointe des innovations scientifiques et technologiques dans les domaines de la musique et du son. Partenaire de nombreuses universités et entreprises internationales, ses recherches couvrent un spectre très large : acoustique, traitement de signal, informatique (langages, temps réel, bases de données, interfaces homme-machine), musicologie, cognition musicale. Ces travaux trouvent des applications dans d autres domaines artistiques comme le multimédia, les arts plastiques ou le spectacle vivant, ainsi que des débouchés industriels (industries culturelles, télécommunications, informatique, automobile et transports ). L Ircam est un lieu de formation à l informatique musicale. Son Cursus de formation à la composition réalisés en collaboration avec des chercheurs et compositeurs internationaux fait référence en matière de formation professionnelle des jeunes compositeurs. L institut est laboratoire d accueil des écoles doctorales pour les jeunes scientifiques, et s est engagé dans des formations universitaires avec l UPMC (Paris-6) pour l accueil du master Acoustique, traitement du signal et informatique appliqués à la musique (Atiam). Ses activités pédagogiques concernent également le grand public grâce au développement de logiciels pédagogiques et interactifs nés d une coopération étroite avec l Éducation nationale et les conservatoires. Depuis 2006, la politique artistique est devenue politique générale de l institut. Une série de réformes propulse simultanément la création, la technologie et leur transmission vers les publics. Réforme de la saison avec de nombreux coproducteurs et de nouvelles esthétiques en présence ; réforme du pôle spectacle quittant le laboratoire pour investir les scènes musicales et le spectacle vivant ; réforme du Cursus déployé en deux années avec de nouveaux partenaires ; réforme des documentations assurant la transmission et la pérennité des œuvres ; création de la «compagnie Ircam» portant un répertoire en France et à l étranger ; création d une action culturelle, d un Journal de la création et de nouvelles médiations pour les publics. Ce chantier place l Ircam au cœur d un espace sensible partagé. Fondé par Pierre Boulez, l Ircam est associé au Centre Pompidou sous la tutelle du ministère de la Culture et de la Communication. Depuis 1995, le ministère de la Culture et de la Communication, l'ircam et le CNRS sont partenaires dans le cadre d'une unité mixte de recherche STMS (Sciences et technologies de la musique et du son - UMR 9912). En 2010, l université Pierre et Marie Curie (UPMC) rejoint le ministère et le CNRS comme cotutelle de l UMR. 14