Captation video pour le spectacle vivant Mains d oeuvre
Techniquesd analyse d image Pre/post traitements Extraction d'objets Analyse spatiale Analyse du mouvement Applications 2
Traitements divers Corrections de lumière luminosité, contraste, chrominance... Corrections géometriques perspective inverse, recadrage, zoom... Filtrage linéaire flou, detection de bords... Filtrage non-linéaire median, anti poussière Operateurs morphologiques ouverture, fermeture, dilatation erosion 3
Extraction d objets Soustraction de fond Silhouette changeante sur un fond fixe, Attention aux éclairages (camera infrarouge, camera thermique) Extraction de couleur Couleur particulière démarquée du reste: bleu/vert type cinema Suivi d'objets multiples Problèmes d'identité lors des occlusions 4
Analyse spatiale Moments de l'image surface, centre de masse, axes principaux, degré de symétrié, allongement. Squelette, décomposition hiérarchique Tete, pied, genoux, cheville... Indice de contraction Surface de l'objet / aire du rectangle enveloppant Indice de stabilité Relation entre le centre de masse et les pieds 5
Moments de l image Orientation Centre de gravité Surface/Masse Degré de symétrie Elongation 6
Decomposition hiérarchique 7
Indice de contraction Rapport Largeur/Hauteur du rectangle entourant la silhouette 8
Indice de stabilité Rapport entre la position du centre de gravité et la largeur des appuis 9
Analyse temporelle Quantité de mouvement Différence accumulée / surface de l'objet Fluidité Trajectoire directe vs complexe Accumulation d'image Gradient de mouvement Flot optique Champ de déplacement, flux de mouvement Global ou Ponctuel (tracking multi-points) 10
Quantité de mouvement Rapport entre la surface de ce qui a changé et la surface de la silhouette courante mouvement silhouette QOM = mouvement / silhouette 11
Fluidité vs Complexité Rapport entre le chemin direct et le chemin total 12
Flot Optique «Meteo» du mouvement 13
Applications Localisation d'acteurs, localisation des mains, distances entre objets. Description de mouvement, postures + chorégraphies suivi, reconnaissance, segmentation, déclenchement Interaction qualitative/symbolique/perceptive Fluidité, quantité de mouvement, stabilité... 14
EyesWeb @ Ircam Production Schlag! (2003) Robbe/Cera (2003-2005) Grandville (2004) Comedie Française (2004) Olga Neuwirth (2005) Compositions des etudiants (2005) Recherche Danse Geste instrumental 15
Schlag! Roland Auzet (2003) Schlag! is a live performance for circus artists, musician (percussion), computer graphics and electronic music. 16
Eyesweb IRCAM: Emmanuel Flety Extraction de la couleur de la peau RGB into YUV. Thresholding 17
Deux cameras: face et dessus Detection de posture, camera vue de face Detection de posture camera vue d en haut 18
Percussion virtuelle Deux cameras face et dessus video 19
Herve Robbe / Andrea Cera << Rew (2003) Hervé Robbe Concept and choreography Andréa Cera Music Temps différé et temps réel Mutating Score (2004) Hervé Robbe Concept and choreography Andréa Cera Music Temps différé et temps réel 20
<<Rew Andrea Cera s approach: Build sound track that is a counterpoints to the movement To pursue the previous work done manually ( Permis de Construire - Avis de Démolition ) Method video recording of choreography use of EyesWeb -> skeleton, bounding box use recorded data in Max for synthesis algorithm One sound layer 21
Max/MSP interface IRCAM: Emmanuel Flety 22
Visualization 23
Mutating score (2005) stage Active area camera video IRCAM assistant:romain Kronenberg 24
Mutating score Combinaison de paramètres: qom, aire 25
Olivia Grandville Comment taire (2004) Olivia Grandville - choregraphie, interpretation Composition: Romain Kronenberg Ircam assistant: Nicolas Leroy La danse est utilisée pour: déclancher des séquences controller la synthèse granulair modifier certains effets Interaction - suivi de la position des mains (face camera) - position du corps dans l espace (vue de dessus) - energie et orientation du corps (vue de dessus) 26
Camera de face - suivi des mains 27
Camera de dessus: energie et orientation de la silhouette 28
Camera de dessus: Position sur scène zones 1 2 8 3 7 4 6 5 29
Le Privilege des chemin, Fernando Pessoa Studio theatre de la Comedie Francaise (2004). Mise en scène: Eric Genovese. 30
Olga Neuwirth - Installation (2005) Le temps désenchanté ou le dialogue aux enfers Paramètres: taux d activité sur la place flux de mouvement: coherence, direction Luminosité IRCAM assistant: Romain Kronenberg, Remy Muller 31
Claire-Mélanie Sinnhuber 32
Suivi de couleur video IRCAM assistant: Nicolas Leroy 33
Questions?
Analyse en composantes principales 22 parametres du squelette temps time 22 composantes Du mouvement 1 2 10 time 35
Segmentation Frederic Leau Danceur A Quantité de mouvement Danceur B 36