Captation video pour le spectacle vivant. Mains d oeuvre

Transcription

1 Captation video pour le spectacle vivant Mains d oeuvre

2 Techniquesd analyse d image Pre/post traitements Extraction d'objets Analyse spatiale Analyse du mouvement Applications 2

3 Traitements divers Corrections de lumière luminosité, contraste, chrominance... Corrections géometriques perspective inverse, recadrage, zoom... Filtrage linéaire flou, detection de bords... Filtrage non-linéaire median, anti poussière Operateurs morphologiques ouverture, fermeture, dilatation erosion 3

4 Extraction d objets Soustraction de fond Silhouette changeante sur un fond fixe, Attention aux éclairages (camera infrarouge, camera thermique) Extraction de couleur Couleur particulière démarquée du reste: bleu/vert type cinema Suivi d'objets multiples Problèmes d'identité lors des occlusions 4

5 Analyse spatiale Moments de l'image surface, centre de masse, axes principaux, degré de symétrié, allongement. Squelette, décomposition hiérarchique Tete, pied, genoux, cheville... Indice de contraction Surface de l'objet / aire du rectangle enveloppant Indice de stabilité Relation entre le centre de masse et les pieds 5

6 Moments de l image Orientation Centre de gravité Surface/Masse Degré de symétrie Elongation 6

7 Decomposition hiérarchique 7

8 Indice de contraction Rapport Largeur/Hauteur du rectangle entourant la silhouette 8

9 Indice de stabilité Rapport entre la position du centre de gravité et la largeur des appuis 9

10 Analyse temporelle Quantité de mouvement Différence accumulée / surface de l'objet Fluidité Trajectoire directe vs complexe Accumulation d'image Gradient de mouvement Flot optique Champ de déplacement, flux de mouvement Global ou Ponctuel (tracking multi-points) 10

11 Quantité de mouvement Rapport entre la surface de ce qui a changé et la surface de la silhouette courante mouvement silhouette QOM = mouvement / silhouette 11

12 Fluidité vs Complexité Rapport entre le chemin direct et le chemin total 12

13 Flot Optique «Meteo» du mouvement 13

14 Applications Localisation d'acteurs, localisation des mains, distances entre objets. Description de mouvement, postures + chorégraphies suivi, reconnaissance, segmentation, déclenchement Interaction qualitative/symbolique/perceptive Fluidité, quantité de mouvement, stabilité... 14

15 Ircam Production Schlag! (2003) Robbe/Cera ( ) Grandville (2004) Comedie Française (2004) Olga Neuwirth (2005) Compositions des etudiants (2005) Recherche Danse Geste instrumental 15

16 Schlag! Roland Auzet (2003) Schlag! is a live performance for circus artists, musician (percussion), computer graphics and electronic music. 16

17 Eyesweb IRCAM: Emmanuel Flety Extraction de la couleur de la peau RGB into YUV. Thresholding 17

18 Deux cameras: face et dessus Detection de posture, camera vue de face Detection de posture camera vue d en haut 18

19 Percussion virtuelle Deux cameras face et dessus video 19

20 Herve Robbe / Andrea Cera << Rew (2003) Hervé Robbe Concept and choreography Andréa Cera Music Temps différé et temps réel Mutating Score (2004) Hervé Robbe Concept and choreography Andréa Cera Music Temps différé et temps réel 20

21 <<Rew Andrea Cera s approach: Build sound track that is a counterpoints to the movement To pursue the previous work done manually ( Permis de Construire - Avis de Démolition ) Method video recording of choreography use of EyesWeb -> skeleton, bounding box use recorded data in Max for synthesis algorithm One sound layer 21

22 Max/MSP interface IRCAM: Emmanuel Flety 22

23 Visualization 23

24 Mutating score (2005) stage Active area camera video IRCAM assistant:romain Kronenberg 24

25 Mutating score Combinaison de paramètres: qom, aire 25

26 Olivia Grandville Comment taire (2004) Olivia Grandville - choregraphie, interpretation Composition: Romain Kronenberg Ircam assistant: Nicolas Leroy La danse est utilisée pour: déclancher des séquences controller la synthèse granulair modifier certains effets Interaction - suivi de la position des mains (face camera) - position du corps dans l espace (vue de dessus) - energie et orientation du corps (vue de dessus) 26

27 Camera de face - suivi des mains 27

28 Camera de dessus: energie et orientation de la silhouette 28

29 Camera de dessus: Position sur scène zones

30 Le Privilege des chemin, Fernando Pessoa Studio theatre de la Comedie Francaise (2004). Mise en scène: Eric Genovese. 30

31 Olga Neuwirth - Installation (2005) Le temps désenchanté ou le dialogue aux enfers Paramètres: taux d activité sur la place flux de mouvement: coherence, direction Luminosité IRCAM assistant: Romain Kronenberg, Remy Muller 31

32 Claire-Mélanie Sinnhuber 32

33 Suivi de couleur video IRCAM assistant: Nicolas Leroy 33

34 Questions?

35 Analyse en composantes principales 22 parametres du squelette temps time 22 composantes Du mouvement time 35

36 Segmentation Frederic Leau Danceur A Quantité de mouvement Danceur B 36