Système complet d acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés

Transcription

1 Système complet d acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés Application à la surveillance apicole SOUTENANCE DE THÈSE DE Guillaume CHIRON LE Vendredi 28 novembre 2014 DIRECTEUR : Michel MÉNARD COENCADRANTE : Petra GOMEZ-KRÄMER octobre 2011 novembre 2014 Université de la Rochelle Ecole doctorale S2Im Laboratoire L3i Travaux financés par le CG 17 soutien avec les projets RISQAPI/EPERAS/FREDD Collaborations : - INRA Magneraud, - Muséum National d Histoire Naturelle

2 Contexte PRÉAMBULE ACQUISITION RGB-D Bio-indicatrice «sentinelle de l environnement» Menacée (déclin mondial) Enjeux sociétaux Soutiens financiers (FEDER, CG17, région, FranceAgrimer, ANR, FREDD) Informatique : fort potentiel (vision, signal, modélisation) Collaborations (INRA, MNHN, CEBC, FREDD, entreprises locales) Axe environnement (> 2011, L3i) 2

3 PRÉAMBULE Motivation Une application interdisciplinaire ACQUISITION RGB-D La surveillance apicole Angle d attaque innovant Extérieur de la ruche Collecter des données d une nature nouvelle Trajectoires de vol, 3D Comprendre les phénomènes biologiques émergents Comportement de la colonie 3

7 PRÉAMBULE Biologie Dispositif pour la surveillance de ruche ACQUISITION RGB-D Système de comptage : technologie RFID INRA Magneraud Identification lors des entrées / sorties : (histoire de vie de l abeille) (Streit 2003, Decourtye 2011) 4

8 PRÉAMBULE Vision par ordinateur Appliquée à l abeille ACQUISITION RGB-D Approche «Individu» Intérieur de la ruche, 2D, fort a priori Détection Trajectoire Comportement Approche «Colonie» (Maitra 2009) Passage à l échelle (Khan 2004) 5

9 PRÉAMBULE Vision par ordinateur Appliquée à l abeille ACQUISITION RGB-D Approche «Individu» Suivi d une abeille parmi d autres Détection Trajectoire Comportement (Feldman 2004) Approche «Colonie» Passage à l échelle (Khan 2004) 6

10 PRÉAMBULE Vision par ordinateur Appliquée à l abeille ACQUISITION RGB-D Approche «Individu» Détection d un comportement individuel Détection Trajectoire Comportement Approche «Colonie» (Veeraraghavan 2008) Passage à l échelle (Oh 2005) 7

11 PRÉAMBULE Vision par ordinateur Appliquée à l abeille ACQUISITION RGB-D Approche «Individu» Détection Travaux au L3i Compteur d abeilles Trajectoire Comportement (Blois 2011), Partenariat Apilab, L3i, INRA Avignon Valorisation : solutions commerciales Approche «Colonie» Passage à l échelle Partenariat Apilab, L3i, Azimut Plateforme PRESERVE, L3i 8

12 Problématique générale PRÉAMBULE ACQUISITION RGB-D Construire une chaîne de traitement permettant d observer et de modéliser des comportements de groupes d individus aux mouvements complexes, faiblement contraints, avec un minimum d a priori? 9

13 Challenges PRÉAMBULE ACQUISITION RGB-D Chaîne de traitement «Acquisition 3D Comportement» (scène extérieure, encombrée, dynamique ) Interdisciplinarité (partage d'expertise) Coté applicatif important (rigueur expérimentale) Approche novatrice (terra incognita) 10

17 1 ACQUISITION RGB-D ET DÉTECTION DE CIBLES 2 PRÉAMBULE Plan SUIVI 3D MULTI-CIBLES 3 ACQUISITION RGB-D MODÉLISATION COMPORTEMENTALE 4 APPLICATION : SURVEILLANCE APICOLE 11

18 PRÉAMBULE ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES 1 ACQUISITION RGB-D ET DÉTECTION DE CIBLES Contexte théorique 12

19 PRÉAMBULE Problématique ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Cams. RGB Cam. Stéréo Cam. TOF Cam. Plénoptique Utilisation des informations «intensité et/ou profondeur» pour détecter et localiser des cibles évoluant en 3D dans des scènes naturellement encombrées. Séquence vidéo Image d intensité Image Image o o Carte Carte Carte de de profondeur profondeur profondeur o x Données : manquantes imprécises incertaines 13

20 PRÉAMBULE Problématique ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Cams. RGB Cam. Stéréo Cam. TOF Cam. Plénoptique Utilisation des informations «intensité et/ou profondeur» pour détecter et localiser des cibles évoluant en 3D dans des scènes naturellement encombrées. Séquence vidéo Image d intensité Image Image o o Carte Carte Carte de de profondeur profondeur profondeur o x Données : manquantes imprécises incertaines 13

21 PRÉAMBULE ACQUISITION & DÉTECTION formalisation Contraintes du milieu observé validation SUIVI 3D MULTI-CIBLES Verrous technologiques Milieu naturel, accès difficile Intrusion déconseillée Caractéristiques de scène Encombrée En extérieur Éclairage non-contrôlé Variabilité Nature des cibles Nombreuses Petite taille / scène Apparence instable Dynamique non contrainte Poissons (Beyan 13) Abeilles (Chiron 13) Chauves-souris (Betke 13) 14

25 PRÉAMBULE Etat de l art ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES [INTENSITÉ] Détection par modèle d apparence Cascade de classifieurs [Viola, Jones 2001] PROBLEME : Cibles similaires MAIS Apparences variées sur les images [INTENSITÉ] Soustraction d arrière plan Médiane adaptative, mixture de gaussiennes [Sobral 2014] PROBLEME : Conditions naturelles + Encombrement Modélisation difficile de l arrière plan [INTENSITÉ & PROFONDEUR] Détecteur RGB-D Fortement basé sur la carte de profondeur [Steiger 2009] PROBLEME : Plutôt adapté à des objets volumineux 15

28 PRÉAMBULE Etat de l art ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES [INTENSITÉ] Détection par modèle d apparence Cascade de classifieurs [Viola, Jones 2001] PROBLEME : Cibles similaires MAIS Apparences variées sur les images [INTENSITÉ] Soustraction d arrière plan Médiane adaptative, mixture de gaussiennes [Sobral 2014] PROBLEME : Conditions naturelles + Encombrement Modélisation difficile de l arrière plan [INTENSITÉ & PROFONDEUR] Détecteur RGB-D Fortement basé sur la carte de profondeur [Steiger 2009] PROBLEME : Plutôt adapté à des objets volumineux Problèmes d appariement 15

29 PRÉAMBULE ACQUISITION & DÉTECTION formalisation validation Problèmes liés aux défauts d appariement SUIVI 3D MULTI-CIBLES Intensité Profondeur Zone non appariée 16

33 PRÉAMBULE ACQUISITION & DÉTECTION formalisation validation Problèmes liés aux défauts d appariement SUIVI 3D MULTI-CIBLES Intensité Profondeur Zone non appariée zone appariée contrainte prof. cible 3D 16

34 PRÉAMBULE ACQUISITION & DÉTECTION formalisation validation Problèmes liés aux défauts d appariement SUIVI 3D MULTI-CIBLES Intensité Profondeur Zone non appariée zone appariée contrainte prof. cible 3D zone non- appariée mouvement cible 2D (profondeur inconnue) 16

35 PRÉAMBULE Solution proposée ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Segmentation HIDS - Tirer le meilleur parti du couple «intensité/profondeur» PROFONDEUR D t Intensity BackGround (IBG) INTENSITÉ Depth BackGround (DBG) > filtre (morph.) =0 =0 - - filtre (morph.) seuil I t - filtre (morph.) seuil I t+1 DDTM Undetermined Depth Mask (UDM) - UDTM IAMM - IRMM Mouvement local dilatation (morph.) ForeGround (FG) 17

36 PRÉAMBULE Solution proposée ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Segmentation HIDS - Tirer le meilleur parti du couple «intensité/profondeur» PROFONDEUR D t Intensity BackGround (IBG) INTENSITÉ Depth BackGround (DBG) > filtre (morph.) =0 =0 - - filtre (morph.) seuil I t - filtre (morph.) seuil I t+1 DDTM Undetermined Depth Mask (UDM) - UDTM IAMM Mouvement globale - IRMM dilatation (morph.) ForeGround (FG) 18

37 PRÉAMBULE Solution proposée ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Segmentation HIDS - Tirer le meilleur parti du couple «intensité/profondeur» PROFONDEUR D t Intensity BackGround (IBG) INTENSITÉ Depth BackGround (DBG) > filtre (morph.) =0 =0 - - filtre (morph.) seuil I t - filtre (morph.) seuil I t+1 DDTM Cibles appariées Undetermined Depth Mask (UDM) dilatation (morph.) - UDTM IAMM - IRMM ForeGround (FG) 19

38 PRÉAMBULE Solution proposée ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Segmentation HIDS - Tirer le meilleur parti du couple «intensité/profondeur» PROFONDEUR D t Intensity BackGround (IBG) INTENSITÉ Depth BackGround (DBG) > filtre (morph.) =0 =0 - - filtre (morph.) seuil I t - filtre (morph.) seuil I t+1 DDTM Undetermined Depth Mask (UDM) dilatation (morph.) - UDTM IAMM Cibles non-appariées - IRMM ForeGround (FG) 20

39 PRÉAMBULE Solution proposée ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Segmentation HIDS - Tirer le meilleur parti du couple «intensité/profondeur» PROFONDEUR D t Intensity BackGround (IBG) INTENSITÉ Depth BackGround (DBG) > filtre (morph.) =0 =0 - - filtre (morph.) seuil I t - filtre (morph.) seuil I t+1 Undetermined Depth Mask (UDM) DDTM UDTM - dilatation Cibles (morph.) en vol IAMM - IRMM ForeGround (FG) 3D 2D 21

40 PRÉAMBULE Solution proposée ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Segmentation HIDS - Tirer le meilleur parti du couple «intensité/profondeur» PROFONDEUR D t Intensity BackGround (IBG) INTENSITÉ Depth BackGround (DBG) > filtre (morph.) =0 =0 - - filtre (morph.) seuil I t - filtre (morph.) seuil I t+1 Adaptation du modèle d arrière plan DDTM Undetermined Depth Mask (UDM) - UDTM IAMM - IRMM (contraint par IRMM) dilatation (morph.) ForeGround (FG) 22

41 PRÉAMBULE ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES 1 ACQUISITION RGB-D ET DÉTECTION DE CIBLES Mise en œuvre & Validation 23

42 PRÉAMBULE Mise en œuvre et validation ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Stéréovision : G3 Evo (752 Acquisition de séquences de tests 24

43 PRÉAMBULE Mise en œuvre et validation ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Stéréovision : G3 Evo (752 Acquisition de séquences de tests 24

44 Taille (px) PRÉAMBULE Evaluation ACQUISITION & DÉTECTION formalisation validation SUIVI 3D MULTI-CIBLES Vérité terrain 500 couples 928 abeilles annotées Triple annotations Résultats Cibles non-détectées : 4,5% Fausses détections : 19,54% Profondeur (mm) 25

47 PRÉAMBULE ACQUISITION & DÉTECTION Bilan SUIVI 3D MULTI-CIBLES Contributions 1. Segmentation HIDS mouvement relatif (différence d image d intensité) mouvement absolu (modèle adaptatif d arrière plan d intensité) information de profondeur (modèle d arrière plan) Publications Chiron G., Gomez-Krämer P., Ménard M. Detecting and tracking honeybees in 3D at the beehive entrance using stereo vision Journal EURASIP (JIVP), 2013 Chiron G., Gomez-Krämer P., Ménard M. Outdoor 3D Acquisition System for Small and Fast Targets. Application to honeybee monitoring at the beehive entrance Workshop GEODIFF, Barcelone,

48 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. 2 SUIVI 3D MULTI-CIBLES Contexte théorique 27

49 ACQUISITION & DÉTECTION Problématique SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. Reconstruire des trajectoires 3D dans un contexte de - données incomplètes, - densité importante autour des zones d intérêt. Minimisation de l a priori. 28

50 ACQUISITION & DÉTECTION Etat de l art SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. Filtrage particulaire Filtre PHD (Mahler 2003) (Doucet 2001) Filtrage de Kalman + Association de cibles (e.g. GNN) (Kalman 1960, Blackman 1986) 29

51 ACQUISITION & DÉTECTION Etat de l art SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. Filtrage particulaire Filtre PHD (Mahler 2003) (Doucet 2001) Filtrage de Kalman + Association de cibles (e.g. GNN) (Kalman 1960, Blackman 1986) => Nombreuses extensions/variantes : cibles entrantes / sortantes multi-hypothèses plusieurs modes cas non-linéaire occultations 29

52 ACQUISITION & DÉTECTION Etat de l art SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. Filtrage particulaire Filtre PHD (Mahler 2003) (Doucet 2001) Filtrage de Kalman + Association de cibles (e.g. GNN) (Kalman 1960, Blackman 1986) => Nombreuses extensions/variantes : cibles entrantes / sortantes multi-hypothèses plusieurs modes cas non-linéaire occultations Nécessité de proposer de nouvelles méthodes pour répondre à notre problématique. 29

53 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation Contrib. 1 Observations incomplètes validation MODÉLISATION COMP. Méthode pour la gestion des informations partielles (e.g. absence de profondeur) Origine en [0,0] O 1 (2D + d) O 2 O 3 O 4 (2D +? ) Mesure 3D Mesure 2D REPÈRE IMAGE 30

54 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation Contrib. 1 Observations incomplètes validation MODÉLISATION COMP. Méthode pour la gestion des informations partielles (e.g. absence de profondeur) Origine en [0,0] O 1 (2D + d) O 2 O 3 O 4 (2D +? ) + O 1 (x,y,z) + + O 3 Mesure 3D Mesure 2D Caméra en [0,0,0] REPÈRE IMAGE REPÈRE DU MONDE RÉEL (Suivi effectué en 3D dans le monde réel) Projection (paramètres du capteur) 30

55 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation Contrib. 1 Observations incomplètes validation MODÉLISATION COMP. Méthode pour la gestion des informations partielles (e.g. absence de profondeur) Origine en [0,0] 1) Prédiction (x,y,z) O 1 (2D + d) O 2 O 3 O 4 (2D +? ) + O 1 (x,y,z) + + O 3 o Mesure 3D Mesure 2D Caméra en [0,0,0] REPÈRE IMAGE REPÈRE DU MONDE RÉEL (Suivi effectué en 3D dans le monde réel) Projection (paramètres du capteur) 30

56 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation Contrib. 1 Observations incomplètes validation MODÉLISATION COMP. Méthode pour la gestion des informations partielles (e.g. absence de profondeur) Origine en [0,0] 1) Prédiction (x,y,z) O 1 (2D + d) O 2 O 3 O 4 (2D + d? ) + O 1 (x,y,z) + + O 3 o Mesure 3D Mesure 2D Caméra en [0,0,0] REPÈRE IMAGE REPÈRE DU MONDE RÉEL (Suivi effectué en 3D dans le monde réel) Projection (paramètres du capteur) 30

57 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation Contrib. 1 Observations incomplètes validation MODÉLISATION COMP. Méthode pour la gestion des informations partielles (e.g. absence de profondeur) Origine en [0,0] 1) Prédiction (x,y,z) O 1 (2D + d) O 2 O 3 O 4 (2D + d? ) 3) projection en 3D o et correction O 1 (x,y,z) + O 3 O 4 (x,y,z) Mesure 3D Mesure 2D Caméra en [0,0,0] REPÈRE IMAGE REPÈRE DU MONDE RÉEL (Suivi effectué en 3D dans le monde réel) Projection (paramètres du capteur) 30

58 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation Contrib. 1 Observations incomplètes validation MODÉLISATION COMP. Méthode pour la gestion des informations partielles (e.g. absence de profondeur) Origine en [0,0] O 1 (2D + d) O 2 Mesure 3D Mesure 2D o O 3 + O 3 Caméra en [0,0,0] + O 1 (x,y,z) + + 4) Prédiction o (x,y,z) REPÈRE IMAGE REPÈRE DU MONDE RÉEL (Suivi effectué en 3D dans le monde réel) Projection (paramètres du capteur) 30

59 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2a Dynamique adaptée à la scène MODÉLISATION COMP. Problème : Zones d intérêt Concentration importante Erreur d association Observations o 31

60 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2a Dynamique adaptée à la scène MODÉLISATION COMP. Problème : Zones d intérêt Concentration importante Erreur d association Observations o «Zone non-contrainte» 31

61 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2a Dynamique adaptée à la scène MODÉLISATION COMP. Problème : Zones d intérêt Concentration importante Erreur d association 1 ère APPROCHE «avec a priori» : Modèle d interaction «Trajectoire / Structure de la scène» Observations o «Zone non-contrainte» 31

62 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2a Dynamique adaptée à la scène MODÉLISATION COMP. Problème : Zones d intérêt Concentration importante Erreur d association 1 ère APPROCHE «avec a priori» : Modèle d interaction «Trajectoire / Structure de la scène» Observations o «Zone non-contrainte» 31

63 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2a Dynamique adaptée à la scène MODÉLISATION COMP. Problème : Zones d intérêt Concentration importante Erreur d association 1 ère APPROCHE «avec a priori» : Modèle d interaction «Trajectoire / Structure de la scène» Observations Incertitude (fonction de la distance) o «Zone non-contrainte» distance 31

64 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2a Dynamique adaptée à la scène MODÉLISATION COMP. Problème : Zones d intérêt Concentration importante Erreur d association 1 ère APPROCHE «avec a priori» : Modèle d interaction «Trajectoire / Structure de la scène» Observations Incertitude (fonction de la distance) o «Zone non-contrainte» distance 31

65 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2b Dynamique adaptée à la scène MODÉLISATION COMP. 2 ème APPROCHE «avec minimisation de l a priori» : Suivi via une «bibliothèque» de trajectoires établies en amont 32

66 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2b Dynamique adaptée à la scène MODÉLISATION COMP. 2 ème APPROCHE «avec minimisation de l a priori» : Suivi via une «bibliothèque» de trajectoires établies en amont 32

67 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2b Dynamique adaptée à la scène MODÉLISATION COMP. 2 ème APPROCHE «avec minimisation de l a priori» : Suivi via une «bibliothèque» de trajectoires établies en amont Requête 32

68 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2b Dynamique adaptée à la scène MODÉLISATION COMP. 2 ème APPROCHE «avec minimisation de l a priori» : Suivi via une «bibliothèque» de trajectoires établies en amont Requête Réponse 32

69 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2b Dynamique adaptée à la scène MODÉLISATION COMP. 2 ème APPROCHE «avec minimisation de l a priori» : Suivi via une «bibliothèque» de trajectoires établies en amont Requête Réponse Estimation 32

70 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Contrib. 2b Dynamique adaptée à la scène MODÉLISATION COMP. 2 ème APPROCHE «avec minimisation de l a priori» : Suivi via une «bibliothèque» de trajectoires établies en amont Prédiction du filtre Kalman Requête Réponse Estimation Remplacement ou combinaison 32

71 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. 2 SUIVI 3D MULTI-CIBLES Mise en œuvre & Validation 33

72 ACQUISITION & DÉTECTION SUIVI 3D MULTI-CIBLES formalisation validation Mise en œuvre Suivi avec un minimum d a priori MODÉLISATION COMP. Contexte 2D Contexte 3D (tolérance sur la profondeur lors du requêtage) 34

73 Résultat ACQUISITION & DÉTECTION Evaluation SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. Vérité terrain «semi-simulée» 200 trajectoires en 3D (corpus vidéo de test «Abeille») Génération aléatoire de scénarios Méthode d association GNN MHT Comparaison des 3 contributions (scénario difficile) Contrib. 1 - Gestion des obs. incomplètes Contrib. 2a - Avec a priori (modèle 3D) Contrib. 2b - A priori limité (biblio. traj) A² 35

74 Résultat ACQUISITION & DÉTECTION Evaluation SUIVI 3D MULTI-CIBLES formalisation validation MODÉLISATION COMP. Vérité terrain «semi-simulée» 200 trajectoires en 3D (corpus vidéo de test «Abeille») Génération aléatoire de scénarios Méthode d association GNN MHT Comparaison des 3 contributions (scénario difficile) Contrib. 1 - Gestion des obs. incomplètes Contrib. 2a - Avec a priori (modèle 3D) Contrib. 2b - A priori limité (biblio. traj) 35

75 ACQUISITION & DÉTECTION Contributions SUIVI 3D MULTI-CIBLES Bilan MODÉLISATION COMP. 1. Gestion des observations incomplètes (e.g. 2D/3D) 2. Adaptation du suivi en fonction de la structure de la scène : a. Méthode à hypothèse forte b. Méthode limitant l a priori 3. Modélisation de surface via l information de profondeur 4. Implémentation d algorithmes complexes (e.g. MHT) Publications Chiron G., Gomez-Krämer P., Ménard M., Requier F. 3D Tracking of Honeybees Enhanced by Environmental Context Conférence ICIAP, Naples, 2013 Chiron G., Gomez-Krämer P., Ménard M. 3D tracking based on possibilities rather than probabilities. Application to flying honeybees at the beehive entrance Workshop VAIB, Stockholm,

76 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE 3 MODÉLISATION COMPORTEMENTALE Contexte théorique 37

77 SUIVI 3D MULTI-CIBLES Problématique MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Détecter et modéliser des comportements récurrents à partir d un ensemble structuré de données. Minimisation de l a priori. 38

78 SUIVI 3D MULTI-CIBLES Etat de l art MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Données éparses Comportements locaux (e.g. annotation de trajectoires) Données denses Comportements globaux (e.g. classif. de mouvements de foule) K-means + HMM (Feldman 2005) «sac de mots» (Mehran 2009) 39

79 SUIVI 3D MULTI-CIBLES Etat de l art MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Données éparses Comportements locaux (e.g. annotation de trajectoires) Données denses Comportements globaux (e.g. classif. de mouvements de foule) K-means + HMM (Feldman 2005) «sac de mots» (Mehran 2009) 39

80 SUIVI 3D MULTI-CIBLES Etat de l art MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Données éparses Comportements locaux (e.g. annotation de trajectoires) Données denses Comportements globaux (e.g. classif. de mouvements de foule) K-means + HMM (Feldman 2005) «sac de mots» (Mehran 2009) Données éparses Comportements globaux 39

81 SUIVI 3D MULTI-CIBLES Etat de l art MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Données éparses Comportements locaux (e.g. annotation de trajectoires) Données denses Comportements globaux (e.g. classif. de mouvements de foule) K-means + HMM (Feldman 2005) «sac de mots» (Mehran 2009) Données éparses Comportements globaux Approches «bayésiennes non-paramétriques» Agrégation de données avec un minimum d a priori. 39

82 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Contribution Montée en sémantique APPLICATION APICOLE Phénomènes émergents Clusters d éléments similaires Comportements globaux Agrégation - Minimum d a priori (MLC-HDP) Système Système multi-agents test Comportements? individuels (trajectoires) Trajectoires - Peu de paramètres - Simulation de trajectoires sans modèle Structuration de l info. - Calcul des signatures - Organisation hiérarchique (segmentation temporelle multi-échelles) Signatures structurées (e.g. 3 échelles temporelles) (Wulsin 2012) config. à 3 niveaux 40

85 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Contribution Montée en sémantique APPLICATION APICOLE Phénomènes émergents Clusters d éléments similaires Comportements globaux Agrégation - Minimum d a priori (MLC-HDP) Système Système multi-agents test Comportements? individuels (trajectoires) - Peu de paramètres - Simulation de trajectoires sans modèle Structuration de l info. - Calcul des signatures - Organisation hiérarchique (segmentation temporelle multi-échelles) Signatures structurées (e.g. 3 échelles temporelles) (Wulsin 2012) config. à 3 niveaux 40

86 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Contribution Montée en sémantique APPLICATION APICOLE Phénomènes émergents Clusters d éléments similaires Comportements globaux Agrégation - Minimum d a priori (MLC-HDP) Système Système multi-agents test Comportements? individuels (trajectoires) - Peu de paramètres - Simulation de trajectoires sans modèle Structuration de l info. - Calcul des signatures - Organisation hiérarchique (segmentation temporelle multi-échelles) Signatures structurées (e.g. 3 échelles temporelles) (Wulsin 2012) config. à 3 niveaux 40

87 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Contribution Montée en sémantique APPLICATION APICOLE Phénomènes émergents Clusters d éléments similaires Comportements globaux Agrégation - Minimum d a priori (MLC-HDP) Système multi-agents - Peu de paramètres - Simulation de trajectoires sans modèle Comportements individuels (trajectoires) Structuration de l info. - Calcul des signatures - Organisation hiérarchique (segmentation temporelle multi-échelles) Signatures structurées (e.g. 3 échelles temporelles) (Wulsin 2012) config. à 3 niveaux 40

88 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Structure hiérarchique et agrégation validation APPLICATION APICOLE Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 Trajectoires : Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux 41

92 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Structure hiérarchique et agrégation validation APPLICATION APICOLE Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 Trajectoires : Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux Activités (Niv. 2) 41

93 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Structure hiérarchique et agrégation validation APPLICATION APICOLE Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 Trajectoires : Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux Activités (Niv. 2) 41

94 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Structure hiérarchique et agrégation validation APPLICATION APICOLE Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 Trajectoires : Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux Comportements (Niv. 3) Activités (Niv. 2) 41

95 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Structure hiérarchique et agrégation validation APPLICATION APICOLE Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 Trajectoires : Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux Comportements (Niv. 3) Poids =1 Activités (Niv. 2) 41

96 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Structure hiérarchique et agrégation validation APPLICATION APICOLE Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 Trajectoires : Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux Comportements (Niv. 3) Poids =1 Activités (Niv. 2) Atomes d activité (Niv. 1) Signatures de trajectoires 41

97 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Méthodes bayésiennes non-paramétriques APPLICATION APICOLE Dirichlet Process Mixture DPM (Ferguson 1973) Clustering avec un minimum d a priori «k» estimé à partir des données Hierachical DPM HDPM (Teh 2006) Multi-level of Clustering HDP MLC-HDP (Wulsin 2012) SousClip 1 DPM SousClip 2 DPM SousClip 3 DPM c 1 c 3 c 5 c6 c 7 c 2 c 4 42

98 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Méthodes bayésiennes non-paramétriques APPLICATION APICOLE Dirichlet Process Mixture DPM (Ferguson 1973) Données groupées, partage des clusters Solution globale optimale Pondération des clusters sur chaque élément Hierachical DPM HDPM (Teh 2006) CAPTURE 1 DP Multi-level of Clustering HDP MLC-HDP (Wulsin 2012) SousClip 1 DPM SousClip 2 DPM SousClip 3 DPM c 1 c 1 c 1 c 3 c 3 c 3 c 2 c 2 c 2 43

99 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Méthodes bayésiennes non-paramétriques APPLICATION APICOLE Dirichlet Process Mixture DPM (Ferguson 1973) Clustering à différents niveaux CORPUS VIDEO DP Hierachical DPM HDPM (Teh 2006) CAPTURE 1 DP CAPTURE 2 DP Multi-level of Clustering HDP MLC-HDP (Wulsin 2012) SousClip 1 DPM SousClip 2 DPM SousClip 3 DPM c 1 c 1 c 1 c 3 c 3 c 3 c 2 c 2 c 2 44

100 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation Validation : Système multi-agents validation APPLICATION APICOLE Simulation de comportements à différents niveaux Comportements globaux Variables globales d environnement (e.g. quantité de nourriture, distribution de la population) Comportements locaux Trajectoires générées (agents mobiles, dynamique non définie par un modèle de traj.) Abeilles (Chiron 14) Fourmis (Wilensky 97) Proies/Prédateurs (Wilensky 97) 45

103 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE 3 MODÉLISATION COMPORTEMENTALE Mise en œuvre & Validation 46

104 SUIVI 3D MULTI-CIBLES Signature d une trajectoire MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Caractéristiques intrinsèques Caractéristiques globales 47

105 SUIVI 3D MULTI-CIBLES Signature d une trajectoire MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Caractéristiques intrinsèques Caractéristiques globales Trajectoire Fonction de Distance Centrée (Bashir 2006) Vecteur : moyenne, écart-type, min., max., asymétrie 47

106 SUIVI 3D MULTI-CIBLES Signature d une trajectoire MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Caractéristiques intrinsèques Caractéristiques globales Trajectoire Fonction de Distance Centrée (Bashir 2006) Vecteur : moyenne, écart-type, min., max., asymétrie 47

107 SUIVI 3D MULTI-CIBLES Signature d une trajectoire MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Caractéristiques intrinsèques Caractéristiques globales 2D Trajectoire Vecteur : maillage de la scène + temps de présence. (réduction dimensionnelle via une ACP globale) Fonction de Distance Centrée (Bashir 2006) Vecteur : moyenne, écart-type, min., max., asymétrie 47

108 SUIVI 3D MULTI-CIBLES Signature d une trajectoire MODÉLISATION COMPORTEMENTALE formalisation validation APPLICATION APICOLE Caractéristiques intrinsèques Caractéristiques globales 2D Trajectoire Vecteur : maillage de la scène + temps de présence. (réduction dimensionnelle via une ACP globale) Fonction de Distance Centrée (Bashir 2006) 3D Par rapport à un plan de référence Angles moyens H et V de la trace Distance moyenne Vecteur : moyenne, écart-type, min., max., asymétrie 47

109 Poids Qté SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Mise en œuvre d un SMA pour l évaluation APPLICATION APICOLE Niv. 2 «Activités» (petite échelle) Simulation d une capture Montée en sémantique 3D Source1 Source2 Source3 Temps EMERGENCE Sortie ruche (libre) Récolte source 1 Récolte source 2 Récolte source 3 Exploration (libre) OBSERVATIONS (interprétations) Modèle inspiré de (Figueroa 09) Paramètres du modèle : Communication = 80 % Sensibilité = 80 % Activité associée à chaque SousClip Atomes d act. AGGREGATON (MLC-HDP) 48

113 Poids Qté SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Mise en œuvre d un SMA pour l évaluation APPLICATION APICOLE Niv. 2 «Activités» (petite échelle) Simulation d une capture Montée en sémantique 3D Source1 Source2 Source3 Temps EMERGENCE Sortie ruche (libre) Récolte source 1 Récolte source 2 Récolte source 3 Exploration (libre) OBSERVATIONS (interprétations) Modèle inspiré de (Figueroa 09) Paramètres du modèle : Communication = 80 % Sensibilité = 80 % Activité Atomes d act. AGGREGATON (MLC-HDP) 48

114 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE formalisation validation Mise en œuvre d un SMA pour l évaluation APPLICATION APICOLE Niv. 3 «Comportements» Simulation de 80 captures 49

115 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE Mise en œuvre d un SMA pour l évaluation Niv. 3 «Comportements» Modélisation formalisation validation APPLICATION APICOLE Comportement 50

116 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE Mise en œuvre d un SMA pour l évaluation Niv. 3 «Comportements» Synthèse des résultats formalisation validation APPLICATION APICOLE Comportement 51

117 SUIVI 3D MULTI-CIBLES MODÉLISATION COMPORTEMENTALE Bilan APPLICATION APICOLE Contributions 1. Montée en sémantique : Trajectoires Comportements globaux Structuration des données multi-échelle Regroupement d éléments via une approche HDP > 2 niveaux 2. Signatures de trajectoires 2D et 3D 3. Modèle multi-agents «Colonie d abeilles» Publications Chiron G., Gomez-Krämer P., Ménard M. Discovering Emergent Behaviors from Tracks Using Hierarchical Non-parametric Bayesian Methods Conférence ICPR, Stockholm, 2014 Chiron G., Gomez-Krämer P., Ménard M. Approche Bayésienne non paramétrique pour la découverte de comportements émergents à partir de trajectoires Conférence RFIA, Rouen,

118 MODÉLISATION COMP. APPLICATION APICOLE CONCLUSION 4 APPLICATION : SURVEILLANCE APICOLE 53

119 Lecteur RFID MODÉLISATION COMP. Protocoles expérimentaux APPLICATION APICOLE CONCLUSION 2 projets interdisciplinaires : RISQAPI (Abeilles vs. Frelon) EPERAS (Abeilles vs. Pesticide) Suivi d une colonie pendant 5 semaines Calendrier des interventions (été 2013) 7 cohortes introduites progressivement 3 niveaux d intoxication (thiamétoxam) 54

120 Lecteur RFID MODÉLISATION COMP. Protocoles expérimentaux APPLICATION APICOLE CONCLUSION 2 projets interdisciplinaires : RISQAPI (Abeilles vs. Frelon) EPERAS (Abeilles vs. Pesticide) Suivi d une colonie pendant 5 semaines Calendrier des interventions (été 2013) 7 cohortes introduites progressivement 3 niveaux d intoxication (thiamétoxam) 54

121 MODÉLISATION COMP. APPLICATION APICOLE Mise en œuvre de la chaîne de traitement CONCLUSION > 20h de vidéos cumulées, par séquences de 15 min. 55

122 MODÉLISATION COMP. APPLICATION APICOLE Mise en œuvre de la chaîne de traitement CONCLUSION 56

123 MODÉLISATION COMP. APPLICATION APICOLE Mise en œuvre de la chaîne de traitement CONCLUSION 57

124 MODÉLISATION COMP. APPLICATION APICOLE Mise en œuvre de la chaîne de traitement CONCLUSION Structuration à 3 échelles : Capture (15 min) SousClip (1 min) e.g. essaimage t e.g. départ direct e.g. pression du frelon Corpus composé de : 74 Captures 1001 SousClips Signatures 58

125 MODÉLISATION COMP. APPLICATION APICOLE Mise en œuvre de la chaîne de traitement CONCLUSION 1 point par signature de trajectoire 59