TechnoVision - ROBIN Base de données imagerie terrestre Bertin Technologies - ECA Préparé pour la réunion plénière ROBIN 13/03/06 Paris
Sommaire Base d images terrestre : rappel Campagne Site d essais Scénarios d essais Points de vue Moyens d essais Base : les différents jeux Éléments de la base Véhicules Individus Fonds Diversité de la base Distance Orientation Postures Complexité Occultations Météo (jour, crépuscule, nuit, pluie) Annotations Principe Exemples Compétitions Détection Reconnaissance 2
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 3
Base d images terrestres : rappel Principe : constituer une base de données d images pour la détection et la reconnaissance de véhicules et d individus Enregistrement sur 2 canaux : Visible caméra couleur avec zoom format PAL, 720 x 576 pixels Infrarouge IR radiométrique, champ de 25, sortie image 320x240 pixels Les enregistrements sont réalisés conjointement sur les 2 voies rendant possible la mise en correspondance But : illustrer la diversité des objets, des fonds et des conditions pour les taches de détection et reconnaissance Acquisitions avec : objets mobiles et prise de vue fixe même hauteur objets mobiles et prise de vue fixe vue plongeante objets fixes et prise de vue mobile 4
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 5
Campagne / Site d essais 6
Campagne / Points de vue Acquisitions fixes Acquisitions mobiles 9 7
Campagne / Scénarii d essais Imageurs fixes Imageurs mobiles Véhicules Véhicules Caméras avançant droit sur le véhicule (repères 1 et 4) Caméras avançant perpendiculairement aux véhicules (repères 2, 3 et 6) Caméras tournant autour du véhicule (repère 5) Individus Individus Debout face Debout profil Il n y a pas de scène avec caméras mobile et des individus ; les effets de bougé sont obtenus dans les scènes complexes où plusieurs individus évoluent en compagnie des véhicules Accroupi Allongé Marche (profil) 8
Campagne / Moyens d essais Configuration d acquisition en poste fixe 9
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 10
Base d image : les différents jeux Jeu d apprentissage (idem visible / IR, nombres par voie spectrale) : Images simples : au plus un objet dans l image Véhicules : 8 véhicules x 4 orientations x 3 (ou 4) distances x 2 (1 à 2) fonds ~ 190 images Individus : 4 individus x 5 postures x 2 distances x 2 fonds = 80 images TOTAL ~270 images Jeu de validation (idem visible / IR, nombres par voie spectrale) : Ajout de 3 véhicules et 2 personnes supplémentaires Véhicules : 11 véhicules parmi 5 fonds et 5 distances ~ 600 im Individus : (2 individus x 6 postures + 4 indiv. x 2 post.) x 2 distances x 2 fonds = 80 im TOTAL : 680 images Jeu de test (idem visible / IR, nombres par voie spectrale) : Véhicules : 11 véhicules parmi 9 fonds, conditions météo, distance, orientations, scènes complexes, ~ 2300 im Individus : 6 individus parmi 4 fonds, scènes complexes ~ 200 im TOTAL : 2500 images 11
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 12
Éléments de la base / Véhicules Tourisme Renault Laguna Renault Twingo Renault Scénic Peugeot 407 SW Peugeot 309 Ford Focus Ford Ka Utilitaires Citroën Jumper Citroën Berlingo 2 roues Yamaha Cygnus Yamaha TDR125 13
Éléments de la base / Véhicules Tourisme Renault Laguna 14
Éléments de la base / Véhicules Tourisme Renault Twingo 15
Éléments de la base / Véhicules Tourisme Renault Scénic 16
Éléments de la base / Véhicules Tourisme Peugeot 407 SW 17
Éléments de la base / Véhicules Tourisme Peugeot 309 18
Éléments de la base / Véhicules Tourisme Ford Focus 19
Éléments de la base / Véhicules Tourisme Ford Ka 20
Éléments de la base / Véhicules Utilitaires Citroën Jumper 21
Éléments de la base / Véhicules Utilitaires Citroën Berlingo 22
Éléments de la base / Véhicules 2 roues Yamaha Cygnus 23
Éléments de la base / Véhicules 2 roues Yamaha TDR125 24
Éléments de la base / Individus Murielle Bachir Clément Laurent Serge Tony 25
Éléments de la base / Individus Murielle 26
Éléments de la base / Individus Bachir 27
Éléments de la base / Individus Clément 28
Éléments de la base / Individus Laurent 29
Éléments de la base / Individus Serge 30
Éléments de la base / Individus Tony 31
Éléments de la base / Fonds Rural Fonds 1 Fonds 2 Fonds 3 Semi-rural Fonds 4 Fonds 5 Fonds 6 Urbain Fonds 7 Fonds 8 Fonds 9 32
Éléments de la base / Fonds Rural Fonds 1 33
Éléments de la base / Fonds Rural Fonds 2 34
Éléments de la base / Fonds Rural Fonds 3 35
Éléments de la base / Fonds Semi-rural Fonds 4 36
Éléments de la base / Fonds Semi-rural Fonds 5 37
Éléments de la base / Fonds Semi-rural Fonds 6 38
Éléments de la base / Fonds Urbain Fonds 7 39
Éléments de la base / Fonds Urbain Fonds 8 40
Éléments de la base / Fonds Urbain Fonds 9 41
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 42
Diversité de la base / Distance Exemple : fonds 1, véhicule Twingo à 20 / 50 / 100 m 43
Diversité de la base / Orientation Exemple : fonds 9, Ford Ka sous différentes orientations 44
Diversité de la base / Postures Exemple : fonds 3, Clément à 20m, 6 postures différentes 45
Diversité de la base / Complexité Exemples de scènes complexes avec interactions d individus et de véhicules 46
Diversité de la base / Occultations Exemples d occultations partielles de véhicules (champ ou obstacle) 47
Diversité de la base / Conditions météo Exemples de la variété de conditions météo : jour, crépuscule, nuit, pluie, soleil (ombre)... 48
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 49
Annotations / Principes Chaque image est sauvegardée au format PNG Elle est assortie : d un fichier.xml lisible avec Explorer et la feuille de style associée (option images couleurs) d un fichier texte avec les annotations lisible avec le bloc-notes Occultations : en cas d'occlusion d'un véhicule de la base, la partie visible est annotée avec pour commentaire : "occultation x%» pas de rectangle pour la partie occultée puisqu'elle ne se trouve qu'en dehors de l'image (véhicule entrant ou sortant de l'image) ou due à un masquage par un autre véhicule ou personne qui seront annotés par ailleurs autres véhicules présents dans la scène : si VEH < 25%, pas d'annotation si 25% <= VEH < 100%, annotation avec sous-classe ("tourisme", "utilitaire",...), commentaire : "Fond, visible x%" si VEH présent entièrement, idem + cmt : "Fond«si VEH masqué partiellement, idem + cmt : "Fond, occultation x%«si VEH masque partiellement un objet de la base mais visible, idem + cmt : "Fond" et dans ce cas l'objet de la base contient cmt : "Occultation x%" La vérité terrain comprend les paramètres de la caméra, le capteur, la météo, la date/heure, 50
Annotations / Exemple 51
Annotations / Exemple 52
Sommaire 1 Base d images terrestre 2 Campagne d essais 3 Base : les différents jeux 4 Éléments de la base 5 Diversité de la base 6 Annotations 7 Compétitions 53
Compétitions Détection Objet : centre de gravité + rectangle englobant Classification But : pour chaque détection, fournir une classe Classe : Véhicule Sous-classe (type): Tourisme / Utilitaire / Moto / Sous-sous-classe (modèle) : Laguna, Ka, Twingo, Scénic, Ambigu, Inconnu,... Classe : Personne Sous-classe (posture) : Debout face, debout profil, accroupi, allongé, marche Sous-sous-classe : Clément, Murielle, Laurent 54
The end Merci pour votre attention Questions? 55