N. Paparoditis, Laboratoire MATIS
Contexte: Diffusion de données et services locaux
STEREOPOLIS II Un véhicule de numérisation mobile terrestre Lasers Caméras Système de navigation/positionnement
STEREOPOLIS II: un géoréferencement de qualité GPS En terrain dégagé : IMU Odomètre Orientation: 0.02 Position: subdécimétrique En urbain tout dépend de la durée des masques: Orientation: 0.05 Position: décimétrique à métrique
Imagerie panoramique et stéréoscopique 16 caméras Full HD 11 12 21 22 23 31 32 33 34 41 42 43
Imagerie panoramique Acquisition à vitesse normale d un canevas dense régulier spatialement par asservisement sur l INS Une très grande résolution géométrique
Imagerie panoramique Une très grande qualité radiométrique Pose fixe Capteur KODAK 7,4µm 12 bits, SNR = 200-300
Imagerie LASER planaire Numérisation des façades RIEGL LMS-Q120i 10 000 pts par seconde 80 degrés 150 m pour 0.8 de reflectance
Imagerie LASER rotative Numérisation de la partie basse du canyon urbain Détection d objets mobiles HDL -64E 1 300 000 pts /s 26.8 degrés (+2 à 24.8) 64 fibres lasers (50m pour 0.1 de reflectance 120m pour 0.8) 5 à 15 tours/sec
Le corpus de itowns Paris 12ème Arrondissement 12 heures conduite 180 km linéaire 45000 panoramiques 540000 images 800 millions points laser 4 Terra Octets Ce volume de données est-il un problème?
itowns: 3 défis scientifiques Extraction de signes Navigation immersive et diffusion web Indexation par le contenu Applications localisation Moteur de recherche mixte SIG et SII
itowns: Navigation Panoramique Immersive Web
Extraction de signes et catégories Piétons Fenêtres Vie privée Qualité de vie Activité Mobilité Voitures Textes Marquages Panneaux Arbres Façades Enseignes
Problématique de diffusion et vie privée Détection et floutage de piétons [Devaux et al 09]
Mobilité et itinéraires Nombre de voies, passages piétons, trottoirs, marquages spéciaux, panneaux, textes, etc
Images Extraction de signes : le texte enfoui Segmentation Filtrage Classification Regroupement Localiser et reconnaître le texte enfoui dans les images [Fabrizio et al 09]
Images Extraction de signes : le texte enfoui Segmentation Filtrage Classification Regroupement Segmentation par opérateur morphologique [Fabrizio et al 09]
Images Extraction de signes : le texte enfoui Segmentation Filtrage Classification Regroupement Filtrage rapide sur des critères géométriques simples [Fabrizio et al 09]
Images Extraction de signes : le texte enfoui Segmentation Filtrage Classification Regroupement Classification à l'aide de descripteurs de forme [Fabrizio et al 09]
Images Extraction de signes : le texte enfoui Segmentation Filtrage Classification Regroupement Regroupement des régions proches et cohérentes [Fabrizio et al 09]
Images Extraction de signes : le texte enfoui Segmentation Filtrage Classification Regroupement => Reconnaître puis exploiter le texte
Extraction de signes : les fenêtres Détection Caractérisation, recherche par similarité [Haugeard et al 09]
Scénarii de recherche d information Trouver une localisation à partir : D une image prise par un téléphone portable D une adresse (positionnement devant le numéro de plaque) D une requête partielle («un boulangerie près de l église St Eustache») D indices sémantiques («un appartement Haussmannien, au dessus du troisième étage, quartier vert,») Requête : Recherche d images dans la base + base adresse : 2. Application d aide à la localisation, recherche d'information (horaires d'ouverture, avis des clients,...), 3. enrichissement interactif de la base (ajout de photos, commentaires...)
Caractérisation par le contenu pour la recherche d images Détection Points d'intérêts
Caractérisation par le contenu pour la recherche d images Détection Points d'intérêts Détection dense
Caractérisation par le contenu pour la recherche d images Détection Points d'intérêts Détection dense Multi-échelle
Caractérisation par le contenu pour la recherche d images Détection Points d'intérêts Détection dense Multi-échelle Description Invariance aux transformations (géométriques, radiométriques) Descripteur SIFT (Lowe03)
Recherche d images Appariement de points d'intérêt Recherche rapide des k-ppv dans une très grande base
Recherche d images Cohérence géométrique Recherche de transformations géométriques entre points Suppression des points non compatibles
Résultats de recherche d images Beaucoup de faux appariements (arbres,...) [Picard et al 09]
Challenges et Perspectives Recherche d images : robustesse et passage à l échelle, très grand volume de données Exploiter les signes extraits pour l apprentissage de classes d objets Similarité et classification sur des données hétérogènes Recherche interactive Utiliser le contexte pour améliorer la détection d objets complexes Interprétation de la scène Applications : Enrichissement sémantique de la navigation interactive Moteur de recherche Génération de navigations Inclure des images clés dans un itinéraire («image du croisement auquel il faut tourner à gauche»)