1 Introduction à la Réalité Augmentée Gilles Simon
Définition (Azuma 1997) 2 Plus de réel que de virtuel
Définition (Azuma 1997) 3 Plus de réel que de virtuel Interactif, temps réel
Définition (Azuma 1997) 4 Plus de réel que de virtuel Interactif, temps réel Alignement spatial 3D respectueux de la perspective
Périphériques de visualisation Une grande variété de périphériques 1 Projection sur la rétine Objet réel
Périphériques de visualisation 2 Lunettes de RA Objet réel M100 Vuzix HoloLens Microsoft
Périphériques de visualisation 3 Téléphone portable / tablette Objet réel
Périphériques de visualisation 4 Ecran fixe Objet réel
Périphériques de visualisation Vidéo-projection 5 Objet réel
Applications 10 Imaginer le passéou le futur
11 Archeoguide
12 RÉALITÉ AUGMENTÉE
13 RÉALITÉ AUGMENTÉE
14 RÉALITÉ AUGMENTÉE
Applications 15 Annoter le réel Guider pas à pas
16 RÉALITÉ AUGMENTÉE
RÉALITÉ AUGMENTÉE
Applications Assistance en milieu industriel
Applications 19 Enrichir le réel Fusionner des informations
20 RÉALITÉ AUGMENTÉE
21 RÉALITÉ AUGMENTÉE
Applications 22 Aider à comprendre
Applications Culture, éducation 23
24 RÉALITÉ AUGMENTÉE
Applications 25 Se divertir
26 RÉALITÉ AUGMENTÉE
Applications Divertissement 27
Difficultés techniques 28 Comment faire pour
Difficultés techniques 29 Reconnaître de quel objet il s agit?
Difficultés techniques 30 Reconnaître et désigner des composants sur cet objet?
Difficultés techniques 31 Positionner un objet virtuel 3D au bon endroit et en respectant la perspective?
Difficultés techniques 32
Difficultés techniques 33
Difficultés techniques 34 Deux étapes incontournables : Reconnaissance de l objet ou de la scène Intégration de la scène virtuelle dans l image réelle («Recalage 3D/2D») Tout ceci doit être résolu en temps réel La deuxième étape repose généralement sur la connaissance d un modèle 3D (CAO, nuage de points, ) Reconnaissance et recalage 3D/2D sont parfois résolus simultanément
Reconnaissance de scène / d objet? = 27 11 14 12 7 16 22 51 25 12 14 10 7 15 26 48
Reconnaissance de scène / d objet Descripteurs locaux (ex : SIFT)? = 2 2 27 7 2 2 7 34 99 10 6 98 31 7 23 11 14 5 11 23 5 15 0 12 17 1 12 17 7 1 3 27 1 7 29 2 16 23 8 16 2 8 11 22 13 4 22 10 1 33 45 4 33 4 51 11
Reconnaissance de scène / d objet Bags-of-words Dans les grands environnements, constitution d un «vocabulaire» de «mots visuels» Chaque image de la base est décrite par la fréquence d apparition de chaque mot de la base Une image à reconnaître est elle-même exprimée en utilisant le vocabulaire de la base (recherche documentaire)
Reconnaissance de scène / d objet? = 9
Reconnaissance de scène / d objet Classification par machine à vecteurs de support (SVM) RDC 3 b Local DE a Local DE b? RDC 3 a Local DE c
Reconnaissance de scène / d objet Convolutional Neural Networks (CNN) Turbine Local DE RDC 3 RDC 2 RDC 1 0 0,5 1
Reconnaissance de scène / d objet Metric learning (CNN siamois) LeCun
Reconnaissance de scène / d objet
Recalage 3D/2D 43 Recaler le modèle 3D dans l image réelle revient à : Trouver le point de vue depuis lequel dessiner le modèle 3D afin qu il soit correctement aligné dans l image C-à-d retrouver le point de vue depuis lequel est observé l objet dans la réalité : le problème du recalage est un problème de positionnement
Le problème du positionnement 44
Le problème du positionnement 45 En RA, on doit calculer en temps réel la position du castor correspondant à chaque prise de vue L image seule peut être trompeuse
Le problème du positionnement 46 Deux catégories de techniques : outside-in et inside-out Possibilité de combiner les deux approches Outside-in Inside-out Klinker et al., TUM
Positionnement Outside-in 47 LEDs et capteurs physiques (magnétiques, acoustiques, ) German Aerospace Center Multimodal Telepresent Control of DLR Rollin' JUSTIN
Positionnement Outside-in 48 Géolocalisation + capteurs inertiels Pour l intérieur : capteurs (magnétiques, ), triangulation wifi Pb : précision Creative commons Application Métro Paris sur iphone et ipod Touch
Positionnement Inside-out Mise en correspondance de points entre le flux d images et le clone 3D de l objet (exemple : utilisation du descripteur SIFT) 49
Positionnement Inside-out Si pas de texture, essayer les contours Reconnaissance difficile Recalage initial difficile combiner avec un système outside-in 50
51
Positionnement Inside-out 52 Autre possibilité : ajouter des tags sur l objet ou dans la scène Spie Sud-Ouest & UBleam
Positionnement Inside-out 53 ou projeter de la lumière structurée, éventuellement dans l IR (Kinect) Portée limitée, en intérieur uniquement La reconnaissance est difficile et le recalage initial doit être guidé
Conclusion sur la technologie RA 54 Une technologie complexe : pas de solution miracle, mais un panel d outils À choisir en fonction du contexte (pas toujours de solution!) Issu de 20 années de recherche académique et industrielle Des solutions robustes en environnement contrôlé Plusieurs toolkits existent aujourd hui, souvent multi-plateformes : Metaio SDK (Apple), Qualcomm Vuforia, Total Immersion D fusion, (tracking visuel) AR-Toolkit, (marqueurs) Layar, Wikitude, (extérieur) (cf. http://socialcompare.com/fr/comparison/augmented-reality-sdks)