Relever les défis des véhicules autonomes

EMM 2014 12eme rencontre européenne de mécatronique Relever les défis des véhicules autonomes Mathias Perrollaz Ingénieur expert Inria Christian Laugier Directeur de recherche Inria E-Motion Team Annecy, 17 juin 2014

Inria : Institut National de Recherche en Informatique et Automatique Inria PARIS - Rocquenco urt Inria LILLE Nord Europe Inria RENNES Bretagne Atlantique Inria BORDEAUX Sud-Ouest Inria NANCY Grand Est Inria GRENOBLE Rhône-Alpes Inria SOPHIA ANTIPOLIS Méditerranée E-MOTION Géométrie et Probabilités pour le mouvement et l action Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-2

Plan Les véhicules intelligents, aujourd hui et demain Les limites et les défis Les travaux en cours à Inria e-motion Conclusion Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-3

La voiture aujourd hui Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-4

La voiture aujourd hui, c est aussi embouteillages Problèmes de parking Pollution Accidents Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-5

Et après? Augmentation du nombre de véhicules dans le monde 2011 -> 1Milliard / d après l ONU, le triple en 2050 Augmentation du nombre d humains dans les villes 53% de la population en 2010 / 75% en 2050 Modèle non soutenable! La technologie peut aider: Des voitures plus propres Des voitures plus intelligentes Des nouvelles solutions de mobilité dans des villes intelligentes Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-6

Les véhicules intelligents Des véhicules dotés de fonctions de communication, de perception, de décision et d action Une problématique à la frontière de l informatique, la mécatronique, la robotique, l automobile Deux grandes tendances : Véhicules autonomes Aides à la conduite (ADAS) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-7

Les véhicules intelligents - Applications Amélioration de l automobile actuelle (ADAS) Confort Sécurité Consommation Vers les nouvelles solutions de mobilité Navettes autonomes Véhicules à la demande pour centre ville Valet parking Aides aux personnes à mobilité réduite Des applications industrielles / militaires Robots mobiles sur site de production Partage de l espace avec les humains Interventions militaires sans soldats Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-8

Véhicules autonomes Des expérimentations réussies 2010 VIAC Intercontinental Autonomous Challenge : 13 000 km couverts, 3 mois, véhicule guide + suiveurs 2007 Darpa Urban Challenge : 97 km, 50 véhicules avec et sans humains, 35 équipes, 11 qualifiées, 6 finissent la course 2011 Google s Car: Flotte de 6 Toyota Prius automatiques, 140 000 miles couverts en Californie avec interventions ponctuelles d humains Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-9

Véhicules autonomes Des expérimentations réussies 2011 CityMobil: Véhicules autonomes en environnement urbain non protégé, 6 mois à la Rochelle Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-10

Un challenge industriel pour demain Horizon 2020-25? Nissan promises a driverless car for 2020 Carlos Ghosn (Renault /Nissan) Google Car 2011 140 000 miles covered Toyota Automated Highway Driving Assist (Demo Tokyo 2013, Product 2015) Mais aussi Tesla (90% autonome, => 2016), Volvo, Mercedes Class S, BMW Prévisions de marché: 8000 voitures vendues en 2020, 95 millions in 2035 Encore des questions ouvertes : Pourquoi des voitures sans chauffeur? Co-pilote intelligent ou autonomie complete? Acceptabilité? Problèmes légaux? Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-11

Les éléments clés La carte enrichie (automatisation / robotisation) avec une localisation précise La connectivité (intégration à l environnement et adaptabilité) La perception locale (intégration de l environnement dynamique et de l humain) La décision dans l incertain (intégrer l humain) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-12

Les limites actuelles Les environnements ouverts ou inconnus La présence de l humain La sécurité pas complètement garantie Le cout et la consommation des systèmes actuels Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-13

Les challenges Perception robuste en environnement dynamique et incertain Variabilité des situations, des apparences, des conditions météo, limitation des capteurs, La prise de décision / prédiction / risque Manouvres, Planification de trajectoire, prediction long terme, partage avec le conducteur, Connectivité avec l environnement Maintien de la connectivité, latences, débits, synchronisation, interopérabilité. Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-14

Les challenges Cartographie et passage à l échelle construction et mise à jour de cartes enrichie, localisation précise, absence de GPS La diminution des coûts / encombrement / consommation Plateformes de calcul embarqué basse consommation, capteurs bas coût Tolérance aux erreurs Architectures redondantes, auto-diagnostique Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-15

Les challenges Validation des systèmes et approches répétabilité, caractéristiques à évaluer, admissibilité, situations réalistes, risque Problèmes juridiques Partage des responsabilités Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-16

La recherche à Inria / e-motion Perception robuste en environnement dynamique et incertain L évaluation du risque et la prise de décision Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-17

Perception en environnement dynamique Perception = compréhension de la scène au présent pour prédire son futur Le véhicule / robot observe l environnement de façon incomplète à travers des données bruitées à des instants discrets Perception Bayésienne (Probabiliste) Gérer l incertitude et les erreurs Modéliser l inconnu Mieux vaut ne pas prendre de décisions plutôt qu une mauvaise Applicable à plusieurs domaines (robotique, ADAS, véhicules autonomes ) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-18

Evaluation du risque et prise de décision Prédiction des futures possibles pour planifier les décisions Gestion de l incertain Adaptation des méthodes aux besoins / contextes Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-19

MAITRISER LES TRAITEMENTS BAS- NIVEAU Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-20

[Adarve et al 12] Grilles d occupation lidar Représentation probabiliste de l environnement Chaque cellule => probabilité d être occupée Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-21

[Perrollaz et al 12] Grilles d occupation par stéréovision Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-22

[Coué et al 06] Bayesian Occupancy Filter (BOF) BOF = Adaptation du filtrage Bayésien au monde des grilles Boucle prédiction/estimation Chaque cellule a: - Une probabilité d occupation - Une distribution de probabilités de vitesses Prédiction: Propage l occupation et les vitesses d après un modèle dynamique Estimation: Corrige la prédiction à l aide des données, et de modèles capteurs probabilistes Le BOF est breveté par Inria & Probayes + Commercialisé par Probayes (2006) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-23

Hybrid Sampling Bayesian Occupancy Filter (HSBOF) [Negre et al. 14] HSBOF = Evolution du BOF basée sur un filtrage particulaire Représentation de l environnement: Environnement statique : grille d occupation Environnement dynamique : ensemble de particules Fonctionnement: Mouvement propre du véhicule intégré Propagation des particules dans la grille Estimation conjointe des distributions Le HSBOF est breveté par Inria (2014) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-24

Hybrid Sampling Bayesian Occupancy Filter (HSBOF) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-25

Avantages des approches BOF Le BOF repose sur une approche de type «grille» Abstraction des capteurs et des objets Facilite la fusion de données Estimation des vitesses dans la grille Possibilité de prédiction Intégration de la composante temporelle Le traitement utilise des modèle probabilistes pour la dynamique et les capteurs, et intègre la composante temporelle Plus robuste au erreurs capteur Gère les occultations temporaires Conçu pour être paralèllisable Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-26

Embarquer les algorithmes Première étape : Recherche d algorithmes à basse complexité et d implémentation parallèles Implémentation PC+GPU pour validation exemple pour la stéréovision : implémentation CPU (Intel Xeon, 3.4GHz) : 160ms implémentation GPU (GeForce GTX 480) : 6ms exemple pour HSBOF: implémentation GPU (GeForce GTX 480) : 15ms 2006 : implemetation CPU 2010 : implemetation GPU Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-27

Embarquer les algorithmes STHORM NVIDIA Jetson 2eme étape : Intégration Matériel / Logiciel sur architectures manycore pour une réduction au moins 10X de : Cout Encombrement Consommation 2006 : implemetation CPU 2010 : implemetation GPU 2014 : architectures maycore low power 2020 : SOC Coopération Inria / CEA LETI Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-28

Application : Estimer les risques de collision à court terme Projection dans le future de la trajectoire du véhicule [Rummelhard et al 14] Pour chaque cellule : Projection des particules Projection de la partie statique Détection des collisions (intersections de trajectoires) Intégration sur un horizon temporel to pour estimer une probabilité de collision à t=to Intégration à l ensemble de la grille Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-29

Application : Estimer les risques de collision à court terme Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-30

Estimer les risques de collision à court terme Validation sur deux types de séquences : Séquences urbaines Séquences de collision Fonctionnement réaliste! Pas de fausses alarmes en ville Toutes les collisions détectées à l avance EMM 2014-17 20/06/2014 juin 2014-31

INTÉGRER LA SÉMANTIQUE POUR AUGMENTER L HORIZON TEMPOREL Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-32

[Laugier et al 11] Augmenter l horizon temporel False alarm! Conservative hypotheses Les approches basées sur le temps à collision (TTC) ont un temps de validité limité La prédiction et l estimation du risque nécessitent de connaitre : l historique des positions et trajectoires des objets mobiles la compréhension des comportements la géométrie de la route Besoin d un raisonnement de plus haut niveau! Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-33

[Laugier et al 11] [Tay et al 09] Estimation du risque de collisions - Approche comportementale Overtaking TurningLeft TurningRight ContinuingStraightAhead 1. Modélisation et apprentissage des comportements de conduite 0,6 2. Reconnaissance des comportements 0,5 0,4 0,3 0,2 0,1 Behaviour Probability 0 3. Réalisation des comportements futurs 4. Estimation probabiliste du risque Brevet Inria / Toyota 2009 Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-34

[Mekhnacha et al 08] Détecter les objets Retrouver une représentation objets : le Fast Clustering and Tracking Algorithm (FCTA) Segmentation de la grille dynamique basée sur l occupation et la vitesse des cellules Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-35

[Makris et al, 2011] Reconnaitre les objets Approche basée sur un apprentissage statistique sur une grande base de données d images Raisonne sur les morceaux d objets plutôt que sur les objets entiers Fusion de descripteurs d intensité et de profondeur Approche applicable à tout types d objets (voitures, piétons.) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-36

[Kumar et al 2012] Comprendre le conducteur Détection des marquages routiers Apprentissage sur un grand nombre de changements de voie (SVM) pour reconnaitre des données typiques Prédiction de l intention (SVM + BF) Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-37

Comprendre les autres conducteurs Apprentissage par Modèles de Markov Cachés (HMM) Prédiction de comportements sur autoroute Coopération Inria / Toyota / Probayes Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-38

[Lefevre 12] Sécurité aux intersections - un raisonnement plus «humain» Idée: Identifier les situations dangereuses en comparant pour chaque véhicule Ce que le conducteur a l intention de faire (intention) Ce que le conducteur est censé faire (expectation) Tourne à droite => Pas de collision Tourne à gauche => Collision prédite Coopération Inria / Renault Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-39

Conclusion Déjà des grandes avancées, suffisantes pour certaines applications Encore des défis scientifiques, pour les autres applications: Compenser l absence de carte extrêmement riche S adapter à l environnement dynamique Gérer l incertain Perception Bayésienne + Décision dans l incertain Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-40

Des questions? Mathias PERROLLAZ Relever les défis des véhicules autonomes EMM 2014-17 juin 2014-41