Tour d'horizon scientifique et industriel des véhicules terrestres autonomes et leurs défis. V. Cherfaoui R. Chapuis

Transcription

1 Tour d'horizon scientifique et industriel des véhicules terrestres autonomes et leurs défis V. Cherfaoui R. Chapuis 1

2 Sommaire Enjeux Perception et analyse de scène Localisation et cartographie Plannification / commande Conclusion 2

3 I les enjeux 3

4 Le véhicule autonome Pourquoi aujourd'hui le véhicule autonome 1? La voiture est moins synonyme de plaisir qu'hier! Elle est aujourd'hui perçue comme une contrainte (coût, temps, pollution, insécurité) Des signes qui ne trompent pas : co-voiturage, auto-partage,... Il est vu comme un secteur incontournable Participe à des offres alternatives de transport (taux remplissage des véhicules < 30% de leur capacité1) Le diktat des normes et des "étoiles" des organismes évaluateurs2 : Sécurité des occupants, des piétons, Réduction énergétique (31% consommation énergie finale)* Réduction des rejets polluants (27% des émissions globales)

5 Les projets "Laboratoires" quelques dates 80's : travaux univ. Munich (VAMORS), EUREKA, DARPA : +/- conduite assisté à 60km/h hors trafic,... 90's : 94 : VAMP : univ Munich + Demler : consuite +/- automatique sur autoroute (130km/h) 95 : NAVLAB : CMU : voiture semi-autonome route et chemins sur 5000km 96 : projet ARGO (Univ. Parme) : 1600km 90% automatique 2000's : Darpa Grand Challenge 2007 : Darpa Urban Grand Challenge 2010 : VisLab intercontinental Challenge : Parme Shanghaï 2010 : la Google Car 2012 : VisLab BRAiVE (déplacement en 100% automatique centre ville de Parme) 6

6 Les projets récents : exemple La Google Car lancée oct en 2010, déployé sur 6 Toyota Prius, 1 Audi TT, 3 Lexus RX450h, mars 2012 : expérimentation montrant Steve Mahan (95% aveugle) allant automatiquement faire des courses (une personne à côté avec ordinateur sur les genoux) Assez convaincant pour faire que l'état du Nevada attribue un "permis de conduire" au véhicule aout 2012 : Google annonce qu'ils ont fait environ km environ US$ d'équipement Doit faire environ 3 passages préalables 7

7 Les projets récents Projet CMU SRX Projet CMU : conduite automatique mais sans capteur apparent Véhicule : Cadillac SRX : 2011 : conduit automatiquement 50km Résultats montrés sur grande route uniquement 8

8 Les projets récents : 1 VisLab / BRAiVE Juillet 2013 : déplacement en 100% automatique dans le centre ville de Parme Instrumentation 1 9

9 Les projets chez les constructeurs Beaucoup de constructeurs automobiles expérimentent des prototypes de véhicule automatiques : General Motors, Ford, Mercedes-Benz, Volkswagen, Audi, Nissan, Toyota, BMW, Volvo, Cadillac,... En général les constructeurs privilégient l'approche "évolution des ADAS" ABS -> ACC -> AICC -> ESP ->of assistance à la détectiondrive d'obstacle -> "The realization the Autonomous system freinage d'urgence (AEB) -> Aide parking -> Parking automatique -> one of our greatest goals, because Zero évitement is d'obstacles -> navigation autonome Fatalities stands alongside Zero Emissions as L'idée générale est d'éliminer les "erreurs conducteur" (90% des causes major objective of Nissan's 1 d'accident aujourd'hui ) pour environ R&D." Mitsuhiko Yamashita (VP R&D NISSAN)

10 Quelques projections : Mercedes propose option de conduite automatique, accélération, freinage, jusqu'à 200km/h à la fois au milieu de trafic et sur autoroute (200km/h) 2013 : BMW : conduite automatique, freinage, accélération dans le trafic à 40km/h 2014 : Volvo : véhicule autonome à 50km/h même dans trafic intense 2015 : Audi : idem 2015 : Cadillac : "super cruise" : idem à plus haute vitesses 2015 : Nissan envisage mise sur le marché d'un véhicule autonome sur route, avec parking totalement automatique : Tesla met au point son prototype couvrant 90% de distance en automatique 2016 : Mobileye prévoit de distribuer des technologies permettant la conduite entièrement automatique 2018 : Google : idem 2020 : Volvo promet que les passagers de ses voitures seront à l'abir des accidents 2020 : GM, Daimler, Audi, Nissan et BMW prévoient de vendre des véhicules autonomes... 14

11 Véhicules autonomes : soutien en France et en Europe France : Les labos impliqués dans les projets véhicules autonomes Institut Pascal, Heudiasyc, IRCCyn, IEF, Xlim, UTBM INRIA (Emotion, lcare, lagadic, imara) LIVIC Caor Pôles de compétitivité Moveo, Véhicule du futur, I-trans ANR Transports Terrestres Durables puis Transport Durable et Mobilité : peu de projets sur les véhicules17autonomes.

12 Véhicules autonomes : soutien en France et en Europe Equipex Robotex : achat de voitures électriques et automatisées (Zoe- Renault, Apogée) par plusieurs laboratoires Institut IEED VeDeCoM : Véhicule Décarboné et Communicant et Mobilité : délégation de conduite (modes de déplacements automatisés) Programme Véhicule du futur des investissements d avenir (AMI :01/12/2014) le développement de nouvelles solutions techniques innovantes sur l articulation véhicule / service / infrastructure et sur les véhicules autonomes ou automatiques 34 plans industriels du ministère du redressement productif : -Véhicules à pilotage automatique 18

13 Véhicules autonomes : soutien en France et en Europe Allemagne de nombreux projets portés par les universités, les instituts et les constructeurs. Ex Equipes Darpa Challenge, CognitiveCar simtd Roadmap the cognitive car RWTH Aachen, IV 2011 Baden Baden Démonstrateurs 19

14 Véhicules autonomes : soutien en France et en Europe Europe - recherche FP7-ICT : IP CVIS, SafeSPOT, PREvent, Coopers, Horizon20201 : Safe & Integrated Mobility Safety (Active, passive & integrated safety) Road Automation (cooperation with the imobility Forum) Driver-Vehicle Dialogues Cloud-Integrated Vehicles Cooperative Vehicles Fluid Vehicle Traffic EuroNCAP2: Attribue une note aux véhicule : max 5 étoiles Forte pression sur les constructeurs, ex 2014 : Automatic Emergency Braking Research & Innovation : Roadmaps for The EUCAR Strategic Pillar: Safe & Integrated Mobility

15 Et les constructeurs français dans tout ça? PSA : intégration d ADAS avec actions sur le véhicule pas de conduite entièrement automatisée avant Renault : est en train de développer des projets en interne. 21

16 II - Perception et analyse de scène 22

17 Les capteurs de perception But : comprendre l'environnement autour du véhicule : Tout bouge! Aujourd'hui deux écoles Traditionnelle : tout est à faire : de la donnée vers l'exploitation haut niveau + Maîtrise de toute la chaîne + Fusion possible à tous les niveaux de la chaîne - beaucoup de temps à passer pour chaque modalité capteur Approche un peu délaissée par les constructeurs sauf pour l'extraction directes des données (caméra de recul...) Capteur "boîte noire" (smart sensors) approche adoptée par la plupart des constructeurs à partir de "smart sensors" : capteurs intelligents développés par les équipementiers 23

18 Les caméras Mono : universellement utilisées Technologies CCD ou CMOS CCD : très bon recul mais en perte de vitesse aujourd'hui dû aux Inconvénient : blooming, smearing,, CMOS prix faibles pour bas de gamme Pas d'effet Blooming / smearing Effet de rolling shutter pour entrée de gamme Approches Stéréo On a la distance!... de près De plus en plus de solutions intégrées Bomblebee2 de Point Grey Le choix des constructeurs : les moins chères => CMOS, Rolling Shutter, faible résolution, objectifs plastiques simples... Approche stéréo utilisée par quelques constructeurs : Subaru, Lexus, Mercedes,24 Bosch.

19 Les caméras "intelligentes" "Smart Sensor" Le fabriquant le plus connu : Mobileye L'idée est d'intégrer du traitement au plus près du capteur Avantages : Brique de base Ne pas se préoccuper des données brutes Inconvénients Boîte noire Aucun retour possible sur la donnée brute La caractérisation est difficile pour les étapes ultérieures de fusion 27

20 Les télémètres Les LIDAR : délaissés par les constructeurs automobiles... Intérêt pour les domaines agricole et militaire! De nouvelles technologies de capteurs télémétrique arrivent sur le marché : caméra TOF Intérêts Kinect Pas d'organes mécaniques Swiss ranger Moins fragile que les LIDAR Prix susceptibles de baisser beaucoup Densité supérieure aux LIDAR pour prix équivalent Fréquence de rafraichissement très supérieure Savoir-faire LIDAR transférable immédiatement Inconvénients Mesures proches pour l'instant, Réservé très souvent à l'indoor Evolutions vers l'extérieur en cours et prometteuses 30

21 Radar automotive Radar LRR3 Bosch Technologie FMCW, 24 à 77GHz Systèmes intégrés statiques Fournit données haut niveau Grandes diversité applicative Source : FreeScale 32

22 Capteurs pour faire quoi? Détection, reconnaissance des obstacles Détection / reconnaissance : piétons, véhicules, vulnérables... Approches télémétriques et radar bien adaptées pour la détection, mais pas pour la reconnaissance Approches visuelles très prometteuses tant pour la détection que pour la reconnaissance / classification (méthodes à noyau, SVM, Adaboost, sac de mots,...) : + Bonnes performances générales, - Très sensibles à la richesse de l'apprentissage Reconnaissance faciale par algorithme Viola-Jones Reconnaissance de piétons par adaboost et Ondelettes de Haar 34

23 Capteurs pour... Suivi des obstacles But : gestion des pertes ponctuelles et occultations, localisation des obstacles Il existe des approches de suivi de motifs image (Mean-Shift (Shen95), MST (Kanade12), TLD (Kala10), ESM (Malis07),...), Exemple suivi véhicule ESM Les approches MTT (Multi Targets Tracking) GM-CPHD commencent à être généralisées (JPDA (Bar Shalom), MHT (Blackmann04), xxphd (Mahler07) 35

24 Capteurs Détection, reconnaissance, suivi : verrous Verrous pour les véhicules autonomes : la variabilité des scènes Éclairement, orientation des objets, déformation des objets Occultations Mouvements, flous Le suivi peut gérer quelques situations mais pas toutes! Gestion des occultations pour filtres MTT (Lamard12) L'interprétation des scène passera probablement par une analyse de plus haut niveau faisant intervenir l'ensemble des acteurs dela scène 36

25 Analyse de scène et calcul du risque de collision Contexte Driver in the loop Pas de planification de trajectoire de l égo-véhicule 38

26 Analyse de scène et calcul du risque de collision Contexte Driver in the loop Pas de planification de trajectoire de l égo-véhicule Prédiction de trajectoires et calcul de risque de collision Prise en compte des états successifs des obstacles et de l égo-véhicule Prise en compte des règles de conduite et de la structure de la route Prise en compte du comportement conducteur 39

27 Prédiction de trajectoire Prédiction basée sur la reconnaissance de manœuvres Apprentissage des manœuvres élémentaires (change voie, va tout droit, tourne à droite, tourne à gauche) puis HMM Utilisation de la courbe de la route (T. Hulnhagen et. Al 2010) (Berthelot et al., 2011) (Schubert et al., 2008) (Houenou et al 2012) (S. Lefevre 2012) 40

28 Calcul du risque de collision Risque de collision à quelques secondes - Propagation de l incertitude - échantillonnage de la période de prédiction - Calcul du risque par MC (A. Houeou 2013) (C. Tay 2009) (41 A. Lambert 2008)

29 Prise en compte du comportement conducteur Intention du conducteur : estimée à partir des états observés successifs (HMM) Prévision : estimée à partir des intentions et des règles de trafic (Xi, Z., Levinson, D., 2006) ( S. Lefevre 2012) (Trivedi et al. 2010) 42

30 Verrous analyse de scène et risque Nécessité d avoir une information sur la route pour mieux prédire les trajectoires : L utilisation de cartes numériques peut améliorer cette connaissance Problème difficile si on ne connait pas les intentions des conducteurs (ego-véhicule et obstacles). Dans le contexte des véhicules autonomes : Problème simplifié si la trajectoire de l ego-véhicule est planifiée, Si les véhicules sont communicants et envoient leur trajectoire : c est encore mieux Mais.obstacles non coopératifs dont les trajectoires sont difficiles à prédire :piétons et 2-roues 43

31 III- Localisation et cartographie 44

32 Se localiser : pourquoi faire? Le but de la localisation : se localiser... par rapport à une carte (même très simple comme les bords d'une route) Des approches absolues / locales La localisation est un élement clé de la conduite autonome Permet de "déplacer" le problème de l'analyse de la scène 45

33 Les systèmes de positionnement absolu on en est où? Mise en service Précision Nb Satellites Couverture Détenteur GPS m 30 Monde USA GLONASS m 29 Monde Russie Beidou-2 / Compass 2012 (2020) 10m 30 (35) Asie Australie (monde) Chine GALILEO m 4 (30) Monde Europe Augmentation satellitaire Système complété Couverture WAAS GPS Amérique Nord EGNOS GALILEO GLONASS Europe 47

34 Localisation inertielle But : se localiser par rapport à un repère galiléen On distingue Les accéléromètres IMU Landins (Xsea) Les gyroscopes Les gyromètres Microstrain IMU L'ensemble est fréquemment intégré dans des "centrales inertielles" Plusieurs technologies (gyrolaser, FOGS, MEMS,...) Gyrolaser Safran Les technologies MEMS ont permis de généraliser l'emploi des ces capteurs à bas cout : Rappel : tous les systèmes inertiels dérivent 48

35 Localisation locale De nombreuses techniques liées au contexte Localisation par rapport à bord de voie Localisation pour l'évitement d'obstacles, Localisation sur carte pré-établie (par SLAM par exemple)... Les approches de type SLAM SLAM LIDAR (souvent dédié intérieur) SLAM Vision (mono, stéréo,...) SLAM Radar SLAM Radar (Vivet11) BundleSLAM (Royer10) 50

36 Fusion pour la localisation La fusion a pour objectif d'améliorer la précision, la disponibilité, l'intégrité de la localisation. Couplages lache ou serré (selon accessibilité donnée capteur) assez "simple" entre loc absolue et inertielle mais... Couplage localisation absolu / local : non trivial Référentiels différents Dérive des approches SLAM Approche de plus en plus utilisée : exploitation explicite des cartes pour la localisation Contrainte sur la fct de vraisemblance de localisation Approche top-down de sélection / focalisation sur les primitives de la carte Localisation guidage par sélection / focalisation Tessier07 55

37 Pourquoi la Google Car est en avance? Maîtrise des cartes + capteur dense Prebuilt navigation maps indicate static infrastructure, such as telephone poles, crosswalks, and traffic lights, which enables software to quickly identify moving objects, like pedestrians and cyclists. Graham Murdoch Au moins 3 passages pour construire les cartes - améliore le positionnement - facilite la détection des objets mobiles (Google, Velodyne) 57

38 Les cartes pour les véhicules intelligents Cartes dédiées à l aide à la navigation et calcul d itinéraires Topologie OSM Informations sémantiques intéressantes Modèles 3D urbains Précision de l ordre de 10 cm Surface roulable IGN 58

39 Les cartes pour les véhicules intelligents Véhicules intelligents Les cartes pour planifier un itinéraire, une trajectoire Les cartes pour se localiser Les cartes pour mieux percevoir et prédire les trajectoires Local dynamic map Projet59 SAFESPOT

40 Les cartes pour se localiser Enrichissement de la carte avec des amers géoréférencés Ex : avec les marquages au sol détectés par vision (Zui 2012) Précision : 60

41 Les cartes pour se localiser Utilisation de l empreinte des bâtiments + lidar Précision : 40cm, 2 61

42 Les cartes pour mieux percevoir et/ou prédire les trajectoires (Moras 2012) 62

43 Exemple : représentation de la route 1) Linear graph (macro-scale topology / geometry) 3) Niveau 2 +traffic rules Source IGN, projet PREDIMAP 2) Linear graph (micro-scale topology / geometry) 4) Graphe des surfaces (échelle micro + règles de trafic) 63

44 Les cartes pour les véhicules intelligents Source IGN 64

45 Verrous carte Disponibilité des cartes, formats compatibles avec l embarqué et le temps-réel Mises à jour des cartes par plusieurs opérateurs : véhicules collecteurs, cartographes, cadastre, capteurs embarqués, etc : nécessité de standardisation Plus les cartes sont enrichies et plus elles ont précises, plus la mise à jour est nécessaire. Evolution des bases de données spatio-temporelles. 65

46 Les véhicules communicants Communication inter-véhicule : V2V Communication véhicules infrastructure : V2I Consortium européen : Technologie Services Projets Verrous 66

47 Les technologies du V2x Norme p (EU) - extension du standard sans fil aux véhicules. Portée de 600m environ - ITS Band 5,9 GHz (EU) Ex : 0.6 s /message/véhicule Routage et Diffusion - Geocast, IPv6 - Broadcasting, multihop, Acteurs Labos et instituts de recherche Sociétés d autoroutes et équipementiers Construteurs Opérateurs télécoms Handbook on intelligent vehicle, ch 45 Vehicular Communications Requirements and Challenges Scott Andrews 67

48 Les fonctions visées Sécurité Perception augmentée Localisation coopérative, Conduite coopérative Alertes, Météo, Trafic Evaluation du trafic, Contrôle Réduction du CO2 Service aux passagers 68 Eucar

49 Quelques verrous Limitation de la bande passante et réseaux dynamiques Perte de messages, perte de chemins : algorithmes répartis Dissémination des données (choix du contenu des messages, fréq., ) Compromis C2I-C2C Confidentialité, Protection de la vie privée Sécurité dans les réseaux ad hoc Gestion de la confiance dans les noeuds (protection attaques, noeuds malveilllants) M, position1 S1,p op ositi i ni o on n1 2 S1 R2, position5 opinion2 opinion1 Gestion de la confiance dans les messages M (qualité de l information reçue) R2 S 2 Ex: Attaque Sybil Regular Messages Fake Messages S2, position3 opinion1 69 R1 S3 S3, position4 opinion1

50 Quelques verrous Source SEVECOM Méthodes classiques - Chiffrement, clés publiques - Certificat à court terme - Révocation Nécessité d avoir une connexion infrastructure Approches algorithmique répartie: Algorithmes auto-stabilisants permettant d être robuste à certaines erreurs Fusion de données distribuée : Gestion des cycles, risque de data incest 70

51 Bilan véhicules communicants Très soutenu par l Europe + gros projets nationaux : Safespot, CVIS, Drive C2x, Sevecom, Scoref, SimTD etc Standardisation : protocoles, format des messages. Source d information intéressante dans le cadre des véhicules autonomes : - envoi des poses successives et de la trajectoire planifiée - envoi de l intention du conducteur Pas encore d applications grande échelle en V2V - SimTD : 120 véhicules équipés : test du carrefour intelligent avec communications V2I 71

52 IV- Planification et commande Une autre fois peut-être... 73

53 V- Conclusion... encore beaucoup de questions... mais... Handbook of Intelligent Vehicles (Springer 2013) 74

54 Quelles recherches après la Google car? La technologie rend elle caduque les nouveaux développements fondamentaux? Quels verrous scientifiques reste-t-il à lever? Comment garantir que les systèmes respectent une certaine sûreté de fonctionnement? Quel partage avec le conducteur et quelles interfaces homme-machine? Les véhicules communicants et coopératifs apportent-ils une réelle plus-value? Comment doit on intégrer les nouvelles potentialités des cartes? 75

55 Conclusion 76

56 78