Problèmes et perspectives. Danilo Alves de Lima. Vision par ordinateur appliquée aux véhicules intelligents

Dimension: px

Commencer à balayer dès la page:

Download "Problèmes et perspectives. Danilo Alves de Lima. Vision par ordinateur appliquée aux véhicules intelligents"

Arnaud Malenfant
il y a 8 ans
Total affichages :

1 Vision par ordinateur appliquée aux véhicules intelligents Problèmes et perspectives Danilo Alves de Lima Vision par ordinateur appliquée aux véhicules intelligents 1

2 Contexte La conception des véhicules intelligents est déjà un réalité Vision par ordinateur appliquée aux véhicules intelligents 2

3 Contexte La conception des véhicules intelligents est déjà un réalité Capteurs à coût très élevé! Vision par ordinateur appliquée aux véhicules intelligents 3

4 Contexte Technologies développées pour les véhicules intelligents déjà existantes dans les voitures commerciales: Avec des capteurs à faible coût! La distance de collision Aide au stationnement Indicateur de changement de voie Vision par ordinateur appliquée aux véhicules intelligents 4

coût! La distance de collision Aide au stationnement Indicateur de

5 Systèmes de Caméras Grandequantitédedonnéesàfaiblecoût Un des capteurs le plus utilisés dans la robotique mobile avec des applications 2D et 3D Vision par ordinateur appliquée aux véhicules intelligents 5

6 Systèmes de Caméras Passives X Actives Source de lumière Source de lumière externe interne Vision par ordinateur appliquée aux véhicules intelligents 6

7 Systèmes de Caméras Passives X Actives Requirent des Lux plus élevés (ex. soleil) Plus adaptées aux différent condition de lumière Vision par ordinateur appliquée aux véhicules intelligents 7

8 Systèmes de Caméras Passives X Actives Vision mono Infrarouge et laser Vision stéréo Cameras de temps de vol (time-of-flight) Vision par ordinateur appliquée aux véhicules intelligents 8

9 Les capteurs CCD x CMOS La technologie la plus acceptée L obturateur global est parfait Bonne sensibilité au proche infrarouge (NIR) Faible bruit Pas de frottis (smear) et flou lumineux (blooming) Très bonne dynamique dans les images Des vitesses plus rapides du cadre Faible consumation énergique Vision par ordinateur appliquée aux véhicules intelligents 9

lumineux (blooming) Très bonne dynamique dans les images Des vitesses plus rapides du

10 Blooming CCD x CMOS Vision par ordinateur appliquée aux véhicules intelligents 10

11 Les capteurs CCD x CMOS Vision par ordinateur appliquée aux véhicules intelligents 11

12 Les capteurs CCD x CMOS Vision par ordinateur appliquée aux véhicules intelligents 12

13 Problèmes : caméras passives + = Problèmes de perception liés aux capteurs et à l environnement urbain: Ombres Reflets de la lumière Faible variation de texture Flou lumineux (blooming) Vision par ordinateur appliquée aux véhicules intelligents 13

la lumière Faible variation de texture Flou lumineux

14 Problèmes : caméras actives + = Problèmes de perception liés aux capteurs et à l environnement urbain: Objets en mouvement Reflets de la lumière Faible champ de vision et distance maximale Vision par ordinateur appliquée aux véhicules intelligents 14

Reflets de la lumière Faible champ de vision et distance

15 Quelques application dans notre véhicule APPACHE Vision par ordinateur appliquée aux véhicules intelligents 15

16 La voiture robotisée APACHE Caméras de vision mono et stéréo Vision par ordinateur appliquée aux véhicules intelligents 16

17 Vision par ordinateur appliquée aux véhicules intelligents 17

18 Capteurs extéroceptifs Système de Caméras IEEE 1394B USB3 Perception de l Environnement PC Gestion de la Navigation Globale GPS Serial EKF Régulateur de Vitesses Contrôle de la Navigation Locale Véhicule Bus CAN Bus CAN Contrôleur de bas niveau Microautobox Bus CAN Bus CAN Acceleration Frein Braquage Actionneurs Vision par ordinateur appliquée aux véhicules intelligents 18

Navigation Locale Véhicule Bus CAN Bus CAN Contrôleur de bas niveau Microautobox Bus CAN Bus

19 Capteurs extéroceptifs Système de Caméras IEEE 1394B USB3 Perception de l Environnement PC Gestion de la Navigation Globale GPS Serial EKF Régulateur de Vitesses Contrôle de la Navigation Locale Véhicule Bus CAN Bus CAN Contrôleur de bas niveau Microautobox Bus CAN Bus CAN Acceleration Frein Braquage Actionneurs Vision par ordinateur appliquée aux véhicules intelligents 19

20 PC Perception de l Environnement Gestion de la Navigation Globale EKF Régulateur de Vitesses Contrôle de la Navigation Locale Vision par ordinateur appliquée aux véhicules intelligents 20

21 Perception de l environnement PC Perception de l Environnement Gestion de la Navigation Globale EKF Régulateur de Vitesses Contrôle de la Navigation Locale Vision par ordinateur appliquée aux véhicules intelligents 21

22 Vision par ordinateur appliquée aux véhicules intelligents 22

23 L installation de la caméra mono Grand champ de vision ( 140 o ) Theuwissen, A. J. P. (1995). Solid-State Imaging with Charge-Coupled Devices. Springer Netherlands. Vision par ordinateur appliquée aux véhicules intelligents 23

24 L installation de la caméra mono Problèmes avec l obturateur automatique À midi (avec beaucoup de lumière du soleil) Vision par ordinateur appliquée aux véhicules intelligents 24

25 L installation de la caméra mono Résultat du contrôleur d obturateur par logiciel : À midi (avec le soleil) À la fin de la journée (sans le soleil) Vision par ordinateur appliquée aux véhicules intelligents 26

26 La perception de l environnement Fournit des informations de l environnement aux blocs suivants: La détection de la route et des obstacles L extraction des caractéristiques visuelles Vision par ordinateur appliquée aux véhicules intelligents 27

27 Détection de la route et des obstacles Baséesurlastéréovision Problèmes causés par des ombres, des reflets de lumière, et des faibles variations de texture Image de référence Carte de disparité Vision par ordinateur appliquée aux véhicules intelligents 28

28 Traitement d image 2D/3D Enrichir les informations manquantes dans la carte de disparité avec la segmentation de l image de référence(2d) Extraire les caractéristiques dans les images 2D et 3D pour meilleur détecter la route Raffiner la carte de disparité Lima, D. A., Vitor, G. B., Victorino, A. C., and Ferreira, J. V. IEEE 16th ICAR(2013). Vitor, G. B., Lima, D. A., Victorino, A. C., and Ferreira, J. V. IEEE IV(2013). Vision par ordinateur appliquée aux véhicules intelligents 29

29 Vision par ordinateur appliquée aux véhicules intelligents 45

30 Détection du milieu de la route Extraction des caractéristiques 2D Traitement d image 2D (a) (b) (c) (d) Vision par ordinateur appliquée aux véhicules intelligents 48

31 Différentes applications 2D/3D Segmentation basée sur la transformation Watershed Vitor, G. B., Lima, D. A., Victorino, A. C., and Ferreira, J. V. IEEE IV(2013). Vision par ordinateur appliquée aux véhicules intelligents 49

32 Raffinement de la carte de disparité Raffinement de la carte de disparité basé dans l estimation des plans en chaque segment 2D avec la méthode RANSAC 3D 2D Densité de 47,48 % à 77,24 % Lima, D. A., Vitor, G. B., Victorino, A. C., and Ferreira, J. V. IEEE 16th ICAR(2013). Vision par ordinateur appliquée aux véhicules intelligents 51

33 Classification sémantique de l environnement La classification de toute les éléments que forment la scène: Vitor, G. B., PhD Thesis(2014). Vision par ordinateur appliquée aux véhicules intelligents 52

34 Perspectives Vision par ordinateur appliquée aux véhicules intelligents 53

005 lux (nuit sans lune) Avec l'amélioration de la sensibilité à l'nir Vladimir Koifman(2014).

35 Les capteurs Il ya une tendance pour l utilisation des cameras CMOS dans les véhicules intelligents Sony a annoncé le capteur CMOS IMX224MQV 0,85cm 1,27MP pour les caméras véhiculaires Premier à répondre aux exigences de l AEC-Q lux (nuit sans lune) Avec l'amélioration de la sensibilité à l'nir Vladimir Koifman(2014). Sony Announces High Sensitivity Sensor for Automotive Applications. Image Sensors World. Vision par ordinateur appliquée aux véhicules intelligents 54

36 Le traitement d images NVIDIA Jetson TK1 superordinateur embarqué Il inclus CUDA, OpenGL 4.4, et acceleration Tegra pour l OpenCV NVIDIA Kepler GPU avec 192 cœurs CUDA NVIDIA 4-Plus-1 quad-core ARM Cortex-A15 CPU NVIDIA (2015). NVIDIA Jetson Pro Automotive development kit. Vision par ordinateur appliquée aux véhicules intelligents 55

37 Merci pour votre attention! Vision par ordinateur appliquée aux véhicules intelligents 56

Documents pareils

Présentation du sujet de thèse Schémas temporels hybrides fondés sur les SVMs pour l analyse du comportement du conducteur

Présentation du sujet de thèse Schémas temporels hybrides fondés sur les SVMs pour l analyse du comportement du conducteur Réalisé par : Bassem Besbes Laboratoire d Informatique, Traitement de l Information