Assistane à la navigation automobile par temps de brouillard Niolas Hautière Rahid Belaroussi Jean-Philippe Tarel Laboratoire Exploitation Pereption Simulateurs et Simulations Université Paris-Est, INRETS-LCPC 58 boulevard Lefebvre 75732 Paris Cedex 15 niolas.hautiere@lp.fr RÉSUMÉ. Par temps de brouillard, la onduite est problématique à ause de la distane de visibilité qui se trouve fortement réduite. Pour assister le onduteur, nous travaillons sur des méthodes d estimation de la distane de visibilité météorologique par améra embarquée. Cela permet d adapter la vitesse du véhiule, mais également de onstruire des aides à la navigation. Dans une première partie, nous montrons omment estimer la distane de visibilité atmosphérique et déteter la haussée devant le véhiule pour estimer e que l on appelle l espae navigable. Dans une deuxième partie, nous montrons omment projeter, dans les images, une artographie 3D préexistante de la route dans l image pour obtenir diretement l espae navigable grâe à une estimation en ligne de la transformation géométrique entre le repère de la sène et elui de l image. ABSTRACT. Under foggy weather, driving is problemati due to a redued visibility distane. To help the driver, we have developed methods to estimate the meteorologial visibility distane thanks to the proessing of images grabbed by an onboard amera. This allows us to adapt the speed of the vehile, but also build new driver assistanes. In a first part, we show how to estimate the meteorologial visibility distane and to detet the road in front in the vehile, so as to segment the free spae area. In a seond part, we show how to projet, on images, an existing 3D artography of the road thanks to an online estimation of the geometri transformation between the world frame and the amera frame. MOTS-CLÉS : brouillard, visibilité, restauration du ontraste, aide à la navigation, artographie, loalisation. KEYWORDS: fog, visibility, ontrast restoration, driver assistane, artography, loalisation.
268 Projet DIVAS 1. Introdution Par onditions météorologiques dégradées, la visibilité du onduteur peut se trouver fortement altérée. Pour assister le onduteur, nous travaillons sur des méthodes d estimation de la distane de visibilité météorologique par améra embarquée. Cela permet d adapter la vitesse du véhiule aux onditions de visibilité renontrées. C est l objet prinipal du projet DIVAS. Mais ela permet également de proposer des aides à la navigation. Dans une première partie, nous montrons omment déteter la présene de brouillard diurne et estimer la distane de visibilité atmosphérique en supposant la route plane devant le véhiule. Une fois la distane de visibilité estimée, nous l utilisons pour déteter la haussée devant le véhiule et estimer e que l on appelle l espae navigable. Plutôt que d essayer de retrouver la route dans l image, une approhe alternative onsiste à projeter une artographie existante dans l image. C est e que nous proposons de tester dans une deuxième partie. Le véhiule étant positionné préisément, nous estimons la transformation rigide entre le repère de l image et elui du GPS. Etant donné que nous disposons de la artographie de l infrastruture transmise par le serveur opérationnel, nous pouvons projeter elle-i dans l espae image et en déduire l espae navigable. Les deux méthodes sont illustrées par des images réelles aquises par temps de brouillard sur le site de Satory ave les moyens expérimentaux du LIVIC. 2. Détetion de l espae navigable par améra 2.1. Effets visuels du brouillard diurne C est en 1924 que Koshmieder (Middleton, 1952) propose sa théorie sur la luminane apparente des objets observés sur fond de iel à l horizon. Constatant qu un objet lointain finit par se onfondre ave le iel, il établit une relation simple exprimant la luminane apparente L d un objet de luminane intrinsèque L en fontion de sa distane d : kd kd L = L e + Lf (1 e ) [1] où L f désigne la luminane du iel et k le oeffiient d extintion de l atmosphère. A partir de es résultats, Duntley (Middleton, 1952) a établi une loi d atténuation des ontrastes par l atmosphère : C = Ce kd [2] où C désigne le ontraste apparent à la distane d et C le ontraste intrinsèque de l objet sur son fond. Cette loi s applique dans le as d un élairement uniforme de
La mesure et la modélisation des états météorologiques 269 l atmosphère. Pour que l objet soit visible, il suffit que C soit supérieur à une valeur appelée seuil de ontraste. En pratique, la Commission Internationale de l Elairage (CIE, 1987) a adopté une valeur de,5 pour le seuil de ontraste, de façon à définir une distane onventionnellev mét, appelée distane de visibilité météorologique, qui est la plus grande distane à laquelle un objet noir ( C = 1) de dimension onvenable peut être vu sur le iel à l horizon : 1 3 V = mét ln(, 5) k k [3] Nous allons mettre à profit ette loi pour estimer la densité du brouillard. 2.2. Détetion et estimation de la densité du brouillard 2.2.1. Hypothèse «monde plan» Dans le plan image, la position d un pixel est désignée par les oordonnées (u, v). Les oordonnées de la projetion du entre optique dans l image sont (u, v ). Sur la figure 1, H désigne la hauteur de la améra, θ l angle entre l axe optique de la améra et l horizontal et v h la ligne d horizon. Les paramètres intrinsèques de la améra sont sa longueur foale, la taille horizontale d un pixel t pu et la taille vertiale d un pixel t pv. Nous utilisons les variables habituelles α u = f t pu et α = f t. v pv Nous onsidérons que α α = α. L hypothèse d une route plane est adoptée e u v qui permet d assoier une distane d à haque ligne v de l image : λ d = > v v h Hα si v v, où λ= h os θ [4] 2.2.2. Réponse de la améra Désignons par f la fontion de réponse de la améra, supposée linéaire, qui modélise la orrespondane entre la luminane de la sène et l intensité du système d aquisition des images, inluant l optique et son életronique. Par temps de brouillard, l intensité I d un pixel est le résultat de f appliquée à la loi de Koshmieder : kd kd I = f ( L) = Re + A (1 e ) [5] où R désigne l intensité intrinsèque d un pixel, est-à-dire l intensité assoiée à la valeur de luminane intrinsèque du point orrespondant de la sène et A l intensité du iel à l horizon.
27 Projet DIVAS u x z y C v h v θ f H Plan image θ X Y S Z Plan de la route d M Figure 1. Modèle de la améra dans son environnement routier ; elle est loalisée à la hauteur H dans le repère (S, X, Y, Z) relatif à la sène. Ses paramètres intrinsèques sont sa longueur foale f et la taille de ses pixels t p. θ désigne l angle entre l axe optique et l horizontale. Dans le repère image, (u, v) désigne la position d un pixel, (u, v ) la position de la projetion du entre optique C, et v h la position vertiale de la ligne d horizon. 2.2.3. Estimation des paramètres de brouillard Après un hangement de variable de d en v fondé sur [4], [5] devient : λ k v vh I = A + ( R A ) e [6] En prenant deux fois la dérivée de I par rapport à v, on obtient l équation suivante (Hautière, 26) : 2 kλ I v v kλ h = kϕ( v) e 2 2 v v vh [7] 2 λ( R A ) I où ϕ( v) =. L équation = a deux solutions. La solution k = est 3 2 ( v v ) v h triviale. La seule solution utile est donnée par : 2( v v ) i h k = [8] λ où v i désigne la position du point d inflexion de I(v). De ette façon, le paramètre k de la loi de Koshmieder est obtenu une fois que v i est onnue. Finalement, grâe à la onnaissane de v i, v h et k, les autres paramètres de la loi de Koshmieder sont
La mesure et la modélisation des états météorologiques 271 obtenus par le alul de I i et dérivée au point v = v i : I v v = vi qui sont respetivement les valeurs de I et de sa kd ( v v ) I i i h R = I (1 e ) i kdi 2e v A ( v v ) I i h = I + i 2 v v= vi v= vi [9] où R désigne l intensité intrinsèque de la surfae de la route. 2.2.4. Estimation de la position du point d inflexion Pour estimer les paramètres de [5], on estime l intensité médiane de haque ligne d une bande vertiale et on en alule le point d inflexion. De façon à être ohérent ave les hypothèses de loi de Koshmieder, ette bande ne doit prendre en ompte qu une zone homogène de la route et du iel. Ainsi, une région de l image qui possède un gradient vertial minimum est identifiée grâe à un proessus de roissane de région, illustré sur la figure 2a. Une bande vertiale est alors séletionnée. On en déduit la variation vertiale de l intensité de l image à partir de laquelle le point d inflexion peut être déterminé. (a) Figure 2. Mise en œuvre de l estimation des paramètres de brouillard : (a) détetion de la route et du iel par un proessus de roissane de région ; (b) la ligne horizontale représente l estimation de la distane de visibilité. Les lignes vertiales représentent les limites de la bande vertiale analysée. Dans et exemple, V met 6m. (b)
272 Projet DIVAS 2.2.5. Estimation de la position de la ligne d horizon Pour estimer les paramètres de [5], on doit également estimer la position de la ligne d horizon. Celle-i peut être estimée par un apteur de tangage quand un tel apteur équipe le véhiule. Elle peut également être estimée par un traitement d image additionnel. Généralement, e type de traitement herhe à aluler l intersetion des lignes de fuite que présente la route par des tehniques de vote. Nous disposons de la tehnique proposée dans (Tarel, 1999). Cependant par temps de brouillard, les lignes de fuite ne sont visibles que prohe du véhiule. Les estimations ne sont pas très préises. Nous préférons don utiliser, pour le moment, le alibrage initial de la améra. Les positions du point d inflexion et de la ligne d horizon étant estimées, les paramètres de la loi de Koshmieder peuvent être estimés et la ligne représentative de la distane de visibilité déduite. Le proessus est illustré sur la figure 2b. 2.3. Détetion de l espae navigable 2.3.1. Prinipe de la restauration du ontraste Dans e paragraphe, nous proposons une méthode simple pour restaurer le ontraste d une sène routière de brouillard. Considérons un pixel appartenant à un objet à la distane d. Son intensité I est dérite par [5]. Dans le paragraphe préédent, nous avons estimé la valeur de ( A, k ). Par onséquent, R peut être estimé diretement pour tous les points de la sène en inversant la loi de Koshmieder : kd kd R = Ie + A (1 e ) [1] Cette équation signifie qu un objet présentant un ontraste C dans l image originale aura le ontraste suivant dans l image restaurée : ( R A ) ( I A ) kd kd C = = e = Ce [11] r A A
La mesure et la modélisation des états météorologiques 273 Intensité restaurée Distane [m] Intensité originale (a) (b) () Figure 3. (a) ourbe 3D de la fontion orrigée de restauration du ontraste pour k =,5 et A = 255. On peut y voir que l intensité des objets peut devenir nulle après restauration du ontraste en faisant l hypothèse d un monde plan : (b) image originale ; () image restaurée L expliation est que la restauration des ontrastes est exponentielle, R pouvant être négative pour ertaines valeurs de (I, d). Dans de tels as, nous proposons de forer es valeurs à. L équation de restauration [1] devient don : [ ] kd kd R = max, Ie + A (1 e ) [12] Nous avons traé ette fontion pour une gamme de valeurs de (I, d). Celle-i est représentée sur la figure 3. Pour restaurer orretement le ontraste, le problème est l estimation de la profondeur d assoiée à haque pixel. 2.3.2. Restauration monde plan (Hautière, 27) a proposé un modèle 3D de sène routière pour restaurer le ontraste. Le modèle est adapté pour la plupart des sènes mais pas assez générique pour traiter l ensemble des onfigurations routières. Nous proposons d utiliser un shéma opposé, qui onsiste à supposer uniquement que la route est plane. La distane assoiée à un pixel est don donnée par [4]. Seules les grandes distanes
274 Projet DIVAS sont seuillées à l aide du paramètre. La distane d d un pixel P(i, j) s exprime alors par : λ si N > j > j vh d ( i [, N[, j [, M[ ) = λ si j v h [13] où ( N, M ) désigne la taille de l image. Il est judiieux de fixer la position du plan de lipping à la distane de visibilité météorologique. En effet, auun pixel ne possède de ontraste supérieur à 5 % au-delà de ette distane. Par onséquent, la struture de la sène est inonnue au-delà de ette distane. Nous fixons don : (2 v + v ) i h = [14] 3 En utilisant [11] dans [9], le ontraste des objets appartenant au plan de la route est restauré orretement. Inversement, le ontraste des objets vertiaux (véhiules, arbres, et.) est mal restauré puisque leur distane dans la sène est largement surestimée. Par onséquent, en aord ave [9], leur intensité devient nulle dans l image restaurée, omme on peut le voir sur la figure 4. Cet inonvénient peut être tourné à notre avantage. En effet, en détetant les pixels dont l intensité devient nulle après restauration, nous pouvons failement segmenter les objets vertiaux devant le véhiule équipé et en déduire l espae navigable en reherhant la plus grande omposante onnexe devant le véhiule. Une ouverture morphologique de la omposante onnexe peut être effetuée pour améliorer les résultats. Figure 4. Détetion de l espae navigable dans des sènes routières. Première et troisième olonne : images originales. Deuxième et quatrième olonne : les objets vertiaux segmentés sont en rouge et l espae libre navigable orrespondant est en vert
La mesure et la modélisation des états météorologiques 275 2.3.3. Résultats Quelques résultats sont présentés sur la figure 4. Les objets vertiaux segmentés sont affihés en rouge et l espae libre est affihé en vert. La méthode proposée permet d obtenir d assez bons résultats, même si quelques améliorations pourraient être obtenues au niveau des trottoirs et des objets lairs. La qualité de la segmentation peut être omparée ave des méthodes de segmentation ouleur ou stéréo. Le point fort de notre méthode est qu elle ne néessite qu une seule image en niveaux de gris. Cependant, elle ne fontionne que par temps de brouillard diurne. Elle est don omplémentaire des méthodes lassiques. 3. Projetion de la artographie 3D de la route dans l image 3.1. Prinipe Plutôt que d essayer de retrouver la route dans l image, omme ela est fait dans la setion préédente, une alternative onsiste à projeter une artographie 3D existante dans l image. C est e que nous proposons de tester dans ette setion. Le véhiule étant positionné préisément, nous estimons la transformation rigide entre le repère de l image et elui du GPS. Etant donné que nous disposons de la artographie 3D de l infrastruture transmise par le serveur opérationnel, figure 5(a), nous pouvons nous loaliser préisément dans ette arte, figure 5(b), et projeter elle-i dans l espae image, f. figure 5(). Nous en déduisons l espae navigable. Pour ela, il faut estimer en temps réel la transformation rigide entre le repère de l image et elui du GPS. (a) (b) () Figure 5. Connaissant la topographie 3D de la route (a) et les oordonnées GPS du véhiule (b), les angles de la améra sont estimés et les points 3D projetés dans l image à l instant t ()
276 Projet DIVAS 3.2. Transformation rigide du repère améra au repère sène L hypothèse monde plan faite en setion 2.2 ne suffit plus. De façon à projeter un point P dans le plan image, nous devons introduire trois repères, illustrés sur la figure 6. Figure 6. Le véhiule est équipé d une améra (25 Hz) et d un GPS-RTK (préision entimétrique, 2 Hz). La topographie de la route est éhantillonné par des points 3D (points jaunes) Le repère monde est noté R = OX Y Z P = x, y, z. sont notées ( P P P) : les oordonnées de P dans e repère Le repère assoié au GPS est noté R = OXYZ où O GPS g g g g g désigne le entre du GPS. X g est dans l axe du véhiule. Y g est orthogonal à l axe du véhiule et Z g est orthonormal au plan assoié à la aisse du véhiule. Les axes de RGPS liés au véhiule si bien que OXY n est pas néessairement assoié au plan du g g g repère monde, de même que Z g n est pas néessairement vertial. La sortie du apteur GPS est le veteur de oordonnées O ( x, y, z g gps gps gps ) e repère GPS, P = (,, ) g x g y g z. P P P sont = dans R. Dans Le repère améra R = OXYZ est lié à la amera. X est l axe de la am améra, ( OXY g g g ). Y est parallèle à l axe Y, et le plan ( OXZ) GPS est parallèle au plan
La mesure et la modélisation des états météorologiques 277 Les oordonnées de P dans le repère image sont P (,, ) x y z P P P =. Nous avons hoisi un modèle de projetion perspetive à trou d épingle pour la amera. Le plan image y est référené par deux oordonnées ( uv, ) où (,) désigne le oin en haut à gauhe de l image. La projetion du entre de la améra u, v, les oordonnées de la projetion de P sont : dans l image étant notée ( ) u v P P = u α u = v α v yp xp zp xp [15] où f, α = f t et α = f t sont les paramètres intrinsèques de la améra. Nous u pu v pv utilisons une améra de foale 3,5 mm en mode ¼ PAL, où la taille des pixels est tpu = 4,37μm et t = 8, 33μm. Enfin, la améra possède un tangage θ par défaut pv par rapport à l horizontale (rotation autour de l axe Y g ). La transformation rigide entre R et R omprend également la translation de O à GPS am g O. g g x osθ sinθ x x P P g g y = 1 y y P P g g z sinθ osθ z z P P tangage améra [16] Dans nos expérimentations, l angle de tangage est fixé à 7,4 et le entre de la améra a pour oordonnées en mètres ( ) g x, g y, g z = ( 1,5,,1,,25). La transformation entre le repère du GPS et le monde est quant à elle omposée de trois rotations et d une translation. Si à l instant t, la position du véhiule exprimée dans le repère R est O = ( x, y, z g gps gps gps ), alors les oordonnées d un point P dans le repère GPS sont : g x 1 os sin os sin P θ θ ψ ψ x x P gps g y = osφ sin φ 1 sinψ osψ y y P P gps g z sin φ osφ sinθ osθ 1 z z P P gps dévers+roulis pente+tangage laet [17]
278 Projet DIVAS 3.3. Estimation des paramètres de projetion 3.3.1. Estimation du laet du véhiule La trajetoire du véhiule à l instant t peut être alulée à partir des données GPS. Cependant, la fréquene de la améra (25 img/s) et la fréquene du GPS (en moyenne 2 Hz) sont différentes ave un déalage variable. Par onséquent, il arrive que la même position GPS soit affetée à deux ou trois images onséutives, où inversement que plusieurs positions GPS soient aquises entre deux images. En utilisant l horodatage des images et des trames GPS, il est possible d interpoler linéairement les données GPS. Ce sont les points bleus de la figure 7. Nous projetons ensuite N = 15 points sur le plan horizontal de R pour estimer l angle de laet au premier ordre. En outre, pour filtrer le bruit des mesures GPS, un polynôme du seond degré est ajusté sur le sous-ensemble de points F = ( x ( k), y ( k)), k k N + 1, k. Cet ensemble est représenté par { [ ] } k gps gps des erles bleu bordés de rouge sur la figure 7. (, ) du point moyen de F k. Si le 2 ( ) ( ) x y désigne les oordonnées meilleur polynôme a pour équation yx ( ) y= a x x + b x x +, alors le laet estimé à l instant t s exprime par : ( ( gps ) ) ψ ( k ) = tan 2 a x ( k ) x + b [18] 1 (a) (b) () Figure 7. (a) Vue d ensemble de l estimation du laet : un ensemble de points GPS sont stokés et définissent la trae du véhiule ; (b) un sous-ensemble est ajusté par un polynôme du seond degré ; () le laet est estimé en dérivant e polynôme au premier ordre
La mesure et la modélisation des états météorologiques 279 3.3.2. Estimation de la pente de la route et du dévers Les définitions de l angle de dévers Φ et du tangage θ sont illustrées sur les figures 8(a) et (b). (a) (b) () (d) Figure 8. (a) L angle de roulis Φ; (b) l angle de tangage θ ; () la arte est omposée de bandes. Chaque bande est faite de 6 sommets (erles jaunes) et de 4 triangles. (d) Φ et θ sont alulés à partir du veteur normal n Dans e qui suit, nous estimons es deux angles à partir de la artographie. Les points de la arte sont dessinés en jaune sur la figure 8. Supposons que la position GPS du véhiule soit au-dessus du triangle AB B où B et B sont deux points 1 1 onséutifs sur la même ligne. Nous pouvons aluler un veteur normal au triangle AB B omme le produit vetoriel suivant n = B B B A. Appelons B 1 1 xy la projetion orthogonale de BB sur le plan horizontal de R : 1 et T B = x x, y y, xy B B B B 1 1 [19] np la projetion orthogonale de n sur le plan vertial ( OZ, xy ) B ontenant le segment BB. L axe OZ est dirigé selon le veteur unitaire k.comme ela est 1 montré dans la figure 8(d), les angles Φ et θ sont respetivement les angles orientés
28 Projet DIVAS ( n, n ) et (, ) p p tangage dans le repère R : k n. De fait, nous pouvons aluler les angles de dévers et de ( ) ( ) n B k n B / B 1 xy 1 xy xy Φ= sin θ = tan n B nk xy A partir des angles Ψ, Φ et θ, nous pouvons projeter les points 3D de la artographie dans le repère image. [2] 3.4. Résultats expérimentaux Nous avons aquis des données ouplant images et GPS-RTK (préision entimétrique) sur la piste du LIVIC (figure 9) par onditions météos dégradées (brouillard et neige au sol) dont une artographie préise des marquages est disponible. Nous illustrons nos résultats sur quelques points labellisés de A à L que l on retrouve les images de la figure 1. On peut voir que la projetion des données artographiques est orretement réalisée. En revanhe, quand la dynamique du véhiule est trop importante (i.e. en virages) ou que le véhiule glisse, la projetion est moins bonne. Un realage entre les points de artographie et la détetion des marquages dans l image apparaît néessaire pour affiner les résultats. Figure 9. Pistes de Satory et parours test effetué (A à L) 4. Conlusion et perspetives Par onditions de visibilité atmosphérique réduite, l estimation de la distane de visibilité permet de proposer au onduteur une vitesse adaptée. C est en partie
La mesure et la modélisation des états météorologiques 281 l objet du projet DIVAS. Cependant, le onduteur peut avoir également perdu le sens de l orientation et ne plus savoir où se trouve la route. L estimation de la distane de visibilité météorologique permet de le faire simplement en restaurant le ontraste de l image selon une hypothèse de monde plan. Dans e as, les objets qui ne respetent pas ette hypothèse, est-à-dire les obstales, sont détetés e qui permet d en déduire aisément l espae navigable. Cette méthode est peu oûteuse d un point de vue alulatoire mais repose sur une hypothèse, le monde plan, pas toujours vraie ainsi que sur un modèle d apparene des objets par temps de brouillard, la loi de Koshmieder, pas néessairement vérifié. Une deuxième approhe onsiste à utiliser la desription géométrique de l infrastruture présente sur un serveur opérationnel. Etant positionné préisément sur ette arte, nous estimons en temps réel la transformation entre le repère améra et le repère GPS. Nous pouvons ainsi projeter l espae navigable dans l image aquise par la améra du véhiule. Dans ette deuxième méthode, auune hypothèse sur la géométrie ou la photométrie de la sène n est faite. En revanhe, la loalisation du véhiule doit être préise. Enfin, la dynamique du véhiule doit être prise en ompte, en partiulier le roulis et le tangage lors des aélérations. Pour ompenser ela, nous pensons effetuer un realage entre les points de artographie et les marquages détetés dans l image pour affiner les résultats. Figure 1. Projetion des marquages routiers dans l image sur la portion de la piste de Satory allant de A à L
282 Projet DIVAS 5. Référenes Commission Internationale de l Elairage, «International lighting voabulary», Publiation numéro 17.4, 1987. Hautière N., Tarel J.-P., Aubert D., «Towards fog-free in-vehile vision systems through ontrast restoration», Proeedings of IEEE Conferene on Computer Vision and Pattern Reognition, Minneapolis, USA, juin 27. Hautière N., Tarel J.-P., Lavenant J., Aubert D., «Automati Fog Detetion and Estimation of Visibility Distane through use of an Onboard Camera», Mahine Vision and Appliations Journal, vol. 17, n 1, 26, p 8-2. Middleton W., Vision through the atmosphere, University of Toronto Press, 1968. Tarel J.-P., Aubert D., Guihard F., «Traking Oluded Lane-Markings for Lateral Vehile Guidane», Reent Advanes in Signal Proessing and Communiations, World Sientifi and Engineering Soiety Press, 1999.