Fusion d images de plan focaux pour la reconstruction 3D

Transcription

1 Stage de DEA Instrumentation et Informatique de l image Fusion d images de plan focaux pour la reconstruction 3D Thomas CHALUMEAU Encadrants : Olivier LALIGANT Fabrice MERIAUDEAU

2 Je tiens à remercier mes encadrants, Olivier Laligant et Fabrice Meriaudeau pour leur accueil, leur soutien et leurs conseils durant toute la durée de mon stage. Je remercie aussi tous les membres du laboratoire Le2i du site du Creusot pour leur accueil et leur aide. Enfin, je remercie également tous les stagiaires sur le site du Creusot pour avoir apporté une bonne ambiance durant ce stage. 2

3 Table des matières 1 Introduction 4 2 Le système optique Formation d une image Profondeur de champ La PSF Images de synthèse Reconstruction de la scène dans le domaine spatial Méthode des gradients Méthode "des rayons" Méthode combinée Bilan Reconstruction de la scène dans le domaine fréquentiel Propriétés de la Transformée de Fourier Méthode utilisant des masques de taille constante Méthode utilisant des masques de taille variable Bilan Application à des images réelles 26 6 Conclusion 28 3

4 Chapitre 1 Introduction La reconstruction 3D d une scène à partir d images 2D nécessite plusieurs prises de vues ou l utilisation d un éclairage spécifique (lumière structurée). Le choix de l une ou l autre solution dépend de la scène à reconstruire. Malheureusement dans le cas de la reconstruction du visage, l éclairage structuré est à proscrire. On est donc contraint d élaborer un système de type multicapteur. Le système de stéréovision [7] en est un exemple classique. Pour notre part, nous voulons reconstruire la scène 3D à partir d images où seuls les paramètres du système d acquisition ont été modifiés. De nombreuses méthodes existent pour déterminer la distance d un objet à l aide de quelques images avec une grande profondeur de champ [2] [6]. L autofocus est l une des application de ces méthodes. Cependant, ces méthodes ne donnent pas les informations sur la forme de l objet. Dans notre cas, nous voulons déterminer les caractéristiques de la scène en ayant des images avec une faible profondeur de champ. Les quelques techniques qui existent sont basées sur l estimation du flou de deux images, avec des paramètres d acquisition différents. Comme le décrivent Ziou et Deschenes [1] ou bien Jin [3], le flou est estimé localement et, à l aide de quelques images et des paramètres de la caméra, ils obtiennent les caractéristiques de la scène à reconstruire. Dans un premier temps, nous allons simuler un système optique afin de créer des images dont on connaît toutes caractéristique de l objet de départ. Dans un second temps, plusieurs méthodes vont être décrites et testées sur ces images. Puis, nous allons voir une application sur une scène réelle. Enfin, nous allons conclure sur les résultats obtenus et voir les orientations à prendre. 4

5 Chapitre 2 Le système optique Tout d abord, on va simuler le système optique afin de maîtriser l ensemble des paramètres pouvant être modifiés. Grâce à ce système optique virtuel, on va simuler des images à faibles profondeur de champ pour pouvoir ensuite reconstruire la scène originale. Ce procédé nous permettra d évaluer la précision des méthodes de reconstruction 3D. 2.1 Formation d une image La formation d une image dans un système optique simple est décrite dans la figure (2.1). Un point P de la scène-objet se focalise en un point P dans l espace image. Ce point P est observé sur le plan du capteur. Dans les conditions de Gauss, la distance (u) de P à la lentille et celle de P à la lentille (v) sont reliées par la formule de conjugaison : 1 f = 1 u + 1 v (2.1) où f est la distance focale de la lentille ou du système optique. Lorsque le point P se forme en avant ou en arrière (virtuellement) du capteur, il se produit un flou sur l image rendue par le capteur (P ). Le flou généré est similaire à la forme de l ouverture du système optique, à un facteur près. Ce flou est induit par la fonction de transfert du système optique h(x,y). Cette réponse impulsionnelle, nommée PSF (Point Spread Function) est définie comme la réponse (espace image) à une source ponctuelle (dans l espace objet). Habituellement les systèmes optiques ont une ouverture circulaire. Dans ce cas, l image floue d un point sur le détecteur d image est de forme circulaire et s appelle le cercle de flou. Soient "R" le rayon du cercle de la tache floue, "s" la distance entre l objectif 5

6 et le détecteur d image, on définit le facteur "q", rapport entre l ouverture et le cercle flou, par : q = 2R D = s v v [ 1 = s v 1 ] s (2.2) En remplaçant 1/v par l équation (2.1) dans l équation ci-dessus, on obtient : [ q = s 1 f 1 u 1 ] s donc : R = q D 2 = sd 2 [ 1 f 1 u 1 ] s (2.3) On peut noter que q et donc R peuvent être positif ou négatif selon que s v ou s < v. Dans le premier cas, le détecteur d image est derrière P et dans le second cas, il est devant l image focalisée de P. 2.2 Profondeur de champ La profondeur de champ est la zone de netteté située devant et derrière le plan dans l espace objet sur lequel est réglée la mise au point (focus) de l appareil. C est donc un espace limité à l intérieur duquel tous les éléments de l objet sont nets dans l image. Elle peut être définie par : 2a iu 2 fd (2.4) où a i est le diamètre de la tache sur le plan image et u la distance de l objet. Pour obtenir des images à faible profondeur de champ, il suffit d avoir une focale et un diamètre d ouverture grands et une faible distance objet. 6

7 Cependant, si on étudie la sensibilité par rapport à une distance, on peut s apercevoir que pour diminuer la profondeur de champ d un système, il faut que le système ait un grandissement supérieur à 1, une focale petite et une ouverture la pus grande possible. Il faut aussi que la taille d un pixel (a i ) soit la plus petite possible, tout en ayant une surface photosensible grande. Ceci équivaut à avoir la plus grande résolution possible. Ceci peut être un inconvénient car un système comme celui-ci n est pas souvent utilisé car couteux. 2.3 La PSF La PSF, réponse impulsionnelle du système se doit de vérifier quelques propriétés. Comme l introduisent Surya et al. [2] [4], nous considérons qu aucune énergie n est absorbée par le système optique, donc : h(x,y)dxdy = 1 (2.5) Pour tenir compte de la diffraction et des imperfections de l objectif, un modèle a été suggéré pour la distribution d intensité : h(x,y) = 1 (x 2 +y 2 ) 2πσ 2 e 2σ 2 (2.6) c est une gaussienne bidimensionnelle où σ est le paramètre de diffusion tel que σ = αr, avec α comme constante, qui est généralement égale à 1/ 2. Pour les simulations nous prendrons cette valeur mais elle sera à déterminer expérimentalement sur l appareil que nous utiliserons par la suite. Si le rayon R est constant sur une certaine région du plan image, le système optique agit comme un système de décalage linéaire. Ceci est justifié par le fait que les paramètres d appareil photo s, D et f demeurent tous les mêmes, donc que l image observée g(x,y) est le résultat de la convolution entre l image focalisée f(x,y) et la fonction de diffusion h(x,y), c est-à-dire, g(x,y) = h R (x,y) f(x,y) (2.7) 7

8 où correspond à l opération de convolution En développant dans le domaine discret, nous obtenons : g(x,y) = i f(i,j)h(x i,y j) (2.8) j 2.4 Images de synthèse A partir de cette convolution, on a réalisé un système optique virtuel afin d avoir à notre disposition un ensemble d images pour réaliser la reconstruction. Les images synthétiques ont été réalisées avec différentes profondeurs de champ en modifiant la distance entre l objectif et le détecteur d image ("s"), comme on peut le voir sur la figure (2.2). A partir de cette convolution, on a réalisé un système optique virtuel afin d avoir à notre disposition un ensemble d images pour réaliser la reconstruction. On a pris une image, à laquelle on a associé une carte de profondeur. Le tout forme un "objet de synthèse" ( figures (2.3) et (2.4) (a) et (b)). Ensuite, le passage de l objet à travers le système optique donne plusieurs images en faisant varier la distance entre l objectif et le plan du capteur("s"). Les résultats sont visibles sur les figures (2.3) et (2.4) (a) Les images floues ont été créées en simulant l inclinaison d une image en entrée de notre système. On peut voir quelques résultats d images résultantes du système sur les figures (2.3) et (2.4). 8

9 FIG. 2.1 Formation d une image avec une lentille convexe FIG. 2.2 Méthode d obtention des différentes images 9

10 FIG. 2.3 Exemple de formation d images avec une image binaire (a) : image originale,(b) : carte 3D de l image originale inclinée : la distance est représentée par un niveau de gris (noir : distance mini, blanc : distance maxi) (c) : images issues du système virtuel FIG. 2.4 Exemple de formation d images avec une image en niveau de gris (a) : image originale,(b) : carte 3D de l image originale inclinée (c) : images issues du système virtuel 10

11 Chapitre 3 Reconstruction de la scène dans le domaine spatial Dans cette partie, nous allons nous intéresser à la reconstruction de l objet en utilisant les paramètres optiques du système tout en restant dans le domaine spatial. Dans un premier temps, une méthode simple sera abordée, suivi d une seconde tenant compte des spécificités du système optique, puis nous verrons un dernier procédé combinant les deux méthodes précédentes. 3.1 Méthode des gradients Cette première méthode [5] mise en œuvre pour la reconstruction de la scène n utilise pas la PSF du système, ceci permet d avoir un algorithme simple et rapide. Il faut tout d abord réaliser une succession de prises de vues en déplaçant le plan image d une distance relativement constante. Plus nous voulons être précis, plus il faut que la profondeur de champ soit petite et plus nous devons avoir d images. Le but de cette méthode est de déterminer l image sur laquelle une zone est la plus nette, ce qui nous permettra de déterminer le niveau de gris et la distance de la zone. Pour déterminer ces zones de netteté, nous employons la variance locale définie par l équation (3.1). v k (x,y) = 1 n 2 x+m y+m i=x m j=y m [ Ng(i,j) Ng ] 2 (3.1) 11

12 où n : nombre de voisins utilisés m = (n 1)/2 Ng(i,j) : Niveau de gris du pixel courant de coordonnées (i,j) Ng : niveau de gris moyen dans le voisinage n n du pixel courant On calcule pour chaque pixel de l ensemble de nos images la valeur de notre critère. La zone de l image pour laquelle la variance au point (x,y) est la plus élevée est alors définie comme la zone de l image où ce point est le plus net. Il suffit alors de calculer la distance du pixel en utilisant la formule de conjugaison (2.1). Cette méthode a été appliquée pour les 3 3 plus proches voisins. Les images reconstruites sont visibles sur les figures (3.1) et (3.2). Pour quantifier les erreurs de reconstruction de l image de profondeur, on calcule la MSE (Mean Square Error) définie par : MSE = NbP 1 ixels (Ng Synthétique Ng Restauré ) 2 (3.2) NbP ixels k=0 Cette méthode fonctionne assez bien lorsque l on a toutes les régions de la scène nettes sur l ensemble des images initiales. La reconstruction en niveau de gris est très bonne mais la reconstruction de l image de profondeur est approximative. Dans notre exemple (3.1), avec une image inclinée, on obtient une image de profondeur sur laquelle il y a des paliers. Lorsque l on a seulement quelques images en notre possession, figure (3.2), l image résultat en niveau de gris est dégradée et l image de profondeur est encore plus approximative. Ces exemples mettent bien en évidence les limites de cette méthode. Pour qu elle soit la plus efficace possible, il faudrait avoir en notre possession un maximum de vue avec une profondeur de champs minimum. Cette méthode nous permet d avoir une première idée de la composition en niveau de gris de la scène et de la carte de profondeur, mais une méthode plus élaborée tenant compte de l ensemble des paramètres du système optique serait plus adaptée. 12

13 FIG. 3.1 Reconstruction avec un masque 3x3 (a) : images en notre possession,(b) : Image reconstruite(mse = 216), (c) : carte 3D de l image reconstruite et différence par rapport à la carte 3D originale(m SE = 3464) 13

14 FIG. 3.2 Reconstruction avec un masque 3x3 (a) : Image reconstruite à l aide de 3 images parmi les 10 précédentes (MSE = 440), (b) : carte 3D de l image reconstruite, (c) : différence avec carte 3D de l image originale inclinée(mse = 7711) 3.2 Méthode "des rayons" Dans cette approche, nous allons considérer l ensemble des paramètres de la caméra, afin de restaurer la scène. Connaissant ces paramètres et les images résultant du système, on va essayer de déterminer le niveau de gris et la profondeur de chaque pixel. L image g k (x,y) issue du système optique sur le kème plan image est définie par la relation (2.8). En développant la PSF, nous avons : g k (x,y) = i [(x i) 1 2 +(y j) 2 ] 2σ f(i,j) e 2 j 2πσk 2 k (3.3) Dans un premier temps, nous allons négliger l influence des voisins lors de notre reconstruction. Alors, la relation (3.3) se simplifie, pour donner 1 g k (x,y) = f(x,y) 2πσk 2 (3.4) = f(x,y) = 2πσ 2 kg k (x,y) (3.5) [ D = f(x,y) = π s k 2 ( 1 f 1 u(x,y) 1 )] 2 g(x,y) (3.6) s k 14

15 Dans cette relation, seuls les paramètres u(x,y), distance entre le point de la scène et l objectif, et f(x,y), niveau de gris de ce même point, sont inconnus. Nous n avons qu une seule équation mais différents plans images pour les déterminer. Nous allons fixer diverses distances u(x,y) et nous allons déterminer la valeur de niveau de gris qu il serait nécessaire pour obtenir l image en notre possession. Nous allons réaliser cette opération pour chaque plan image en notre possession. On obtient alors un tableau à 3 dimensions dont les variables sont k, u(x,y), f(x,y). Pour déterminer les meilleurs valeurs de u(x,y) et f(x,y), on cherche, pour une distance fixée, le niveau de gris le plus constant sur l ensemble des plans image, ceci pour chaque point de la scène. Ce choix est fait en déterminant la distance u(x,y) pour laquelle la MSE, calculée pour les niveaux de gris sur l ensembles des plans image, est la plus faible et le niveau de gris retenu sera la moyenne des niveaux de gris des différents plans. FIG. 3.3 Reconstruction avec 3 images (a) : texture (MSE = 5750) (b) : carte 3D de l image reconstruite (MSE = 4630) Les résultats obtenus (exemple en figure (3.3)) sont encourageants. La luminance de l objet est certes plus élevée mais elle respecte bien l objet de départ. Ceci est dû au fait que l on ne tient pas compte de l ensemble des points de la scène interagissant sur un point de l image résultant du système optique. On peut tout de même constater que les valeurs de u(x,y) calculées grâce à cette méthode ne sont pas très exactes, ceci est dû à l approximation faite au départ. Maintenant, je vais désormais tenir compte de l ensemble des points de l image comme le montre l équation (3.3). Cependant, à priori, nous ne connaissons ni les distances et ni les niveaux de gris des pixels. Pour pouvoir simplifier l écriture, nous allons prendre des hypothèses d approximation. Comme on peut le voir sur la figure (3.4), les points de la scène influençant le plus sur un point de l image résultante sont le point central de la scène et ses plus proches voisins, donc une région plus ou moins grande suivant la tache de floue générée. 15

16 En même temps, je vais supposer que tous les points de la scène contribuant à un point de l image résultante du système optique sont à la même distance "u" et que le niveau de gris de l ensemble de ses points est le même. La relation (3.3), devient alors : g k (x,y) = f(x,y) i 1 j 2πσk 2 e [ (x i) 2 +(y j) 2 ] 2σ 2 k (3.7) = f(x,y) = i j 1 2πσ 2 k g k (x,y) [(x i) 2 +(y j) 2 ] 2σ e k 2 (3.8) avec σ = 1 [ D 2 s 1 k 2 f 1 u(x,y) 1 ] s k FIG. 3.4 Tracé des rayons dans un système optique Comme pour précédemment, seules les valeurs de f(x,y) et u(x,y) sont inconnues. On adopte donc la même technique pour déterminer les meilleurs valeurs. On peut apercevoir un des résultats sur la figure (3.5). les résultats sont bien meilleurs au niveau de la reconstitution de la texture de l objet. Malgré cette bonne reconstitution on peut tout de même remarquer que l image reconstruite est lissée par rapport à la scène initiale. Ceci est en partie dû au fait 16

17 des approximations faites au départ. On peut aussi remarquer que cette méthode permet de reconstruire correctement en niveau de gris la scène originale même si on ne possède que très peu de vue au départ. Seulement on s aperçoit aussi que si une zone est constamment très floue, la reconstruction n est pas très réussie car cela implique un grand rayon pour le cercle de flou et donc cela nuit aux deux approximations faites à l origine. FIG. 3.5 Reconstruction avec 3 images (a) : texture (MSE = 350), (b) : carte 3D de l image (MSE = 2904) 3.3 Méthode combinée Les deux méthodes précédentes donnent des résultats acceptables mais chacune d entre elles a ses avantages et ses inconvénients. Le premier procédé, simple, rapide, donne des résultats approximatifs et le second permet d obtenir de meilleurs résultats sur les profondeurs mais avec de lourds calculs. C est donc pour cela que l on va combiner les deux méthodes. Le principe est de déterminer une première fois les paramètres de la scène avec la méthode des gradients et d affiner ensuite notre résultat avec la méthode des rayons. Grâce à la méthode des gradients, on va avoir une première valeur approchée du niveau de gris et de la profondeur de chaque pixel. Puis on va comparer ces valeurs avec celle obtenue avec la méthode "des rayons" afin d en déterminer la meilleure valeur. Dans un premier temps, on calcule comme précédemment une approximation de la scène. On a alors, une image de texture et une image de profondeur. A partir de la, on va essayer de minimiser l écart entre cette valeur et celle que l on obtiendrait avec la méthode des rayons. On essaye en fait de minimiser la relation : C = k [O Gradient (x,y) O Recalcule,k (x,y,u(x,y),d,s k )] 2 (3.9) avec O Gradient (x,y) : Niveau de gris obtenu avec la méthode des gradients 17

18 On va dériver cette expression par rapport aux deux variables de cette relation(o Gradient (x,y) et u(x,y)), il suffira alors de déterminer les valeurs telles que dc dc et soient nulles. do du En dérivant la relation (3.9), on obtient pour les deux dérivées : dc do = dc du = 2 k [ O(x,y) Ng k(x,y)π Ds k 2 ( 1 f 1 u(x,y) 1 )] s k (3.10) Pour déterminer les meilleures valeurs pour la texture et la profondeur, il suffit de résoudre l équation (3.10) de telle sorte qu elle s annule. On va chercher à faire varier les valeurs que nous aura donnée la méthode des gradients, tout en faisant attention de rester dans un voisinage proche de ces valeurs. Pour estimer ces valeurs, nous disposons donc de l ensemble des plans images à notre disposition ainsi que les deux équations suivantes que l on utilise successivement. ou O(x,y) = Ng k(x,y)π Ds k 2 u(x,y) = ( 1 f 1 u(x,y) 1 ) s k Ng k(x,y)πds k f Ng k (x,y)πd(s k f) 2O(x,y)f (3.11) (3.12) Cette méthode est plus lourde en calcul, mais nous permet d obtenir de meilleurs résultats, comme on peut le voir sur la figure (3.6). 3.4 Bilan Dans cette première approche, on a abordé deux méthodes qui ont leurs avantages et leurs défauts, mais qui, en les combinant, donnent de premiers résultats convainquants pour des images synthétiques. Seulement, nous avons des pertes sur des informations fréquentielles, qui se traduisent par un lissage de la texture et encore une information de profondeur qui peut encore être améliorée. Le tableau suivant récapitule les erreurs de reconstruction de l image 18

19 FIG. 3.6 Reconstruction avec 3 images avec la méthode combinée (a) : Image originale, (b) : Image reconstruite (M SE = 300), (c) : différence entre la carte 3D de l image originale inclinée et la carte 3D de l image reconstruite (MSE = 2904) en niveau de gris et de l image de profondeur pour les diverses méthodes. méthode MSE Ng MSE Profondeur gradients (3 images) gradients (10 images) rayons 1 (10 images) rayons voisins (3 images) rayons voisins (10 images) combinée (3 images) combinée (10 images)

20 Chapitre 4 Reconstruction de la scène dans le domaine fréquentiel La plupart des méthodes utilisées pour reconstruire une scène à partir de quelques images avec des paramètres optiques différents se servent des caractéristiques données dans l espace de Fourier. C est donc pour cela que l on va essayer d utiliser cet outil pour améliorer notre reconstruction. 4.1 Propriétés de la Transformée de Fourier L avantage de cette opération est de pouvoir supprimer la convolution que nous retrouvons dans la relation (2.7). Dans l espace de Fourier, nous n avons donc qu à faire à une multiplication entre la transformée de Fourier de l image focalisée et la transformée de Fourier de la fonction de diffusion. De plus, comme la fonction de diffusion h(x,y) est une gaussienne, sa transformée de Fourier sera une gaussienne à son tour : h(x,y) = 1 (x 2 +y 2 ) 2πσ 2 e 2σ 2 H(ω,ν) = e 1 2 (ω2 +ν 2 )σ 2 (4.1) où ω et ν sont les fréquences spatiales en gradient par unité de distance. Si on considère une partie de l image focalisée, on aura des variations fréquentielles très importantes et au contraire, lorsque celle-ci est floue, les variations fréqentielles seront très faibles. En ramenant, ces caractéristiques à notre problème, nous aurons une gaussienne avec un écart type très faible pour les zones floues et une gaussienne avec un écart type élevé pour les zones nettes. Ceci peut être bien visualisé sur les figures (4.1) et (4.2) 20

21 FIG. 4.1 Zone de parcours 9x9 centré en (50,50) pour chaque plan image FIG. 4.2 TF des zones de la figure précédente 21

22 Dans notre approche, nous allons essayer de reconstruire la scène en s appuyant sur les caractéristiques des différentes imagettes dans le domaine fréquentiel, dans un premier temps avec des zones de parcours de taille constante puis dans un second en adaptant la taille des imagettes en fonction des paramètres du système optique. 4.2 Méthode utilisant des masques de taille constante Nous allons réaliser un algorithme du même type que celui utilisé dans la partie (3.1) dans lequel on cherche à déterminer les zones où il y a un maximum de variation du niveau de gris. Pour chaque pixel de chaque image issue du système optique, on va déterminer la transformée de Fourier d une zone 9x9 centré sur le pixel fixé. On va obtenir autant de transformées de Fourier que l on aura d images. On va ensuite supposer que chaque résultat est assimilable à une gaussienne car la fonction de diffusion en est une aussi. A partir de ces données, on va déterminer l écart type (σ) de chaque TF. Pour un signal, (figure 4.3), la variance est donnée par la relation (4.2), ci-dessous. σ 2 = x 2 p(x)dx (4.2) FIG. 4.3 fonction gaussienne p(x) A partir de là, on obtient alors une valeur de σ pour chaque plan image en notre possession qui varie en fonction de la distance du plan (voir figure (4.4)). Ainsi, on détermine la zone qui comporte le plus d informations fréquentielles. Les résultats de cette méthode sont visibles sur la figure (4.5). Cette méthode permet d obtenir des résultats corrects seulement si on a un nombre assez conséquent d images, tout comme la méthode des gradients. 22

23 FIG. 4.4 Valeurs de sigma obtenues avec 6 imagettes au point (50,50) FIG. 4.5 Reconstruction avec la TF avec l ensemble des images (a) : Image reconstruite (M SE = 270) (b) : carte 3D de l image reconstruite (MSE = 3480) 23

24 4.3 Méthode utilisant des masques de taille variable Dans cette méthode, en ayant une première approximation de la distance de chaque pixel, on va essayer de modifier la taille des zones de traitement en fonction des distances des plans images afin de vérifier que la distance déterminée auparavant est bien la bonne et, si ce n est pas le cas, d affiner la valeur. Pour un pixel donné, on a une première estimation de sa distance. Donc, en utilisant la formule (2.3), on détermine la taille du flou et par conséquent la taille de l imagette sur laquelle on va appliquer la Transformée de Fourier (4.6). Comme précédemment, on va approximer la TF de l imagette à une gaussienne dont on va déterminer l écart type. Cependant, contrairement à la la méthode précédente, on va devoir faire une normalisation de l ensemble des valeurs de σ trouvées, du fait des tailles de zone de parcours non constant. Si la distance est la bonne, on va trouver un écart type maximum pour l imagette dont la taille est la plus petite. Mais si ce n est pas le cas, on va modifier la distance du pixel de telle sorte que le σ soit obtenu pour la plus petite imagette. On peut voir le résultat de cette méthode sur la figure (4.7). L image en niveau de gris est inchangée par rapport à la méthode précédente, mais il y a tout de même une amélioration au niveau de la détermination des profondeurs. FIG. 4.6 Détermination de la taille du masque pour chaque image 4.4 Bilan Lors de cette deuxième approche, deux méthodes utilisant un principe similaire, ont été mises en évidence. Les résultats qu elles permettent d avoir sont du même ordre. Cependant, 24

25 FIG. 4.7 Reconstruction avec la TF "adaptative" avec l ensemble des images (a) : Image reconstruite (M SE = 270), (b) : carte 3D de l image reconstruite (MSE = 3074) on souhaiterait mettre en place la méthode avec des imagettes de taille variable de façon itérative. On déterminerait alors la distance en faisant converger les résultats obtenus. Ce procédé permettrait de déterminer plus justement encore les distances. Le tableau récapitulatif suivant nous permet de comparer les erreurs de reconstruction diverses méthodes. Notre algorithme est en phase de développement méthode MSE Ng MSE Profondeur gradients (3 images) gradients (10 images) rayons 1 (10 images) rayon voisins (3 images) rayon voisins (10 images) combinée (3 images) combinée (10 images) TF simple (3 images) TF simple (10 images) TF fenêtre variable (3 images) TF fenêtre variable (10 images)

26 Chapitre 5 Application à des images réelles Pour voir si nos algorithmes fonctionnaient pour des images plus complexes, donc réelles, nous avons effectué des prises de vues avec une caméra. Nous disposions d une caméra dont l ouverture était de 4mm, la focale de 75mm. Nous pouvions réaliser des vues pour des distances, objectif-détecteur image, allant de 70 à 75mm. L objet que l on a étudié est visible sur la figure (5.1) FIG. 5.1 Objet sur lequel nous avons réalisé nos différentes vues Du fait de notre faible profondeur de champ, nous n avons pu prendre en photo qu une partie de l objet (cerclée). Les images acquises sont visibles sur la figure (5.2). Les résultats sont visibles sur la figure (5.3). Nous n avons pas eu le temps de réaliser des essais avec calibrage pour évaluer la précision réelle des algorithmes. 26

27 FIG. 5.2 vues réelles pour la reconstruction (a) (b) FIG. 5.3 Résultat de la reconstruction réalisée avec le meilleur estimateur (a) : image en niveau de gris, (b) : carte 3D de la scène reconstruite 27

28 Chapitre 6 Conclusion L utilisation d images avec une faible profondeur de champ et des plans focaux différents permet de reconstruire une scène, un objet en 3D. Lors de notre étude, nous avons pu étudier diverses méthodes de reconstruction 3D à partir de quelques images avec des plans focaux différents, aussi bien dans le domaine fréquentiel que dans le domaine spatial. Chaque méthode a ses avantages et ses inconvénients, tantôt la vitesse d exécution, tantôt la finesse des résultats. Les meilleurs résultats observés sont voisins des résultats obtenus par les méthodes d estimation de floue [1][3]. La dernière méthode, donnant des résultats très encourageant va être explorée d avantage afin d en extraire des information plus juste encore. Cependant, il reste encore à déterminer les performances de ces méthodes en fonction de la profondeur de champ utilisée lors de la capture des images et à quantifier la précision des algorithmes sur des images réelles. 28

29 Bibliographie [1] François Deschenes Djemel Ziou. Depth from defocus estimation in spatial domain. Technical report, Département de mathématiques de d informatique, Univerity de Sherbooke, [2] Murali Subbarao Gopal Surya. Depth from defocus by changing camera aperture: a spatial domain approach. Technical report, juin [3] Hailin Jin and Paolo Favaro. A Variational Approach to Shape from Defocus. Conf. on Computer Vision, [4] Yen-Fu Liu. A Unified Approach to Image Focus and Defocus Analysis,. PhD thesis, State University of New York, Dept of Electrical Engineering, [5] Jirí Scucka Markus Niederoest, Jana Niederoest. Shape from focus: Fully automated 3d reconstruction and visualisation of microscopic objects. Zurich, Switzerland [6] Tse-Chung Wei Murali Subbarao. Depth from defocus and rapid autofocusing: A practical approach. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages , June [7] Nahum Kiryati Yoav Y. Schechner. Depth from Defocus vs. Stereo : How different really are they?, volume 89, pages International Journal of Computer Vision,