Comparaison entre Block Matching et Spherical Block Matching pour l estimation du mouvement dans des images omnidirectionnelles

Transcription

1 Comparason entre Block Matchng et Sphercal Block Matchng pour l estmaton du mouvement dans des mages omndrectonnelles Damal ALOUACHE 1 Kahna SLIMANI 1 Zohra AMEUR 1 Soltane AMEUR 1 1 Laboratore d Analyse et de Modélsaton des Phénomènes Aléatore (LAMPA) Département d électronque, unversté M. Mammer Tz-Ouzou, Algére Damal.alouache@yahoo.fr Demaa KACHI Laboratore de Modélsaton Informatque& Système MIS Unversté Pcarde Jules Verne France demaa.kach@u-pcarde.fr Résumé L estmaton et le suv de mouvements des obets dans les mages omndrectonnelles sont des problèmes complexes et encore ouverts [14] [15]. Ils ntéressent de nombreux domanes, comme la robotque, la vdéo survellance, mas auss le tratement vdéo omndrectonnelle. Le traval présenté dans cet artcle concerne l estmaton du mouvement local présent dans les séquences vdéo omndrectonnelles. Dans ce traval, nous présentons une comparason entre deux méthodes d estmaton du mouvement local dans les séquences omndrectonnelles. La méthode du block Matchng (BM) applquée drectement aux mages omndrectonnelles et l algorthme du Sphercal Block Matchng (SBM) qu prend en consdératon le mouvement local des obets et le calcul de champ de mouvement entre deux mages sphérques. Abstract Estmaton and trackng movement of obects n the omndrectonal mage are complex ssues and stll open [14] [15]. They concern many felds, such as robotcs, vdeo survellance, but also the omndrectonal vdeo processng. The work presented n ths artcle concerns the estmaton of the local moton present n omndrectonal vdeo. In ths work, we present a comparson between two methods of estmatng the local movement n omndrectonal sequence. The method of block matchng (BM) appled drectly to the omndrectonal mage and the Block Matchng Sphérque (BMS) whch takes nto consderaton the local movement of obects and calculaton of the moton feld between two sphercal mage. Mots-clés Block Matchng Sphérque BMS ; estmaton de mouvement ; mages omndrectonnelles. I. INTRODUCTION Les méthodes de mse en correspondance de blocs (Block Matchng BM) sont parm les méthodes d estmaton du mouvement les plus utlsées dans la pratque [1] []. On les retrouve presque dans tous les standards de compresson vdéo (H.61, MPEG-1, MPEG- -4 ).L dée d augmenter le champ de vson et l apparton de nouveaux espaces de proecton telles que les mages omndrectonnelles, c est-àdre un champ de vson à 360. Certans auteurs vsent à adapter les méthodes de mse en correspondance des blocs (Block Matchng) en cherchant des vosnages adéquats. Une approche du Sphercal Block Matchng (SBM) pour calculer l évaluaton de mouvement dans les mages sphérques a été utlsée pour la premère fos dans le traval de Tosc et al [3], dans un arrangement mult résoluton afn de calculer la prédcton d une mage sphérque. Les deux mages sphérques sont des mages de la même scène capturées de deux ponts de vue (arbtrare) dfférent. Iva Bogdanova et al [4], ont utlsé une approche du Sphercal Block Matchng pour calculer l estmaton de mouvement dans des mages sphérques. Pour estmer le mouvement, l algorthme utlsé apparelle smplement les angles soldes de deux mages sphérques. Il vse à calculer le champ de mouvement entre deux mages sphérques. D autres travaux de recherche s orentent auss sur le Sphercal Block Matchng pour créer des nouvelles méthodes de compresson d mages omndrectonnelles [5] [6]. Par exemple dans l artcle [5] Les auteurs ont utlsé le Sphercal Block Matchng dans une boucle de compensaton du mouvement dans le décodeur Slepan-Wolf. La corrélaton entre les mages est alors estmée par l estmaton du mouvement entre les deux mages sphérques. L obectf de ce paper est de fare une étude comparatve entre l algorthme de Block Matchng et Sphercal Block Matchng, pour l estmaton du mouvement local dans les mages omndrectonnelles.

2 II. VISION OMNIDIRECTIONNELLE La vson catadoptrque consste à assocer un mror convexe avec une caméra dont l axe optque est confondu avec l axe de révoluton du mror (fg.1).l avantage prncpal de ces capteurs résde dans l acquston d une mage omndrectonnelle en une seule prse III.TRAITEMRNT SUR LA SPHERE L mage omndrectonnelle présente une résoluton nonhomogène. Un bloc rectangulare, représentant le vosnage d un pont est utlsé dans les mages perspectves, n est pas appropré pour les caméras catadoptrques. La méthode du block-matchng ne peut pas être applquée drectement sur des mages omndrectonnelles car elle ndut forcément des erreurs (Fg.4).. Fg. 1. Acquston d mage catadoptrque De nombreux auteurs ont étudé dans leurs travaux l équvalence entre une proecton catadoptrque et une proecton stéréographque [7] [8]. Ils ont prouvé qu une proecton catadoptrque centrale est équvalente à un mappng en deux étapes va une sphère. La fgure (Fg.) montre l équvalence entre n mporte quelle proecton catadoptrque et un mappng sur une sphère unté. Fg. 4. Vosnage sur la sphère d équvalence III. SPHERICAL BLOCK MATCHING SBM Cette technque consste à calculer l estmaton du mouvement dans les mages catadoptrques centrales en utlsant la méthode Block-Matchng également nommée «Sphercal Block-Matchng» [4]. Cette méthode a été utlsée pour la premère fos dans le traval de Tosc et al [3], dans un arrangement mult-résoluton afn de calculer la prédcton d une mage sphérque. Les deux mages sphérques F0 et G0 sont des mages de la même scène capturées de deux ponts de vue (arbtrare) dfférents.. Fg.. Equvalence entre un modèle de proecton C est dans cette même optque que nous proposons d utlser la sphère d équvalence afn de détermner la mse en correspondance des angles soldes entre deux mages sphérques. Fg. 5. Sphercal Block Matchng Image omndrectonnelle Image sphérque Fg. 3. Image omndrectonnelle et son équvalence sphérque La méthode consste à dvser la premère mage sphérque F0 en Angles soldes non chevauchés de talles dentques M δ * θ N δ qu sont vus comme des angles soldes ndépendants où les pxels composant chaque angle solde ont le même pas de mouvement. La deuxème étape consste à trouver le melleur angle solde cble dans la deuxème mage sphérque G0 par rapport

3 à un angle solde de référence chos dans la premère mage sphérque. Le melleur angle solde est chos par un algorthme mnmsant un crtère de comparason. Pour rédure le coût des calculs, on défnt une fenêtre de recherche W δ * θ W δ qu va lmter le nombre d angles soldes canddats testés dans la deuxème mage sphérque. La talle de la fenêtre de recherche dépend du déplacement maxmal autorsé pour chaque pxel. On recommence le procédé avec un autre angle solde usqu'à ce qu l n y at aucun angle solde à tester, ou ben, usqu à attendre un crtère d arrêt prédéfn. Une fos la procédure termnée, on obtent pour chaque angle solde de la premère mage sphérque un vecteur de déplacement en θ et qu caractérse son mouvement. Les mages omndrectonnelles sont tracées d une part, selon les coordonnées sphérques [ θ, ] et d autre part, selon l équaton prélevée sur une grlle équangle défne comme sut : ( p + 1) π qπ {( ) S } ζ = θ p, φ p : θ p =, φ q = (1) 4B B Avec p,q {n N : n< B} e t B = { B N, Z} avec l mage sphérque f L ( S ) Les étapes de la méthode SBM sont récaptulées par l algorthme suvant : IV. ALGORITHME DU SPHERICAL BLOCK MATCHING L évaluaton locale du mouvement avec Sphercal Block Matchng sut les étapes suvantes : π π l = L 1, M = [0,0],, δ θ =, δ =, B B B full resoluton dvde g nt o I = 0; repeat ( p, q ) poston of Ω {( p, q) } f = arg mn Ω MSE( g, f ); ( w, t ) poston of f ; M [ p + w, q + t ]; + 1; untl > I l L 1 < 0 unform blocks of sze Mδ Nδ ; g ; θ θ p p (1) + 1, p (1) + and q = q () + 1, q () + untl l such that θ 1) Proecton des deux mages omndrectonnelles sur la sphère d équvalence. Notons que П-1 est la proecton stéréographque nverse d un pont P(x, y) dans R (pxel de l mage omndrectonnelle I(x,y)) assoce à son pont équvalent Ps(θ,φ) en coordonnées sphérques sur la sphère unté S. Π P ( x, y ) Ps ( θ, ) R S I ( x, y ) = I ( θ, ) s Dans notre méthode, le vosnage du pont Ps (θ, φ) noté B (θ, φ) est défn sur la sphère comme sut: { ( θ, ) θ θ δ θ, δ } () B = p < M < N avec δ θ π π = et δ φ = B B B*B (talle de l mage) Les blocs de l mage S (θ,, t + t) sont alors apparés avec les blocs smlares dans l mage de référence S (θ,, t) dans une fenêtre de recherche. ) La zone de recherche du pont P (θ, φ) notée W (θ, φ) est défne sur la sphère comme sut: 1 { ( θ, ) θ θ δθ, δ } (3) W = p < W < W Dans les équatons précédentes, les constantes ( W δ, θ W δ ) et ( W δ, θ W δ ) défnssent respectvement la talle de bloc B et la zone de recherche W sur la sphère équvalents. 3) Le bloc retenu est celu qu mnmse l erreur MSE (θ,) et permet ans de calculer le mouvement local correspondant L/ L/ ( θ, φ) = ( ( θ, φ, ) ( + θ + θ, + φ + φ, + ) (4) x= L/ y= L/ MSE S t S p d q d t t ( dˆ θ, dˆ φ) = arg mn( MSE( p, q) dθ, dφ V. EVALUATION Afn d évaluer les performances des deux algorthmes; nous avons fat une étude comparatve entre les deux méthodes la méthode du Block Matchng BM applquée drectement aux mages omndrectonnelles et la l algorthme du sphercal Block Matchng avec les mêmes paramètres (Fg.6).

4 synthèse que l on pourra passer à la phase de mse en œuvre réelle et l utlsaton d une vrae caméra. Pour l applcaton des mages de synthèses, nous avons utlsé un smulateur, développé au sen du laboratore MIS (Modélsaton Informaton et Systèmes) de l unversté Pcarde Jules Verne, qu donne la possblté de créer des prses de vue d un envronnement 3D. Nous avons utlsé dans la séquence de synthèse des rectangles qu représentent des portes dans le cas des mages omndrectonnelles réelles, et afn d applquer les méthodes de Block Matchng, nous avons fat bouger le rectangles à gauche dans la deuxème mage (Fg.7). Fg. 6. Etude comparatve entre Block Matchng et Sphercal Block Matchng. De plus, deux crtères de performance ont été utlsés pour évaluer nos résultats, à savor, le PSNR et l erreur entre l mage prédte et l mage courante. A. Le PSNR Le PSNR s exprme dans le cas des mages en nveaux de grs par : (55) PSNR = 10log10 N 1 N 1 1 [ P(, ) P ~ (, )] N * N Où: = 0 = 0 N N est la talle de l mage, P(, P ~ (, ) désgne un pxel de l mage de référence, ) désgne un pxel de l mage courante. 1er mage (nstant t) ème mage (nstant t+1) Fg. 7. séquence de synthèse Image prédte (PSNR= db) Vecteur de déplacement Fg. 8. Résultats obtenus avec Block Matchng B=16 ; W=33. B. Image Erreur IE= (mage prédte-image courante) = ( p(,, ) ~ p (, )) VI. APPLICATION Afn d évaluer les performances des algorthmes d écrts dans ce traval, nous testerons nos technques sur deux gammes d mages : des mages de synthèse et des mages omndrectonnelles, en utlsant pour chaque méthode les mêmes paramètres à savor la talle du bloc et la zone de recherche. Le chox de la dmenson du bloc M*N et de la fenêtre de recherche W s est fat en testant arbtrarement des talles dfférentes : 4x4, 8x8, 16x16, 3x3 et 64x64. Un crtère vsuel nous a perms de retenr les talles du bloc et de la fenêtre suvantes : M*N= 16x16, W=33x33, pour la séquence de synthèse et M*N = 8x8, W= 17 pour la séquence omndrectonnelle. 1) Applcaton sur une séquence de synthèse Pour tester les algorthmes du Block Matchng, nous avons utlsé une séquence de synthèse (Fg.7) et ce n est qu après la valdaton du fonctonnement du système sur les mages de Proecton sur la sphère unté Image plan θ et φ Image prédte (PSNR= db) Vecteur de déplacement en θ et φ Fg. 9. Résultats obtenus avec Sphercal Block Matchng, Sommarement, nous pourrons dre qu avec la méthode du Sphércal Block Matchng, la drecton des vecteurs sut correctement le sens du mouvement (fgure 9). Les dfférents résultats obtenus pour les mages de synthèse sont qualtatvement très apprécables. En comparant les résultats

5 obtenus sur les mages de synthèse avec les résultats résult obtenus avec la méthode du Block Matchng applquée drectement aux mages, nous confrmons les performances de la méthode du Sphércal Block Matchng. En effet, les dfférentes régons de l mage prédte ont été ben reconstrutes à savor les contourss ce qu donne une bonne estmaton du mouvement de chaque angle solde. ) Applcaton aux mages omndrectonnelles La séquence est obtenue à l'ade d'une caméra et d un mror parabolque embarquée sur un robot 40 Fg. 13. Image prédte PSNR=35,151 db BMS BM PSNR (db) frame Vecteur de déplacement en θ et φ Image Erreur Fg. 10. Les résultats obtenus Courbe des PSNRs (BM/BMS) Fg. 14. Résultats obtenus avec Sphercal Block Matchng Les dfférents résultats obtenus avec la méthode du Block Matchng montrent ben l nsuffsance de cette démarche dans les mages omndrectonnelles (vor fgure10). En effet, le résultat d estmaton obtenu par p exemple dans la fgure 1 montre ben cette nsuffsance de prédcton des dfférents contours exstants dans cette mage. Nous remarquons d après le résultat donné qu l y a un effet de bloc dans les mages prédtes. L mage prédte représentée dans d la fgure11 est resttuée à partr des vecteurs de déplacement en θ et φ sans artefacts vsble presque confondue avec l mage orgnale. En contre parte, celle de la fgure.13 fgure. est resttuée à partr du vecteur de déplacement en x et y avec de artefacts au nveau des régons contenant des contours, et un effet de pxellsaton et du bloc où l mage apparaît altérée. L estmaton du mouvement avec Sphercal Block Matchng a été quasment quas parfate pour les mages omndrectonnelles. Fg. 11. Image prédte PSNR=31,9 db VII. CONCLUSION Vecteur de déplacement en x et y Image Erreur Fg. 1. Résultats obtenus avec Block Matchng B=8 et W=17 Dans cet artcle, nous avons fat une étude comparatve entre Block lock Matchng et sphercal Block Matchng applqué aux mages omndrectonnelles. Les résultats expérmentaux ont montré l effcacté de l analyse sphérque pour l estmaton du mouvement dans mages omndrectonnelles. En effet, dans nos dfférentes expérences, cette méthode nous a perms de reconstrure les dfférentes régons et d attendre des PSNRs de qualté dépassant dépassa les résultats obtenus avec Block Matchng fgure (Fg13). ).

6 D après les dfférents résultats obtenus, nous pourrons dre que le tratement sur la sphère donne des résultats plus performants que précédemment. De plus, nous remarquons une très bonne estmaton au nveau des contours comme le montre ben l mage prédte de la fgure (Fg13) En général, nous pouvons conclure que la technque Sphercal Block Matchng permet d attendre des résultats très ntéressants. Son applcaton à des mages catadoptrques a perms d estmer le mouvement de chaque bloc tout en conservant une melleure qualté vsuelle ans qu une bonne qualté de mesure. Pour rendre la méthode Sphercal Block Matchng plus robuste, l est souhatable d ntégrer d autres stratéges de recherche du Block Matchng [1] [13]. Néanmons des améloratons peuvent être apportées afn d augmenter le taux de calcule et une bonne estmaton du mouvement en applquant par exemple la méthode dans un arrangement en mult résoluton qu consste à effectuer autant d estmaton du mouvement que de nveaux de décompostons [14]. L estmaton du mouvement défntve s obtendra dans l mage de résoluton la plus fne. [14] Cédrc Demonceaux Pascal Vasseur Champs de Markov pour le tratement d mages catadoptrques tratement du sgnal 005_vol_nu 5 Vson omndrectonnelle pp [15] El Mustapha Mouaddb Introducton à la vson panoramque catadoptrque tratement du sgnal 005_vol_nu 5 Vson omndrectonnelle pp REFERENCES [1] Aroh Baratya, Block, Matchng Algorthms For Moton Estmaton IEEE Transactons on Dgtal Image Proc DIP 660 Sprng 004. [] Borko Furht, Joshua Greenberg, Raymond Westwater, Moton estmaton Algorthms for Vdeo Compresson. Massachusetts: Kluwer Academc Publshers, Ch. & 3. [3] I. Tosc, and I. Bogdanova, and P. Frossard, and P. Vandergheynst, MultresolutonMoton Estmaton for Omndrectonal Images, Proc. EUSIPCO, 005. [4] Iva Bogdanova, Alexandre Bur, Henz Hugl and Perre-André Farne, Dynamc Vsual Attenton on the Sphere Ecole Polytechnque Fédérale de Lausanne (EPFL), [5] Ivana Tosc and Pascal Frossard, low bt-rate copresson of omndrectonal mage. Sgnal Processng Laboratory (LTS4) Ecole Polytechnque Fédérale de Lausanne (EPFL). [6] Vayaraghavan Thrumala, Ivana Tosc and Pascal Frossard, dstrbuted codng of multresoluton omndrectonal mage.ecole Polytechnque Fédérale de Lausanne (EPFL), [7] C. Geyer and K. Danlds, Paracatadoptrc camera calbraton, IEEE Transactons on Pattern Analyss and Machne Intellgence,vol. 4, no. 5, May 00. [8] C. Geyer and K. Danlds, Catadoptrc proectve geometry, Internatonal Journal of Computer Vson, vol. 45, no. 3, pp. 3 43, December 001. [9] T.KOGA, K. IINUMA, A. HIRANO, Y. IIJIMA, T. ISHIGURO Moton-compensated nterframe codng for vdeo conferencng Proceedngs NTC'81 (IEEE), p G G [10] L.-K. Lu et E. Feg, 'A block-based gradent descent search algorthm for block moton estmaton n vdeo codng', IEEE Trans. on Crcuts and Sys. For Vdeo Technol., Vol. 6, No 4, pp , [11] Chung, K. L. and Chang, L. C., A new predctve search area approach for fast block moton estmaton, IEEE Trans on Image Processng, Vol. 1, No. 6, pp (003). [1] Jae Hun Lee, and al, Varable block sze moton estmaton algorthm and ts hardware archtecture for H.64 /AVC, IEEE Inter.Symp. On Crcuts and Sys. May 004. [13] Km, M. J., Lee, Y. G., and Ra, J. B., A fast mult-resoluton block matchng algorthm for multple-frame moton estmaton, IEICE Trans on Informaton and Systems, Vol. E88-D, No. 1, pp (005).