Apprentissage du filtre de Kalman couple avec application à la poursuite de l iris Valérian Némesin, Stéphane Derrode, Institut Fresnel (UMR 7249) Ecole Centrale Marseille,
Vidéo de l oeil 2
Sommaire 1. Détection de la pupille 2. Sélection des images 1. Pupil detection 5./6. Poursuite 3. Segmentation de l iris 4. Fusion des iris-codes 5. Poursuite (Kalman) 6. Apprentissage des paramètres 2. Image selection 3. Iris segmentation 4. Iris code computation and fusion 3
1. Détection de la pupille 1. Pupil detection 5/6. Kalman tracking 2. Image selection A. Seuillage de l histogramme B. Sélection des candidats 3. Iris segmentation 4. Iris code computation and fusion Original frame and ROI Segmented pupil 4
2. Sélection des images Filtrage passe-haut (noyau de Park [1]): 1. Pupil detection 2. Image selection 5./6. Kalman tracking 3. Iris segmentation 4. Iris code computation and fusion Score de focus: Image de faible qualité (rejetée) Image de bonne qualité [1] B.J. Kang and K.R. Park, Lecture Notes in Computer Science 3546, pp. 251 262, 2005. 5
3. Segmentation de l iris 1. Pupil detection 5./6. Kalman tracking A. Opérateur de Daugman's B. Détecteur de paupières 2. Image selection 3. Iris segmentation 4. Iris code computation and fusion Original image Segmented iris 6
3. Segmentation de l iris 1. Pupil detection 5./6. Kalman tracking A. Opérateur intégro-différentiel de J. Daugman [2] 2. Image selection 3. Iris segmentation 4. Iris code computation and fusion Détection de l iris selon l opérateur de Daugman [2] J. Daugman, IEEE Trans. on Circuits and Systems for Video Technology, 2004. 7
3. Segmentation de l iris 1. Pupil detection 5./6. Kalman tracking B. Détecteur de paupières - Algorithme développé dans [3] utilisé comme détecteur de paupières 2. Image selection 3. Iris segmentation 4. Iris code computation and fusion [3] Haddouche, A., et al: Detection of the foveal avascular zone on retinal angiograms using Markov random fields. Digital Signal Processing 20, 149 154 (2010) 8
4. Fusion des iris-codes 1. Pupil detection 5./6. Kalman tracking 2. Image selection 3. Iris segmentation 4. Iris code computation and fusion 9
4. Fusion des iris-codes 1. Pupil detection 5./6. Kalman tracking 2. Image selection 3. Iris segmentation 4. Iris code computation and fusion 10
5. Poursuite (Kalman) Filtre de «Kalman couple» [3] avec Paramètres: [4] W. Pieczynski and F. Desbouvries, ICASSP 03, Apr. 2003. 11
5. Poursuite (Kalman) Les équations du filtre Constantes Prédiction 12
5. Poursuite (Kalman) Filtrage Lissage 13
5. Poursuite (Kalman) Pb numériques important concernant l estimation des matrices de covariance (P). -> Propriété : P = S T S avec S matrice triangulaire supérieure. S peut être calculée efficacement avec un algorithme QR. ->Idée : Calculer les racines des matrices de covariance et non les matrices elles-mêmes. Pour cela, on va étendre la technique développée dans [5] pour le filtre de Kalman au cas du filtre de Kalman couple. [5] P. Kaminski, A. Bryson, and S. Schmidt, IEEE Trans. Autom. Control, Dec. 1971. 14
5. Poursuite (Kalman) Exemple pour le filtrage filtrage Racines carrées «triviales» prédiction Les deux matrices sont liées par une matrice orthogonale Q*. La décomposition QR de donne. Nous obtenons et. On répète la même stratégie pour toutes les autres matrices définies positives : 15
6. Estimation des paramètres Algorithme EM [4] Requiert filtrage et lissage à chaque itération avec Mise en œuvre d algorithmes robustes pour l estimation de Q et F, à chaque itération i. [4] B. Ait-el-Fquih and F. Desbouvries, ICASSP 06, May 2006. 16
6. Estimation des paramètres Evolution de la plus petite valeur propre de Q en fonction des itérations. 17
Résultats de poursuite http://www.fresnel.fr/perso/nemesin/index.php?url=demo.php&demo=it.php 18
Conclusion Conclusion Construction d un iris-code à partir d un flux vidéo par sélection des iris de «meilleure qualité» dans le flux vidéo. Poursuite réalisée par un filtre de Kalman dont les paramètres sont appris automatiquement Réduit le nombre de trames perdues Réduit les temps de calcul (~30%) 19
Travaux en cours 1/2 Travaux en cours «Temps réel» : 20 trames par seconde 20
Travaux en cours 2/2 Travaux en cours Evaluation systématique (MBGC) 137 individus soit 274 classes d'iris 8589 images 986 vidéos http://www.nist.gov/itl/iad/ig/mbgc.cfm 21