CLASSIFICATION WITH CLASS-INDEPENDENT QUALITY INFORMATION FOR BIOMETRIC VERIFICATION

Transcription

1 CLASSIFICATION WITH CLASS-INDEPENDENT QUALITY INFORMATION FOR BIOMETRIC VERIFICATION THÈSE N O 3953 (2007) PRÉSENTÉE LE 16 NOVEMBRE 2007 À LA FACULTÉ DES SCIENCES ET TECHNIQUES DE L'INGÉNIEUR INSTITUT DE TRAITEMENT DES SIGNAUX SECTION DE GÉNIE ÉLECTRIQUE ET ÉLECTRONIQUE ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Krzysztof KRYSZCZUK M. Sc. in Psychology, Rensselaer Polytechnic Institute, Troy, New York, Etats-Unis et de nationalité polonaise acceptée sur proposition du jury: Prof. J. R. Mosig, président du jury Dr A. Drygajlo, directeur de thèse Prof. J. Kittler, rapporteur Prof. F. Roli, rapporteur Prof. J.-Ph. Thiran, rapporteur Lausanne, EPFL 2008

2 Contents Resumé Abstract List of Figures List of Tables Glossary ix xi xvii xx xxi 1 Introduction What is biometric authentication? Unconstrained environments - a challenge for biometric classification systems Measuring quality of biometric signals Biometric identity verification with quality measures: a problem or a variety of problems? Objectives of the thesis From pattern recognition theory to biometric identity verification Main contributions Organization of the thesis State of the art Introduction Overview of pattern classification Basic concepts Generative versus discriminative classifiers Statistical versus heuristic methods Classifier ensembles Dichotomization Biometric identity verification as a pattern classification problem Biometric identity verification Information flow in a biometric system Classification errors and quality of biometric data Dealing with low-quality data Quality measures for biometric signals Face image quality measures Fingerprint quality measures Classification with class-independent quality information Single-classifier systems with quality measures v

3 vi Contents Multiple-classifier systems with quality measures Predicting and handling classifier errors Basic concepts behind error prediction in pattern classification Predicting classification errors Probability of error as a single event probability Interpretations of probability Summary Classification with class-independent quality information Introduction Similarity scores and signal quality, revisited Classification with class-independent quality information Evidence Classification in the evidence space Dependence between features, feature relevance, and class separation Towards an understanding of feature dependencies and their impact on classification Theoretical foundations Bivariate normal case with equal correlation coefficients Graphical representations and numerical simulations Extension to more than two dimensions Non-Gaussian distributions Bivariate normal case with unequal correlation coefficients Data-driven statistical classification in the evidence space Q stack: improving classification with quality information Q stack architectures in single- and multiple classifier systems Q stack as a generalized approach to classification with quality measures Single classifier systems with quality measures Multiple classifier and multimodal systems with quality measures Problem of data dimensionality A closer look at noise and quality measures Q stack - a generalized algorithm Summary Credence and single error prediction Introduction Predicting single classifier errors Probability of error Q stack for credence estimation Evaluation criteria for credence estimates Examples: synthetic data Gaussian case - equal distributions Gaussian case - unequal marginal score distributions Practical relevance Summary

4 Contents vii 5 Evaluation - biometric identity verification Introduction The Biosec database and experimental protocol Q stack classifiers Structure of the experiments and experimental reporting Face Modality Baseline classifiers Quality measures Q stack in face verification Error prediction and rejection Fingerprint Modality Baseline classifier Quality measures Q stack in fingerprint verification Error prediction and rejection Multimodal fusion: face + fingerprint Conclusions Summary Conclusions Q stack: stacking-based classification with class-independent information Development and proper choice of quality measures Credence-based error prediction and rejection Practical evaluation using a multimodal biometric database Future work Appendix 163 A: Feature correlations and distance between bivariate normal distributions B: Q stack for multiplicative noise C: DET curves for the evaluation experiments Bibliography 181 Curriculum Vitae 193

5 Resumé Les systèmes de vérification biométrique d identité rencontrent fréquemment des difficultés engendrées par des conditions d acquisition de données non contrôlées. Dans de telles conditions les signaux biométriques peuvent subir une dégradation qualitative due à des facteurs externes et indépendant de l identité vérifiée. Il a été démontré dans de nombreux rapports qu une dégradation de la qualité du signal biométrique est une cause fréquente de détérioration de la performance de classification. Cet effet se produit également pour les systèmes de classificateurs multiples et de systèmes multimodaux, lesquels sont systématiquement plus performant que leurs équivalents mono-classificateurs. En cherchant à améliorer la robustesse des classificateurs face à des données dégradées, les chercheurs ont commencé à introduire des mesures de qualité de signal dans les méthodes de classification. Dans les approches existantes, le rôle de l information de qualité indépendante des classes est régi par des notions intuitives plutôt que mathématiques, résultant dans une distinction claire entre les méthodes mono-classificateur, multi-classificateur ou multimodales. Les chercheurs ont porté plus d attention sur l application de mesures de qualité dans les systèmes de classificateur multiples, avec l idée sous-jacente qu un classificateur ayant à disposition des données de haute qualité doit être privilégié par rapport à un classificateur qui opère dans un environnement bruyant. Dans le cas de systèmes mono-classificateurs, la qualité a été utilisée pour la sélection de modèles, classificateurs ou seuils. Dans les deux cas, les mesures de qualité ont la fonction de méta-information qui supervise mais n intervient pas directement avec le ou les classificateurs utilisés pour classifier les attributs spécifiques a chaque modalité et les attributs sélectifs pour chaque classe. Dans cette thèse nous argumentons que le même mécanisme régit l utilisation des mesures de qualité dans les systèmes de classification simple et multiple, et nous présentons une perspective quantitative plutôt qu intuitive sur le rôle des mesures de qualité dans la classification. Nous notons le fait que pour un ensemble donné d attributs avec leurs distributions marginales fixées, la séparation des classes dans l espace joint des attributs change avec les dépendances statistiques observées entre chaque attribut. Le même effet s applique si cet espace contient des attributs indépendants des classes. En conséquence, nous démontrons que la séparation de classes peut être améliorée en augmentant l espace des attributs avec des informations de qualité, indépendantes des classes, sous réserve qu il y ait des dépendances statistiques avec les attributs sélectifs. Nous discutons comment construire des ensembles de mesures de qualité de classificateur dans lesquels les dépendances entre les scores de classification et attributs de qualité permettent de diminuer davantage les erreurs de classification par rapport à un système n utilisant que scores de classification. Nous proposons un nouveau cadre théorique, Q stack, qui améliore la classification avec des mesures de qualité indépendantes des classes, basées sur le concept de superposition de classificateurs (stacking). Q stack considère un ensemble de classificateur dans lequel la première couche de classificateur est constituée de classificateurs unimodaux, et la seconde de classificateurs qui opèrent ix

6 x Resumé sur des attributs composés de scores normalisés de similarité et de mesures appropriées de qualité. Nous présentons Q stack comme un cadre général de classification basée sur l information de qualité et nous soutenons que les méthodes précédemment proposées de classification avec des mesures de qualité sont des cas particuliers de Q stack. Nous discutons ensuite du problème de l estimation de la probabilité d une erreur unique de classification. Nous proposons d utiliser l interprétation bayésienne de la probabilité d événement unique pour évaluer l exactitude des décisions de classification. Nous proposons d appliquer la méthode de prévision des erreurs basée sur la confiance (credence) comme une extension du cadre proposé par Q Stack utilisant un classificateur bayésien superposé. La méthode d estimation de confiance proposée et la prévision d erreur héritent de l avantage de l incorporation directe d information de qualité dans l estimation de confiance. Nous proposons un ensemble de critères objectifs d évaluation pour les estimations de confiance. Nous discutons comment la méthode proposée peut être appliquée en association a une stratégie appropriée de réparation pour ramener des erreurs de classification à un niveau de cible désiré. En conclusion, nous montrons une application de Q stack et de son extension fonctionnelle à la prévision d erreur liée à la vérification biométrique d identité en utilisant des modalités de visage et d empreinte digitale, ainsi que leurs combinaisons multimodales, sur une base de données biométrique réelle. Nous prouvons que l utilisation des méthodes de classification et de prévision d erreur proposées dans cette thèse permet une réduction systématique des taux d erreur à un niveau inférieur à ceux des classificateurs individuels initiaux. Mots-clefs: reconnaissance des formes, vérification biométrique d identité, mesures de qualité, prévision des erreurs

7 Abstract Biometric identity verification systems frequently face the challenges of non-controlled conditions of data acquisition. Under such conditions biometric signals may suffer from quality degradation due to extraneous, identity-independent factors. It has been demonstrated in numerous reports that a degradation of biometric signal quality is a frequent cause of significant deterioration of classification performance, also in multiple-classifier, multimodal systems, which systematically outperform their single-classifier counterparts. Seeking to improve the robustness of classifiers to degraded data quality, researchers started to introduce measures of signal quality into the classification process. In the existing approaches, the role of class-independent quality information is governed by intuitive rather than mathematical notions, resulting in a clearly drawn distinction between the single-, multiple-classifier and multimodal approaches. The application of quality measures in a multiple-classifier system has received far more attention, with a dominant intuitive notion that a classifier that has data of higher quality at its disposal ought to be more credible than a classifier that operates on noisy signals. In the case of single-classifier systems a quality-based selection of models, classifiers or thresholds has been proposed. In both cases, quality measures have the function of meta-information which supervises but not intervenes with the actual classifier or classifiers employed to assign class labels to modality-specific and class-selective features. In this thesis we argue that in fact the very same mechanism governs the use of quality measures in single- and multi-classifier systems alike, and we present a quantitative rather than intuitive perspective on the role of quality measures in classification. We notice the fact that for a given set of classification features and their fixed marginal distributions, the class separation in the joint feature space changes with the statistical dependencies observed between the individual features. The same effect applies to a feature space in which some of the features are class-independent. Consequently, we demonstrate that the class separation can be improved by augmenting the feature space with class-independent quality information, provided that it sports statistical dependencies on the classselective features. We discuss how to construct classifier-quality measure ensembles in which the dependence between classification scores and the quality features helps decrease classification errors below those obtained using the classification scores alone. We propose Q stack, a novel theoretical framework of improving classification with classindependent quality measures based on the concept of classifier stacking. In the scheme of Q stack a classifier ensemble is used in which the first classifier layer is made of the baseline unimodal classifiers, and the second, stacked classifier operates on features composed of the normalized similarity scores and the relevant quality measures. We present Q stack as a generalized framework of classification with quality information and we argue that previously proposed methods of classification with quality measures are its special cases. Further in this thesis we address the problem of estimating probability of single classification errors. We propose to employ the subjective Bayesian interpretation of single event probability as xi

8 xii Abstract credence in the correctness of single classification decisions. We propose to apply the credence-based error predictor as a functional extension of the proposed Q stack framework, where a Bayesian stacked classifier is employed. As such, the proposed method of credence estimation and error prediction inherits the benefit of seamless incorporation of quality information in the process of credence estimation. We propose a set of objective evaluation criteria for credence estimates, and we discuss how the proposed method can be applied together with an appropriate repair strategy to reduce classification errors to a desired target level. Finally, we demonstrate the application of Q stack and its functional extension to single error prediction on the task of biometric identity verification using face and fingerprint modalities, and their multimodal combinations, using a real biometric database. We show that the use of the classification and error prediction methods proposed in this thesis allows for a systematic reduction of the error rates below those of the baseline classifiers. Keywords: pattern recognition, biometric identity verification, quality measures, error prediction