Les visages. GIF-4105/7101 Photographie Algorithmique, Hiver 2015 Jean-François Lalonde

Transcription

1 Les visages GIF-4105/7101 Photographie Algorithmique, Hiver 2015 Jean-François Lalonde Merci à Derek Hoiem, Lana Lazebnik, Silvio Savarese, Fei-Fei Li

2 Détection et reconnaissance de visages Détection Reconnaissance Isabelle

3 Applications Organisation d albums Photographie numérique

4 Détection

5 Comment trouver un visage dans une image? Filtrons avec un visage? Quel visage??

6 Apprenons le filtre! Normalize mean and standard deviation SVM

7 Détection de visages: fenêtre glissante Filtre (modèle) Plusieurs échelles

8 Quelle représentation? Filtres de Haar (Viola Jones 2000)

9 Pourquoi c est difficile?

10 Expressions

11 Orientation

12 Occlusions

13 Illumination Source:

14

15 Application commerciale: iphoto

16 Application commerciale: iphoto

17 Application commerciale: iphoto

18 Reconnaissance

19 Reconnaissance de visages 1. Détection 2. Alignement x 3. Représentation 4. Classification

20 Exemple simple Représentation = l image elle-même! x Reconnaissance par plus proche voisin y...y 1 n k = argmin k T k y x

21 DeepFace Alignement en 3D Apprentissage par réseaux profonds

22 Alignement

23 Alignement Antonio Torralba & Aude Oliva (2002) Moyennes: des centaines d images contenant une personne sont moyennées pour révéler les régularités dans les variations d intensité à travers toutes les images

24 Cross-Dissolve vs. Morphage Crédit: James Hays

25 Comment calculer le visage moyen?

26 Apparence vs forme Vecteur d apparence Vecteur de dimensions 200*150*3 200*150 pixels (RGB) Vecteur de forme Vecteur de dimensions 43*2 43 coordonnées (x,y)

27 Notre visage moyen Crédit: Yannick Hold-Geoffroy

28 L homme moyen

29 La femme moyenne

30 Autres moyennes Femme moyenne Homme moyen Enfant moyen Homme souriant moyen faceresearch.org

31 Eigenfaces ( visages propres ) Données d entraînement

32 Analyse en Composantes Principales Étant donné un ensemble de points dans un espace à M dimensions, l ACP trouve: les directions de variations principales perpendiculaires les coefficients de chacune de ces directions, indiquant la quantité de variation présente Le premier vecteur indique la direction de variation la plus importante, le deuxième x1 2eme composante principale x1 1ère composante principale x0 x0

33 ACP Démo Matlab!

34 ACP Technique de réduction de dimensionnalité : on peut conserver seulement les n vecteurs propres les plus importants (car ce sont eux qui capturent les directions de variation dans notre signal!) n vecteurs = un système de coordonnées approximatif, qui minimise la somme des différences au carré (encore celle-là!) de tous les bases possibles! valeurs propres 1 n M

35 "Visages propres Les vecteurs propres sont des images! Qu est-ce qu ils indiquent?

36 Visages propres Effectuer ACP sur des visages nous donne un système de coordonnées Si le nombre de vecteurs est assez grand pour représenter l espace des visages adéquatement: Tous les visages peuvent être représentés par une combinaison linéaire de ces vecteurs!

37 Application: rasage virtuel Hoai et al., Eurographics 2008

38 La barbe! Hoai et al., Eurographics 2008

39 Problèmes Les données doivent être alignées!

40 Utilisons aussi la forme! Vecteur d apparence Vecteur de dimensions 200*150*3 200*150 pixels (RGB) Vecteur de forme Vecteur de dimensions 43*2 43 coordonnées (x,y)

41 Manipulons les visages Visage courant Visage transformé Prototype 1 Prototype 2

42 Autres attributs

43 Face recognition by humans: 20 results all computer vision researchers should know about Sinha et al., 2005

44 Résultat 1 Nous pouvons reconnaître les visages à très faible résolution re 1. Unlike current machine based systems, human observers are able to handle signifi

45 Résultat 4 Les hautes fréquences à elles seules en sont pas suffisantes pour reconnaître un visage

46 Résultat 5 Les sourcils sont parmi les parties du visage les plus importantes!

47 Résultat 8 L inversion du visage affecte dramatiquement les performances!

48 Résultat 18 Une partie de notre cerveau est dédiée aux visages

49 Résultat 20 Notre mémoire est limitée lorsque les visages sont vus rapidement

50 Laquelle est plus belle?

51

52 Survol