Introduction aux méthodes statistiques

Transcription

1 26 Février 2008 Christian CAPARIN

2 >>Introduction BUT DE LA PREENTATION Faire une présentation non théorique des méthodes statistiques utilisées en pratique Partir des problèmes et voir les exemples de solutions apportées

3 >>Introduction Champs d'application Finance : analyse de risque, prévision de séries financières Marketing: fidélité client, détection de fraude, validation de campagnes Bioinformatique

4 >>Introduction Les caractéristiques du problème des statisticiens Un nombre important de variables Parfois des centaines Pas nécessairement de même nature Un nombre important d'individus Notamment à cause de l'apparition de l'outil informatique

5 >>Introduction Objectif du statisticien Réduire le nombre de variables du problème OU/ET Réduire le nombre d'individus

6 >>Introduction Deux solutions Modèles non supervisés Aucune variable est privilégiée l'une par rapport à l'autre Volonté de résumer toute l'information Modèles supervisés Explication d'une (ou plusieurs) variable(s) à l'aide des autres

7 >>Introduction Objectif Étude d'un méthode non supervisée A.C.P. Analyse en composantes principales

8 >>Problématique Les enjeux Constat: difficulté pour l'être humain de voir dans des espaces de dimension importante Facilité uniquement pour les espaces de dimension 1 et 2 voire trois Objectif: «résumer» des données de dimension importante dans des espaces de dimension acceptable

9 >>Problématique Un cas simple 1 Y Droite des moindres carrés 0 X 0 1

10 >>Problématique Problématique Algorithme proposé Utiliser la droite des moindres carrés pour résumer les données Inconvénients Quelle régression choisir? Celle de Y sur X ou celle de X sur Y?

11 >>Problématique Rappel: Les moindres carrés Hypothèse Y =a X b Estimation de a et b N min a,b i=1 y i a x i b 2

12 >>Problématique Problématique Décomposition de la variance VAR Y =VAR a X b VAR Y a X b variance expliquée variance résiduelle Non corrélation entre les résidus et le signal cov Y ax b, a X b =0

13 >>Un modèle non supervisé: L'ACP Vocabulaire 0,5 Variables centrées: E(X)=E(Y)=0 Variables réduites (Var(X)=Var(Y)=1) Axe factorielle=droite Vecteur directeur (a,b) F=a X+b Y Facteur F: Variable aléatoire représentant les coordonnées des points sur cet axe -0,6-0,6-0,1 0,4

14 >>Problématique Mathématisation Une relation fondamentale VAR X,Y = VAR F u VAR X,Y F u variance expliquée par l'axe variance résiduelle COV F u, X,Y F u =0 Idée d'un nouvel algorithme?

15 >>Problématique Mathématisation Algorithme pour la dimension 2 Je choisis l'axe qui donne la plus grande variance expliquée L'autre axe factoriel est l'axe orthogonal au précédent (et qui passe par O) A-t-on fini?

16 >>Problématique Mathématisation Problème i on est en dimension supérieure ou égale à 3, quel sera le deuxième axe factoriel qu'on va choisir? olution Prendre des axes factoriels qui Expliquent le maximum de variance ont non corrélés aux précédents

17 >>Un modèle non supervisé: L'ACP Données: Algorithme Une population sur laquelle sont renseignées les variables X 1,..., X p quantitatives Initialisation: Je choisis comme premier axe l'axe qui explique la plus grande variance possible Phase itérative Je prends comme axe suivant, l'axe qui explique la plus grande variance possible mais qui en'est pas corrélé avec les axes déjà trouvés.

18 >>Un modèle non supervisé: L'ACP Algorithme: Phase d'initialisation Je cherche le premier facteur F 1 comme combinaison linéaire des variables initiales F 1 =α 1 X α p X p (α 1,..,α p ) vecteur unitaire Je choisis les α 1,...,α p de façon à ce qu'ils maximisent var F 1.

19 >>Un modèle non supervisé: L'ACP Données: Algorithme: Phase itérative J'ai déjà trouvé les facteurs F 1, F k-1 Je cherche le facteur F k comme combinaison linéaire des variables initiales F k =β 1 X β p X p Je choisis les β 1,...,β p de façon à ce qu'ils maximisent var F k sous la contrainte: cov(f k,f n )=0 pour 1 n<k

20 >>Un modèle non supervisé: L'ACP Quelques résultats(i) Les vecteurs solutions sont les vecteurs propres de la matrice de covariance des variables. = cov X i, X j 1 i p,1 j p

21 >>Un modèle non supervisé: L'ACP Quelques résultats(ii) La somme des variances des F i est égale à la variance totale de l'échantillon ouvent, on ne parle qu'en terme de pourcentage de la variance totale

22 >>Un modèle non supervisé: L'ACP Quelques résultats(iii) On peut exprimer X i une variable en fonction des facteurs X i =α 1 F α p F p On peut exprimer les α k facilement α k =cov(x i,f k )/var(f k )

23 >>Un exemple Un exemple Iris Virginica Iris Versicolor Iris etosa

24 >>Un exemple Un exemple Échantillon de 150 fleurs de ce type (50 de chaque type) Description de chaque fleur avec quatre variables Longueur et largeur du sépale Longueur et largeur de la pétale

25 >>Un exemple Une petite définition

26 >>Un exemple Un exemple LONGUEUR EPALE LARGEUR EPALE LONGUEUR PETALE LARGEUR PETALE TYPE Iris-setosa Iris-setosa Iris-setosa Iris-setosa Iris-setosa

27 >>Un exemple Les graphiques usuels Longueur_epale Largeur_epale Longueur_Petale Largeur_Petale 1.0 Ty peiris Page 1

28 >>Un exemple Variance de chaque axe Axe 1 73% Axe 2 22% Axe 3 4% Axe 4 1% 0 0,5 1 1,5 2 2,5 3

29 >>Un modèle non supervisé: L'ACP Projection des variables 1 Axe factoriel 1 Axe factoriel 2 0 LONGUEUR_PETALE LARGEUR_PETALE Moyenne LONGUEUR_EPALE LARGEUR_EPALE

30 >>Un exemple Projection des individus AXE FACTORIEL AXE FACTORIEL 1

31 >>Un exemple Faibles largeur, longueur de pétales et longueur de sépale Le premier axe Fortes largeur, longueur de pétales et forte longueur de pétale ETOA RGINICA

32 >>Un exemple Projection des variables 1 Axe factoriel 1 Axe factoriel 2 0 LONGUEUR_PETALE LARGEUR_PETALE Moyenne LONGUEUR_EPALE LARGEUR_EPALE

33 >>Un exemple Projection des individus AXE FACTORIEL AXE FACTORIEL 1

34 >>Un exemple Le second axe Forte largeur de sépale Faible largeur de sépale ETOA RICOLOR

35 >>Un exemple Le rapport AXE FACTORIEL AXE FACTORIEL 1

36 >>Autres applications Petit bilan Possibilité de réduire de façon intéressante le nombre de variables Possibilité de faire des typologies uniquement à partir des graphiques L'ACP est une technique utilisée dans beaucoup de domaines...

37 >>Autres applications Réduction de variables Objectif: économiser du temps machine Exemple: réduction de variables pour un logiciel de simulation de risque Objectif: Améliorer les précisions du modèle Cas de la régression

38 >>Autres applications Résumé/Classification Résumé d'un échantillon Des axes d'opposition dans une population Classification des individus dans une population Trouver des groupes dans une population Expliquer des groupes prédéterminés par une ACP généralisée.