Les Méthodes PLS. Pierre-Louis Gonzalez. Michel Tenenhaus

Transcription

1 Les Méthodes PLS Pierre-Louis Gonzalez Michel Tenenhaus 1

2 Les méthodes PLS initiées par Herman et Svante Wold I. NIPALS (Nonlinear Iterative Partial Least Squares) II. Régression PLS (Partial Least Squares Regression) II.1 PLS1 II.2 PLS2 III Analyse discriminante PLS IV. Régression logistique PLS 2

3 I. La méthode NIPALS Analyse en composantes principales Possibilité de données manquantes. Validation croisée pour choisir le nombre de composantes. Identification des outliers avec - une carte de contrôle des observations, - des tests sur les écarts au modèle de l ACP. 3

4 Utilisation de NIPALS :Exemple voitures Modèle Cylindrée Puissance Vitesse Poids Longueur Largeur Honda Civic Renault Fiat Tipo Citroën AX Sport Il y a une observation manquante par véhicule! Le principe de NIPALS: Comment projeter un point avec données manquantes? 4

5 Projection sur un axe x i * * * 0 * * * * * t i u x i o o o o o o t des x i ' u u ' u moindres i = = pente carrés de 0 la droite sans constante u de x i sur u 5

6 Projection d un point avec données manquantes sur un axe x i * * * 0 * * * * * t i u x i o Valeur manquante o o o o o S'il y a des données 0 manquantes u xi ' u ti = est calculé u' u disponibles sur les données 6

7 L algorithme NIPALS Recherche des composantes principales Données : X = {x ij } tableau n k, x j = variable j x i = observation i Modèle de l ACP : X = t 1 p t k p k avec (1) p 1,, p k orthonormés ( axes ) et (2) t 1,, t k orthogonaux ( composantes principales ) 7

8 L algorithme NIPALS Recherche de la première composante principale Modèle : X = t 1 p 1 + résidu, avec p 1 normé Algorithme : les équations de base (1) Si t 1 connu, calcul de p 1j par régression : x j = p 1j t 1 + résidu (2) Normalisation de p 1 = (p 11,,p 1k ) (3) Si p 1 connu, calcul de t 1i par régression : x i = t 1i p 1 + résidu Algorithme : fonctionnement - Prendre t 1 = x 1, puis itérer sur (1), (2), (3). - Si données manquantes, faire les calculs sur toutes les données disponibles. 8

9 Commentaires: Les relations cycliques découlant des équations de base de l algorithme montrent que λ 1 est la plus grande valeur propre vérifiant les équations suivantes: 1 n 1 1 n 1 X ' Xp = λ p X X ' t = λ t Nous avons divisé par n-1 pour retrouver les résultats de SIMCA. Ce calcul est une application de la méthode de la puissance itérée pour le calcul du vecteur propre d une matrice associé à la plus grande valeur propre ( Hotelling-1936; Anderson-1958) 9

10 Projection sur l axe 1 x i * * * 0 * * * * * t 1i p 1 x i o o o o o o x 'p i 1 t 1i = = p 1'p1 i 1 0 pente de la droite des moindres carrés sans constante de x sur p 10 p 1

11 L algorithme NIPALS Recherche des autres composantes principales La première étape donne : X = t 1 p 1 + X 1 On répète les opérations précédentes sur la matrice des résidus X 1 de la régression de X sur t 1. On obtient : X 1 = t 2 p 2 + X 2 et X = t 1 p 1 + t 2 p 2 + X 2 On obtient de même les autres composantes. 11

12 RESS h et PRESS h A chaque étape on étudie la reconstitution du tableau X : ' ' ' 1p1 + t 2p t hph Xˆ = t + Residual Sum of Squares : RESS 2 h (xij xˆ ij) i, j = Les cases de X sont partagées en G groupes, et on réalise G factorisations en enlevant à chaque fois un seul des groupes. Predicted Residual Sum of Squares : xˆ PRESS 2 h (xij xˆ ( ij) ) i,j = où ( ij) est calculé dans l analyse réalisée sans le groupe contenant la case (i,j). 12

13 L algorithme NIPALS Choix du nombre de composantes On choisit le nombre de composantes principales par validation croisée. La composante t h est retenue si Q 2 = 1 PRESS RESS h h 1 limite 13

14 Q 2 (cum) et R 2 (validation croisée) [ Q 2 cum ] h = 1 h PRESS RESS a a= 1 a 1 peu différent de R 2 validation croisée = 1 PRESS j h s 2 j / n 1 La composante h est retenue si : 2 2 [ Q cum ] h est nettement supérieur à [ Qcum] h 1 CONSEIL : Modèle à h composantes acceptable si [Q 2 cum] h >

15 Utilisation de NIPALS : Exemple voitures autobis.m1 (PC), Untitled, Work set Model Overview (cum) R2X(cum) Q2(cum) R2X(cum) & Q2(cum) Comp[1] Comp[2] Comp[3] Comp[4] Simca-P 8.0 by Umetrics AB :38 La validation croisée conduit à deux composantes. 15

16 NIPALS : Exemple Voitures Carte des variables ("les vecteurs propres") 0.6 VITESSE 0.4 PUISSANCE 0.2 p[2] p[1] CYLINDRÉE LONGUEUR POIDS LARGEUR Simca-P 3.01 by Umetri AB :26 16

17 NIPALS : Exemple Voitures Carte des voitures (les 2 premières "composantes principales") t[2] fiat uno ford fie citroen peugeot peugeot seat ibi bmw 325i audi 90 honda ci peugeot renault citroen fiat tip peugeot renault ford sie renault opel ome nissan v vw carav t[1] Ellipse: Hotelling T2 (0.05) rover bmw i renault ford sco Simca-P 3.01 by Umetri AB :29 17

18 NIPALS : Identification des outliers Carte de contrôle des distances au modèle normalisées 2.00 DCrit (0.05) 1.80 nissan vanet 1.60 bmw 325ix 1.40 ford scorpio DModX[2] honda civic renault 21 peugeot 405 fiat tipo renault 19 citroen bx bmw 530i renault 25 opel omega peugeot 205 renault espa vw caravelle audi 90 quat fiat uno 0.60 peugeot 405b ford sierra rover 827i ford fiesta peugeot 205r seat ibiza s citroen a Dcrit [2] = , Normalized distances, Non weighted residuals Simca-P 8.0 by Umetrics AB :00 18

19 Calcul de la limite de contrôle x i * Propriété : DModX * * * 2 d (xi, yi) F(k,k ) 1 n 1 2 y 2 i * * * d (xi, yi) n i= 1 * = Limite de contrôle : F0.95(k1,k2) 19

20 Probabilité d appartenir au modèle Test : H 0 : l observation i appartient au modèle de l ACP H 1 : l observation i n appartient pas au modèle Décision : On rejette H 0 au risque α de se tromper si DModX F1 α ( k1, k2) Niveau de signification ou «probabilité d appartenir au modèle» : Plus petit α conduisant au rejet de H 0 = Prob (F(k 1,k 2 ) DModX 2 ) L individu i est exactement sur la limite de contrôle DCrit(α min ) 20

21 NIPALS : Exemple Voitures "Probabilité" d'appartenir au modèle ACP (2 composantes) rover 827i ford fiesta citroen a seat ibiza s peugeot 205r M1.PModX[2] bmw 530i citroen bx renault 19 fiat tipo peugeot 405 renault 21 honda civic renault 25 opel omega ford sierra peugeot 405b audi 90 quat fiat uno vw caravelle renault espa peugeot bmw 325ix ford scorpio nissan vanet M1.Num Simca-P 8.0 by Umetrics AB :34 PModX(Nissan Vanette) =

22 II. La régression PLS Relier un bloc de variables à expliquer Y à un bloc de variables explicatives X. Possibilité de données manquantes. Il peut y avoir beaucoup plus de variables X que d observations. Il peut y avoir beaucoup plus de variables Y que d observations. Meilleure réponse au problème de la multicolinéarité. 22

23 La régression PLS : vocabulaire Régression PLS1 : un seul Y Régression PLS2 : plusieurs Y Analyse discriminante PLS : Y qualitatif transformé en variables indicatrices des modalités 23

24 II.1. La régression PLS1 :une idée de l algorithme Etape 1 : Recherche de m composantes orthogonales t h =Xa h bien explicatives de leur propre groupe et bien corrélées à y. Le nombre m est obtenu par validation croisée. Etape 2 : Régression de Y sur les composantes PLS t h. Etape 3 : Expression de la régression en fonction de X. 24

25 Objectif de l étape 1 de la régression PLS1 X 2 * * * * t 1 * * CPX 1 y * * * * * * * X 1 CPX 1 y * * * * * * t 1 25

26 La régression PLS1 : une idée de l étape 1 lorsqu il n y a pas de données manquantes Pour chaque h = 1 à m, on recherche des composantes t h =Xa h maximisant le critère Cov (Xa h, y) sous des contraintes de norme ( = 1 ) et d orthogonalité entre t h et les composantes précédentes t 1,, t h-1. a h 26

27 Propriétés de la régression PLS1 De Cov 2 (Xa h, y) = Cor 2 (Xa h, y)*var(xa h )*Var(y) on déduit que la régression PLS1 réalise un compromis entre la régression multiple de y sur X et l analyse en composantes principales de X. 27

28 Régression PLS1: Étape 1 1. Calcul de la première composante PLS t 1 : t = Xa = cor( y, x j ) x j 1 1 j Lors de cette étape les covariances sont égales aux corrélations, puisque toutes les données sont centrées réduites 2. Normalisation du vecteur a 1 = (a 11,,a 1k ) 3. Régression de y sur t 1 =Xa 1 exprimée en fonction des x 4. Calcul des résidus y 1 et X 1 des régressions de y et X sur t 1 : - y = c 1 t 1 + y 1 - X = t 1 p 1 + X 1 28

29 Régression PLS1: Étape 2 1. Calcul de la deuxième composante PLS t 2 : t = = 2 X1b2 cov( y1, x1 j ) x1 2. Normalisation du vecteur b 2 = (b 21,,b 2k ) j 3. Calcul de a 2 tel que : t 2 = X 1 b 2 = Xa 2 4. Régression de y 1 sur t 2 = Xa 2 exprimée en fonction des x 5. Calcul des résidus y 2 et X 2 des régressions de y et X 1 sur t 2 : - y 1 = c 2 t 2 + y 2 - X 1 = t 2 p 2 + X 2 j 29

30 Régression PLS1: Étapes suivantes On procède de la même manière pour les autres composantes. D où le modèle de régression PLS à m composantes : y = c 1 t 1 + c 2 t c m t m + Résidu = c 1 Xa 1 + c 2 Xa c m Xa m + Résidu = X(c 1 a 1 + c 2 a c m a m ) + Résidu = b 1 x 1 + b 2 x b k x k + Résidu ŷ 30

31 Calcul de RESS h et PRESS h à l étape h Residual Sum of Squares : où ŷ = c ( h 1),i ht hi RESS 2 h (y(h 1),i ŷ(h 1),i ) i = est la prévision de y (h-1),i Les observations sont partagées en G groupes, et on réalise G fois l étape courante de l algorithme sur y h-1 et X h-1 en enlevant à chaque fois un groupe. Predicted Residual Sum of Squares : ŷ PRESS 2 h (y(h 1),i ŷ(h 1), i) i = où est calculé dans l analyse réalisée sans le groupe (h 1), i contenant l observation (i). 31

32 Choix du nombre de composantes On choisit le nombre de composantes par validation croisée. La composante h est retenue si [PRESS h ] 0.95 [RESS h-1 ] Soit : Q 2 = 1 PRESS RESS h h

33 Q 2 (cum) et R 2 (validation croisée) [ Q 2 cum ] h = 1 h PRESS RESS a a= 1 a 1 peu différent de 2 PRESSh Rvalidation croisée = 1 2 ( y y) La composante h est retenue si : 2 2 [ Q cum ] h est nettement supérieur à [ Qcum] h 1 i i Modèle à h composantes acceptable si [Q 2 cum ] h >

34 Variable Importance in the Prediction (VIP) Composantes PLS : t h =X h-1 b h, avec b h = 1 Importance de la variable x j (j=1,, p) pour la prédiction de y dans un modèle à m composantes : VIP mj = m h= 1 R 2 p ( y, t h ) m h= 1 R 2 ( y, t h ) b 2 hj Moyenne des carrés des VIP = 1 Variable importante pour la prédiction si VIP >

35 Régression PLS1 : Exemple Voitures Problèmes : multicolinéarité, données manquantes Données complètes Modèle Prix Cylindrée Puissance Vitesse Poids Longueur Largeur Honda Civic Renault Fiat Tipo Citroën AX Sport Données incomplètes Modèle Prix Cylindrée Puissance Vitesse Poids Longueur Largeur Honda Civic Renault Fiat Tipo Citroën AX Sport

36 Régression multiple sur les données complètes R 2 = 0.847, F = Sig. = Unstandardized Coefficients Coefficients a Standardized Coefficients Model B Std. Error Beta t Sig. (Constant) CYLINDRE PUISSANC VITESSE POIDS LONGUEUR LARGEUR a. Dependent Variable: PRIX 36

37 Corrélations entre les variables Correlation Matrix PRIX CYLINDRE PUISSANC VITESSE POIDS LONGUEUR LARGEUR Correlation PRIX CYLINDRE PUISSANC VITESSE POIDS LONGUEUR LARGEUR

38 Régression PLS sur les données incomplètes Choix du nombre de composantes autopbis.m1 (PLS), Untitled, Work set Model Overview (cum) R2Y(cum) Q2(cum) R2Y(cum) & Q2(cum) Comp[1] Comp[2] Comp[3] Simca-P 8.0 by Umetrics AB :11 On retient une composante PLS 38

39 Régression PLS sur les données incomplètes R 2 = Équation sur les données centrées-réduites (CoeffCS) Prix σ (Prix) = Cylindrée* Puissance* Vitesse* Poids* Longueur* Largeur* Équation sur les données d origine (Coeff) Prix = Cylindrée + 328Puissance + 339Vitesse + 40Poids + 205Longueur Largeur Équation sur les données d origine pour Y et centrées pour X (CoeffC) Prix = (Cylindrée ) + 328(Puissance - 112) + 339(Vitesse - 182) + 40(Poids ) + 205(Longueur - 422) (Largeur - 168) 39

40 Résultats de la validation croisée sur les coefficients de régression PLS Audi 90 Quattro LARGEUR LONGUEUR POIDS VITESSE PUISSANC CYLINDRE PRIX 40

41 Résultats de la validation croisée sur les coefficients de régression PLS Cylindrée Puissance Vitesse Poids Longueur Largeur B SE Student T p-value

42 Carte des variables X Y 0.60 PUISSANCE 0.40 w*c[2] PRIX VITESSE POIDS CYLINDRÉE LONGUEUR LARGEUR w*c[1] 42

43 Validation globale Autoprib.M1 (PLS): Validate Model PRIX Intercepts: R2=(0.0, ), Q2=(0.0, ) R2 Q permutations 1 components - Abscisse : Corrélation entre Y et Y permuté - Ordonnée : R2 et Q2 de la régression PLS de Y permuté sur X - Les droites noire et rouge sont les droites des moindres carrés 43

44 Exemple Voitures Variable Importance in the Projection (1 composante) VIP[1] PUISSANC CYLINDRE POIDS LONGUEUR VITESSE LARGEUR Simca-P 8.0 by Umetrics AB :05 44

45 Régression PLS sur les données incomplètes AUTOPRIB.M1 (PLS), Modèle 1, Work set PRIX, Comp 1(Cum) renault audi 90 bmw 325i bmw 530i renault ford sco rover 82 Y ford fie fiat uno honda ci peugeot citroen peugeot seat fiat ibi tip peugeot citroen nissan renault v renault vw carav peugeot ford sie opel ome Predicted RMSEE=28979 Simca-P 7.01 by Umetri AB :40 45

46 Intervalle de confiance à 95% du prix moyen (fourni par SIMCA) PRIX prévision 46

47 Intervalle de prévision à 95% du prix (à calculer) audi 90 quattro PRIX prévision 47

48 Prédiction du prix de la HONDA CIVIC (Problème : certains X sont manquants) Prix de vente : FF Cylindrée Puissance Vitesse Poids Longueur Largeur Caractéristiques de la Honda Civic? Caractéristiques centrées-réduites?

49 Prédiction du Prix de la HONDA CIVIC Régression du Prix sur t 1 : Prix t Calcul de tps 1 pour la HONDA CIVIC : - Régression : X j = p 1j t 1 + erreur, j = 1,, p p 1 = (p 11,, p 1p ) - Régression : x i = tps 1i p 1 + erreur 1 sur les données disponibles; d où le calcul de tps 1i tps 1 (Honda Civic) = est l estimation de t 1i Prédiction du prix de la HONDA CIVIC - On utilise tps1 à la place de t 1 Prédiction du Prix = FF 49

50 Prédiction du Prix de la HONDA CIVIC : calcul de tps 1 (Honda Civic) Cylindrée Puissance Vitesse Poids Longueur Largeur P ? x Honda = tps 1 ( Honda) tps 1 (Honda) =

51 Régression PLS1 : Cas UOP Guided Wave Problème : 226 variables X et 26 observations Les données : Y = indice d octane X 1, X 2,, X 226 : valeurs d absorbance à différentes longueurs d onde Données de calibration : 26 échantillons d essence (dont 2 avec alcool) Données de validation : 13 échantillons d essence (dont 4 avec alcool) 51

52 Cas UOP Guided Wave Visualisation des X e a m p H17 l H36 e 1500 S s X - V a r i a b l e s Octane - Matrix Plot, Sam.Set: All Samples, Var.Set: Selected Variables 52

53 Cas UOP Guided Wave Visualisation des X : Données de calibration M52 H Sequence number Les échantillons M52 et H59 contiennent de l alcool 53

54 Cas UOP Guided Wave Visualisation des X : Données de validation Numéro de la longueur d'onde Les échantillons avec alcool sont en rouge 54

55 Régression PLS1 : les résultats Données de spectroscopie Les données sont centrées, mais non réduites Validation croisée : 3 composantes PLS 55

56 UOP Guided Wave : Les composantes PLS OCTANE.M4 (PLS), Untitled, Work set Scores: t[1]/t[2] t[2] H39 H11 H20 H24 H27 H12 H38 H17 H36 L13 M01 M18 L21 M02 M05 H32 L37 L14 L29 L40 L06 L35 L15 L31 M52 H t[1] Ellipse: Hotelling T2 (0.05) Simca-P 7.01 by Umetri AB :14 - Indice d octane : L = Low, M = Medium, H = High - Les échantillons M52 et H59 contiennent de l alcool 56

57 UOP Guided Wave : les composantes PLS OCTANE.M4 (PLS), Untitled, Work set Scores: t[2]/t[3] H32 H36 H38 H17 t[3] M52 H59 L31 L40 L15 L14 L06 L29 L35 M02 M05 M18 M01 H11 H20 H27 H L21 L37 L13 H12 H t[2] Ellipse: Hotelling T2 (0.05) Simca-P 7.01 by Umetri AB :41 Indice d octane : L = Low, M = Medium, H = High 57

58 Cas UOP Guided Wave : Prévision Données de calibration OCTANE.M4 (PLS), Untitled, Work set OCTANE, Comp 3(Cum) H38 H24H20 H27 H39 H17 H12 H36 H11 H32 H59 Y L15 L14 L29 L31 L35 L06 L37 L40 L21 L13 M02 M52 M01 M05 M Predicted RMSEE= Simca-P 7.01 by Umetri AB :53 58

59 Cas UOP Guided Wave : Prévision Données de validation OCTANE.M5 (PLS), Untitled, PS-OCTANE OCTANE, Comp 3 (Cum) S.022S.026 S.010 S.057 S.058 S.016 S.055 Observed S.004 S.025 S.003 S.019 S S Predicted RMSEP= Simca-P 7.01 by Umetri AB :11 Présence d alcool : OUI / NON 59

60 II.2 La régression PLS2 Relier un bloc de variables à expliquer Y à un bloc de variables explicatives X. Possibilité de données manquantes. Il peut y avoir beaucoup plus de variables X que d observations. Il peut y avoir beaucoup plus de variables Y que d observations. 60

61 La régression PLS2 : une idée de l algorithme Etape 1 : Recherche de m composantes orthogonales t h =Xa h et m composantes u h =Yb h bien corrélées entre elles et explicatives de leur propre groupe. Le nombre m est obtenu par validation croisée. Etape 2 : Régression de Y sur les composantes t h. Etape 3 : Expression de la régression en fonction de X. 61

62 Objectif de l étape 1 de la régression PLS2 X 2 * * * * t 1 * * CPX 1 Y 2 * * * * * * * CPY 1 u 1 X 1 Y 1 u 1 * * * * * * t 1 62

63 La régression PLS2 : une idée de l étape 1 lorsqu il n y a pas de données manquantes Pour chaque h = 1 à m, on recherche des composantes t h =Xa h et u h = Yb h maximisant le critère Cov (Xa h, Yb h ) sous des contraintes de norme et d orthogonalité entre t h et les composantes précédentes t 1,, t h-1. 63

64 Interprétation du critère de Tucker De Cov 2 (Xa h,yb h ) = Cor 2 (Xa h,yb h )* Var(Xa h )*Var(Yb h ) on déduit que la régression PLS réalise un compromis entre l analyse canonique de X et Y, une ACP de X, et une ACP «oblique» de Y. 64

65 Variable Importance in the Prediction (VIP) Composantes PLS : t h =X h-1 b h, avec b h = 1 Importance de la variable x j (j=1, p) pour la prédiction des y k (k=1, q) dans un modèle à m composantes : VIP mj = m q h= 1 k= 1 R p 2 ( y k ; t h ) m q [ h= 1 k= 1 R 2 ( y k, t h )] b 2 hj Moyenne des carrés des VIP = 1 Variable importante pour la prévision si VIP >

66 Régression PLS2 Exemple 1: Dégustation de thé Les données Obs Température Sucré Force Citron Sujet 1 Sujet Température Sucré Force Citron 1 = Chaud 2 = Tiède 3 = Glacé 1 = Pas de sucre 2 = 1 sucre 3 = 2 sucres 1 = Fort 2 = Moyen 3 = Faible 1 = Avec 2 = Sans 66

67 Cas Dégustation de thé Bloc X Variables indicatrices des modalités de Température, Sucré, Force et Citron Bloc Y Les classements des sujets 67

68 Cas Dégustation de thé Résultats de la régression PLS Validation croisée : 3 composantes : t h =Xw h * et u h =Yc h Équation de régression de Y k sur t 1,, t h : Y k = c 1k t 1 + c 2k t 2 + c 3k t 3 + c 4k t 4 + résidu Les variables X et Y sont représentées à l aide des vecteurs w h * et c h. 68

69 Cas Dégustation de thé Carte des variables THE.M1 (PLS), régression PLS, Workset Loadings: w*c[1]/w*c[2] 0.6 Y5 Y3 w*c[2] SUCRE2 TIEDE CHAUD CITRON0 FORT Y1 MOYEN Y2 SUCRE1 GLACÉ Y4 SUCRE0 Y6 CITRON1 LEGER w*c[1] Simca-P 3.01 by Umetri AB :11 69

70 Cas dégustation de thé Visualisation de la régression PLS de Y 1 sur X THE.M1 (PLS), régression PLS, Workset Loadings: w*c[1]/w*c[2] THE régression PLS M1.Y1 (CoeffCS) [4] w*c[2] Y5 SUCRE2 CITRON0 FORT MOYEN SUCRE1 Y3 CHAUD FROID Y4 SUCRE0 Y1 Y2 CoeffCS5[4] Y6 TIEDE CITRON1 LEGER w*c[1] Simca-P 3.01 by Umetri AB : CHAUD TIEDE FROID SUCRE0 SUCRE1 SUCRE2 FORT MOYEN LEGER CITRON1 CITRON0 Simca-P 3.01 by Umetri AB :14 Règle d interprétation: Les projections des variables X sur les variables Y reflètent le signe et l ordre de grandeur des coefficients de régression PLS des Y sur X. Le juge 1 aime son thé chaud et rejette le thé tiède 70

71 Validation du modèle pour le juge CoeffCS[4](Y1) CHAUD TIEDE FROID SUCRE0 SUCRE1 SUCRE2 FORT MOYEN LEGER CITRON1 CITRON0 Var ID (Primary)

72 Cas dégustation de thé Visualisation de la régression PLS de Y 5 sur X THE.M1 (PLS), régression PLS, Workset Loadings: w*c[1]/w*c[2] THE régression PLS M1.Y5 (CoeffCS) [4] 0.6 Y5 Y3 0.4 w*c[2] SUCRE2 CITRON0 FORT MOYEN SUCRE1 CHAUD FROID Y4 SUCRE0 Y1 Y2 CoeffCS9[4] Y6 TIEDE CITRON1 LEGER w*c[1] Simca-P 3.01 by Umetri AB : CHAUD TIEDE FROID SUCRE0 SUCRE1 SUCRE2 FORT MOYEN LEGER CITRON1 CITRON0 Simca-P 3.01 by Umetri AB :26 Le juge 5 préfère son thé sans citron, fort; il est indifférent au thé tiède; il rejette le thé léger, avec du citron. 72

73 Validation du modèle pour le juge 5 73 CoeffCS[4](Y5) CHAUD TIEDE FROID SUCRE0 SUCRE1 SUCRE2 FORT MOYEN LEGER CITRON1 CITRON0 Var ID (Primary)

74 Carte des produits dans l espace des juges Dégustation de thés Scores: u[1]/u[2] u [ 2 ] u[1] Simca-P 8.0 by Umetrics AB :19 74

75 Variable Importance in the Projection (VIP) THE.M1 (PLS), Untitled, Work set VIP, Comp 4(Cum) VIP[4] TIEDE CHAUD SUCRE0 SUCRE2 LEGER CITRON1 CITRON0 Simca-P 8.0 by Umetrics AB :01 FORT FROID MOYEN SUCRE1 75

76 III. Analyse discriminante PLS Bloc Y La variable qualitative Y est remplacée par l ensemble des variables indicatrices de ses modalités. Bloc X Variables numériques ou indicatrices des modalités des variables qualitatives. Régression PLS de Y sur X 76

77 Analyse discriminante PLS : exemple Les données 16 biopsies de tumeurs de cerveau humain. Chaque tumeur est classée par un médecin anatomopathologiste comme bénigne ou maligne. Chaque biopsie est analysée par chromatographie en phase gazeuse : on obtient un profil métabolique de la biopsie formé de 156 pics. Quelques données manquantes Article: Jellum E., Bjørnson I., Nesbakken R., Johanson E., Wold S. Classification of human cancer cells by means of capillary gas chromatography and pattern recognition analysis. ( Journal of Chromatography, 1981) 77

78 Analyse discriminante PLS Profils métaboliques des biopsies T2 T3 T6 T N1 N4 N5 N T8 T9 T10 T N T N T16 Sequence number Tumeurs bénignes Sequence number Tumeurs malignes 78

79 Analyse en composantes principales des 16 biopsies Composantes principales 1 et 2 EGI1.M4 (PC), Untitled, Work set Scores: t[1]/t[2] 10 N15 N13 t[2] T8 T12 T7 T6 T3T11 T16 N14 T9 T10 T2 N1 N4-10 N t[1] Ellipse: Hotelling T2 (0.05) Simca-P 7.01 by Umetri AB :17 79

80 Analyse en composantes principales des 16 biopsies Composantes principales 1 et 3 EGI1.M4 (PC), Untitled, Work set Scores: t[1]/t[3] 10 N14 5 N5 t[3] 0-5 T8T12 T6 T7 T16 T9 T3 T11 T10 T2 N15 N1 N13 N t[1] Ellipse: Hotelling T2 (0.05) Simca-P 7.01 by Umetri AB :19 80

81 Analyse discriminante PLS Composantes PLS 1 et 2 EGI1.M5 (PLS), Untitled, Work set Scores: t[1]/t[2] 10 N14 t[2] T8 T12 T7 T6 T3 T11 T16 T9 T10 T2 N15 N5 N1 N13 N t[1] Ellipse: Hotelling T2 (0.05) Simca-P 7.01 by Umetri AB :22 81

82 IV. Régression logistique PLS Bonne solution au problème de la multicolinéarité. Il peut y avoir beaucoup plus de variables que d observations. Il peut y avoir des données manquantes. Présentation de trois algorithmes 82

83 Qualité des vins de Bordeaux Variables observées sur 34 années ( ) TEMPERATURE : Somme des températures moyennes journalières SOLEIL : Durée d insolation CHALEUR : Nombre de jours de grande chaleur PLUIE : Hauteur des pluies QUALITE DU VIN : Bon, Moyen, Médiocre 83

84 Régression logistique ordinale Y = Qualité : Bon (1), Moyen (2), Médiocre (3) PROB(Y i) = e αi+β1température+β2soleil+β3chaleur+β4pluie 1 + e αi+β1température+β2soleil+β3chaleur+β4pluie 84

85 Régression logistique ordinale Résultats SAS Score Test for the Proportional Odds Assumption Chi-Square = with 4 DF (p=0.5720) Analysis of Maximum Likelihood Estimates Parameter Standard Wald Pr > Variable DF Estimate Error Chi-Square Chi-Square INTERCP INTERCP TEMPERA SOLEIL CHALEUR PLUIE

86 Régression logistique ordinale Qualité de prévision du modèle QUALITE PREVISION OBSERVEE Effectif Total ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ Total Résultat : 7 années mal classées 86

87 Régression logistique ordinale Commentaires Le modèle à pentes égales est acceptable (p = 0.572). La chaleur a une influence positive sur la qualité du vin de Bordeaux, alors qu elle apparaît comme non significative et avec un coefficient négatif dans le modèle. C est un problème de multicolinéarité. Il y a 7 années mal classées. 87

88 Algorithme 1 : La régression logistique PLS Etape 1 : Recherche de m composantes orthogonales T h =Xa h explicatives de leur propre groupe et bien prédictives de y. Le nombre m est obtenu par validation croisée. Etape 2 : Régression logistique de Y sur les composantes T h. Etape 3 : Expression de la régression logistique en fonction de X. 88

89 Régression logistique PLS Étape 1 1. Régression logistique de y sur chaque x j : les coefficients de régression a 1j 2. Normalisation du vecteur a 1 = (a 11,,a 1k ) 3. Régression logistique de y sur T 1 =Xa 1 exprimée en fonction des X 4. Calcul du résidu X 1 de la régression de X sur T 1 89

90 Régression logistique PLS Étape 2 1. Régression logistique de y sur T 1 et chaque résidu x 1j : les coefficients de régression b 2j 2. Normalisation du vecteur b 2 = (b 21,,b 2k ) 3. Calcul de a 2 tel que : T 2 = X 1 b 2 = Xa 2 4. Régression logistique de y sur T 1 = Xa 1 et T 2 = Xa 2 exprimée en fonction des X 5. Calcul du résidu X 2 de la régression de X sur T 1, T 2 90

91 Régression logistique PLS Choix du nombre de composantes On procède de la même manière pour les autres étapes. On choisit le nombre de composantes par validation croisée : la composante h est retenue si 2 [ χ Pearson 0.95 Soit : (validation croisée, Q 2 = 2 étape h)] [ χ Pearson (substitution, 2 χ validation croisée, étape 1 2 χ substituti on, étape h -1 1/ 2 étape h h -1)] / 2 91

92 Régression logistique PLS Résultats de l algorithme La température de 1924 est supposée inconnue. La régression logistique PLS de Y sur X a conduit à deux composantes PLS T 1 et T 2 : T 1 = 0.57 Température Soleil Chaleur Pluie T 2 = Température Soleil Chaleur Pluie 92

93 Régression logistique ordinale sur T 1, T 2 Résultats SAS Analysis of Maximum Likelihood Estimates Parameter Standard Wald Pr > Variable DF Estimate Error Chi-Square Chi-Square INTERCP INTERCP T T TABLEAU CROISANT QUALITÉ OBSERVÉE ET PRÉDITE QUALITÉ PRÉDICTION Effectif Total ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ Total Résultat : 5 années mal classées 93

94 94 Régression logistique PLS Le modèle Prob (Y i) T T T T e 1 e = Moyen Bon Moyen Bon Pluie Chaleur Soleil Temp. Moyen Bon Pluie Chaleur Soleil Temp. Moyen Bon = e 1 e

95 Algorithme 2 Régression logistique sur composantes PLS (1) Régression PLS des indicatrices de Y sur les X. (2) Régression logistique de Y sur les composantes PLS des X. 95

96 Régression logistique sur les composantes PLS Résultats La température de 1924 est supposée inconnue. La régression PLS des indicatrices de Y sur X a conduit à une seule composante PLS t 1 (résultat de la validation croisée). t 1 = 0.55 Température Soleil Chaleur 0.40 Pluie Pour l année 1924 : t 1 = (0.55 Soleil Chaleur 0.40 Pluie)/

97 Utilisation de la régression PLS pour la prévision de la qualité du vin de Bordeaux The PLS Procedure Cross Validation for the Number of Latent Variables TABLE OF QUALITE BY PREV Test for larger residuals than minimum Number of Root Latent Mean Prob > Variables PRESS PRESS ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Minimum Root Mean PRESS = for 1 latent variable Smallest model with p-value > 0.1: 1 latent Choix d une composante PLS QUALITE PREV Frequency 1 3 Total ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ Total Résultat : 12 années mal classées 97

98 Résultats de la régression logistique de Y sur la composante PLS t 1 Analysis of Maximum Likelihood Estimates Parameter Standard Wald Pr > Variable DF Estimate Error Chi-Square Chi-Square INTERCP INTERCP t TABLEAU CROISANT QUALITÉ OBSERVÉE ET PRÉDITE QUALITÉ PRÉDICTION Effectif Total ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ ƒƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆƒƒƒƒƒƒƒƒˆ Total Résultat : 6 années mal classées 98

99 Régression logistique sur composantes PLS Le modèle Prob (Y i) 2.15 Bon Moyen e t1 = 2.15 Bon Moyen t 1 1+ e = e Bon Moyen Temp Soleil Chaleur 1.07 Pluie e 2.15 Bon Moyen Temp Soleil Chaleur 1.07 Pluie 99

100 Conclusion 1: Régression logistique PLS vs régression logistique sur composantes PLS Les deux algorithmes présentés devraient avoir des qualités comparables. L algorithme 2 est beaucoup plus simple : Deux étapes : (1) Régression PLS des indicatrices de Y sur X (2) Régression logistique de Y sur les composantes PLS 100

101 Conclusion 2: Le modèle linéaire généralisé PLS Le modèle linéaire généralisé PLS peut être construit selon les mêmes procédures. Approche beaucoup plus simple que la méthode de Brian Marx : «Iteratively Reweighted Partial Least Square Estimation for Generalized Linear Regression», Technometrics,

102 Algorithme 3 (données groupées) Régression PLS du logit de la variable de réponse sur les prédicteurs Exemple : Job satisfaction (Zelterman, 1999) 9949 employees in the craft job within a company Response : Satisfied/Dissatisfied Factors : Sex, Race (White/Nonwhite), Age (<35, 35-44, >44) Region (Northeast, Mid-Atlantic, Southern, Midwest, Northwest, Southwest, Pacific) Explain Job satisfaction with all the main effects and the interactions. 102

103 Une approche exploratoire (1) Régression PLS de Y 1 = Logit(proportion of satisfied people) Y 2 = Logit(proportion of non satisfied people) sur les 4 facteurs et toutes les interactions. (2) Élimination itérative des termes à petits VIP, en vérifiant l augmentation du Q 2 (cum) (3) Carte des variables finalement retenues 103

104 Résultat de la Régression PLS sur les logits MEN 0.30 YOUNG in NORTHEAST WOMEN in MIDWEST 0.20 NON SATISFIED NONWHITE WOMEN NORTHEAST w*c[2] YOUNG YOUNG in MIDWEST WOMEN in NORTHEAST YOUNG WHITE MID-ATLANTIC WHITE in MID-ATLANTIC OLD WHITE OLD in MID-ATLANTIC SOUTHERN SATISFIED YOUNG WOMEN NONWHITE MEN WOMEN w*c[1] OLD in SOUTHERN Y 1 = Logit (Proportion of Satisfied) Y 2 = Logit (Proportion of Non Satisfied) X = Explanatory variables kept after elimination of small VIP terms 104

105 Quelques références sur les méthodes PLS Régression PLS - L. Eriksson, E. Johansson, N. Kettaneh-Wold & S. Wold : Multi- and Megavariate Data Analysis using Projection Methods (PCA & PLS), Umetrics, H. Martens & M. Martens : Multivariate Analysis of Quality, Wiley, H. Martens & T. Næs : Multivariate calibration, Wiley, SIMCA 12.0 : PLS Software, S. WOLD, UMETRI (Sweden), distribué par SIGMA PLUS - M. Tenenhaus : La régression PLS, Editions Technip, 1998 Approche PLS (PLS Path modelling) - J.-B. Lohmöller : Latent variable path modeling with partial least squares, Physica-Verlag, LVPLS 1.8 : Software for Latent variables path analysis with partial least-squares estimation, J.-B. Lohmöller, M. Tenenhaus : L approche PLS, R.S.A., 47 (2), 5-40,