Sommaire. Généralités. Profil sensoriel. Estimation par intervalles de confiance 1.0. : 1.1. Profils sensoriels : 1.1. Profils sensoriels :

Transcription

1 1.0. : 1.1. Profils sesoriels : Sommaire Gééralités 1. Descriptio des produits 1.1. Profils sesoriels 1.. Aalyse e composate pricipale Itroductio Espaces vectoriels et iertie Iterprétatio des gradeurs factorielles 1.3. Classificatio ascedate hierarchique Gééralité Méthode de Ward Cotexte : u uique produit est oté par juges à l aide de descripteurs quatitatifs (e.g sucré) et/ou qualitatifs (e.g saveur). Outils : Statistique uivariée (descriptio de la distributio). Différetes techiques suivat le type de variables : variables quatitatives : moyee, quatile, variace, boxplot,... variables qualitatives : fréqueces des modalités, diagrammes,... Covergece du jury : Les disparités iter-juges e sot pas itéressates ici. U jury est dit o-coverget si (pour des variables quatitatives) : il y a beaucoup d observatios atypiques, ue distributio des observatios o symétrique, ue variace trop élevée,... 0/8 1/ Profils sesoriels : Estimatio par itervalles de cofiace Variable quatitative : O cosidère le modèle X = µ + ε où ε N (0, σ ). O estime µ à l aide de la moyee empirique X N (µ, σ ) et σ à l aide de la variace empirique S χ ( 1). O a ) ( X µ S [ ] [ ] S S T ( 1) N (0, 1) et IC 1 α = X ± t 1 α X ± u 1 α. Profil sesoriel 1.1. Profils sesoriels : Cotexte : u uique produit est oté par juges sur J descripteurs quatitatifs. Profil sesorielle : c est l esemble des descripteurs et de la mesure associée. Exemple : profils d u ketshup A descripteurs cofit sucré métal astriget acide vert juge juge Représetatio : par exemple e graphique radar : Variable qualitative : (X pred des valeurs discrètes) O veut estimer p = P(X = m) pour chaque modalité m. O cosidère l idicatrice 1 X=m Ber(p). O estime p = E(1 X=m ) par la moyee empirique ˆP = 1 X=m. Si est grad : ] ˆP p ˆP(1 ˆP) N (0, 1) et IC 1 α [ˆP ± u1 α ˆP(1 ˆP) Remarque : o a utilisé l estimateur ˆP(1 ˆP) pour la variace de 1 X=m [. Mais comme ] o a t(1 t) 1 4 pour tout t [0, 1], o peut predre IC 1 1 α ˆP ± u 1 α pour simplifier. Figure : plusieurs juges (itervalles de Figure : u seul juge (itervalle de cofiace) cofiace) Gééralisatio : pour les variables qualitatives o représete l idicatrice. /8 3/8

2 Le problème 1.. Aalyse e composate pricipale : Itroductio Cotexte : O observe u grad ombre de doées que l o stocke das u tableau. Les liges représetet les différetes observatios tadis que les coloes représetet les variables. Exemple : Astrigece Boisé Souplesse Piquat Persistace Vi Vi Juge 1 Vi Vi Vi Juge Vi Objectif : trouver ue représetatio, das u espace de dimesio réduite, permettat de mettre e évidece d évetuelles structures au sei des doées. Illustratio : trouver l agle de vue et faire ue photo (dimesio réduite) fidèle (détails discerables, étalemet maximale) d u objet 3d 1.. Aalyse e composate pricipale : Itroductio Les méthodes liéaires Idée : o cherche u sous-espace vectoriels (sev) de faible dimesio (droite, pla,... ) qui résume au mieux les doées (simplifie mais coserve les structures) Plusieurs choix : le choix de ce sous-espace déped des besois de l étude : Figure : ACP : s.e.v avec la plus grade variabilité 6 Figure : Aalyse discrimiate : s.e.v où les groupes sot bie séparés. 4/8 5/8 Présetatio 1.. Aalyse e composate pricipale : Itroductio Les doées 1.. Aalyse e composate pricipale : Itroductio Aalyse e composates pricipales : Ue méthode de statistique exploratoire permettat de décrire u grad tableau de doées quatitatives de type idividus / variables. Questio : Lorsqu o étudie simultaémet u ombre importat de variables (e serait-ce que 4!), commet e faire ue représetatio globale? O recherche les sous-espaces das lesquels la projectio du uage déforme le mois possible le uage iitial. Idée : L ACP est u simple chagemet de base : passer d ue représetatio das la base caoique des variables iitiales à ue représetatio das la base des facteurs. Les facteurs sot des combiaisos liéaires des variables : ce sot les vecteurs propres de la matrice des corrélatios. O e sélectioe qu ue petite partie des facteurs et cela permet de réaliser des graphiques das cet espace de faible dimesio (dimesio égale au ombre de facteurs reteus). Iterprétatio : les graphiques peuvet évetuellemet permettre de compredre la structure des doées aalysées. Cette iterprétatio est guidée par des idicateurs umériques et graphiques. Les doées : U tableau à liges et p coloes représeté par ue matrice X de taille p : la i-ème lige représete les différetes valeurs des p variables prise par l idividu i. la j-ème coloe représete les valeurs de la variable j pour les idividus. Exemple : Lors d u cocours agricole, u jury a doé des otes à 10 marques de cidres relativemet à 10 critères de dégustatio. Les marques de cidres sot les idividus et les critères gustatifs sot les variables. 6/8 7/8

3 Dualité 1.. Aalyse e composate pricipale : Espaces vectoriels et iertie Espace E des idividus : Ue matrice p code u uage de poits das R p. À chaque idividu i o associe le vecteur coloe x i = (xi 1,, x p i ) t R p ( les valeurs d ue lige mis e coloe ). Ce sot des élémets d u espace vectoriel E de dimesio p. Nous choisissos R p mui de la base caoique E et d ue métrique de matrice M lui coférat ue structure d espace euclidie : E est isomorphe à (R p, E, M). Espace F des variables : de la même maière, cette même matrice p code u uage de p poits das R... À la j-ème variable, o associe le vecteur coloe x j R. C est u élémet d u espace vectoriel oté F de dimesio. Nous choisissos R mui de la base caoique F et d ue métrique de matrice D diagoale des poids lui coférat ue structure d espace euclidie : F est isomorphe à (R, F, D) avec D = diag(w 1,, w ). E pratique : le plus souvet o a M = Id p et D = Id... mais cette formulatio plus géérale permet d iclure ombre de cas particuliers das le formalisme de l ACP. 1.. Aalyse e composate pricipale : Espaces vectoriels et iertie ACP ormée Le plus souvet (par défaut das de ombreuses implémetatios de l ACP), le uage de poits des idividus est cetré et réduit (i.e o cetre et o réduit coloe par coloe ) Cetrage : O ote x = ( x j = 1 ) i=1 x j p i j=1 Rp le vecteur lige des moyees pour les p variables. La matrice des doées cetrées est Y = X 1 x. où 1 = (1,, 1) t R Réductio : pour éviter les problèmes d échelles, o réduit chaque coloe de X à variace 1 (cela e détruit pas la structure de corrélatio du uage de poit). O ote sj = 1 i=1 (x j x j ) la variace de la coloe j et o pose ( 1 D 1/s = Diag,, 1 ) R p p. s 1 s p Travailler avec la métrique M = D 1/s sur le tableau cetré Y reviet doc à travailler avec la métrique idetité M = Id p sur le tableau cetré réduit Z = YD 1/s. 8/8 L ACP usuelle reviet doc à cetrer et réduire les observatios puis à utiliser la métrique idetité : c est l ACP ormée. 9/8 1.. Aalyse e composate pricipale : Espaces vectoriels et iertie Les variables Les valeurs relevées pour chaque variable peuvet être vues comme réalisatios idépedates d ue v.a. : Lie statistique et géométrie : Pour des variables cetrées et D = Id, o a y j, y j F = i=1 y j i y j i. Aisi : y j F écart type et y j, y j F covariace Matrice de variace : c est la matrice p p otée V dot l etrée j, j cotiet cov(x j, x j ). O a V = 1 Y t DY 1.. Aalyse e composate pricipale : Espaces vectoriels et iertie Iertie L iertie gééralise la otio de variace : Iertie totale : du uage de poits décrit par X est I(X) = 1 x i x M = 1 (x i x) t M(x i x) i=1 i=1 O a I(X) = I(Y ) où Y est le uage cetrée. Iertie das u sous espace E q : iertie du uage projeté orthogoalemet sur E q : x 1 Exemple : Matrice de corrélatio (matrice de variace des doées cetrée réduites Z et pour D = Id ) pour l exemple des cidres : E q x 4 R p x x 3 x 10/8 11/8

4 1.. Aalyse e composate pricipale : Espaces vectoriels et iertie Espaces d iertie maximale Les sev d iertie maximale sot les sous espaces propres de la matrice VM = Y t DYM. Iertie des axes propre : O calcule les valeurs/vecteurs propres de la matrice VM R p p et o ordoe les vecteurs propres par ordre décroissat de valeur propre : λ 1 λ λ p v 1 v v p L iertie de l axe egedré par v k R p est λ k 0 la part d iertie expliqué par cet axe est λ k λ 1 + +λ p. Sous espaces d iertie maximale : O ote E q le sev d iertie maximum et de dimesio q = 1,, p. Les sev E q sot emboîtées : E 1 = Vect {v 1 } E = Vect {v 1, v } E p = E Qualité de la représetatio : La part de dispersio expliquée par le sous-espace E q est λ λ q λ λ p. Exemple des cidres : 1.. Aalyse e composate pricipale : Espaces vectoriels et iertie Vocabulaire Espaces factoriels directs : ce sot les sev Vect{v k } egedrés par les v k R p (directios de plus grade iertie). Espaces factoriels duals : ce sot les sev egedrés par les composates pricipales. La k-ème composate pricipale est le vecteur c k R des coordoées des idividus sur l axe factoriel Vect{v k }. E ACP ormé o a : E 1 c k = Zv k La composate pricipale c k est doc ue combiaiso liéaire des variables x j et peut être vue comme ue ouvelle variable das le sous-espace factoriel dual. c 1 1 c 1 3 x 1 x 3 v 1 x c 1 c 1 4 x x 4 E c 1 1 c 1 3 x 1 x 3 c 4 v 1 v c 1 x c c 3 c 1 c 1 4 x x 4 1/8 Figure : Droite factorielle et première composate pricipale ( = 4 et p = 3) Figure : Pla factoriel et deux composates pricipales ( = 4 et p = 3) 13/8 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles Qualité de la représetatio Idividus : La qualité de représetatio d u idividu i sur u axe factoriel direct est mesuré par le cosius carré de l agle etre l axe factoriel et le vecteur z i. Plus le cosius est grad, plus z i sera proche de l axe factoriel et doc sera bie représeté sur cet axe. Pour coaître la qualité de la représetatio sur u espace E q o ajoute simplemet les q cosius carré. Exemple : tableau des cos des agles etre les cidres x i et les trois premiers axes factoriels egedrés par v 1, v, v 3 : Dim.1 Dim. Dim Tous les idividus sot correctemet représetés das le premier pla facoriel sauf peut être le 10 (il est représeté à QLT 1,(x 10) = = % ) 14/8 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles Qualité de la représetatio Variable : La qualité de représetatio d ue variable j sur le k-ème axe factoriel dual est exprimée par le coefficiet de corrélatio liéaire r(c k, z j ) etre la variable iitiale z j et la ouvelle variable c k. La valeur de cette corrélatio sera égalemet très importate pour iterpréter ces ouveaux axes factoriels e foctio des variables iitiales. Exemple : tableau des corrélatios etre les variables x j et les composates pricipales c 1, c, c 3 : Dim.1 Dim. Dim.3 odeur sucre acide amer astrigece suffocate piquate alcool parfum fruitée Toutes les variables (sauf acidité) sot bie représetées das le premier pla factoriel Remarque : bie qu ayat reteu u sous-espace factoriel expliquat ue part importate de l iertie totale, il est possible que certaies variables ou idividus d itérêt soiet mal représetés das ce sous-espace. Il sera alors itéressat de compléter le sous-espace factoriel e ajoutat des axes factoriels supplémetaires de sorte que ces variables ou idividus d itérêt soiet bie représetés 15/8

5 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles Choisir le ombre de dimesio : Exemple des cidres : éboulis des valeurs propres. 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles Iterprétatio des composates pricipales Méthodes empiriques : le choix du ombre de dimesio se fait sur des critères empiriques. Cela déped aussi de la fialité de l ACP : pour de la descriptio de doées o a souvet q 4 (au delà difficultés d iterprétatio), pour de la compressio q peut être beaucoup plus grad. Exemple de méthodes : pour l aalyse descriptive : Méthode de Kaiser : Ne reteir que les directios pricipales qui expliquet ue proportio de l iertie supérieure à 1. Das l exemple : cela correspod à p q = 3. Mais mieux vaut couper avat/apres u décrochemet... Méthode du coude : sur l éboulis des valeurs propres, o observe u décrochemet (coude) suivi d ue décroissace régulière : sélectioer les axes avat le décrochemet. Méthode pratique : e reteir que les dimesios que l o peut iterpréter... 16/8 Iterprétatio des composates pricipales : O mesure la relatio etre c k et la variable z j l aide de la corrélatio r(c k, z j ). État doés c 1 et c, o trace le cercle de corrélatios : chaque variable z j est représetée par u poit de coordoées (r(c 1, z j ), r(c, z j )) das le pla. Les variables les mieux expliquées correspodet aux poits les plus proches du cercle uité. Toutes les variables (sauf acidité) sot bie représetées das ce pla factoriel puisque leurs corrélatios avec les axes sot relativemet importates (les projectios sot proches du cercle de corrélatio). Iterprétatio possible des deux premiers axes factoriels : le premier axe factoriel semble opposer le cidre doux (fruité, sucré, parfumé) au cidre brut (plus alcoolisé et astriget). le secod axe factoriel semble opposer les cidres ayat ue particularité olfactive (forte odeur) aux cidres ayat ue certaie particularité gustative (piquate). 17/8 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles Exemple : représetatio des doées 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles Biplot Les coordoées des idividus das le premier pla factoriel (composates pricipales) : Objectif : O superpose les deux représetatios duales (les variables et les idividus) sur u même graphique pour aider à l iterprétatio. Les valeurs : i c 1 i c i Attetio : est pertiet que pour les variables et les idividus bie représetés! 18/8 19/8

6 1.. Aalyse e composate pricipale : Iterprétatio des gradeurs factorielles 1.3. Classificatio ascedate hierarchique : Gééralité Exemple : biplot Pricipe Cotexte : O dispose de produits M 1,, M décrits par p gradeurs. Comme précédemmet, o représete les doées sous la forme d u uage Γ de poits das R p. Exemple : retour sur les cidres. O a le uage de poits suivat sur le premier pla factoriel : Après avoir vérifié que les idividus étaiet bie représetés sur le pla factoriel e examiat les valeurs des cosius carrés des agles etre les idividus et les axes factoriels, il semble se dégager 4 groupes de cidres : groupe 1 : les cidres 3, 8, 4 et 10 qui sot des cidres doux, groupe : les cidres, 5, 6 et 7 qui sot des cidres bruts, groupe 3 : le cidre 9 qui est u cidre particulièremet odorat et suffocat, groupe 4 : le cidre 1 qui est particulièremet piquat. Classificatio : O souhaite partitioer le uage. E gééral, o cherche à créer des classes les plus homogèes possibles. 0/8 1/ Classificatio ascedate hierarchique : Gééralité 1.3. Classificatio ascedate hierarchique : Gééralité Dedogramme Distaces Dedrogramme : C est ue représetatio e arbre. O créer facilemet des sousgroupes e coupat le dedrogramme à u iveau doé : tous les idividus solidaires d ue même brache costituet u groupe. Exemple : le dedrogramme associé au uage de poits précédet Distace etre produits : O la ote d et o défiie la matrice de distace D = [D ij ] i,j=1 qui satisfait D ij = d(m i, M j ), où i, j = 1,,. C est ue matrice, symétrique, de diagoale ulle : o a doc seulemet ( 1) etrées à calculer. Exemple : distace euclidiee. Distace l 1... Écart etre les classes : À l aide de la distace d o défiit ue distace dist etre deux sous-groupes Γ 1 et Γ de Γ. ; CAH : C est ue méthode de classemet automatique. O crée tout d abord u dedrogramme puis o fixe le ombre de groupe a posteriori uiquemet. Exemple : La distace moyee. Distace du saut miimum (i.e distace des poits les plus proches). Distace du diamètre (i.e distace etre les poits les plus éloigés). Distace de Ward... /8 3/8

7 1.3. Classificatio ascedate hierarchique : Méthode de Ward Espace Euclidie 1.3. Classificatio ascedate hierarchique : Méthode de Ward Décompositio de l iertie Distace Euclidiee : C est la distace habituelle. Soit M 1 et M deux produits o a d (M 1, M ) = (M1 1 M1 ) + + (M p 1 Mp ). Distace de Ward : Soit Γ 1 et Γ deux sous groupes de poits de Γ. L effectif de Γ k est oté Γ k et so cetre de gravité est G k = 1 M Γ k M i Γ i. O défiit la distace k de Ward par p dist (Γ 1, Γ ) = 1 p d p 1 +p (G 1, G ) où p k = Γ k, k = 1,. Iertie : O appelle iertie d u sous-uage Γ 0 = {M 1,, M 0 } de Γ la somme podérée des carrés des distaces de ses poits au cetre de gravité du uage. Si G 0 désige le cetre de gravité de Γ 0 o a I(Γ 0 ) = 1 (d(m i, G 0 )) M i Γ 0 Attetio les poids 1 sot fixés : o a I(Γ 0) = 0 Var(Γ 0 )... Theorem de Huyges : Soit Γ u uage de poits partitioé e classes Γ 1,, Γ k (i.e disjoites deux à deux et recouvrat tout Γ). O a I(Γ) = I itra + I iter où l iertie itra est la somme des ierties : I itra = I(Γ 1 ) + + I(Γ k ) et l iertie iter mesure la dispersio des classes autour du cetre de gravité G de Γ : I iter = p 1 (d(g 1, G)) + + p k (d(g k, G)) G G 3 G G 1 G 4/8 5/ Classificatio ascedate hierarchique : Méthode de Ward Pricipe de la méthode Partitio : La qualité globale d ue partitio est liée à l homogééité itere des sous-uages et doc égalemet à l éloigemet des sous-uages. Algorithme 1.3. Classificatio ascedate hierarchique : Méthode de Ward Dedrogramme : o costruit itérativemet : Iitialisatio : chaque idividu est seul das ue classe (i.e I = I iter ). Règle de progressio : o rassemble les deux classes les plus proches au ses de la distace de Ward. Règle d arrêt : quad tous les idividus sot das la même classe (i.e I = I itra ). I Pricipe : A chaque étape de l algorithme o regroupe les deux classes dot l agrégatio miimise le gai d iertie itraclasse (i.e miimise la perte d iertie iterclasse). État doées deux sous uages Γ 1 et Γ d u uage Γ, la perte d iertie iter est d après le théorème de Huyges, p 1 d (G 1, G) + p d (G, G) = p 1p p 1 + p d (G 1, G ) Autremet dit, c est la distace de Ward (au carré) etre les deux classes Γ 1 et Γ La hauteur des œuds du dedogramme proportioel à l iertie itra. 6/8 7/8

8 1.3. Classificatio ascedate hierarchique : Méthode de Ward Classes I Classes : Le choix du ombre de classe est détermié a posteriori e coupat le dedrogramme iveau doé et tous les idividus solidaires d ue même brache costituet u groupe. 8/8