ESIEA PARIS

Transcription

1 ESIEA PARIS 00-0 Exame MAT 50 DATA MINING Vedredi 6 Novembre 00 Première Partie : 5 miutes Eseigat resposable : Frédéric Bertrad Remarque importat : les questios de ce questioaire sot posées das le cotexte d u cours de DATA MINING. Ue seule répose est correcte par questio.. Que sigifie AFC? a) Aalyse factorielle des correspodaces b) Aalyse foctioelle cetrée c) Aalyse fractale des corrélatios. Que sigifie ADL? a) Aalyse des lois b) Aticipatio des lies c) Aalyse discrimiate liéaire 3. Que sigifie CRM? a) Cetre de Recherche e Mathématiques b) Classificatio des Relatios Maximales c) Customer Relatioship Maagemet 4. Que sigifie PLS? a) Partial least squares b) Prévisio liéaire simple c) Partitioemets logiques successifs 5. Le Data Miig est-il utilisé e CRM? Doez u exemple de problématique liée à so utilisatio. a) No. b) Oui Que sigifie AUC? a) Aire uilatérale calculée b) Area uder the curve c) Amélioratio de l utilisatio de la coaissace 7. Que sigifie ANOVA? a) Aalyse Normalisée et Orietée des Variables Auxiliaires b) Associatio Natioale Orietée des Vetes et des Assuraces c) ANalysis Of VAriace 8. Combie de grades familles de techiques de DATA MINING sot présetées das ce cours? Citez-les das le cas que vous avez choisi. a) Ue.. b) Deux...

2 ESIEA PARIS 00-0 c) Trois Que sigifie GRC? a) Groupe de Recherche e Cryptographie b) Gestio de la Relatio Cliet c) Geeral Regressio Classificatio 0. Les techiques factorielles sot-elles utiles e Data Miig? Si oui, doez u exemple de problématique liée à so utilisatio. a) No. b) Oui.... Pour étudier les habitudes de cosommatio des cliets d u supermarché, o utilisera : a) Des règles d associatio b) Des règles de dissociatio c) Ue techique prédictive. Ue AFC se réalise a) Sur des variables qualitatives b) Sur des variables quatitatives c) Sur des variables mixtes 3. La commade sous R pour réaliser ue ACP est a) res.pca() b) PCA() c) plot() 4. La commade sous R pour réaliser ue AFC est a) res.ca() b) CA() c) plot() 5. Que sigifie CAH? a) Classemet Ascedat Hiérarchique b) Classemet Automatique et Homogèe c) Classificatio Ascedate Hiérarchique

3 E.S.I.E.A Paris Aée scolaire 00/0 UE de ciquième aée : MAT 50 - Data Miig Eseigat Resposable : F. Bertrad Chaque répose devra être justifiée précisémet. E aexe sot doés le joural et la sortie d u traitemet avec le logiciel R. Exercice : O s itéresse au climat des différets pays d Europe. Pour cela, o a recueilli les températures moyees mesuelles (e degrés Celsius) pour les pricipales capitales européees aisi que pour certaies grades villes. Ces doées sot fouries das le tableau. E plus des températures mesuelles, o doe das le tableau, pour chaque ville, la température moyee auelle aisi que l amplitude thermique (différece etre la moyee mesuelle maximum et la moyee mesuelle miimum d ue ville). O doe égalemet deux variables de positioemet (la logitude et la latitude) aisi qu ue variable (l apparteace à ue régio d Europe, variable à quatre modalités : Europe du ord, du sud, de l est, de l ouest).. Décrire le jeu de doées (ombre d idividus, ombre de variables, ature des variables). Quelles sot les variables qui ot été utilisées pour réaliser l ACP?. Que pouvez-vous dire à partir des doées brutes (tableau et figure )? 3. Que pouvez-vous dire à partir des doées cetrées-réduites (tableau 5 et figure )? 4. O veut effectuer ue ACP sur ce jeu de doées : quels sot les objectifs d ue telle aalyse? Quel peut être l itérêt d illustrer les résultats obteus avec des variables de positioemet ou d apparteace à ue régio d Europe. 5. Les variables ot été cetrées et réduites avat l aalyse. La réductio était-elle idispesable? Vous pourrez justifier ce choix e utilisat, par exemple, les iformatios coteues das les tableaux, 3, 4 et 6. Les tableaux 7, 8, 9, 0,,, 3, 4, 5 et 6 doet les PRINCIPAUX résultats de l ACP sur les idividus, les variables et les variables mises e supplémetaire. 6. Quelle est l iertie expliquée par le premier axe de l ACP? Et par le premier pla? 7. Quelles sot les villes qui cotribuet le plus à la costructio des deux premiers axes? Que sigifie ue cotributio importate? 8. La figure 4 doe le graphe des idividus de l ACP. La figure 5 doe le graphe des variables. Iterpréter les facteurs pricipaux de l ACP à l aide de ces deux représetatios graphiques et des cotributios des idividus et des variables. 9. À partir du cercle de corrélatios, que pouvez-vous dire cocerat les corrélatios suivates ovembre-mars, javier-jui? Iterpréter les implicatios climatiques de ces corrélatios.

4 0. Certaies variables apparaisset e tirets et e bleu das le cercle des corrélatios. Expliquer pourquoi. Existe-t-il u lie etre la température moyee pedat les mois de l été et la latitude ou la logitude des villes? Commet est-il possible d expliquer les différeces d amplitude thermique etre les villes?. VRAI ou FAUX? Si FAUX, corriger la phrase proposée. Pour chacue des villes, la température moyee du mois d octobre est fortemet corrélée à la température moyee sur l aée. S il fait froid e javier, il fera froid e jui. La ville d Avers est bie représetée sur l axe. La variable jui a joué le rôle le plus importat das la costructio de l axe. La proximité de deux villes sur le premier pla factoriel implique systématiquemet qu elles ot deux profils de température moyee semblables au cours de l aée. La variable supplémetaire logitude est bie représetée sur le premier pla factoriel.

5 Tab. Doées brutes Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Gèes Mila Palerme Séville St. Pétersbourg Zurich

6 Moyee Amplitude Latitude Logitude Régio Amsterdam Ouest Athèes Sud Berli Ouest Bruxelles Ouest Budapest Est Copehague Nord Dubli Nord Helsiki Nord Kiev Est Cracovie Est Lisboe Sud Lodres Nord Madrid Sud Misk Est Moscou Est Oslo Nord Paris Ouest Prague Est Reykjavik Nord Rome Sud Sarajevo Sud Sofia Est Stockholm Nord Avers Ouest Barceloe Sud Bordeaux Ouest Edimbourg Nord Fracfort Ouest Geève Ouest Gèes Sud Mila Sud Palerme Sud Séville Sud St. Pétersbourg Est Zurich Ouest Tab. Iformatios complémetaires sur les villes Javier Février Mars Avril Mai Jui Variace Juillet Août Septembre Octobre Novembre Décembre Variace Tab. 3 Variace des températures par mois 4

7 Javier Février Mars Avril Mai Jui Mi. : Mi. : Mi. : Mi. :.900 Mi. : 6.50 Mi. : 9.30 st Qu.:-.550 st Qu.:-0.50 st Qu.:.600 st Qu.: 7.50 st Qu.:.5 st Qu.:5.40 Media : 0.00 Media :.900 Media : Media : Media :3.80 Media :6.90 Mea :.346 Mea :.7 Mea : 5.9 Mea : 9.83 Mea :3.9 Mea :7.4 3rd Qu.: rd Qu.: rd Qu.: rd Qu.:.050 3rd Qu.:6.35 3rd Qu.:9.80 Max. :0.700 Max. :.800 Max. :4.00 Max. :6.900 Max. :0.90 Max. :4.50 Juillet Août Septembre Octobre Novembre Décembre Mi. :.0 Mi. :0.60 Mi. : 7.90 Mi. : 4.50 Mi. :-.00 Mi. :-6.00 st Qu.:7.30 st Qu.:6.65 st Qu.:3.00 st Qu.: 8.65 st Qu.: 3.00 st Qu.: 0.5 Media :8.90 Media :8.30 Media :4.80 Media :0.0 Media : 5.00 Media :.70 Mea :9.6 Mea :8.98 Mea :5.63 Mea :.00 Mea : Mea :.88 3rd Qu.:.75 3rd Qu.:.60 3rd Qu.:8.5 3rd Qu.:3.30 3rd Qu.: rd Qu.: 5.40 Max. :7.40 Max. :7.0 Max. :4.30 Max. :9.40 Max. :4.900 Max. :.00 Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Tab. 4 Statistiques descriptives et corrélatios des doées brutes 5

8 Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Avril Mai Gèes Mars Février Jui Javier Mila Palerme Séville St. Pétersbourg Juillet Août Zurich Septembre Décembre Novembre Octobre Fig. Température par ville, doées brutes 6

9 Tab. 5 Doées cetrées-réduites Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Gèes Mila Palerme Séville St. Pétersbourg Zurich

10 Javier Février Mars Avril Mai Jui Mi. :-.935e+00 Mi. :-.840e+00 Mi. :-.836e+00 Mi. :-.677e+00 Mi. :-.64e+00 Mi. :-.444e+00 st Qu.:-5.63e-0 st Qu.:-4.305e-0 st Qu.:-7.46e-0 st Qu.:-5.34e-0 st Qu.:-5.38e-0 st Qu.:-6.067e-0 Media :-.08e-0 Media :-5.767e-0 Media : 3.55e-0 Media :-.006e-0 Media :-3.404e-0 Media :-.549e-0 Mea :.57e-7 Mea :.08e-7 Mea :.45e-7 Mea :-.55e-7 Mea :.59e-6 Mea :-6.700e-7 3rd Qu.: 6.460e-0 3rd Qu.: 6.56e-0 3rd Qu.: 6.77e-0 3rd Qu.: 7.70e-0 3rd Qu.: 7.449e-0 3rd Qu.: 7.85e-0 Max. :.700e+00 Max. :.743e+00 Max. :.84e+00 Max. :.00e+00 Max. :.35e+00 Max. :.34e+00 Juillet Août Septembre Octobre Novembre Décembre Mi. :-.384e+00 Mi. :-.48e+00 Mi. :-.88e+00 Mi. :-.504e+00 Mi. :-.569e+00 Mi. :-.788e+00 st Qu.:-6.498e-0 st Qu.:-6.50e-0 st Qu.:-6.403e-0 st Qu.:-5.44e-0 st Qu.:-6.75e-0 st Qu.:-5.95e-0 Media :-.0e-0 Media :-.84e-0 Media :-.03e-0 Media :-.857e-0 Media :-.5e-0 Media :-.375e-0 Mea :-9.94e-7 Mea :-4.6e-7 Mea :-8.743e-7 Mea :-.95e-6 Mea :-4.839e-7 Mea : 3.39e-7 3rd Qu.: 5.95e-0 3rd Qu.: 7.08e-0 3rd Qu.: 6.37e-0 3rd Qu.: 5.33e-0 3rd Qu.: 4.07e-0 3rd Qu.: 5.073e-0 Max. :.76e+00 Max. :.05e+00 Max. :.09e+00 Max. :.94e+00 Max. :.934e+00 Max. :.836e+00 Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Tab. 6 Statistiques descriptives et corrélatios des doées cetrées-réduites 8

11 Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Avril Mai Gèes Mars Février Jui Javier Mila Palerme Séville St. Pétersbourg Juillet Août Zurich Septembre Décembre Novembre Octobre Fig. Température par ville, doées cetrées-réduites 9

12 Dim. Dim. Dim.3 Dim.4 Dim.5 Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Gèes Mila Palerme Séville St. Pétersbourg Zurich Tab. 7 Coordoées des idividus 0

13 Fig. 3 Graphe des pourcetages d iertie des douze axes (sortie R)

14 Dimesio (.4%) Est Nord Ouest Sud Moscou Kiev Budapest Misk Est Mila Cracovie Helsiki Prague Sofia Madrid Oslo Sarajevo Rome Stockholm Berli Fracfort Geève Sud Zurich Gèes Copehague Ouest ParisBordeaux Nord Amsterdam Bruxelles Avers Lodres Lisboe St. Pétersbourg Reykjavik Edimbourg Dubli Barceloe Palerme Athèes Séville Dimesio (86.87%) Fig. 4 Graphe des idividus (sortie R)

15 Dimesio (.4%) Latitude Amplitude Logitude Juillet Jui Mai Août Septembre Avril Octobre Moyee Mars Novembre Décembre Février Javier Dimesio (86.87%) Fig. 5 Graphe des variables (sortie R) 3

16 Dim. Dim. Dim.3 Dim.4 Dim.5 Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Gèes Mila Palerme Séville St. Pétersbourg Zurich Tab. 8 Cos des idividus 4

17 Dim. Dim. Dim.3 Dim.4 Dim.5 Amsterdam Athèes Berli Bruxelles Budapest Copehague Dubli Helsiki Kiev Cracovie Lisboe Lodres Madrid Misk Moscou Oslo Paris Prague Reykjavik Rome Sarajevo Sofia Stockholm Avers Barceloe Bordeaux Edimbourg Fracfort Geève Gèes Mila Palerme Séville St. Pétersbourg Zurich Tab. 9 Cotributios des idividus 5

18 Dim. Dim. Dim.3 Dim.4 Dim.5 Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Tab. 0 Coordoées des variables Dim. Dim. Dim.3 Dim.4 Dim.5 Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Tab. Corrélatios variables - dimesios Dim. Dim. Dim.3 Dim.4 Dim.5 Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Tab. Cos des variables 6

19 Dim. Dim. Dim.3 Dim.4 Dim.5 Javier Février Mars Avril Mai Jui Juillet Août Septembre Octobre Novembre Décembre Tab. 3 Cotributios des variables Dim. Dim. Dim.3 Dim.4 Dim.5 Moyee Amplitude Latitude Logitude Tab. 4 Coordoées des variables supplémetaires Dim. Dim. Dim.3 Dim.4 Dim.5 Moyee Amplitude Latitude Logitude Tab. 5 Corrélatios variables supplémetaires - dimesios Dim. Dim. Dim.3 Dim.4 Dim.5 Moyee Amplitude Latitude Logitude Tab. 6 Cos des variables supplémetaires 7

20 Aalyse e Composates Pricipales (avec SPAD) et Classificatio Ascedate Hiérarchique Peiture représetat u étag (Tombeau de Thèbes, 400 av. J.-C.) C) extrait de l Histoire de l Art de Erst Gombrich Michel Teehaus Visualiser. Les objectifs de l aalyse e composates pricipales Décrire u tableau idividusvariables : - Résumer le tableau à l aide d u petit ombre de facteurs - Visualiser le positioemet des idividus les us par rapport aux autres - Visualiser les corrélatios etre les variables - Iterpréter les facteurs 4

21 Visualisatio des doées X X p F F i x i x pi F i F i Tableau des doées F (i) i 0 F (i) Le pla factoriel Cor(X j,f ) X j 0 Cor(X j,f ) Facteurs cetrés-réduits résumat les doées La carte des variables p Fh u j hjx j (o corrélés etre eux) 5 3. U exemple de positioemet de produits Caractéristiques de 4 modèles de voiture (Source : L argus de l automobile, 004) Modèle Cylidrée Puissace Vitesse Poids Largeur Logueur (cm 3 ) (ch) (km/h) (kg) (mm) (mm) Citroë C. Base Smart Fortwo Coupé Mii Nissa Micra Reault Clio 3.0 V Audi A3.9 TDI Peugeot HDI Peugeot V6 BVA Mercedes Classe C 70 CDI BMW 530d Jaguar S-Type.7 V6 Bi-Turbo BMW 745i Mercedes Classe S 400 CDI Citroë C3 Pluriel.6i BMW Z4.5i Audi TT.8T Asto Marti Vaquish Betley Cotietal GT Ferrari Ezo Reault Sceic.9 dci Volkswage Toura.9 TDI Lad Rover Defeder Td Lad Rover Discovery Td Nissa X-Trail. dci Logueur Largeur Puissace Cylidrée Graphiques e étoile des voitures Citroë C. Smart Fortwo Mii.6 70 Vitesse Nissa Micra. Reault Clio 3.0 V6 Audi A3.9 TDI Poids Peugeot HDI 70 Peugeot V6 Mercedes Classe C 70 BMW 530d Jaguar S-Type.7 V6 BMW 745i Mercedes Classe S 400 Citroë C3 Pluriel BMW Z4.5i Audi TT.8T 80 Asto Marti Vaquish Betley Cotietal GT Ferrari Ezo Reault Sceic.9 dci Volkswage Toura.9 TDI 4. Résumé des doées Descriptive Statistics N Miimum Maximum Mea Std. Deviatio Cylidrée Puissace Vitesse Poids Largeur Logueur Formule utilisée pour l écart-type : s x x ( i ) i 8 7 Lad Rover Defeder Lad Rover Discovery Nissa X-Trail. dci

22 Tbl Tableau des corrélatios Cylidrée Puissace Vitesse Poids Largeur Logueur Cylidrée Puissace Vitesse Poids Largeur Logueur Toutes les corrélatios sot positives. 5. Le uage de poits associé aux doées X p X X p x g i x i x pi i SMART x i 0 x... x p g X FERRARI X Toutes les corrélatios sot sigificatives au risque 5% ( R / ) 9 N = {x,, x i,, x } = Nuage de poits associé aux doées Cetre de gravité du uage N : g = x x i i 0 6. Iertie totale du uage de poits 7. Réductio des doées X p X X p g i x i x pi x i SMART 0 x... x p g Iertie totale = I(N, g) = X d (xi,g) i ( x x ) ( x x ) p p p ji j ji j j i j j i j FERRARI X Pour eutraliser le problème des uités o remplace les doées d origie par les doées cetrées-réduites : X X X x X x p p p p de moyee 0 et d écart-type.

23 Les doées cetrées-réduites (SPAD) Case Summaries MODÈLE Zscore: Cylidrée Zscore: Puissace Zscore: Vitesse Zscore: Poids Zscore: Largeur Zscore: Logueur Citroë C. Base Smart Fortwo Coupé Mii Nissa Micra Reault Clio 3.0 V AudiA39TDI A Peugeot HDI Peugeot V6 BVA Mercedes Classe C 70 CDI BMW 530d Jaguar S-Type.7 V6 Bi-Turbo BMW 745i Mercedes Classe S 400 CDI Citroë C3 Pluriel.6i BMWZ45i.5i Total Mea Std. Deviatio Audi TT.8T Asto Marti Vaquish Betley Cotietal GT Ferrari Ezo Reault Sceic.9 dci Volkswage Toura.9 TDI Lad Rover Defeder Td Lad Rover Discovery Td NissaXTraildCi X-Trail Outlier si valeur > 8. Le uage de poits associé aux doées réduites X i x i X p X p x pi X i 0 0 Moyee X Variace FERRARI 0 SMART X N = {x,, x i,, x } Cetre de gravité : g =0 0, Iertie totale : I(N, 0) = p 4 9. Premier axe pricipal Premier axe pricipal xi X u p y i 0 X X p xi 0 y i X X Objectif : O cherche l axe passat le mieux possible au milieu du uage N. O cherche h à miimiser i i l iertie du uage N par rapport tàl l axe : X Objectif : O cherche l axe d allogemet du uage N. O cherche h à maximiser i l iertie du uage N projeté jtésur l axe : I(N, ) d (xi, yi ) i 5 I( y,..., y, 0) d (yi, 0) i 6

24 Les objectifs et sot atteits simultaémet De : o déduit : i X X p x i y i 0 i X d (x,0) d (y,0) d (x, y ) i d (x i,0) d (y i,0) d (x i, y i ) i Iertie totale = p = Iertie expliquée par + Iertie résiduelle Maximiser Miimiser 7 i i i Résultats L axe passe par le cetre de gravité 0 du uage de poits N. L axe est egedré par le vecteur ormé u, vecteur propre p de la matrice des corrélatios R associé à la plus grade valeur propre. L iertie expliquée par l axe est égal à. La part d iertie expliquée par le premier axe pricipal est égal à /p. 8 Résultat SPAD Tableau des valeurs propres Numéro Valeur Pourcetage Pourcetage propre cumulé Les vecteurs propres Résultat SPAD Libellé de la variable Axe Axe Axe 3 Axe 4 Axe 5 Axe 6 Cylidrée Puissace Vitesse Poids Largeur Logueur Normalisatio : = 9 0

25 0. Première composate pricipale Y X X p Smart 0 Y () = -4.5 x i u u y i Y (i) X Y est ue ouvelle variable défiie pour chaque idividu i par : Y (i) = logueur algébrique du segmet 0y i = coordoée de y i sur l axe = produit scalaire etre les vecteurs x i et u p = u j jx ji p Y = u j X j j Résultats SPAD Carré de la Idetificateur Distace à l'origie Axe Axe Axe 3 Axe 4 Axe 5 Axe 6 Citroë C Smart Fortwo Mii Nissa Micra Reault Clio 3.0 V Audi A3.9 TDI Peugeot HDI Peugeot V Mercedes Classe C BMW 530d Jaguar S-Type.7 V BMW 745i Mercedes Classe S Citroë C3 Pluriel.6i BMW Z4.5i Audi TT.8T Asto Marti Vaquish Betley Cotietal GT Ferrari Ezo Reault Sceic.9 dci Volkswage Toura.9 TDI Lad Rover Defeder Lad Rover Discovery Nissa X-Trail. dci DISTO = d (x i, 0) Corrélatios etre les variables et les composates pricipales Propriétés de la première composate pricipale Y Y = u X + u X + + u p X p Corrélatios des variables actives avec les facteurs Libellé de la variable Axe Axe Axe 3 Axe 4 Axe 5 Axe 6 Cylidrée Puissace Vitesse Poids Largeur Logueur Moyee de Y = 0 Variace de Y = Iertie expliquée par = Cor(X j, Y ) = u j Das SPSS : Compoet Matrix p cor p j (X, Y ) j p est maximum 3 4