Carine Krier Lise Moro DESS Informatique Décisionnelle. Quels facteurs justifient la réussite d un étudiant au poleinfo3 de dauphine?

Transcription

1 Carine Krier Lise Moro DESS Informatique Décisionnelle Quels facteurs justifient la réussite d un étudiant au poleinfo3 de dauphine? Enseignant : Edwin Diday Mars 2005

2 SOMMAIRE 1 Etat de l art Définition du Datamining Outils existants sur le marché SPSS Oracle9i Data Mining DB2 Intelligent Miner (IBM) BusinessMiner (Business Objects) CART (Salford Systems) Alice (ISoft) Remarque Sodas Description Fonction disponibles Descriptive Statistics Dissimilarity and Matching Clustering Factorial Discrimination and Regression La problématique Présentation des données Source des données Présentation de la base de données Présentation du problème Problématique choisie Concepts et Individus Importation sous DB2SO Présentation de DB2SO Définition du contexte Analyses symboliques Utilisation de SODAS Méthode STAT Méthode SOE Méthode DIV Méthode PYR Synthèse

3 1 Etat de l art 1.1 Définition du Datamining Le Datamining aussi appelé analyse de données consiste à extraire des pépites dans une mine. C est un prolongement des statistiques qui sert à extraire des informations d'une très grande masse de données. Le Datamining est un ensemble de méthodes et de techniques d analyse. On distingue : - Les méthodes descriptives, c'est-à-dire la classification automatique et l analyse factorielle ; - Les méthodes explicatives, c'est-à-dire l analyse canonique, l analyse discriminante et la segmentation (arbre de décision). 1.2 Outils existants sur le marché SPSS L objectif de ce logiciel est de permettre des prévisions. Le discours autour de SPSS est de dire que si une entreprise peut prévoir ce qui va se passer à l avenir, elle peut devenir plus concurrentielle, et ceci en dirigeant, optimisant, et automatisant des décisions Oracle9i Data Mining Ce logiciel permet de faire des classifications, prévisions, et associations. L'exploitation de données est possible sur une très grande quantité de données et peut permettre de trouver des informations non directement accessibles. Pour une entreprise, l'information ainsi obtenue peut aider à mieux comprendre leurs clients et à prévoir leurs comportements DB2 Intelligent Miner (IBM) DB2 Intelligent Miner se découpe en 4 sous logiciels : - DB2 Intelligent Miner Modeling : il permet la découverte de relations cachées dans les données sans avoir à travailler sur des échantillons. Les modélisations possibles sont : la découverte d association, le groupement démographique (ex : segmentation de marché, ) et les arbres de décision. - DB2 Intelligent Miner Scoring : il permet d étendre les possibilités des bases de données et ainsi permettre aux utilisateurs de faire du datamining en temps réel. Ceci permet d améliorer continuellement un modèle en réponse à une modification. - DB2 Intelligent Miner Visualization permet à des experts et à des non experts de regarder et évaluer des résultats de processus de modélisation. - DB2 Intelligent Miner for Data 3

4 1.2.4 BusinessMiner (Business Objects) BusinessMiner aide les utilisateurs à extraire les connaissances implicitement contenues dans leurs données métiers. Les principales fonctionnalités sont : la découverte de relations cachées entre les données, la modélisation sous forme d arbre de décisions, la segmentation. BusinessObjects met le Datamining à la portée de tous les utilisateurs CART (Salford Systems) CART permet d établir des arbres de décision robustes et faciles d utilisation qui s appliquent à de grandes et complexes bases de données Alice (ISoft) ALICE est un outil d'extraction de données interactives en ligne. Il permet de découvrir des tendances et des rapports cachés dans les données, de faire des prévisions et des arbres de décision Remarque L ensemble de ces logiciels utilise des données classiques et non des données symboliques comme le logiciel SODAS dont la présentation suit. 2 Sodas 2.1 Description SODAS est un logiciel public, c'est-à-dire téléchargeable sur Internet. Il en existe deux versions. La version 1.2 et la version 2.5 qui est la plus récente. Il permet d analyser des données symboliques. Les données sont symboliques dans la mesure où les données traitées ne sont pas des individus, mais des concepts. Les concepts peuvent être considérés comme des individus d un niveau plus élevé. A partir d un Datawarehouse ou d une base de données, la fonctionnalité DB2SO proposée par SODAS transforme une table contenant de données classiques en un tableau de données symboliques. Ce tableau décrit des concepts qui peuvent par la suite être analysés pour extraire des connaissances par des méthodes de datamining symbolique. 4

5 2.2 Fonction disponibles Descriptive Statistics - SOE : permet aux des utilisateurs de regarder et de visualiser les données symboliques - D STAT : permet d établir plusieurs statistiques élémentaires Dissimilarity and Matching SODAS propose l application de plusieurs mesures de dissimilitude entre objets symboliques. Deux fonctions sont disponibles dans la deuxième version de SODAS : la fonctionnalité MATCH et Diss Clustering - DIV : permet de faire une classification hiérarchique ; - D Clust : permet un partitionnement de types nués dynamiques ; - Syk som - HI PYR : permet un partitionnement pyramidal ; - S CLASS - CLi NT Factorial - S PCA : permet d appliquer l analyse en composantes principales aux données symboliques - S GCA Discrimination and Regression - S FDA : analyse factorielle symbolique discriminante - S REG - SB TREE - TREE : permet de faire un arbre de décision. - S MLP - SDD - SFDR - SDT Remarque : les fonctionnalités non spécifiquement décrites correspondent a des fonctionnalités non explicitées en cours et dont le fonctionnement n est pas très clair. 5

6 3 La problématique 3.1 Présentation des données Source des données Nous avons choisi de porter notre étude sur les étudiants des trois DESS du poleinfo3 de l université Paris-Dauphine dont nous faisons parties. Pour réaliser cette étude, nous avons donc sollicités la secrétaire ainsi que les directeurs des DESS concernés afin de recueillir toutes les données dont nous avions besoin. Aucune base de données n existait jusqu'à présent, ainsi nous avons du créer notre propre base de données relationnelle ACCESS à partir des documents fournis. Les données concernent les années universitaires et Présentation de la base de données Notre base de données relationnelle est composée de plusieurs tables : Table ETUDIANT Cette table regroupe les données concernant chaque étudiant, c'est-à-dire : - nom - prenom - sexe : féminin ou masculin - - note_obligatoire : note obtenue pour les enseignements fondamentaux - note_option : note obtenue pour les enseignements optionnels - note_stage - note_finale : moyenne générale - mention : mention obtenue - année : année d étude (2003 ou 2004) Table DESS Cette table correspond aux DESS, c'est-à-dire ID, SITN et TIO. Voici les champs qui composent cette table : - nom_responsable : nom du directeur du DESS - intitule : ID, SITN ou TIO - description : signification des sigles 6

7 Table ORIGINE Cette table correspond aux formations d origine des étudiants, c'est-à-dire aux éléments relatifs au diplôme obtenu précédemment. Elle est constituée des champs suivants : - universite : université précédente - ville : ville d origine - region - zone_geog : Nord, Est, Sud-Est, Centre, Sud-Ouest, Ouest ou Ile-De-France. - formation : intitule du diplome - typeformation : IUP, fac, ecole ou pro (pour le milieu professionnel) Table COURS Cette table correspond aux cours dispensés au sein du poleinfo3. Pour chaque cours, elle contient les informations suivantes : - intitule : intitule du cours - type_notation : examen ou projet - periode : période d enseignement c'est-à-dire 1, 2 ou 3 - nb_d_heures - credit - DESS : DESS auquel ce cours est rattaché Table PROFESSEUR Cette table correspond aux professeurs dispensant des cours au sein du poleinfo3. Voici les champs qui la composent : - titre : Mr ou Mme - nom - prenom - niveau : Maitre de conf, Professeur ou Professionnel Table STAGE Cette table correspond aux stages effectués par les étudiants. Elle est constituée des champs suivants : - entreprise : entreprise où l étudiant à fait son stage - type_entreprise : Service, Finance, PME, GE, Utilité publique, Emploi (pour les étudiants en CDI), Aucun(pour ceux n ayant effectué aucun stage). Plusieurs liens existent entre les tables que nous venons de vous présenter. La table ETUDIANT est liée à la table ORIGINE, sachant qu un étudiant est lié à une et une seule origine (cardinalité 1,1) et qu une origine peut être liée à aucun ou n étudiants (cardinalité 0,n). La table ETUDIANT est liée à la table STAGE, sachant qu un étudiant effectue un et un seul stage (cardinalité 1,1) et qu un stage peut être lié à aucun ou n étudiants (cardinalité 0,n) La table ETUDIANT est liée à la table DESS sachant qu un étudiant appartient à un et un seul DESS (cardinalité 1,1) et qu un DESS contient aucun ou n étudiants (cardinalité 0,n) Une table COURS_EFFECTIFS permet de créer un lien entre un étudiant, un cours et un professeur. Cette relation a comme attribut l année et le type du cours suivis (option ou obligatoire). 7

8 Voici le schéma relationnel de notre base db_poleinfo3.mdb : Remarque : cette base est confidentielle. Les directeurs des DESS et la secrétaire nous ont explicitement demandés de ne pas publier ces données, celles ci étant considérées comme privées. 3.2 Présentation du problème Problématique choisie Nous avons choisi d utiliser le logiciel d analyse symboliques SODAS afin de répondre à la problématique suivante: Quels facteurs justifient la réussite d un étudiant au poleinfo3 de l Université Paris-Dauphine? Concepts et Individus Afin de répondre au mieux à notre problématique, nous avons choisi de prendre comme concepts les mentions obtenues par les étudiants. Nous avons donc 6 concepts : TB : correspondant à la mention très bien B : correspondant à la mention bien AB : correspondant à la mention assez bien P : correspondant à la mention passable AJ : correspondant aux étudiants ajournés AD : correspondant aux étudiants ayant abandonné au cours de l année. L extension de ces concepts correspond à nos étudiants. Nous avons donc 173 individus. 8

9 4 Importation sous DB2SO 4.1 Présentation de DB2SO Rappelons d abord l objectif de SODAS : «à partir d'une base de données, construire un tableau de données symboliques, parfois muni de règles et de taxonomies, dans le but de décrire des concepts résumant un vaste ensemble de données, analyser ensuite ce tableau pour en extraire des connaissances par des méthodes d'analyse de données symboliques». DB2SO est l outil intégré à SODAS qui permet de créer un tel tableau de données symboliques à partir d une base de données relationnelle. Cette transformation est résumée par le schéma suivant : VARIABLES DESCRIPTIVES VARIABLES SYMBOLIQUES I N D I V I D U S Dans chaque case, une valeur unique DB2S O C O N C E P T S Dans chaque case, les valeurs peuvent être : - des histogrammes - des intervalles - des valeurs uniques 4.2 Définition du contexte Un contexte est défini par : des unités statistiques de premier niveau les variables qui les décrivent des concepts Chaque unité statistique de premier niveau est associée à un concept (par exemple, chaque habitant est associé à sa ville). Dans notre étude, les unités statistiques de premier niveau sont les étudiants et les concepts sont les mentions obtenues par ses étudiants. Nous avons choisies plusieurs variables descriptives. Celles-ci se partagent en deux types : qualitatives : sexe, region, typeformation, intitule (du dess), type_entreprise (du stage) quantitatives : note_obligatoire, note_option, note_stage, nbcours 9

10 Ce contexte est défini par une requête de la base que nous avons appelée principale. Cette requête permet d obtenir une table de la forme suivante : Variables descriptives Individus Concept Variables qualitatives Variables quantitatives Voici le code SQL correspondant à cette requête : SELECT E.id_Etudiant, Count(*) AS nbcours FROM Etudiant AS E, Cours_Effectifs AS C WHERE (((E.id_Etudiant)=[C].[id_Etudiant])) GROUP BY E.id_Etudiant; SELECT Etudiant.id_Etudiant, Etudiant.mention, Etudiant.sexe, Origine.region, Origine.typeFormation, DESS.intitulé, Stage.Type_entreprise, Etudiant.note_Obligatoire, Etudiant.note_Option, Etudiant.note_Stage, nbcours.nbcours FROM (Stage INNER JOIN (Origine INNER JOIN (DESS INNER JOIN Etudiant ON DESS.id_DESS = Etudiant.id_DESS) ON Origine.id_Origine=Etudiant.id_Origine) ON Stage.id_Stage = Etudiant.id_Stage) INNER JOIN nbcours ON Etudiant.id_Etudiant = nbcours.id_etudiant; Voyons maintenant comment créer ce contexte à l aide de DB2SO. Tout d abord, ouvrons cet outil à l aide du menu de SODAS Sodas File>Import > Import with DB2SO : 10

11 Une fois DB2SO ouvert, cliquons sur File>New Dans la fenêtre qui s affiche à l écran, toutes les sources de données ODBC sont présentes. Si vous avez déjà créé un lien ODBC vers votre base de données, sélectionnez la, puis cliquez sur OK. Si ce n est pas le cas, cliquez sur Nouveau 11

12 Il faut alors sélectionner le type de source de données (dans notre cas, il s agit d une base ACCESS) puis cliquer sur Suivant Nous devons alors sélectionner la base en cliquant sur Sélectionner puis lui donner un nom avant de cliquer sur OK : 12

13 Nous pouvons maintenant sélectionner notre base qui s affiche dans la fenêtre que nous avons déjà eu tout à l heure : Nous devons maintenant sélectionner la requête définissant notre contexte, dans notre base, celle-ci s appelle Principale : 13

14 La matrice de nos objets symboliques est alors crée. Nous avons bien nos 6 concepts (dans la partie Individuals), ainsi que nos variables symboliques (dans la partie Variables) : Ajoutons maintenant une variable propre à nos concepts. Pour cela, nous avons construit une requête qui nous renvoie la structure suivante : Concepts Variables Qualitatives Nous allons donc rajouter une variable qui permet de connaître la note finale moyenne pour chaque mention. Voici la requête add_single correspondante : SELECT Etudiant.mention, Avg(Etudiant.note_Finale) AS MoyenneNote_Finale FROM Etudiant GROUP BY Etudiant.mention; 14

15 Ajoutons cette nouvelle variable à l aide de DB2SO : Pour cela, allons dans le menu Modify>Add single-valued variables Dans la fenêtre qui s affiche, sélectionnons la requête qui nous intéresse : 15

16 Dans l interface de DB2SO, nous pouvons vérifier que la nouvelle variable MoyenneNote_Finale apparaît dans la partie Variables : Créons maintenant une taxonomie, c'est-à-dire une relation Parent/enfant. Pour cela, nous avons construit une requête qui nous renvoie la structure suivante : Enfants Parents Nous allons donc rajouter une hiérarchie entre la region d origine et la zone géographique. Voici la requête taxo correspondante : SELECT Origine.region, Origine.zone_geog FROM Origine; 16

17 Créons maintenant cette taxonomie dans DB2SO. Pour cela, allons dans le menu Modify>Create a taxonomy Dans la fenêtre qui s affiche, sélectionnons la requête qui nous intéresse ainsi que la variable correspondante : 17

18 Nous venons donc de créer notre tableau de données symboliques dont les nouvelles unités statistiques sont nos concepts décrits par généralisation des propriétés des unités statistiques de premier niveau qui leur sont associés : Exportons maintenant notre contexte vers un fichier d'objets symboliques afin de pouvoir analyser nos données. Pour cela, allons dans le menu File>Export 18

19 Indiquons l endroit où nous voulons l enregistrer ainsi qu un titre puis cliquons sur OK : L exportation de nos données à l aide de DB2SO est maintenant finie. 5 Analyses symboliques 5.1 Utilisation de SODAS L étape préliminaire consiste à sélectionner le tableau d objets symboliques crée dans la partie précédente. Pour cela, allons dans le menu Chaining>Select base Dans la fenêtre qui s affiche, il suffit de sélectionner notre fichier sodas (dont l extension est.sds). 19

20 Notre «base» apparaît alors dans l interface de SODAS : Maintenant, ajoutons les méthodes d analyse que nous voulons appliquer. Pour cela, allons dans le menu Method>Insert method Ensuite, nous devons faire glisser l icône de la méthode voulue dans l emplacement conçu : 20

21 5.2 Méthode STAT L utilisation de STAT nous permet d obtenir les fréquences associées aux variables quantitatives. Voici les résultats obtenus : Variable nbcours : nous constatons que la majorité des étudiants suivent entre 15 et 17 cours pour obtenir leur DESS. Variable note_stage : nous constatons que la majorité des étudiants ont une très bonne note de stage. Environ 60 % des étudiant ont plus de

22 Variable note_option : nous constatons que la majorité des étudiants ont entre 12 et 16 pour moyenne des options. Variable note_obligatoire : la moyenne des notes pour les enseignements obligatoires ne dépasse pas 16 sur

23 L utilisation de STAT nous également d étudier les variables qualitatives par une représentation min/mean/max. Voici les résultats obtenus : Variable sexe : nous observons une grande disparité entre les concepts. En effet nous pouvons observer que le taux de présence féminine varie de 0,15 a 0,75. De même pour les étudiant de sexe masculin. Nous remarquons que notre population est composée de 60% de garçons et 40% de filles. Variable région : l ile de France est largement majoritaire avec une moyenne de 75%. 23

24 Variable typeformation : Les formations continues ainsi que les étudiants provenant d écoles ne sont pas représentés dans tous les concepts. nous remarquons également que les IUP sont souvent les plus nombreux. Variable intitule : nous constatons de grandes disparités. En effet, les valeurs que prennent les concepts pour cette variable symbolique ne sont pas stables. 24

25 Variable Type_entreprise : Comme pour la variable précédente, nous constatons de grandes disparités entre chaque concept. En effet, l écart type pour la majorité des variables est grand. De plus, certaines valeurs ne sont pas présentes pour tous les concepts. 25

26 Cette méthode nous permet d obtenir la répartition de notre population d étudiants : SODAS - STAT CAPACITIES Apr :35 File: POLEIN~1.SDS Title: PoleInfo capa mini maxi mean sexe AB01 f AB02 m region AC01 Ile de France AC02 PACA AC03 Midi Pyrenees AC04 Pays de Loire AC05 Picardie AC06 Rhone alpes AC07 Aquitaine AC08 Lorraine AC09 Languedoc Roussillon AC10 Centre AC11 Bretagne AC12 Normandie AC13 Etranger typeformation AD01 Fac AD02 IUP AD03 Pro AD04 Ecole intitulé AE01 ID AE02 SITN AE03 TIO Type_entreprise AF01 Service AF02 Utilité Publique AF03 PME AF04 GE AF05 Finance AF06 Emploi AF07 Aucun

27 5.3 Méthode SOE Cette méthode nous permet tout d abord de visualiser notre tableau d objets symboliques : Elle permet de représenter nos données sous forme d étoiles où chaque branche représente une variable symbolique. Nous pouvons ainsi observer la répartition de notre population. 27

28 Concept AD : Nous pouvons constater que les étudiants qui abandonnent ne poursuivent pas leur DESS jusqu au stage, ils suivent majoritairement le DESS TIO, et proviennent d un IUP. Nous sommes surpris d observer que des étudiants ayant obtenus une note finale jusqu à 12.5 aux enseignements obligatoires ont abandonnés. De plus, grâce aux statistiques fournies par la méthode précédente, nous savons que la population est composée de 60% d hommes. Or pour ce concept, le taux d hommes est de 71%. Nous pouvons donc conclure que les hommes abandonnent plus que les femmes. De façons analogues, le taux d étrangers pour ce concept est largement supérieur au taux moyen. 28

29 Concept AJ : La première remarque que nous pouvons faire est que le taux d étudiants ajournés suivant le DESS ID (14%) est inférieur à la proportion d étudiants d ID au sein du poleinfo3 (25%). De même, beaucoup plus de garçons sont ajournés (86%) par rapport à la population générale masculine (60%). 29

30 Concept P : Contrairement aux résultats relatifs aux concepts précédents, la répartition hommes/femmes est respectée. Nous pouvons également remarquer que les ID sont plus représentés dans ce concept (42% contre 25%), et inversement, le taux de SITN (11%) est inférieur à la normale (33%). 30

31 Concept AB : Ce concept respecte la répartition globale de notre population d étudiants. 31

32 Concept B : Le taux de SITN ayant obtenus la mention B (57%) est plus élevé qu au sein du poleinfo3, à l inverse les TIO sont moins présents (22% contre 41%). 32

33 Concept TB : Ce concept est très intéressant. La première remarque est que les étudiants ayant obtenus une mention TB ont des notes très élevées et comprises dans des intervalles restreints. Le taux féminin (75%) est très largement supérieur à la proportion de femmes au sein du poleinfo3 (40%). De plus, Le taux d étudiants ayant suivi un cursus purement universitaire (cad hors IUP) (50%) est lui aussi largement supérieur au taux au sein de la population générale (23%). Pour finir, ce phénomène se répète de la même façon pour la variable DESS. En effet, les étudiants ayant suivis le DESS TIO sont présents dans ce concept (50% contre 41%). 33

34 5.4 Méthode DIV Comme il vous l a été présenté plus haut, nous avons associé aux différents concepts une variable quantitative. L application de la méthode DIV va nous amener à comprendre le lien existant entre la variable MoyenneNote_Finale et nos différents concepts. Le résultat de l application de cette méthode à nos objets symboliques est l arbre suivant : La classification ainsi obtenue nous amène au constat suivant : - les étudiants ayant une note finale inférieure à 5 abandonnent - les étudiants ayant une note finale comprise entre 5 et 10.2 sont ajournés - les étudiants ayant une note finale comprise entre 10.2 et 12.8 ont une mention passable - les étudiants ayant une note finale comprise entre 12.8 et 14 ont une mention assez bien - les étudiants ayant une note finale comprise entre 14 et 15.4 ont une mention bien - les étudiants ayant une note finale supérieure à 15.4 ont une mention très bien Grâce à cette classification il est possible d attribuer une mention à un étudiant d après sa note finale. 34

35 5.5 Méthode PYR Cette méthode permet de créer une hiérarchie ainsi qu une pyramide à partir de nos données symboliques. Nous avons choisi d appliquer cette méthode avec les paramètres suivants : - Data source : Symbolic Objects - Aggregation function : Generality Degree Voici la pyramide obtenue : 35

36 Voici la hiérarchie obtenue : Celle-ci nous indique que nous aurions pu utiliser des objets de plus haut niveau en regroupant les concepts AJ et AD ainsi que les concepts P, AB, B et TB. Ce qui parait logique. 36

37 6 Synthèse Rappelons que notre objectif est de déterminer quels sont les facteurs qui justifient la réussite d un étudiant au poleinfo3 de dauphine. Comme nous venons de vous le présenter, pour répondre à cette problématique, nous avons préalablement récolté des données que nous avons ensuite structurées sous forme d une base de données. Par la suite, nous avons menées plusieurs analyses sur cette base à l aide du logiciel SODAS. Suite à ces différentes analyses, nous avons trouvé les pépites suivantes : Une majorité d étudiants provenant d autres pays ont abandonné en cours de DESS. Sans vouloir prendre le rôle de sociologues, ceci est probablement dû à la barrière de la langue ainsi qu à un système d études différent de leur pays d origine. Les étudiants provenant d une école ont tous leurs DESS. En effet, sur les 2 années considérées, aucun n a été ajourné, ou n a abandonné. Deux facteurs nous semblent à retenir pour caractériser les étudiants qui ne réussissent pas leur DESS : o o Sexe = masculin DESS = TIO Remarque : Nous ne voulons pas sous-entendre par la que le fait d être un homme suivant un DESS TIO mène à rater son DESS mais ceux qui ratent ont fréquemment ces deux caractéristiques. Les femmes réussissent généralement mieux que les hommes. Trois facteurs nous semblent à retenir pour caractériser les étudiants qui réussissent le mieux leur DESS : o o o Sexe = feminin DESS = TIO Formation d origine = fac (purement universitaire cad hors IUP) 37