Grégoire de Lassence. Copyright 2006, SAS Institute Inc. All rights reserved.

Transcription

1 Grégoire de Lassence 1

2 Grégoire de Lassence Responsable Pédagogie et Recherche Département Académique Tel : [email protected]

3 SAS dans le monde 1976 : Création en Caroline du Nord Société privée CA 2006 : 1,9 milliards $ employés 24 % du CA réinvesti en R&D SAS en France 280 collaborateurs

4 SAS Academic Le programme SAS Academic développe des partenariats forts avec les universités et les grandes écoles. Il a pour objectif de : former les étudiants aux solutions SAS, fournir des compétences métier reconnues par les entreprises Son leitmotiv : Créer le lien entre le monde académique et celui de l entreprise. 4

5 Services SAS Academic Cours Développement de programmes, études de cas, support pédagogique Experts SAS, e-learning, Certification SAS Club SAS Academic Universities du Décisionnel SAS (Paques, été, Noël) SAS pendant le stage : «CPQ» Licence Gratuite à Domicile Offres de stage et d embauche de nos clients Divers Newsletter Internationale Student Ambassador Competition / Papiers SFF Recherche & Chaires Evènements & Sponsoring [email protected]

6 Pré requis Les langages SAS, SQL, MDX et Java Site Web : nuels_logiciels/sasv9-preudhomme.pdf 6

7 Bibliographie 7

8 Programmes de Certification SAS Généraliste Spécialiste Data Warehouse O1 SAS Certified Base Programmer O2 SAS Certified Advanced Programmer O3 SAS Certified Warehouse Development E1 SAS Base Programming* SAS E2 Advanced Programming** SAS E5 Warehouse Development Specialist Concepts SAS E4 Warehouse Technology SAS E3 Applications Development Concepts *Cours pré-requis : BAS, AVC1 **Cours pré-requis : AVC2, EFFI, SQL, MAC O4 SAS Certified Application Developer Spécialiste Développement d'applications

9 Plateforme décisionnelle 9

10 Quel projet décisionnel? Descriptif Business Intelligence? 10

11 Prédictif Analytique

12

13 Le décisionnel au cœur des processus de l entreprise Copyright 2004, 2006, SAS Institute Inc. All rights reserved. 13

14 Client Tier SAS ETL Studio SAS OLAP Cube Studio SAS Management Console SAS Information Map Studio SAS Enterprise Guide SAS Add-In for Microsoft Office SAS Web Report Studio SAS Information Delivery Portal Middle Tier HTTP Server webdav Server SDK Java Servlet Container Web Infrastructure Kit Server Tier SAS 9 Foundation Workspace Server Metadata Server Stored Process Server SAS/CONNECT Server OLAP Server

15 Le Data Mining avec Enterprise Miner

16 Le data mining aujourd hui Ces techniques ne sont pas toutes récentes (années s) Ce qui est nouveau, ce sont surtout : quantité des données disponibles la puissance de calcul des machines le retour sur investissement qui peut être considérable

17 Définition Les 2 familles de techniques de DM Les techniques descriptives :» segmentation («clustering»)» Recherche d associations (séquences)» Algorithmes génétiques (SAS OR) Les techniques prédictives :» régression» arbres de décision» réseaux de neurones» Raisonnement à base de cas» SVM Autres choses Traitement de gros volumes et intégration du DM dans les processus de production

18 Les 10 étapes d un projet Choix du sujet - Définition des objectifs Inventaire des données existantes Collecte, nettoyage et mise en forme des données Constitution de la base d analyse Mise en œuvre des algorithmes (segmentation, scoring ) - Elaboration des modèles Validation et choix d un modèle Déclaration à la CNIL Déploiement du modèle Formation des utilisateurs Analyse des retours de l action et suivi des outils Source

19 Les données utilisées en Data Mining A partir des données opérationnelles : Où ( lieux géographiques, Internet, ) Quand ( Fréquence, récence, ) Comment ( mode de payement, ) Combien ( nombre de TE, ) Quoi ( Produit, ) Source

20 Segmentation RFM Nombre de commandes Récence T 1 T T T - 4

21 Distribution du prénom Charlotte

22 Nuggets If you ve got terabytes of data, and you re relying on data mining to find interesting things in there for you, you ve lost before you ve even begun. Herb Edelstein

23 Missing Value Imputation Inputs? Cases????????

24 Model Complexity Too flexible Not flexible enough

25 Overfitting Training Set Test Set 19 e = 90 % 49 e = 75 %

26 Better Fitting Training Set Test Set 34 e = 83% 43 e =78%

27 The Right-Sized Tree Stunting Pruning 27

28 A Field Guide to Tree Algorithms AID THAID CHAID ID3 C4.5 C5.0 CART 28

29 Measurement: unary - one value for example, a variable with a particular value that was used to create a data subset binary - two values for example, the variable MARITAL that contains No or Yes nominal - more than two non-numeric values, but no implied order for example, STATECOD that contains AK, AL, AR, AZ, etc. ordinal - more than two but not more than ten numeric values, with implied order for example, NUMCARS that contains values from 0 to 3 interval - more than ten numeric values for example, AMOUNT that contains many different dollar values 29

30 Artificial Neural Networks Neuron Hidden Unit 30

31 Multilayer Perceptron Hidden Layers Input Layer Output Layer Hidden Unit 31

32 INPUT HIDDEN OUTPUT AGE COMBINATION ACTIVATION ß 1 + ß 2 AGE+ ß 3 INC tanh(ß 1 + ß 2 AGE+ ß 3 INC) =A INCOME COMBINATION ß 4 + ß 5 AGE+ ß 6 INC ACTIVATION tanh(ß 4 + ß 5 AGE+ ß 6 INC) =B COMBINATION ß 10 +ß 11 A+ ß 12 B+ß 13 C COMBINATION ACTIVATION ß 7 + ß 8 AGE+ ß 9 INC tanh(ß 7 + ß 8 AGE+ ß 9 INC) =C 32

33 Activation Function Input Layer 33

34 Universal Approximator 6+A-2B+3C A B C 34

35 Training Error Function Iterative Optimization Algorithm Parameter 1 Parameter 2 35

36 Association Rules A B C A C D B C D A D E B C E Rule A D C A A C B & C D Support 2/5 2/5 2/5 1/5 Confidence 2/3 2/4 2/3 1/3

37 Copyright 2006, 2003, SAS Institute Inc. All rights reserved. 37