GOUTTE. Analyse Statistique des Données Cours 8. Master 2 EID. LUISS, Libera Università Internazionale degli Studi Sociali

Dimension: px

Commencer à balayer dès la page:

Download "GOUTTE. Analyse Statistique des Données Cours 8. Master 2 EID. LUISS, Libera Università Internazionale degli Studi Sociali"

Angèline Boisvert
il y a 8 ans
Total affichages :

1 LUISS, Libera Università Internazionale degli Studi Sociali Université Paris 13 Laboratoire Analyse, Géométrie et Applications UMR 7539 GOUTTE Analyse Statistique des Données Cours 8 Master 2 EID goutte@math.univ-paris13.fr Master 2 EID 07/08 1

Applications UMR 7539 GOUTTE Analyse Statistique des Données

2 Contents 1 Introduction 3 2 La régression Logistic Principes Généraux Etape univariée pour variable qualitative Etape univariée pour variable quantitative Les interactions Interprétations des Statistiques Diagnostic (qualité) du modèle retenu Regréssion Logisitic sous SAS Methode de sélection des variables goutte@math.univ-paris13.fr Master 2 EID 07/08 2

5 Interprétations des Statistiques.......................... 16 2.6 Diagnostic (qualité) du modèle retenu...................... 20 3 Regréssion Logisitic sous SAS 22 3.

3 L'objectif de ce cours est d'apprendre à utiliser les regressions logistiques et donc les méthodes de scoring. Pour cela, nous verrons donc 1. Introduction 2. La régression LOGISTIC Principes généraux. Etape univariée pour variable qualitative. Etape univariée pour variable quantitative. Les interactions : Exemple. Interprétation des statistiques. Diagnostic (qualité) du modèle retenu. 3. La régression "LOGISTIC" avec SAS. 4. Applications. 1 Introduction Le scoring est une méthode consistant à classer un ensemble d'individus en leur attribuant un score par rapport à une variable cible. Ce score peut reeter: une appétence, c'est à dire l'envie d'acheter ou non un produit. une sensibilité à un produit ou à un événement. un risque, par exemple qu'un client soit mauvais payeur ou non. Le scoring par la régression Logistique : Le score reète la probabilité q'un événement survienne. Exemple: Si on sollicite un client pour un produit, quel est le pourcentage de chance que ce client achète le produit. Analyse rétrospective : Nous utilisons un ensemble d'indicateurs ou variables décrivant les conditions dans lesquelles se trouvaient les clients lorsqu'ils ont acheté le produit. Si on retrouve ces mêmes conditions pour les futurs clients, alors nous pouvons les solliciter. Autrement dit nous utilisons une base de données d'apprentissage pour construire notre modèle. Importance de la richesse et de l'exactitude des indicateurs (variables). goutte@math.univ-paris13.fr Master 2 EID 07/08 3

Diagnostic (qualité) du modèle retenu. 3. La régression "LOGISTIC" avec SAS. 4. Applications.

4 2 La régression Logistic 2.1 Principes Généraux La régression logistique est une méthode qui permet d'exprimer la relation entre une variable qualitative à 2 modalités (OUI/NON), que l'on appelera variable cible: Y, et des variables qualitatives ou quantitatives (x i ) i=1,..,n. La relation entre la variable cible Y à expliquer, qui peut être vu comme une probabilité d'un événement, et les variables explicatives n'est pas linéaire, la fonction de lien est la fonction logistique. Graphe: goutte@math.univ-paris13.fr Master 2 EID 07/08 4

modalités (OUI/NON), que l'on appelera variable cible: Y, et des variables qualitatives ou quantitatives (x i ) i=1,..,n.

5 En transformant la variable à expliquer Y, par le Logarithme de l'odd de Y, il devient possible d'utiliser les outils de régression linéaire. Dénition ODD: La somme des variables explicatives. ODD = P (Y ) 1 P (Y ) X = n i=1 a ix i Les paramètres a i sont estimés, ils reètent l'importance de la liaison entre la probabilité que l'événement survienne et la variable explicative x i. Graphe: Il faut maintenant trouver l'ensemble des variables qui explique le mieux la probabilité. Si nécessaire, nous les transformons pour mettre en valeur la relation existante avec la probabilité: Cette étape (appelée étape univariée) est très importante et peut être très longue si la base de donnée est riche. goutte@math.univ-paris13.fr Master 2 EID 07/08 5

ODD = P (Y ) 1 P (Y ) X = n i=1 a ix i Les paramètres a i sont estimés, ils reètent l'importance de la liaison entre la probabilité que l'événement survienne et la variable explicative x

6 2.2 Etape univariée pour variable qualitative Etape 1: Master 2 EID 07/08 6

7 Etape 2: Master 2 EID 07/08 7

8 Etape 3: Master 2 EID 07/08 8

9 Etape 4: Master 2 EID 07/08 9

10 Etape 5: Master 2 EID 07/08 10

11 2.3 Etape univariée pour variable quantitative Etape 1: Hypothèse 1: La distribution des variables quantitatives doit être de Normale. Hypothèse 2: La relation entre la probabilité que l'événement survienne et la variable explicative (quantitative) doit être de type logistique. Sinon, il faut "découper" la variable en classe. On se retrouve alors dans le cas de variable qualitative. Master 2 EID 07/08 11

Hypothèse 2: La relation entre la probabilité que l'événement survienne et la variable explicative

12 Etape 2: La relation entre la probabilité que l'événement survienne et la variable explicative (quantitative) peut ne pas être de type logistique. Master 2 EID 07/08 12

13 Etape 3: La relation entre la probabilité que l'événement survienne et la variable explicative (quantitative) peut ne pas être de type logistique. Master 2 EID 07/08 13

14 2.4 Les interactions Intéraction 1: Si 2 modalités de variables explicatives sont associées, alors l'événement Y est très souvent observé. Par exemple, les clients qui consomment très peu leur forfait durant les 2 derniers mois, vont changer de forfait. goutte@math.univ-paris13.fr Master 2 EID 07/08 14

Par exemple, les clients qui consomment très peu leur forfait durant les 2

15 Intéraction 2: Première possibilité: Nous créons autant de modalités qu'il existe de cases dans le tableau. Si le sujet a entre 0 et 30 Mn restantes durant le 2 derniers mois, alors il est codé M1. S'il a entre 0 et 30 Mn restantes le dernier mois et entre 30 Mn et 1H l'avant dernier mois, alors il est codé M2. Inconvénient : Il existe trop de modalités, de plus les eectifs dans une case peuvent être très faibles. Dans ce cas, le % observé est peu être un mauvais estimateur. Deuxième possibilité: Moins de modalités, donc moins de coecients estimés. goutte@math.univ-paris13.fr Master 2 EID 07/08 15

S'il a entre 0 et 30 Mn restantes le dernier mois et entre 30 Mn et 1H l'avant dernier mois, alors il est codé M2.

16 2.5 Interprétations des Statistiques. Etape 1: Master 2 EID 07/08 16

17 Etape 2: Master 2 EID 07/08 17

18 Etape 3: Master 2 EID 07/08 18

19 Etape 4: Master 2 EID 07/08 19

20 2.6 Diagnostic (qualité) du modèle retenu. Sensibilité: Capacité à prédire correctement les événements. C'est le nombre de cas prédits correctement divisé par le nombre de cas total. Spécicité: Capacité à prédire correctement les non-événements. C'est le nombre de non-cas prédits correctement divisé par le nombre total de non-cas. Matrice: Master 2 EID 07/08 20

C'est le nombre de cas prédits correctement divisé par le nombre de cas total.

21 Dans le cadre d'un modèle logistic, la sensibilité est représenté sous forme d'une courbe, appelé courbe de ROC. Le raisonnement est le suivant, il faut choisir une valeur seuil comprise entre le score minimum et le score maximum. Si le score d'un client est supérieur à ce seuil, alors nous prédisions l'événement. Ensuite,nous faisons varier ce seuil (du minimum au maximum) et nous représentons sous forme graphique la sensibilité. L'exercice étant le même pour la spécicité. Master 2 EID 07/08 21

22 3 Regréssion Logisitic sous SAS La syntaxe de la régression logistic est la suiante: PROC LOGISTIC Data=[options1]; CLASS ; MODEL Y= / [Options2]; OUTPUT OUT= pred= [pour stocker les valeurs prédites dans une table] RUN; Options 1: Algorithme 1: Syntaxe de la procédure LOGISTIC DESCENDING ou ASCENDING pour choisir la modalité correspondant à l'événement NOPRINT pas d'achage en sortie. OUTTEST=XXX pour stocker les paramètres estimés. Options 2: CTABLE pour construire la table permettant le calcul de la spécicité et sensibilité. SELECTION=FORWARD ou BACKWARD ou STEPWISE pour la sélection pas à pas des variables. 3.1 Methode de sélection des variables. Les 3 méthodes de sélection de variables sont les méthodes STEPWISE-FORWARD- BACKWARD. Les options propres à ces méthodes sont les seuils de signicativité pour l'entrée et la sortie des variables. Forward: L'option est SLENTRY(= 0.05 par défaut) (Model /SELECTION=FORWARD SLENTRY= 0.1) Stepwise: Les options SLENTRY (= 0.05 par défaut) et SLSTAY(= 0.05 par défaut) (Model /SELECTION=STEPWISE SLENTRY= 0.1 SLTAY= 0.15) Bacward: L'option est SLSTAY (= 0.05 par défaut) (Model /SELECTION=BACKWARD SLSTAY= 0.1) L'analyse du détail des entrées des variables (Options / Details) permet de visualiser la stabilité des coecients estimés. Une variation très forte traduit un problème de colinéarité. goutte@math.univ-paris13.fr Master 2 EID 07/08 22

Documents pareils

CALCUL D UN SCORE ( SCORING) Application de techniques de discrimination LES OBJECTIFS DU SCORING

CALCUL D UN SCORE ( SCORING) Application de techniques de discrimination LES OBJECTIFS DU SCORING SÉLECTION DES RISQUES PRÉVISION DES DÉFAUTS SUIVI ET CONTRÔLE Pierre-Louis GONZALEZ Différents types de