Aurélien VESIN - Institut Albert Bonniot Grenoble (Version du 02/2012)

Dimension: px

Commencer à balayer dès la page:

Download "Aurélien VESIN - Institut Albert Bonniot Grenoble (Version du 02/2012)"

Caroline Grégoire
il y a 6 ans
Total affichages :

1 La régression de Poisson Théorie et Applications SAS Albert Bonniot Grenoble (Version du 02/2012)

2 Introduction Principe : Modéliser une variable discrète positive En principe un nombre de quelque chose (comptage) Un événement plutôt rare Exemple = Nombre de visites chez le médecin Nombre de failles d un système d exploitation Nombre d appels à un standard téléphonique

3 Modèle de Poisson P( y = r) = λ r e r! λ Avec r = 0,1,2, Et λ le paramètre Propriété de la loi de Poisson : E(Y) = Var(Y) = λ La moyenne est égale à la variance! Le seul paramètre λ permet de modifier la forme de la distribution On a besoin d estimer un λ qui permette à la distribution théorique de coller à celle de nos données

4 Modèle de Poisson 0,3 0,25 P(y=r) 0,2 0,15 Λ = 2 0,1 0,05 Variance = r 0,25 0,2 P(y=r) 0,15 0,1 Variance = 3 Λ = 3 0, r

5 Modèle de Poisson Modèle de Poisson fait partie des modèles linéaires généralisés : Fontion de lien LOG et distribution de POISSON PROC GENMOD sous SAS Fonction GLM sous R log λ = β + β x + β x β x i 0 1 i 1 2 i2 k ik On modélise le log du λ comme une combinaison linéaire des covariables X et de leurs paramètres β

6 Données illustration Étude FRATER Étudier le nombre d arrachements de tuyaux en réanimation par semaine N = 97 semaines Y = nbre d arrachement /semaine X = Age médian des patients de la semaine i Proportion de femmes dans la semaine i Nombre minimum d infirmière dans la semaine i Etc

7 Modélisation sous SAS proc genmod data=frater.semaine; model nb_incidents = p_femme / link=log dist=poisson; run; Analyse des résultats estimés de paramètres Paramètre DF Estimation Erreur Wald 95Limites de confiance standard % Khi 2 Pr > Khi 2 Intercept <.0001 p_femme Scale Exp(β p_femme ) s interprète comme un Risque Relatif (RR) : Ex : RRp_femme=exp( )=0.992 donc le nombre d incidents diminue de 1/0.992 = 0.82% pour chaque augmentation de 1 point du pourcentage de femmes /!\ L effet des variables quantitatives sur Y doit être log linéaire

8 Modélisation sous SAS Critère pour évaluer la qualité de l'ajustement Critère DF Valeur Valeur/DF Deviance Scaled Deviance Pearson Chi-Square Scaled Pearson X Log Likelihood DF = Nombre obs. Nombre de paramètres La Déviance (-2log L) suit un Chi 2(n-p ddl) Pearson Chi square estime la déviance On s intéresse surtout à la quantité (VALEUR/DF) : Doit être très proche de 1 Dans notre cas : D =1.98 Problème de Sur dispersion

9 Problème de sur dispersion Problème majeur du modèle de Poisson Hypothèse du modèle de Poisson : E(Y) = Var(Y) = λ En réalité la variance est souvent plus élevée! Sous estimation des écarts types surestime les stats de test augmente significativité! Des solutions existent : Introduire un terme de bruit qui correspond à la variance de Y non expliqué par les variables Modèle de régression négative binomiale (extension du modèle de Poisson) Autres solutions plus complexes (non traité)

10 Sur dispersion Correction avec un terme de bruit : Dscale : Par le ratio Déviance/DF Pscale : Par le ratio Pearson X2/DF Dans la littérature le 2 nd est préféré proc genmod data=frater.semaine; model nb_incidents = p_femme / link=log dist=poisson PSCALE; run; Dev/DF = Dscale Pea/DF = Pscale

11 Scale = Racine(1.72) SE scaled =SE * Scale Khi2 scaled =Khi2/scale² Surdispersion Critère pour évaluer la qualité de l'ajustement Critère DF Valeur Valeur/DF Deviance Scaled Deviance Pearson Chi-Square Scaled Pearson X Log Likelihood Analyse des résultats estimés de paramètres Paramètre DF Estimation Erreur standard Wald 95Limites de confiance % Khi 2 Pr > Khi 2 Intercept <.0001 p_femme Scale Après correction de la surdispersion la variable proportion de femmes n est plus significative!

12 Régression Binomiale négative Extension du modèle de Poisson pour palier au problème de sur dispersion Inclusion d un terme de bruit log β β i x β i1 + 2xi2 λ = β x + σε k ik i proc genmod data=frater.semaine; model nb_incidents = p_femme / link=log dist=negbin; run;

13 Régression binomiale négative Paramètre DF Estimation Erreur standard Analyse des résultats estimés de paramètres Wald 95Limites de confiance % Khi 2 Pr > Khi 2 Intercept <.0001 p_femme Dispersion Les résultats sont très proches des précédents

14 Ajustement par variable OFFSET Exemple du temps d exposition Processus de comptage Le temps d exposition peut être différent entre les observations Influence évidente de la durée d exposition sur le nombre d événements observés 12 appels 6 appels 10 appels 15 appels Le temps d exposition est un facteur connu mais qui ne nous intéresse pas donc on veut ajuster dessus

15 Ajustement par variable OFFSET Solution : Introduire le temps d exposition t P( y = r) = ( λ t i i ) r e r! log i log( ti ) + β0 + β1xi 1 + β2xi 2 λ λ = β x + σε Le temps est introduit sans coefficient, il est pris en compte mais son coefficient forcé a 1.0 Dans notre cas, le nombre de patients présents dans la semaine i peut être introduit comme variable OFFSET! proc genmod data=frater.semaine; model nb_incidents = p_femme / link=log dist=negbin OFFSET=nb_patients; run; i t i k ik i

16 Sélection des variables Est-ce que une variable X apporte de l information sur Y? Test de Type 3 Est-ce que l ajout d une variable X dans le modèle précédent apporte de l information de façon significative? Test de Type 1 (séquentiel) proc genmod data=frater.semaine; model nb_incidents = p_femme / link=log dist=negbin OFFSET=logtemps; Output out=sortie pred=lambdaest TYPE1 TYPE3; run;

17 Sélection de variables Exemple de procédure de sélection de type «Backward» 1. Tester l apport de Déviance de chaque variable indépendamment (Test de Type 3) 2. Entrer toutes les variables retenues dans le modèle 3. Retirer une à une les variables les moins significatives jusqu à ce que les variables restantes soient toutes significatives D autres méthodes peuvent être appliquées!

18 Prédiction Avec nos paramètres estimés précédemment : A Combien d arrachement de tuyau peut on s attendre s il y a 80 % de femme? Log(λ est ) = P_FEMMEi = Exp(log(λi est )) = λi est = exp(0.3964) = 1.48 arrachements! Le λiest est la valeur «attendue» de Y pour l individu i Notes : Ne pas oublier d introduire la variable offset si elle existe. SAS donne en sortie l estimation du λ est pour chaque individu proc genmod data=frater.semaine; model nb_incidents = p_femme / link=log dist=negbin OFFSET=logtemps; Output out=sortie pred=lambdaest; run;

19 Avantages et inconvénients Avantages Spécialement adapté aux variables discrètes Assez simple à utiliser Inconvénients Problème de sur dispersion quasi systématique Avoir une variable dépendante avec une distribution poissonienne (pas évident!)

20 Modèle sur étude FRATER Critère pour évaluer la qualité de l'ajustement Critère DF Valeur Valeur/DF Deviance Scaled Deviance Pearson Chi-Square Scaled Pearson X Log Likelihood Modèle de Poisson Pearson Khi2 scale Offset = Log(nb jours-patient) Paramètre DF Estimation Erreur standard Analyse des résultats estimés de paramètres Wald 95Limites de confiance % Khi 2 Pr > Khi 2 Intercept <.0001 p_sypt_chpsurv p_sympt_coma p_femme p_kta p_sondeu Scale

21 p_obs nb_i nci dent s PLOT Obser ve Pr edi t

22 pcum_obs nb_i nci dent s PLOT Obser ve Pr edi t

Documents pareils

SAS ENTERPRISE MINER POUR L'ACTUAIRE

SAS ENTERPRISE MINER POUR L'ACTUAIRE Conférence de l Association des Actuaires I.A.R.D. 07 JUIN 2013 Sylvain Tremblay Spécialiste en formation statistique SAS Canada AGENDA Survol d Enterprise Miner de