Une approche pour rendre calculable P(Y/X) Ricco RAKOTOMALALA. Ricco Rakotomalala Tutoriels Tanagra -

Transcription

1 Une approche pour rendre calculable P(Y/X) Ricco RAKOTOMALALA Tutoriels Tanagra - 1

2 PLAN 1. Fondeents probabilistes, MMV et Estiateurs. Évaluation «epirique» 3. Évaluation «statistique» 4. Interprétation des coefficients 5. Sélection autoatique de variables 6. Quelques coentaires et curiosités Les fichiers XLS associés à ce support sont disponibles en ligne Tutoriels Tanagra -

3 Principe de la axiisation de la vraiseblance Estiation des paraètres Tutoriels Tanagra - 3

4 Théorèe de Bayes Probabilités conditionnelles On se place dans le cadre binaire Y {+, -} Estier la probabilité conditionnelle P ( Y y / X ) k P K k ( Y y k ) P ( X / Y y k ) P ( X ) P ( Y y ) P ( X / Y y ) 1 P k ( Y y ) P ( X / Y y ) k k k Dans le cas à classes P( Y P( Y + / X ) / X ) P( Y P( Y + ) ) P( X / + ) P( X / Y ) La règle d affectation devient Si (ce rapport > 1) Alors Y + Cette quantité est facile à estier à partir des données Quelle hypothèse introduire pour rendre l estiation de ce rapport possible? On parle de éthode sei-paraétrique parce qu on ne fait pas d hypothèses directeent sur la distribution ais sur un rapport de distribution l hypothèse est oins restrictive. Tutoriels Tanagra - 4

5 Hypothèse fondaentale de la régression logistique P( X ln P( X / Y / Y + ) ) b 0 + b 1 X 1 + L+ b J X J Cette hypothèse couvre une très large classe de distributions Loi norale (ide Analyse discriinante) Loi exponentielle Lois discrètes Loi gaa, Beta, Poisson Mélange de variables explicatives binaires (0/1) et nuériques 1. Chap d application théoriqueent plus large que l Analyse Discriinante. Sa capacité à traiter et proposer une interprétation des coefficients pour les explicatives binaires est très intéressante Tutoriels Tanagra - 5

6 Le odèle LOGIT Une autre écriture du rapport de probabilité Écrivons π(x) P(Y+/X) On définit le LOGIT de P(Y+/X) de la anière suivante a J X J X a a X X L ) ( 1 ) ( ln π π 1 - π(x) P(Y - / X) Puisqu on est dans un cadre binaire Tutoriels Tanagra J J J J X a X a a X a X a a e e X L L ) ( π C est la fonction de répartition de la loi Logistique ) / ( ) / ( ) ( 1 ) ( X P X P X X + π π Représente un «odds» c.à.d. un rapport de chances. Ex. odds l individu à fois plus de chances d être positif que d être négatif.

7 La fonction logistique Quelques éléents de lecture Fonction logistique Fonction logistique Pi(X) a0+a1x+...+ajxj A propos de la fonction de transforation C(X) a0+a1.x1+ +aj.xj varie de oo à +oo 0 π(x) 1, c est une probabilité!!! A propos de la règle d affectation π(x) / [1 - π(x)] > 1 Y+ π(x) > 0.5 Y+ C(X) > 0 Y+ Rearques : C(X) et π(x) perettent de classer les individus selon leur propension à être + Sauf que π(x) est une «vraie» probabilité D autres fonctions cuulatives pour transforer C(X). Ex. la loi norale : odèle PROBIT Fonction de transforation non-linéaire : on parle de régression non-linéaire dans la littérature Tutoriels Tanagra - 7

8 Équivalence entre les approches [ ] J J J J X b X b b P X P X P P P X P P X P P X a X a a X X ) ( ln ) / ( ) / ( ln ) ( ) ( ln ) / ( ) ( ) / ( ) ( ln... ) ( 1 ) ( ln π π Tutoriels Tanagra [ ] b J X J X b b P ) ( ln S appuyer sur l hypothèse sei-paraétrique Ou S appuyer sur la définition du LOGIT Aboutissent à la êe forulation (à une constante près) 0 0 ) ( ) ( ln b P P a + + Les cas où la régression logistique est inopérante sont ieux circonscrites : ce sont les cas où les hypothèses de distribution ne sont absoluent crédibles au regard des données (ex. distribution ultiodales)

9 Données exeples pour ce support Détection d une aladie cardiaque a ge t a ux_a x a ngine coe ur pr es ence pr es ence pr es ence pr es ence pr es ence pr es ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence Y : (+ présence, - absence) X1 : age du patient (quantitative) X : taux ax (quantitative) X3 : angine de poitrine (binaire) Tutoriels Tanagra - 9

10 Estiation des paraètres Pourquoi pas les MCO? Ω est notre échantillon ω est une observation Card(Ω)n Dans un cas Y binaire (Positifs vs. Négatifs), nous pouvons coder 1, si y( ω) + z( ω) 0, si y( ω) On constate aiséent E[ Z( )] P[ Y ( ) + ] ω ω Rapportée dans l équation de régression E Z( ω)] P[ Y ( ω) + ] c + c X ( ω) + K+ c J X [ J ( ω) endogène exogènes On devrait donc pouvoir ettre en place une régression qui peret d estier directeent la probabilité d appartenance P(Y+)??? La cobinaison linéaire varie entre et +, ce n est pas une probabilité Dans l échantillon, nous disposons de Y(ω) ais pas de P[Y(ω)+] (Il faudrait que les données soient groupées ou pondérées pour que son estiation soit possible) Les hypothèses de la MCO, notaent l hooscédasticité et la noralité des résidus posent problèe : statistique inférentielle ipossible (évaluation des coefficients, etc.) Tutoriels Tanagra

11 Rearques sur la notation Quelques précisions sur les notations et les expressions Y (ω) est la odalité de Y prise par un individu ω, observé ( X1( ω), L, X ( ω)) J est la description d un individu ω, dans l espace des variables explicatives P [ Y ( ω) + ] p est la probabilité a priori d un individu d être positif ( X ( )) P [ Y ( ω) + / X ] π ω + est la probabilité qu un individu ω quelconque soit +, c est ce qu on veut odéliser π ( X ( ω)) ln a0 + a1 X1( ω) a J X J ( ω) 1 π ( X ( ω)) est le LOGIT d un individu ω ou π ( X ( ω)) ln X 1 π ( ( ω)) X ( ω) a avec a' ( a 0, a 1 X ( ω) (1, X, K, a 1 J ) ( ω), K, X J ( ω)) On veut estier à partir des n observations aˆ ' ( aˆ, ˆ,, ˆ 0 a1 K aj ) X 0 ( ω) 1 Tutoriels Tanagra

12 Estiation des paraètres Définir la vraiseblance Le odèle binoial (1) Parce que Y est binaire {+, -} ou Y {1, 0} pour siplifier () Si Y était d une autre nature, on utiliserait d autres odèles (ex. Poisson, Multinoial, ) Pour un individu ω, on odélise la probabilité P(Y/X) avec le odèle binoial Y ( ω) [ 1 Y ( ω) ] π ( ω) (1 π ( ω)) Y(ω) 1 P(Y1/X) π Y(ω) 0 P(Y0/X) 1-π La vraiseblance (LIKELIHOOD) pour un échantillon Ω (les observations sont i.i.d.) L Y Ππ ω ( 1 π ) [ 1 Y ] Interprétation? Valeur ax.? La log-vraiseblance (LOG- LIKELIHOOD) LL Y ln( π ) + Y ω [ 1 ] ln(1 π ) Tutoriels Tanagra - 1

13 Estiation des paraètres Méthode du axiu de vraiseblance N oublions pas que π ln 1 π Xa On veut estier à partir des n observations â Principe de la axiisation de la vraiseblance : produire les paraètres de anière à axiiser la quantité LL Y ln( π ) + Y ω ( 1 ) ln(1 π ) â est un EMV (estiateur du axiu de vraiseblance) avec toutes ses qualités : asyptotiqueent sans biais variance iniale asyptotiqueent noral (iportant pour l inférence) Rearque : On anipule souvent la quantité [ LL] que l on appelle DEVIANCE (cf. analogie avec la SCR de la régression) Tutoriels Tanagra

14 Un exeple sous EXCEL a0 a1 a a a ge t a ux_a x a ngine coe ur cœ ur C(X) π LL pr es ence pr es ence pr es ence pr es ence pr es ence pr es ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence LL â LL Y ln( π ) + [ 1 Y ] ln(1 π ) ω Valeur de LL obtenue par iniisation avec le SOLVEUR C a0 + a1 X1 + ax a3x π 3 C C + e 1+ e Tutoriels Tanagra

15 Estiation en pratique Méthode de Newton Raphson Il n y a pas de éthode directe pour optiiser L Passer par des éthodes nuériques : la éthode de Newton-Raphson est la plus utilisée Solutions à l étape i et (i+1) a i+ 1 a i L a a. ' 1 L a Matrice des dérivées partielles secondes Matrice hessienne di (J+1)x(J+1)) Son inverse est la atrice de variance co-variance des coefficients H j j1, j) x j ( ω) x ( ω) π ( ω) [1 π ( ω)] ( 1 ω Vecteur des dérivées partielles preières Vecteur gradient di J+1 L a j ω [ y( ω) π ( ω) ] x ( ω) Dont toutes les coposantes sont égales à 0 lorsqu on a trouvé la solution. j Règle d arrêt : nobre d itérations ax., ou décroissante «trop faible» de L, ou écart faible entre les deux estiations successives de a D un logiciel à l autre, les résultats peuvent être différents (précision des calculs, choix de l algorithe d optiisation, règle d arrêt, etc. Beaucoup de calculs coplexes, donc risque d erreur!!! Lorsque la discriination est parfaite, la atrice hessienne n est plus inversible : le logiciel «plante»!!! Tutoriels Tanagra

16 Bilan global de la régression basé sur les prédictions et la déviance Tutoriels Tanagra

17 Preière évaluation La atrice de confusion Coune à toutes les techniques supervisées, peret les coparaisons entre éthodes (ex. Reg. Logistique vs. Arbre de décision, etc.) a0 a1 a a a ge ta u x_a x a n gine coe ur cœ ur C(X)? LL Pré diction pr es ence pre se nce pr es ence pre se nce pr es ence a bse nce Nobre de Prédiction coeur pr es ence a bse nce coeur presence absence Total pr es ence a bse nce presence pr es ence pre se nce absence abs ence a bse nce Total abs ence a bse nce abs ence a bse nce Taux d'err eur abs ence a bse nce Sens ibilité abs ence pre se nce Spécificité abs ence a bse nce Précis ion abs ence a bse nce abs ence a bse nce abs ence a bse nce abs ence a bse nce abs ence a bse nce abs ence a bse nce abs ence a bse nce abs ence a bse nce Si C(X) > 0 Alors Prédiction «présence» Ou, de anière équivalente : Si π(x) > 0.5 Alors Prédiction «présence» Mieux vaut réaliser cette évaluation sur un fichier test, n ayant pas participé à la construction du odèle : les indicateurs sont non-biaisés Tutoriels Tanagra

18 Deuxièe évaluation Les pseudo-r² Modèle de référence : le odèle initial Objectif : Produire des indicateurs siilaires au R², coefficient de déterination de la régression linéaire. Coent? Coparer le odèle avec le odèle initial (trivial) constitué de la seule constante. Modèle trivial : on n utilise pas les X pour prédire Y P ( Y / X ) P( Y ) π LOGIT ( π ) ln a 1 π 0 Estiation a ˆ0 pˆ + ln 1 pˆ + Log-vraiseblance n ln n n ln(1 pˆ ) + n + [ 1 Y( )] LL( 0) Y ( ω) ln( pˆ ) + ω ln(1 pˆ ) ω pˆ + ln 1 pˆ + + Estiation «classique» a0 a1 a a a ge ta ux_a x a ngine coe ur cœ ur C( X) π LL pres ence pres ence pres ence pres ence pres ence pres ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence LL Estiation «directe» 6 aˆ0 ln LL(0) 0 ln(1 0.3) + 6 ln( ) Tutoriels Tanagra

19 Deuxièe évaluation Les pseudo-r² Quelques indicateurs McFadden s R² R MF 1 LL( a) LL(0) Min 0 si LL(a) LL(0) Max 1 si L(a) 1 c.à.d. LL(a) 0 Cf. l analogie avec le R² 1 SCR/SCT de la régression COX and Snell s R² R CS L(0) 1 L( a) n Min 0 Max si L(a) 1 n [ ] ax R CS 1 ( L (0)) Nagelkerke s R² R CS N ax[ RCS R ] Min 0 Max 1 LL(0) L(0) 4.94E-06 Prédiction de aladie cardiaque LL(a) L(a) R² f R²cs R²n Plus on s écarte de 0, ieux c est. Mais on ne sait pas trop quoi conclure, c est «suffisaent» bien ou pas? Tutoriels Tanagra

20 Bilan basé sur la qualité des scores fournis par la régression Tutoriels Tanagra - 0

21 Evaluation des scores Adéquation entre «scores» fournis par le odèle et «scores» observés dans l échantillon La régression fournit pour chaque individu ω le score π(ω) qui est une estiation de la probabilité P(Y + / X). Question : est-ce cette estiation est de bonne qualité? Objectif du test de conforité Confronter les scores estiés par le odèle avec le score observé dans l échantillon Coent? Organiser les données par paquets selon les scores, coparer dans chaque groupe les scores estiés (odèle) et observés (proportion de positifs) Note : Il est d usage de travailler directeent sur l échantillon d apprentissage pour ces calculs, ais on pourrait tout aussi bien fonctionner avec un échantillon test. Tutoriels Tanagra - 1

22 Diagrae de fiabilité (Reliability diagra) Extrait de l ouvrage «Pratique de la régression logistique» (section.) N 100 observations Pour chaque individu ω, on connait sa classe Y(ω) (1 ou 0) Et on a calculé son score π(ω) à partir du odèle Proportion des "+" Moyenne des scores Moyenne de Y Moyenne de PI PI Total PI Total Observations subdivisées en G 4 blocs via les scores (intervalles de largeur égales : 0-0.5, , ), on copare dans un graphique : la oyenne des scores et la proportion des positifs Diagrae de fiabilité Proportion des "+" Si les points sont alignés sur la diagonale principale, les scores sont de bonne qualité Moyenne des scores Tutoriels Tanagra -

23 Test de Hoser & Leeshow Extrait de l ouvrage «Pratique de la régression logistique» (section.3) Exeple : Groupe 1 n 1 10, n 1 (+), n 1 (-) 8 10 Scores 1 (+) Soe(scores 1 ) Scores 1 (-) 10 Scores 1 (+) Statistique (HL) ( )²/ ( )²/ ( )²/ ( )²/ Groupe Décile Effectif Observés Théoriques Observés Théoriques Positifs Négatifs Observations subdivisées en G 10 blocs via les scores (intervalles de fréquences égales : seuils déciles), on copare par calcul la soe des scores (resp. effectifs soe des scores) et le nobre de positifs (resp. négatifs) Sous (H0 : le odèle est copatible avec les données), HL χ² (G - ) Pour notre exeple à 5%, χ² 0.95 (8) ; le odèle est cohérent avec les données. Tutoriels Tanagra - 3

24 Le odèle est-il statistiqueent significatif? Telle ou telles variables sont elles pertinentes? Tutoriels Tanagra - 4

25 Évaluation «statistique» S appuyer sur le odèle probabiliste issu de la axiisation de la vraiseblance Croiser deux points de vue Évaluer globaleent le odèle c.-à-d. H0 : a 1 a a J 0 Aucune variable n est pertinente Coparer les vraiseblances Test du Rapport de vraiseblance Évaluer individuelleent les variables c.- à-d. H0 : a j 0 Évaluer un groupe de «q» variables c.-à-d. H0 : a j a j+q 0 S appuyer sur la noralité asyptotique des estiateurs (on sait calculer la atrice de variance co-variance des coefficients) Tutoriels Tanagra - 5

26 Principe du rapport de vraiseblance Coparer la vraiseblance des odèles eboîtés LR L(odèle réduit) ln L(odèle coplet) [ LL(odèle réduit) ] [ LL(odèle coplet) ] LR est forcéent positif. Pourquoi? Modèle à p variables (p < J) c.-à-d. à (p+1) paraètres estiés D.D.L n-p-1 Modèle à J variables c.-à-d. à (J+1) paraètres estiés D.D.L n-j-1 LR χ ( J p) LR suit asyptotiqueent une loi du KHI- à (J-p) degrés de liberté. Dans notre exeple : -LL(a) Ce sera le odèle «coplet» de référence. Tutoriels Tanagra - 6

27 Test du rapport de vraiseblance Évaluation globale du odèle Coparer le odèle coplet avec le odèle constitué uniqueent de la constante c.-à-d. tester si tous les coefficients (à part la constante) peuvent être siultanéent nuls a0 a1 a a a ge ta ux_a x a ngine coe ur cœ ur C(X) π LL pres ence pres ence pres ence pres ence pres ence (A) : - LL(0) pres ence (B) : -LL(age,taux,angine) abs ence LR : (A) - (B) abs ence d.d.l abs ence p-value abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence LL Le odèle est globaleent significatif à 5% c.-à-d. H0 : a1 a a3 0 n est pas copatible avec les données Tutoriels Tanagra - 7

28 Test du rapport de vraiseblance Évaluer individuelleent les variables Coparer le odèle coplet avec le odèle sans la variable à évaluer c.-à-d. tester si le coefficient associé à la variable est significativeent différent de 0 ex. Tester le rôle de la variable «âge» a0 a1 a a a ge ta ux_a x a ngine coe ur cœ ur C(X) π LL pres ence pres ence pres ence pres ence pres ence (A) : - LL(taux,angine) pres ence (B) : -LL(age,taux,angine) abs ence LR : (A) - (B) abs ence d.d.l abs ence p-value abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence LL La variable «âge» n est pas significative à 5% c.-à-d. H0 : a1 0 est copatible avec les données Tutoriels Tanagra - 8

29 Test du rapport de vraiseblance Évaluer un groupe de variables Coparer le odèle coplet avec le odèle sans les variables à évaluer c.-à-d. tester si les coefficient associés aux variables sont significativeent différents de 0 ex. Tester le rôle siultané des variables «âge» et «taux ax» a0 a1 a a a ge ta ux_a x a ngine coe ur cœ ur C(X) π LL pres ence pres ence pres ence pres ence pres ence (A) : - LL(angine) pres ence (B) : -LL(age,taux,angine) abs ence LR : (A) - (B) abs ence d.d.l abs ence p-value abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence LL 1.74 Les variables «âge» et «taux ax» ne sont pas significatifs à 5% c.-à-d. l hypothèse nulle H0 : a1 a 0 est copatible avec les données Tutoriels Tanagra - 9

30 Tests fondés sur la noralité asyptotique des coefficients Principe Test de Wald EMV asyptotiqueent noraux. Le vecteur des coefficients «a» suit une loi norale ultidiensionnelle de atrice variance covariance inverse de la atrice Hessienne (atrice des dérivées secondes de la vraiseblance / aux coefficients) Matrice des variables H X (J+1)x(J+1) ' VX explicatives, en preière colonne la constante. Matrice diagonale de taille (n X'VX x n), foré par les π (1 - π) estiés par la régression ˆ 1 Σ (J+1) x (J+1) H C est la atrice de variance co-variance des coefficients estiés. En particulier, sur la diagonale principale, nous observons la variance des coefficients inv( X'VX) Eca rt t ype coe f. cons t age taux_ ax angine Tutoriels Tanagra

31 Test de Wald Évaluer la significativité d un groupe de «q» variables H0 : a j a j+1 a j+q 0 La statistique du test (Wald) suit une loi du KHI- à q degrés de liberté. Ex. Tester a1 a 0 H 0 a1 0 : a 0 1 W ˆ' ˆ ( q) a ( q) Σ( q) a( q) χ ( q) Σ(q) Sous-atrice des var-covar des q coefficients à évaluer Sous-vecteur des q coefficients à évaluer Pour rappel, dans notre exeple Cœur f(age,taux ax, angine) â SIGM A Σ () Σ () Calcul de la statistique de Wald W ( ) wald ddl p-value Les coefficients ne sont pas siultanéent significativeent différents de 0 à 5% H0 est copatible avec nos données Tutoriels Tanagra

32 Test de Wald Significativité d une variable H0 : a j 0 W j aˆ j ˆ σ j χ (1) C est la valeur lue sur la diagonale principale de la atrice de var-covar des coefficients estiés Ex. Tester a1 0 SIGM A W ( 0.16) wald ddl 1 p-value A 5%, la variable «âge» n est pas significative Tutoriels Tanagra - 3

33 Test de Wald Significativité globale du odèle H0 : a 1 a a J 0 Tous les coefficients, is à part la constante, peuvent ils être siultanéent égaux à 0? 1 W ˆ' ˆ ( J ) a ( J ) Σ( J ) a( J ) χ ( J ) Généralisation du test de q variables Ex. Tester a1 a a3 0 SIGM A Inversion de la sous-atrice Σ 1 ( J ) Calcul de la statistique de Wald W ( ) w ald ddl 3 p-value Le odèle n est pas globaleent significatif à 5% H0 est copatible avec nos données Tutoriels Tanagra

34 Bilan Évaluation statistique Test de Rapport de vraiseblance + Puissant -- Plus gourand en ressources de calcul (reconstruire le odèle à chaque fois) Test de Wald -- Moins puissant c.-à-d. plus conservateur, favorise H0 -- Quand la valeur du coef. est élevée, l estiation de l écart-type gonfle exagéréent, on éliine à tort la variable -- Pas très bon lorsque les effectifs sont petits (coe c est le cas ici) + Moins gourand en ressources (inversion de atrice quand êe) Tests à 5% Signif. Globale Signif. «âge» Signif. «âge et taux ax» Rapp. Vraiseblance Rejet H0 p-value Accep. H0 p-value Accep. H0 p-value Wald Accep. H0 p-value Accep. H0 p-value Accep. H0 p-value Tutoriels Tanagra

35 Lire les résultats des logiciels Tanagra et R TANAGRA Déviance du odèle réduit à la constante seule Déviance du odèle R KHI- du rapport de vraiseblance Pseudo-R² Tutoriels Tanagra

36 Ce qui fait le succès de la régression logistique Tutoriels Tanagra

37 Risque relatif, odds, odds-ratio Quelques définitions Nobre de coeur angine cœur 1 0 Total Total Y / X a b a+b 0 c d c+d a+c b+d n Risque relatif P( + /1) RR P( + / 0) 3/ 5 3/15 3 a /( a + c) b /( b + d) Indique le surcroît de «chances» d être positif du groupe «exposé» par rapport au groupe «téoin»: les personnes qui ont une angine de poitrine lors des efforts ont 3 fois plus de chances (que les autres) d avoir une aladie cardiaque. Odds Odds-Ratio Odds( + /1) P( + /1) P( /1) a /( a c /( a + + c) c) OR(1/ 0) Odds( + /1) Odds( + / 0) a d b c 3/ 5 / Dans le groupe de personnes ayant une angine de poitrine lors des efforts, on a 1.5 fois plus de chances d avoir une aladie cardiaque que de ne pas en avoir. De la êe anière, on peut définir Odds(+/0) 3/1 0.5 Indique à peu près la êe chose que le risque relatif : dans le groupe exposé, on a 6 fois plus de chances d être positif que dans le groupe téoin. Tutoriels Tanagra

38 Risque relatif, Odds, Odds-Ratio Pourquoi choisir l Odds-ratio? Lorsque p + (prévalence) est très petit, OR ~ RR. Presque toujours, l un ou l autre, c est la êe chose. a << c a + c c b << d b + d d RR a /( a + c) b /( b + d) a / c b / d a d b c OR MAIS l Odds-ratio est invariant selon le ode d échantillonnage Tirage aléatoire RR 3 cœur x angine 1 0 Total Odds(+/1) Odds(+/0) 0.5 Total OR(+) 6 Souvent un vœu pieux : tirage aléatoire à probabilités égales dans la population. Échantillon aléatoire. Tirage retrospectif (presque) équilibré RR 1.8 cœur x angine 1 0 Total Odds(+/1) Odds(+/0) 0.5 Total OR(+) 6 Souvent pratiqué : on choisit l effectif des positifs et des négatifs, et on échantillonne au hasard dans chaque groupe l OR reste de arbre!!! Tutoriels Tanagra

39 Odds-ratio Quel rapport avec la régression logistique? Calcul sur un tableau de contingence Tirage aléatoire cœur x angine 1 0 Total Total OR( 1/ 0) 6 3 Régression logistique cœur f(angine) Model Chi² test Chi-.694 d.f. 1 P(>Chi-) Attributes in the equation Attribute Coef. Std-dev Wald Signif constant angine e Le coefficient de la Reg.Log. s interprète coe le logarithe de l odds-ratio. On peut esurer directeent le surcroît de risque qu introduit chaque facteur explicatif (variable 1/0). A partir de l intervalle de confiance du coefficient (noralité asyptotique) On peut déduire l intervalle de confiance de l odds-ratio Intervalle de confiance de l odds-ratio (ex. à 5%) bb( a) bh( a) bb( OR) bh( OR) e e Si l intervalle contient la valeur «1», cela indique que l influence u du facteur sur la variable dépendante n est pas significative au niveau de risque choisi. Tutoriels Tanagra

40 Odds-Ratio OR partiel et OR des variables continues Équation coportant toutes les variables Pour les variables quantitatives, le coefficient se lit coe le logarithe de l OR consécutive à l augentation d une unité de la variable explicative. Ici, étrangeent, l augentation de l âge d une année, si l on contrôle les valeurs de angine et taux ax, va réduire le risque de présence de aladie OR EXP(-0.16)0.88 A taux ax et age fixés (ou après avoir enlevé l effet du taux ax et de l âge), l OR de la variable angine est EXP(1.779)~5.9 Pour tepérer cette conclusion, on rearquera que la variable n est pas significative, êe à 10% (colinéarité? Effectifs trop faibles?) La êe idée que la corrélation partielle. Mieux vaut quand êe travailler sur des fichiers avec des effectifs plus élevés dans les études réelles!!! Tutoriels Tanagra

41 Odds-Ratio Aller plus loin que les Odds-ratio Lecture en teres de différentiel de probabilités Nobre de coeur angine coeur 1 0 Total général presence absence 1 14 Total général Proba(Présence) Ecart 0.4 P(cœur présence / angine 0) 3/15 0. P(cœur présence / angine 1) 3/5 0.6 Quand «angine 1», la probabilité de la présence de la aladie augente de ( ) 0.4 Coent obtenir ce résultat avec la régression logistique? Attributes in the equation Attribute Coef. Std-dev Wald Signif constant angine P(cœur + / angine 0) 1/(1+EXP[-(-1.386)]) 0. P(cœur + / angine 1) 1/(1+EXP[-( )]) 0.6 Quand «angine 1», la probabilité de la présence de la aladie augente de ( ) 0.4 Tutoriels Tanagra

42 Traiteent des variables explicatives noinales A plus de odalités On utilise un autre fichier avec 09 obs. ici. Que se passe-t-il lorsque la variable explicative est noinale à (K>) odalités? Dans le tableau de contingence, on prend une odalité de référence, et on calcule les odds-ratio par rapport à cette odalité. On traite (K- 1) tableaux x. Calcul direct dans un tableau croisé Nobre de cœur chest_pain cœur typ_angina atyp_angina asypt _non_anginal Total presence absence Total Odds(+/-) OR(x/_non_anginal) Surcroît de risque de présence de aladie lorsque la douleur à la poitrine n est pas de type «non anginale». Traduire cela dans la régression logistique? Utiliser un codage disjonctif 0/1 en prenant une odalité de référence. Les coefficients sont des log(odds-ratio) par rapport à la odalité de référence. Rearque : On peut tester la significativité «globale» de la variable en évaluant : «les 3 coefficients sont siultanéent nuls». Résultat de la régression logistique OR(Reg.Logistic) Attributes in the equation Attribute Coef. Std-dev Wald Signif constant typ_angina atyp_angina asypt Odds ratios and 95% confidence intervals Attribute Coef. Low High typ_angina atyp_angina asypt Il faut choisir le bon codage Tutoriels Tanagra - 4

43 Traiteent des variables explicatives ordinales Un variable qualitative ordinale à K odalités 3 niveaux possibles de SYSTOLIC 1 : noral ; : élevé ; 3 : très élevé On doit tenir copte de l ordre de la odalité cette fois-ci. Dans le tableau de contingence, on calcule l odds-ratio par rapport à la odalité précédente c.- à-d. on quantifie le surcroît de risque en passant d un niveau à l autre Calcul sur un tableau de contingence Nobre de coeur systolic_level coeur 3 1 Total presence absence Total Odds Odds-Ratio(précédent) Surcroît de risque de présence de aladie lorsque l on passe d un niveau de pression artérielle à l autre Régression logistique avec codage eboîté Odds-Ratio Coent traduire cela dans la régression logistique? Utiliser un codage «eboîté» Les coefficients sont des log(odds-ratio) d un passage d une odalité de X à l autre Ex. Sys1 1 si Systolic > 1, 0 sinon ; constante, éliinée Sys 1 si Systolic >, 0 sinon Sys3 1 si Systolic > 3, 0 sinon Attributes in the equation Attribute Coef. Std-dev Wald Signif constant sys sys Odds ratios and 95% confidence intervals Attribute Coef. Low High sys sys Il faut choisir le bon codage Tutoriels Tanagra

44 Tenir copte des interactions Dans le LOGIT, les effets sont initialeent additifs, coent le dépasser? Prendre en copte les interactions entre les variables binaires (ais aussi pour les variables noinales) On crée autant de nouvelles variables qui prennent les valeurs 1/0 selon l interaction que l on veut analyser On parle de odèle «saturé» lorsqu on tient copte de toutes les interactions possibles Régression logistique avec les 3 variables Attributes in the equation Attribute Coef. Std-dev Wald Signif constant high_bpress low_ax_rate bpress_x_laxrate Odds ratios and 95% confidence intervals Attribute Coef. Low High high_bpress low_ax_rate bpress_x_laxrate Ex. Effet conjoint d une tension artérielle élevée et un rythe cardiaque axiu faible sur le diagnostic de la présence d une aladie cardiaque. coeur high_bpress low_ax_rate bpress_x_laxrate positive positive negative positive negative negative negative L effet conjoint pèse dans l explication Il faut choisir le bon codage Une stratégie de odélisation siple serait de coparer des odèles eboîtés : 1. M(bpress, ax_rate). M(bpress, ax_rate, bpress * ax_rate) Cf. Sélection de variables et critères associés Tutoriels Tanagra

45 Coparer le poids relatif des variables Coefficients non-standardisés vs. Coefficients standardisés Cas de la régression linéaire Prédire la consoation à partir du poids et de la puissance d un véhicule Modele Puis s ance Poids Cons o ation Daihats u Cuor e Suzuki Swift 1.0 GLS Fiat Panda Ma bo L VW Polo Opel Cors a 1.i Eco Subaru Vivio 4WD Toyota Corolla Opel As tr a 1.6i 16V Peugeot 306 XS Renault Safrane.. V Seat Ibiza.0 GTI VW Golt.0 GTI Citroen Z X Volcane Fiat Te pr a 1.6 Liberty Fort Es cort 1.4i PT Honda Civic Joker Volvo Ford Fies ta 1. Z etec Hyundai Sonata Lancia K 3.0 LS Mazda Hachtback V Mits ubis hi Galant Opel O ega.5i V Peugeot Nis s an Pri er a Seat Alha br a Toyota Previa s alon Volvo 960 Ko bi aut On sait interpréter ces coefficients (dérivée partielle preière) ais, expriés dans des unités différentes, on ne peut pas coparer leurs rôles (poids) respectifs c.-à-d. quelles sont les variables les plus iportantes dans la régression? Poids Puis s ance Cons tante coe f e ca rt- type t p- va lue Les p-value nous donnent déjà une eilleure idée Solution 1 : Centrer et réduire les données Coefficients s tandardis és à partir des données centrées -réduites Poids Puis s ance Cons tante coe f pas de cons tante! Poids de 1 écart-type Conso. de x é.t. Puissance de 1 é.t. Conso. de x é.t. Solution : Corriger la solution initiale (Sans re-calcul de la régression) ˆ σ std x j aˆ x aˆ j x j ˆ σ y Moyenne Ecart-type Coeff. Standardis és à partir de la for ule de cor rection (cf. Ménard) Poids Puis s ance Cons tante coe f pas de cons tante! Tutoriels Tanagra

46 Coparer le poids relatif des variables Coefficients standardisés pour la régression logistique (1) Cœur f (age,taux_ax) Attributes in the equation Attribute Coef. Std-dev Wald Signif é.t. (attrib.) constant Cas de la régression logistique On veut obtenir une interprétation du type : une augentation de 1 é.t. de la variable X entraîne une variation de é.t. du LOGIT. On veut égaleent coparer les érites respectifs des variables dans la régression. Problèes (1) π 0 LOGIT -oo () π 1 LOGIT +oo (3) Et de toute anière, on ne peut pas calculer le LOGIT sur les données observées La correction des coefficients avec l écarttype du LOGIT n a pas de sens age taux_ax Écart-type du LOGIT estié (prédiction du odèle) e.t. logit Solution 0 : Coprendre le coefficient non standardisé Test age age 40 taux-ax 150 Logit 0.96 age taux-ax 150 Logit Ecart(Logit) Ecart raené à l'écart-type Test age age 40 taux-ax 150 Logit 0.96 age taux-ax 150 Logit é.t. Ecart(Logit) Ecart raené à l'écart-type ? Tutoriels Tanagra

47 Coparer le poids relatif des variables Coef. standardisés pour la rég. logistique () Solution 1 : Standardisation sur les explicatives seuleent aˆ aˆ σˆ std x j x j x j Mais constante non interprétable Sol Standardis ation s ur les explicatives s eule ent Attribut e Coe f. cons tant const. non nulle age taux_ ax Test age age 40 taux-ax 150 Logit 0.96 age taux-ax 150 Logit Ecart(Logit) Ecart raené à l'écart-type é.t. Quantifie l écart absolu. Peret surtout de coparer le poids relatif des variables dans la prédiction de Y Solution : Standardisation sur les explicatives et le LOGIT σ std x aˆ x aˆ j x j ˆ σ j LOGIT Sol. -- Standardis ation avec LOGIT Quantifie l écart en «écart-type». Attribute Coe f. cons tant const. non nulle age taux_ ax Peret aussi de coparer le poids relatif des variables. Solution 3 : Standardisation sur les explicatives et l écart-type théorique que la répartition logistique (Solution SAS) aˆ std x j aˆ x j σ x σ j théorique Sol.3 -- Standardis ation et cor rection par a. Loi logis tique (SAS) E.t. théorique Attribut e Coe f. cons tant const. non nulle age taux_ ax Écart-type théorique de la loi logistique standard :: Moyenne 0 et écart-type σ théorique Peret avant tout de coparer le poids relatif des variables. π CCL : D autres solutions plus ou oins sophistiquées existent Tutoriels Tanagra

48 Choisir les variables pertinentes pour la régression Tutoriels Tanagra

49 Sélection de variables dans la pratique Beaucoup de candidats, peu d élus (souhaitables) Dans les études réelles, beaucoup de variables disponibles, plus ou oins pertinentes, concurrentes Trop de variables tue l interprétation, il y a le danger du sur-apprentissage aussi. Problèe : Sélection «experte» anuelle basé sur Wald ou LR fastidieuse voire ipossible On s interdit de découvrir des relations auxquelles on n a pas pensé Solution : Utiliser des techniques nuériques pour choisir les «eilleures» variables Principe du Rasoir d Occa : à perforances égales, plus un odèle sera siple, plus il sera robuste ; plus aisée sera son interprétation égaleent. Attention : Ne pas prendre pour argent coptant la solution, plutôt se servir de l outil pour bâtir des scénarios (qu on présentera/discutera avec l expert ) Travail exploratoire : cobinaison de variables, construction de nouvelles variables, etc. approches 1. Sélection de variables Optiisation d un critère. S appuyer sur les outils inférentiels Significativité des variables Tutoriels Tanagra

50 Sélection par optiisation Critère AIC (Akaïke) et BIC (Schwartz) Constat Plus le nobre de variables augente, plus la déviance diinue (ou la vraiseblance augente), êe si la variable ajoutée n est pas pertinente Cf. par analogie la SCR ou le R² dans la régression linéaire, le degré de liberté diinue Solution Contrebalancer la réduction de la déviance avec une quantité traduisant la coplexité du odèle Le problèe de sélection devient un problèe d optiisation (iniisation) Critère AKAIKE AIC LL + ( J + 1) Nobre de paraètres du odèle c.-àd. nobre de variables + 1 Critère BIC BIC LL + ln( n) ( J + 1) Plus exigeant, pénalise plus la coplexité sélectionne oins de variables. Procédure On va évaluer des successions de odèles eboîtés : En les ajoutant au fur et à esure FORWARD En les retirant au fur et à esure BACKWARD STEPWISE : En alternant FORWARD / BACKWARD c.-à-d. vérifier que chaque ajout de variable ne provoque pas la sortie d une autre variable Règle d arrêt : l adjonction ou le retrait d une variable n aéliore plus le critère Tutoriels Tanagra

51 Sélection par optiisation Détail sélection FORWARD sous R heart <- read.table(file"heart_for_var_selection.txt",sep"\t",headertrue,dec".") #description des odèles str_constant <- "~1" str_full <- "~age+restbpress+ax_hrate+chest_pain_asypt_1+chest_pain_atyp_angina_1+ " #départ odele avec la seule constante + sélection forward odele <- gl(coeur ~1, data heart, faily binoial) odele.forward <- stepaic(odele,scope list(lower str_constant, upper str_full), trace TRUE, data heart, direction "forward") suary(odele.forward) AIC de départ, odèle initial : 87.9 Meilleure variable : «chest_pain_asypt_1» AIC de M(chest_paint_asypt_1) Point de départ d une nouvelle recherche Deuxièe eilleure variable, acceptée puisque AIC continue à diinuer : «exercice_angina_yes_1» AIC Arrêt lorsque AIC ne diinue plus!!! Tutoriels Tanagra

52 Sélection par optiisation Coparaison des solutions : FORWARD, BACKWARD, BOTH (#STEPWISE) FORWARD BACKWARD Bilan La solution diffère selon le sens de la recherche (noral) STEPWISE Une variable choisie par AIC n est pas forcéent significative dans la régression Gourandise en teps de calcul : chaque variable à tester (intro ou sortie) une régression logistique Tutoriels Tanagra - 5

53 Sélection basée sur des critères statistiques Test du score et Test de Wald Objectif (1) Effectuer une sélection de variables s appuyant sur des critères statistiques sans avoir à réaliser J² régressions : ce serait le cas si on utilisait à tort et à travers le rapport de vraiseblance (LR) critique surtout sur les grandes bases () Produire un résultat cohérent avec les tests classiques de significativité (3) Avec toujours les êes stratégies FORWARD, BACKWARD, STEPWISE Retrait d une variable (1) La statistique de WALD peret de choisir la variable à éliiner sans avoir à relancer la régression () Dans une stratégie BACKAWRD pure, on n aurait que J régressions à effectuer Ajout d une variable : Test du Score (1) Avec le LR : à l étape p, si on veut ajouter la (p+1)-èe variable, il faudrait effectuer (J-p) régressions. A éviter. () Principe du Test du SCORE : Utiliser les résultats de la régression à p variables pour calculer les SCORES de chaque (J-p) variable restantes, choisir celle qui a le eilleur score en FORWARD pur, on aurait au pire J régressions à effectuer Tutoriels Tanagra

54 Principe du Test du Score L idée de(s) la variable(s) suppléentaire(s) Étape courante : effectuer la R.L. avec les p variables déjà sélectionnées Calculer, en intégrant la (p+1)-èe variable à évaluer (coe var. suppléentaire) Le vecteur gradient U La atrice Hessienne H La atrice de variance covariance des coefficients Σ H -1 En déduire la statistique du Score S U Σ U S suit une loi du KHI- à 1 degré de liberté H L U j a j j1, j) x j ( ω) x ( ω) π ( ω) [1 π ( ω)] ( 1 ω j ω [ y( ω) π ( ω) ] x ( ω) j On choisit la variable qui présente le score le plus élevé Et on l intègre dans le odèle si elle est significative au risque α que l on a choisi (1) Il s agit en réalité d un test d hypothèses où H0 : a p+1 0 vs. H1 : a p+1 0 () On peut utiliser le êe principe pour tester l ajout siultané de plusieurs variables (DDL nobre de variables suppléentaires) (3) Le test du Score est donc une alternative au test du rapport de vraiseblance pour évaluer la significativité d une ou d un groupe de variables Tutoriels Tanagra

55 Test du Score Un exeple Évaluer l ajout de «âge» dans un odèle où il y a déjà la constante et taux ax EMV : CONST et TAUX_MAX C( X ) TAUX _ MAX π e 1+ e C( X ) ( X ) P( Y + / X ) C( X ) Vecteur U U(const) 0 et U(Taux_Max) 0 puisque nous avons trouvé un optiu de LL à partir de ces variables. Ce n est pas le cas pour U(age), il ne prenait pas part aux calculs Coe f cons t. ta ux_a x a ge coe ur cœ ur C(X) π LL pr es ence pr es ence pr es ence pr es ence pr es ence pr es ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence abs ence LL U(cons t) U(taux_ ax) U(age) H X'VX SIGM A H^ (- 1 ) Sta tistique du score pour a ge Valeur d.d.l p-value A été optiisé uniqueent sur CONST et TAUX_MAX V est la atrice diagonale forée par les π x (1 - π) X est la atrice des var. explicatives qui intègre aintenant la variable «age» CCL : Au risque 5%, la variable «âge» n est pas significative Tutoriels Tanagra

56 Analyse des résidus Déteriner s il y a des observations très al expliquées Déteriner si certaines observations s écartent forteent des autres Déteriner si certains individus pèsent exagéréent sur les résultats (points influents) Tutoriels Tanagra

57 Exeple de référence Cœur f (age ; taux_ax) Taux_Max Coeur 1 Cœur 0 Confusion atrix presence absence Su presence absence Su Attribute Coef. Std-dev Wald Signif constant age taux_ax Age Nué ro const a ge ta ux_a x QUESTIONS 1. Quels sont les points al odélisés? Résidus. Quels sont les points qui «clochent»? Atypiques 3. Quels sont les points qui pèsent forteent sur le résultat de la odélisation? Leviers 4. Quels sont les points qui, si on les enlevait, nous ferait aboutir à un odèle totaleent différent? Influents Moyenne glob Moyenne cœur Moyenne cœur Tutoriels Tanagra

58 Résidus de Pearson La odélisation de Y {1 ; 0} peut s écrire Y ( ω) π ( ω) + ε ( ω) ε ( ω) 1 π ( ω), avec la probabilit é π ( ω) où ε ( ω) π ( ω), avec la probabilit é 1-π ( ω) E( ε ) π [1 π ] + (1 π ) [ π ] 0 V ( ε ) π (1 π ) De anière à ce que V(r Résidus de Pearson : ˆ P ) # 1 y π r P Suit approxiativeent une loi norale N(0 ; 1) : valeurs critiques (de chaque obs.) ˆ(1 π ˆ π ) à 5% # +/- (très approxiativeent) Statistique KHI- de Pearson : χ r ( ω) ω P Plus petite elle est, eilleure est l ajusteent On verra sa distribution plus loin (cf. les covariate pattern) Coeur 1 Cœur 0 Res.Pears L écart est exagéré par la probabilité prédite π(5) Taux_Max Age Age Res.Pears TAUX_MAX Tutoriels Tanagra