Master 1 MAIM-SITN. Régression pour des données de type catégorie

Dimension: px
Commencer à balayer dès la page:

Download "Master 1 MAIM-SITN. Régression pour des données de type catégorie"

Transcription

1 Master 1 MAIM-SITN Régression pour des données de type catégorie Présenté par : Fariath SOULE Encadrant : Gabriela CIUPERCA Année universitaire :

2 Remerciements Je remercie Madame Gabriela CIUPERCA, tutrice de mon Travail d'etude et de Recherche, pour son soutien et ses orientations qui m'ont permis de mener à terme ce projet. Master SITN

3 Table des matières 1 Rappels et généralités Données catégorielles Exemple : Durée du chômage Classication des variables Composantes d'une régression structurée Rappels sur la régression linéaire classique Résidus et matrice chapeau Décomposition et coecient de détermination Tests d'hypothèses Sous modèles et tests d'hypothèses linéaires Modèles de régression catégorielle Interprétation et codage des covariables Covariables quantitatives Covariables catégorielles Schémas de codage Cotes, Logits et Rapport de Cotes Relation entre variable réponse et variables explicatives Limites des modèles linéaires Modélisation de réponses binaires par des variables latentes Le modèle Logit Représentations du modèle Modèle Logit avec prédicteurs continus Modèle Logit avec prédicteur binaire Modèle Logit avec prédicteurs catégoriels Modèle Logit avec prédicteur linéaire Modèle Logit pour une réponse multinomiale Modèles alternatifs de régression binaire Modèles pour des réponses binaires Avantages des modèles Logit Modèles linéaires généralisés Structure Basique Modèles linéaires généralisés pour des réponses continues Distribution normale Distribution exponentielle Distribution Gaussienne inverse Modèles linéaires généralisés pour des réponses discrètes Modèles pour des données binaires Modèle de Poisson Distribution binomiale négative Notions complémentaires Moyennes et variances

4 3.4.2 Lien canonique Estimation par maximum de vraisemblance Log-vraisemblance et Fonction de score Matrice d'information Estimation Inférence La déviance Analyse de la déviance et tests d'hypothèses Tests statistiques alternatifs pour des hypothèses linéaires Quelques applications Vasoconstriction Choix d'une marque Master SITN

5 Introduction Au cours d'une étude statistique, on peut être amené à modéliser toutes sortes de variables. Les méthodes de modélisation les plus utilisées sont la régression linéaire pour la modélisation d'une variable quantitative en fonction de prédicteurs quantitatifs et l'analyse de variance (ANOVA) pour la modélisation d'une variable quantitative en fonction de prédicteurs qualitatifs. Ces deux méthodes ne sont pas appropriées pour la modélisation d'une variable qualitative. Ainsi, pour ce type de variables, il est nécessaire d'avoir recours à des méthodes alternatives. Ce Travail d'etude et de Recherche consiste à étudier diérents types de modèles que l'on pourrait mettre en place pour modéliser les variables qualitatives. Ces modèles étant basés sur les modèles de régression linéaire, nous débuterons notre étude par un rappel général de ceux-ci. Nous ferons ensuite une étude plus détaillée d'un modèle particulier, le modèle Logit et nous présenterons une généralisation des modèles linéaires. Pour nir, nous appliquerons les méthodes étudiées à des données an de faire des prédictions en nous basant sur les modèles de régression. Master SITN

6 Chapitre 1 Rappels et généralités Les données de type catégorielles sont des types de données que l'on rencontre très souvent lors des analyses statistiques dans plusieurs domaines tels que l'économie, la biologie,la médecine... Pour étudier ces données,on utilise des variables de type catégorie. 1.1 Données catégorielles Une variable de type catégorie est une variable pour laquelle les valeurs possibles forment un ensemble de catégories ou classes, qui peut être ni ou inni. Un exemple de variable catégorielle est le diagnostic résultant d'un examen médical qui a deux classes : normal et anormal Exemple : Durée du chômage Des données issues d'une étude sur la durée de chômage sont présentees dans le tableau suivant : Durée Sexe 6 mois > 6 mois Masculin Féminin Nous remarquons que ces données sont regroupées en deux classes : durée de chômage 6 mois (chômage à court terme) durée de chômage > 6 mois (chômage à long terme) Ce sont donc des données de type catégorie Classication des variables On distingue deux types de variables catégorielles : les variables nominales et les variables ordinales. Les variables nominales sont celles pour lesquelles les catégories de réponses sont qualitatives et non ordonnées. Lorsque l'on assigne des nombres 1,2,...k à ces catégories c'est purement à titre indicatif. Ainsi, la nationalité ou la couleur des cheveux par exemple sont des variables nominales. Les variables ordinales quant à elles sont des variables pour lesquelles les classes sont ordonnées. Comme exemple nous avons la sévérité d'un symptôme(qui peut avoir comme classes :aucun, modéré, marqué). 1.2 Composantes d'une régression structurée Deux types de variables sont utilisées dans les méthodes de régression : les variables explicatives(ou indépendantes) x et les variables expliquées(ou dépendantes) y ; le but de ces méthodes étant de quantier l'inuence de x sur y et de pouvoir ainsi donner une prévision de cette dernière en utilisant des observations de x. 5

7 La régression structurée fait appel à deux composantes : les composantes aléatoires, qui sont le plus souvent spéciées par des hypothèses de distributions, et les composantes qui spécient la structure des prédicteurs x. La moyenne µ de y est alors modélisée comme une fonction en x sous la forme : µ = h(η(x)), où h est une transformation et η(x) un terme structuré (terme inuent). Une forme très simple utilisée en régression linéaire classique est : µ = β 0 + x 1 β x p β p = β 0 + x T β avec x T = (x 1,..., x p ) et β = (β 1,..., β p ) T. Ainsi, en régression linéaire classique, on considère que la moyenne µ est directement spéciée par un prédicteur linéaire η(x) = β 0 + x T β. La fonction h dans ce cas est la fonction identité. Pour modéliser la variable expliquée y, il est nécessaire de supposer une loi appropriée pour les données. En présence de données discrètes, on a deux possibilités : pour des données binaires y {0, 1}, la loi est déterminée par π = P(y = 1) (c'est une loi de Bernoulli). Pour des données dénombrables y {0, 1, 2,...}, la loi de Poisson est un bon choix. Dans le cas de données continues, l'hypothèse de normalité est la plus utilisée. La forme la plus utilisée pour les prédicteurs est la structure linéaire η(x) = β 0 + x T β, qui permet une interprétation assez simple des paramètres. 1.3 Rappels sur la régression linéaire classique Soit (y i, x i1,..., x ip ) un ensemble d'observations où y i est la variable réponse(variable dépendante) et x i1,..., x ip les covariables pour i = 1,..., n. Le modèle correspondant s'écrit : y i = β 0 + x i1 β x ip β p + ε i, i = 1,..., n. avec ε i N (0, σ 2 ) et cov(ε i, ε j ) = 0 si i j. En notation matricielle, on a : y 1 1 x x 1p β 0 ε 1.. = 1 x x 2p β y n 1 } x n1... {{ x np } β p ε n X ou plus simplement y = Xβ avec y = (y 1,..., y n ) T le vecteur des variables réponses, X la matrice composée des variables explicatives, β = (β 0,..., βp) T le vecteur des paramètres et ε = (ε 1,..., ε n ) T le vecteur des erreurs. Ainsi, on a E(ε) = 0 et cov(ε) = σ 2 I, ce qui implique que y N (Xβ, σ 2 I) et donc µ = E(y X = Xβ). Un estimateur sans biais de β est ˆβ = (X T X) 1 X T y, avec cov( ˆβ) = σ 2 (X T X) 1. Il est obtenu par la méthode des moindres carrés en minimisant la fonction Q(β) = n (y i x T i β). Un estimateur sans biais de σ 2 obtenu par la méthode du maximum de vraisemblance est ˆσ 2 = 1 n p 1 n (y i x T i ˆβ) 2 Master SITN

8 1.3.1 Résidus et matrice chapeau La diérence entre les prévisions (ŷ i = x T i ˆβ) et les valeurs observées est donnée par les résidus r i = y i ŷ i = y i x T i ˆβ. Puisque les résidus sont exprimés en fonction de ˆβ qui dépend de toutes les observations, leur variance n'est pas forcément égale à celle des observations. Pour faire de bonnes prévisions il faut donc prendre en compte la variabilité de ˆβ, d'où l'introduction de la matrice chapeau. La matrice chapeau, encore appelée matrice de projection est la matrice H vériant ŷ = Hy, c'est à dire H = X(X T X) 1 X T ; c'est une matrice de projection,car elle est symétrique et idempotente(h 2 = H). Le vecteur des résidus est alors donné par : r = y ŷ = y Hy = (I H)y. On a : cov(r) = σ 2 (I H). En posant H = (h ij ), les éléments diagonaux de la matrice de covariance de r sont alors : var(r i ) = σ 2 (1 h ii ). De plus, si on pose r i = r i 1 hii, on a alors var( r i ) = σ 2 (c'est la même variance que celle des observations). Si on fait une autre transformation en divisant r i par un estimateur sans biais de σ 2 qui est ˆσ 2 = 1 n p 1 n (y i x T i ˆβ) 2 = 1 n p 1 n ri 2 = rt r n p 1, on obtient alors le résidu studentisé r i = r i ˆσ = y i ˆµ i ˆσ 1 h ii, avec ˆµ i = ŷ i Décomposition et coecient de détermination La somme des carrés des écarts peut être décomposée de la façon suivante : n (y i ȳ) 2 = n n (y i ˆµ i ) 2 + (ˆµ i ȳ) 2, avec SST = n (y i ȳ) 2 la somme totale(la dispersion de y), SSR = n (ˆµ i ȳ) 2 la dispersion due au modèle et SSE = n (y i ˆµ i ) 2 la dispersion résiduelle. Le coecient de détermination est le rapport : R 2 = SSR SST = 1 SSE SST. Il donne le pourcentage de variabilité du modèle et permet également de mesurer la qualité de l'ajustement. Master SITN

9 1.3.3 Tests d'hypothèses et Les tests les plus importants sont pour les hypothèses H 0 : β 1 =... = βp = 0 H 1 : i {1,..., p} tel que β i 0 (1.1) H 0 : β i = 0 H 1 : β i 0 (1.2) Le test (1.1) permet de savoir si le modèle est signicatif, c'est à dire si les variables explicatives x 1,..., x p inuent réellement y. La statistique de test utilisée est Z = SSR/p F (p, n p 1), SSE/(n p 1) et la zone de rejet est donnée par R = {Z > u 1 α } où u 1 α est le fractile d'ordre 1 α de la loi de Fisher F (p, n p 1). Dans (1.2) on teste une variable particulière : on cherche à savoir si elle inue y sachant que les autres variables sont dans le modèle. La statistique de test dans ce cas est ˆβ i Z = cov( ˆ ˆβ t(n p 1), i ) avec cov( ˆ ˆβ i ) = ˆσ { a ii, les } a ii étant les termes diagonaux de la matrice (X T X) 1. La zone de rejet est alors R = Z > u 1 α où u 2 1 α est le fractile d'ordre 1 α 2 2 de la loi de Student t(n p 1) Sous modèles et tests d'hypothèses linéaires Faire un test d'hypothèses linéaires consiste à tester, par exemple, les hypothèses H 0 : Cβ = ξ H 1 : Cβ ξ L'hypothèse nulle H 0 : β 1 = β 2 =... = β p = 0 s'écrit dans ce cas : 0 1 β 0 0 H 0 :. 1 β = β p 0 L'hypothèse H 0 : β i = 0 est donnée par H 0 : ( )β = 0 et H 0 : β i = β j par H 0 : ( )β = 0, où 1 correspond à β i et 1 à β j. Les hypothèses H 0 : β 1 = β 2 =... = β p = 0 ou H 0 : β i = 0 sont des hypothèses linéaires et les modèles correspondants sont des sous modèles du modèle de régression multiple. Si M est un sous modèle de M ( M M), M étant le modèle de régression multiple complet alors M est restreint à un sous espace de dimension (p+1) s, avec rang(c) = s. Soient ˆβ un estimateur par moindres carrés pour le modèle complet et β un estimateur qui minimise : (y Xβ) T (y Xβ) sous la contrainte Cβ = ξ. β est donné par : β = ˆβ (X T X) 1 C T [ C(X T X) 1 C T ] [ 1 C ˆβ ] ξ. (1.3) De plus, on a les erreurs : SSE(M) = n (y i x T i ˆβ) 2 = (y X ˆβ) T (y X ˆβ), Master SITN

10 La décomposition SSE( M) = n (y i x T i β) 2 = (y X β) T (y X β). SSE( M) = SSE(M) + SSE( M M). (1.4) peut être donc utilisée pour tester l'ajustement du modèle M sachant que M est un modèle accepté. Cela correspond à tester H 0 : Cβ = ξ. Or y X β = (X ˆβ X β) + (y X ˆβ) et (y X ˆβ) orthogonal à (X ˆβ X β), c'est-à-dire (y X ˆβ) T (X ˆβ X β) = 0. On en déduit la forme explicite de SSE( M M) : SSE( M M) = ( C ˆβ T [C(X ξ) T X) 1 C T ] ( 1 C ˆβ ) ξ. SSE( M), SSE( M) et SSE( M M) suivent des lois du χ 2 avec le degré de liberté dépendant du modèle accepté. Ainsi, on a : SSE( M) = SSE( M M) + SSE(M) σ 2 χ 2 (n p 1 + s) σ 2 χ 2 (s) σ 2 χ 2 (n p 1) si M est accepté si M est accepté si M est accepté. Ainsi, si le modèle M est valable, on peut utiliser ( SSE( M) ) SSE(M) /s F = SSE(M)/(n p 1) F (n, n p 1) comme statistique de test pour H 0 : Cβ = ξ. Master SITN

11 Chapitre 2 Modèles de régression catégorielle Le but de ces méthodes est d'établir les relations entre les covariables x et la réponse y an d'évaluer l'inuence de x sur y et faire des prévisions. Mais contrairement à la régression linéaire classique où la variable y est supposée de loi normale et peut prendre n'importe quelle valeur, une variable catégorielle ne peut prendre qu'un nombre limité de valeurs. 2.1 Interprétation et codage des covariables Covariables quantitatives Pour une covariable quantitative x comme l'âge par exemple, le modèle linéaire utilisé s'écrit : On a alors : E(y x) = β 0 + xβ A. E(y x + 1) = β 0 + (x + 1)β A β A = E(y x + 1) E(y x), donc β A représente la variation de la moyenne de la réponse y si la covariable x augmente d'une unité : c'est l'eet de l'âge sur la variable y Covariables catégorielles Parmi les covariables catégorielles nous avons les covariables binaires(qui contiennent deux classes) et les covariables multicatégorielles(qui contiennent plus de deux classes). Lorsqu'on est en présence d'une covariable binaire comme le sexe par exemple, puisqu'on ne peut la quantier, il est alors nécessaire de la coder. Un exemple de codage pour est le suivant : { 1 masculin x = 0 féminin L'interprétation devient alors la même que pour les variables quantitatives. En ce qui concerne les variables multicatégorielles, on peut les coder en (0-1) ou utiliser une technique de codage eet Schémas de codage Soit une covariable M ayant k classes non ordonnées. Codage (0-1) C'est le type de schéma utilisé pour coder les variables binaires. Dans le cas de variables multicatégorielles, ce schéma s'écrit : Pour M {1,..., k} 10

12 { 1 si M = j x M(j) = 0 sinon Lorsqu' il y a une valeur référence(β 0 ) dans le modèle, on peut utiliser seulement k 1 variables muettes. La classe de la variable omise est alors considérée comme la catégorie de référence. Si on choisit la classe k comme référence, le prédicteur linéaire est déterminé par les k 1 premières variables muettes. On a donc : E(y M) = β 0 + x M(1) β M(1) x M(k 1) β M(k 1) (2.1) L'interprétation des paramètres dans ce cas se fait en examinant la réponse pour diérentes valeurs de M : E(y M = i) = β 0 + β M(i), i = 1,..., k 1 E(y M = k) = β 0 β 0 est donc la moyenne de la catégorie référence k et β M(i) est l'eet de la classe M = i sur y par rapport à la classe M = k. Codage eet Dans ce type de codage, les classes sont traitées de manière symétrique : Le prédicteur linéaire (2.1) devient dans ce cas : ce qui donne la formule de β 0 : Pour M {1,..., k} 1 si M = j x M(j) = 1 si M = k, j = 1,..., k 1 0 sinon E(y M = i) = β 0 + β M(i), i = 1,..., k 1 E(y M = k) = β 0 β M(1)... β M(k 1), β 0 = 1 k k E(y M = i) Remarquons que ici, même si on a utilisé k 1 variables muettes, il n'y a pas de catégorie référence comme dans le cas précédent. 2.2 Cotes, Logits et Rapport de Cotes Soit y une réponse binaire codée par y = 1(le succès) et y = 0(l'échec). La loi de la variable aléatoire binaire y {0, 1} est donnée par la probabilité π = P(y = 1). La probabilité de {y = 0} est alors P(y = 0) = 1 π. y a pour moyenne E(y) = π et pour variance var(y) = π(1 π). Pour une variable réponse binaire y, la moyenne et la variance sont donc déterminées par une seule valeur : π = P(y = 1). Au lieu d'utiliser π comme indicateur du comportement aléatoire de la réponse, il est souvent plus utile de considérer une transformation de π. Les transformations les plus utilisées sont les cotes et les logits qui sont des fonctions de π. Master SITN

13 La cote de π est donnée par la formule γ(π) = π 1 π. Elle compare la probabilité de l'événement y = 1 à celle de y = 0. De la même manière on dénit la cote de 1 π, qui compare la probabilité de y = 0 à celle de y = 1, par : On a alors la relation : γ(1 π) = 1 π π γ(π)γ(1 π) = 1. = 1 γ(π). La fonction Logit quant à elle, est le logarithme de la cote : ( ) ( ) π 1 π logit(π) = log(γ(π)) = log et logit(1 π) = log = logit(π). 1 π π Ainsi on a : logit(π) + logit(1 π) = Relation entre variable réponse et variables explicatives Limites des modèles linéaires Soit y i {0, 1} une variable binaire et x i, i = 1,..., n les covariables. Pour modéliser y i, on serait tenté d'utiliser le modèle linéaire classique mais plusieurs problèmes se posent. D'abord, on a : y i = β 0 + x T i β + ε i, (2.2) E(y i ) = β 0 + x T i β + E(ε i ) = β 0 + x T i β, or E(y i ) = π i = π i = β 0 + x T i β, avec π i = P(y i = 1 x i ). Puisque π i [0, 1], même pour le plus simple des modèles (où on a qu'un seul prédicteur) π i = β 0 +x i β, on peut trouver des valeurs de x i pour lesquelles on aura π i < 0 ou π i > 1 si β 0. Cela limite considérablement le champ d'application de ce modèle. Aussi, en remplaçant π i = β 0 + x T i β dans (2.2) on obtient : y i = π i + ε i, donc ε i { π i, 1 π i }, ce qui implique que ε i est une variable binaire et var(ε i ) = var(y i ) = π i (1 π i ). Le modèle ainsi considéré est donc hétéroscédastique, c'est-à-dire que les ε i n'ont pas la même variance, contrairement au cas linéaire où on a var(ε i ) = σ 2, i. Nous n'avons donc pas les conditions satisfaites par un modèle de régression linéaire classique qui sont entre autres : continuité des variables ε i et var(ε i ) = σ 2, i Modélisation de réponses binaires par des variables latentes Supposons qu'une variable continue sous-jacente dirige le processus de décision qui aboutit à un résultat catégoriel. Par exemple, soit y la variable binaire correspondant à l'achat d'une voiture : { 1 achat d'une voiture y = 0 pas d'achat de voiture La variable y ici dépend d'une variable continue : les revenus nanciers. Soit alors ỹ i une réponse latente associée à une variable binaire y i. Un modèle de régression pour ỹ i est : ỹ i = γ 0 + x T i β + ε i. Master SITN

14 Modéliser y i revient alors à la considérer comme une version dichotomisée de ỹ i avec où θ est un paramètre inconnu (un seuil). On a alors : y i = 1 si ỹ i θ, (2.3) π i = π (x i ) = P (y i = 1 x i ) = P (ỹ i θ) = P ( γ 0 + x T i β + ε i θ ) = P ( ε i γ 0 θ + x T i β ) = F ( β 0 + x T i β ), avec β 0 = γ 0 θ et F une fonction de lien qui est dans ce cas la fonction de répartition de ( ε i ). On obtient ainsi le modèle : π (x i ) = F ( β 0 + x T i β ) (2.4) Les paramètres du modèle peuvent alors être interprétés sans faire référence à une quelconque variable latente. Un exemple de ce type de modèle est le modèle logit déni par : π (x i ) = F ( β 0 + x T i β ), où F est la fonction de répartition de la loi logistique dénie par : F (η) = exp(η) 1 + exp(η). Densité Fonction de répartition dlogis(x) plogis(x) x x Figure 2.1 La loi logistique La gure (2.1) représente la densité et la fonction de répartition de la loi logistique. 2.4 Le modèle Logit Représentations du modèle Soit x le vecteur des prédicteurs, la forme basique du modèle est donnée par : π(x) = F (η(x)), Master SITN

15 où F est dénie par : F (η) = modèle Logit : exp(η) 1+exp(η) et η(x) = xt β. On a donc les trois représentations suivantes du π(x) = exp(xt β) 1 + exp(x T β) (a) π(x) 1 π(x) = exp(xt β) (b) ( ) π(x) log = x T β (c). 1 π(x) De la forme (a), on déduit que la probabilité π(x) est déterminée par les covariables. La forme (b) montre que la cote dépend des covariables. La forme (c) quant à elle montre que les logits dépendent linéairement des covariables Modèle Logit avec prédicteurs continus Cas d'un seul prédicteur Supposons que la variable réponse y a un seul prédicteur x. Le modèle s'écrit alors : π(x) = exp(β 0 + xβ) 1 + exp(β 0 + xβ), (2.5) avec β 0 et β des paramètres inconnus. Pour une interprètation plus aisée des paramètres, il est préférable d'utiliser des représentations alternatives du modèle(les formes (a) et (b) vue plus haut) : π(x) 1 π(x) = exp(β 0 + xβ) (2.6) ( ) π(x) log = β 0 + xβ (2.7) 1 π(x) Pour un modèle linéaire E(y x) = β 0 +xβ, β est la variation de la moyenne lorsque x croît d'une unité : c'est l'eet de x sur y. Pour le modèle logit, cette variation est mesurée en logit. Par dénition : ( ) π(x) logit(x) = log(γ(x)) = log 1 π(x) logit(x) = β 0 + xβ d'après (2.7). De même, on dénit logit(x + 1) = β 0 + (x + 1)β. On en déduit alors le paramètre β qui vaut : En utilisant la forme (2.6) on a : γ(x) = β = logit(x + 1) logit(x). π(x) ( 1 π(x) = eβ 0 e xβ = e β 0 e β) x. Il est évident que e β 0 est la valeur de la cote pour x = 0. Prédicteur multivariable Lorsque plusieurs covariables continues sont présentes dans le modèle, le prédicteur linéaire est de la forme : η(x) = β 0 + x 1 β x m β m, où m est le nombre de covariables. Le logit et la cote sont donnés respectivement par : ( ) π(x) logit(x) = log = β 0 + x 1 β x m β m 1 π(x) Master SITN

16 et γ(x) = π(x) ( ) 1 π(x) = eβ 0 e β x1 ( ) xm 1... e βm. L'eet β j, j = 1,..., m de la covariable x j sur y est alors donné par : β j = logit(x 1,..., x j + 1,..., x m ) logit(x 1,..., x m ). Il correspond à la variation additive en logits lorsque x j variables sont xes. croît d'une unité, sachant que les autres Modèle Logit avec prédicteur binaire On cherche à modéliser une variable réponse y binaire (y = 0 ou 1) en fonction d'un seul prédicteur qui est également binaire. Soient une variable explicative binaire, le sexe par exemple, et x G la variable muette correspondante : { 1 masculin x G = 0 féminin Le modèle logit s'écrit alors : ( ) π(xg ) log = β 0 + x G β, 1 π(x G ) π(x G ) ( 1 π(x G ) = eβ 0 e β) x G (2.8) avec π(x G ) = P(y = 1 x G ). β 0 est donné par la relation ( ) π(xg ) = 0 β 0 = log = logit(x G = 0) 1 π(x G ) = 0 Il correspond au logit dans la catégorie de référence où x G = 0. L'eet de la covariable est alors : ( ) ( ) π(xg = 1) π(xg = 0) β = log log 1 π(x G = 1) 1 π(x G = 0) = logit(x G = 1) logit(x G = 0) On peut donc interpréter β comme la variation additive en logit pour la transition de x G = 0 à x G = 1. Une plus simple interprétation peut se faire en utilisant une transformation des paramètres. On a donc : e β 0 = π(x G = 0) 1 π(x G = 0) = γ(x G = 0), correspondant à la cote pour la catégorie de référence x G = 0 et e β = π(x G = 1)/1 π(x G = 1) π(x G = 0)/1 π(x G = 0) = γ(x G = 1) γ(x G = 0) = γ(1 0), correspondant au rapport de cotes entre x G = 1 et x G = Modèle Logit avec prédicteurs catégoriels Généralement, les covariables catégorielles ont plus de deux classes.néanmoins, l'interprétation des paramètres est la même que dans le cas binaire. Master SITN

17 a) Cas d'un seul prédicteur catégoriel Supposons y que la variable réponse dépend d'un seul prédicteur catégoriel (ou facteur) A ayant pour classes {1,..., I}. Soit π(i) = P(y = 1 A = i) la probabilité réponse. Si le prédicteur est codé en (0-1), la forme générale du modèle est : ( ) π(i) log = β 0 + β i ou 1 π(i) π(i) 1 π(i) = eβ 0 e β i. (2.9) ( ) Puisqu'on a I logits, log π(i) 1 π(i), i = 1,..., I et I + 1 paramètres β 0, β 1,..., β I, il faut une contrainte sur les paramètres pour pouvoir les identier.on pose alors β I = 0, ainsi I est la catégorie de référence et β 0 est alors considéré comme le logit de la catégorie de référence : ( ) π(i) β 0 = log. 1 π(i) Les β i sont alors donnés par : β i = log ( ) ( ) π(i) π(i) log = log γ(i I). 1 π(i) 1 π(i) Ils représentent la variation additive en logits lorsqu'on remplace la classe A = I par A = i. En terme d'exponentiel on a : ( ) e β 0 π(i) = log et e β i = γ(i I) 1 π(i) Le modèle (2.9) peut être donné sous la forme d'un modèle de régression linéaire en utilisant les variables muettes x A(i) = 1 si A = i et x A(i) = 0 sinon. On obtient alors un modèle avec les prédicteurs x A(1),..., x A(I 1) : ( ) π(i) log = β 0 + x 1 π(i) A(1) β x A(I 1) β I 1. b) Cas de plusieurs prédicteurs catégoriels Supposons que y dépend de deux prédicteurs A ayant pour classes {1,..., I} et B ayant pour classes {1,..., J}, sans interactions entre les facteurs. Posons π(a = i, B = j) = P(y = 1 A = i, B = j) et considérons I et J comme les catégories de référence respectives des prédicteurs A et B. Le modèle de régression s'écrit : ( ) π(a = i, B = j) log = β 0 +x 1 π(a = i, B = j) A(1) β A(1) +...+x A(I 1) β A(I 1) +x B(1) β B(1) +...+x B(J 1) β B(J 1), avec x A(i), x B(j) des variables muettes codées en (0-1). Le paramètre β 0 s'obtient pour A = I et B = J : ( ) π(a = I, B = J) β 0 = log, e β 0 π(a = I, B = J) = = γ(a = I, B = J). 1 π(a = I, B = J) 1 π(a = I, B = J) L'exponentielle de β 0 correspond à la cote pour la catégorie de référence (A = I, B = J). On en déduit l'expression des autres paramètres (sous forme exponentielle) : e β A(i) = π(a = i, B = j)/(1 π(a = i, B = j)) γ(a = i, B = j) = π(a = I, B = j)/(1 π(a = I, B = j)) γ(a = I, B = j), correspondant au rapport de cotes entre les classes A = i et A = I quelque soit la classe du prédicteur B. e β π(a = i, B = j)/(1 π(a = i, B = j)) γ(a = i, B = j) B(j) = = π(a = i, B = J)/(1 π(a = i, B = J)) γ(a = i, B = J), correspondant au rapport de cotes entre les classes B = j et B = J quelque soit la classe du prédicteur A. Master SITN

18 2.4.5 Modèle Logit avec prédicteur linéaire En pratique, on rencontre souvent des cas où il y a plusieurs covariables, certaines étant continues et d'autres catégorielles. Dans ce cas, le modèle logit correspondant s'écrit : logit(x) = η(x), où η(x) est un prédicteur linéaire donné par : ce qui donne η(x) = x T β = β 0 + x 1 β x p β p, ( ) π(x) log = β 0 + x 1 β x p β p. 1 π(x) Les composantes du prédicteur linéaire ne sont pas forcément les variables originales. Elles peuvent être : x i, x 2 i,..., des termes construits à partir de la variable originale continue x i x A(i),..., x A(I 1), des variables muettes issues de la transformation d'une variable catégorielle A {1,..., I} Modèle Logit pour une réponse multinomiale C'est le type de modèle utilisé pour des variables réponses multicatégorielles. La distribution multinomiale La loi multinomiale est une généralisation de la loi binomiale. Elle admet plus de deux résultats possibles. Soient 1,..., k les résultats possibles, de probabilités π 1,..., π k. Pour une variable aléatoire Y prenant pour valeurs 1,..., k, on a la relation P(Y = r) = π r. Une repreésentation en termes de vecteurs est plus appropriée. Supposons que l'échantillon de données soit de taille m. Les composantes du vecteur y T = (y 1,..., y k ) donnent les eectifs des catégories 1,..., k. Le vecteur y T = (y 1,..., y k ) a pour fonction de probabilité : f(y 1,..., y k ) = { m! y 1!...y k! πy πy k k, y i {0,..., m} si 0 sinon. i y i = m Un vecteur réponse avec cette fonction de probabilité suit une loi multinomiale de paramètres m et π T = (π 1,..., π k ). Puisque i y i = m, il y a une certaine redondance dans cette représentation. Pour éviter cela, on utilise le vecteur y T = (y 1,..., y q ), avec q = k 1. On obtient alors pour la probabilité : f(y 1,..., y q ) = m! y 1!... y q!(m y 1... y q )! πy πyq q (1 π 1... π q ) m y 1... y q. Dans la suite, nous utiliserons cette dernière version avec q = k 1 composantes. Pour ces composantes, on a : E(y i ) = mπ i, var(y i ) = mπ i (1 π i ), cov(y i, y j ) = mπ i π j. Le modèle Logit multinomial Soient une variable réponse Y {1,..., k}, de loi multinomiale et y T = (y 1,..., y k ) le vecteur des eectifs correspondant. Pour un vecteur de variables explicatives x, le modèle logit binaire (k = 2) est de la forme : P(Y = 1 x) = exp(xt β) 1 + exp(x T β), ce qui est équivalent à : log ( ) P(Y = 1 x) = x T β. P(Y = 2 x) Master SITN

19 Le modèle logit multinomial s'écrit avec la même forme linéaire de logits, à la seule diérence qu'on considère k 1 logits. On a donc : ( ) P(Y = r x) log = x T β r, r = 1,..., q (2.10) P(Y = k x) Dans cette représentation, on compare les probalités P(Y = r x) à la probabilité P(Y = k x). k sert donc de catégorie de référence. De (2.10) on a : P(Y = r x) = P(Y = k x) exp(x T β r ), donc k 1 k 1 P(Y = r x) = P(Y = k x) exp(x T β r ). r=1 r=1 En ajoutant P(Y = k x) dans chaque membre de l'égalité on a : k 1 k 1 P(Y = k x) + P(Y = r x) = P(Y = k x) + P(Y = k x) exp(x T β r ) r=1 [ ] k 1 1 = P(Y = k x) 1 + exp(x T β r ) r=1 r=1 P(Y = k x) = k 1 r=1 exp(xt β r ) De (2.10) et (2.11) on déduit alors l'expression de P(Y = r x) : (2.11) P(Y = r x) = exp(x T β r ) 1 +, r = 1,..., k 1. (2.12) k 1 s=1 exp(xt β s ) La représentation du modèle logit multinomial dépend du choix de la catégorie de référence. Toute classe appartenant à 1,..., k peut être prise comme catégorie de référence. En choisissant une catégorie de référence, seulement q = k 1 probabilités doivent être spéciées. 2.5 Modèles alternatifs de régression binaire Considérons la forme générale des modèles : π(x) = F (x T β), où F est la fonction de répartition d'une variable latente Modèles pour des réponses binaires Le modèle Probit Le modèle Probit, très utilisé en économie, est basé sur la fonction de répartition de la loi normale : Il s'écrit : φ(η) = (2π) 1/2 η e t2 /2 dt. π(x) = φ(x T β), φ 1 (π(x)) = x T β. Dans les applications, le modèle probit donne approximativement les mêmes résultats que le modèle logit. Les p-values sont presque égales et les tests de signication révèlent que les variables qui inuent la réponse sont les mêmes indépendamment du modèle considéré. Master SITN

20 Modèles Log-Log et Log-Log complémentaire Le modèle Log-Log complémentaire est basée sur la fonction de répartition de la loi de Gompertz dénie par : F (η) = 1 exp( exp(η)). Contrairement à la fonction de répartition de la loi logistique, la fonction de répartition de la loi de Gompertz est asymétrique. Les représentations du modèle sont les suivantes : π(x) = 1 exp( exp(x T β)) ou log( log(1 π(x))) = x T β (2.13) La forme (2.13) modélise π(x) = P(y = 1 x). Les deux valeurs possibles de y, y = 1 et y = 0, étant interchangeable, on peut utiliser le modèle (2.13) pour la réponse y = 0. Ainsi, on aurait 1 π(x) = 1 exp( exp( x T β)), d'où la forme générale du modèle Log-Log : π(x) = exp( exp( x T β)) ou log( log(π(x))) = x T β. L'utilisation de x T β à la place de x T β permet d'écrire le modèle sous la forme π(x) = F (x T β), où F est la fonction de répartition de la loi de Gumbel dénie par : F (η) = exp( exp( η)). Modèle exponentiel Soit Z une variable dénombrable prenant pour valeurs 0, 1, 2,... La loi de Z peut être approximée par la loi de Poisson qui a pour densité P(Z = z) = λ z e λ /z!, z = 0, 1, 2,... où λ est l'espérance de Z. Si l'on s'intéresse seulement aux cas Z = 0 ou Z > 0, on obtient la variable dichotomique { 1 si Z > 0 y = 0 si Z = 0 On a alors : P(y = 1) = P(Z > 0) = 1 P(Z = 0) = 1 e λ. En supposant que l'espérance λ dépend linéairement des covariables, par exemple λ = x T β, on obtient le modèle exponentiel : π(x) = 1 exp( x T β) ou log(1 π(x)) = x T β. En prenant λ = exp(x T β), on retrouve le modèle log-log complémentaire. Modèle de Cauchy Ce modèle est basé sur la loi de Cauchy de fonction de répartition F (η) = 1 π arctan(η) C'est une loi assez particulière car n'a ni la moyenne, ni la variance ne sont dénies. Le modèle de Cauchy est déterminé par la fonction de lien "cauchit" g(u) = tan(π(u 1/2)) : π(x) = 1 π arctan(xt β) + 1 ou tan (π(π(x) 12 ) 2 ) = x T β (2.14) La loi de Cauchy admet plus de valeurs extrêmes que la loi normale. Il est donc plus intéressant d'avoir recours à ce modèle lorsqu'on a des observations pour lesquelles le prédicteur linéaire est grand en valeur absolue. Modèle avec fonction de lien identité En régression linéaire, la fonction de lien la plus utilisé est la fonction identité. On a dans ce cas E(y i ) = x T i β. Cette fonction peut être aussi utilisée en régression binaire et on obtient le modèle : π(x) = x T β. Notons toutefois que ce type de modèle ne peut s'appliquer qu'à des cas où l'espace des covariables est restreint à un ensemble pour lequel on a π(x) [0, 1]. Master SITN

21 2.5.2 Avantages des modèles Logit Le modèle Logit a de nombreux avantages qui font de lui l'un des modèles les plus utilisés : (1) Les paramètres sont faciles à interpréter en terme de cotes (pour exp(β)) et de log-cotes (pour β). (2) Si toutes les covariables sont catégorielles, l'hypothèse H 0 : β = 0 est équivalente à l'indépendance entre la variable réponse et les variables explicatives. Pour les prédicteurs pris séparément, l'hypothèse H 0 : β j = 0 correspond à une indépendance conditionnelle de la réponse sachant les autres variables. (3) Le modèle est en relation avec la loi normale de par l'hypothèse x y = i N (µ i, Σ). (4) Si les observations sont tirées de la loi conditionnelle de x sachant y, au lieu de provenir de la forme usuelle(observation de réponses y sachant x), alors les eets des variables peuvent être estimés. Master SITN

22 Chapitre 3 Modèles linéaires généralisés Les modèles linéaires généralisés (MLG)représentent une structure générale de modèle permettant de traiter les variables réponses,catégorielles et continues, d'une même manière. 3.1 Structure Basique Un modèle linéaire généralisé a deux composantes : une composante aléatoire et une composante systématique. (a) La composante aléatoire Elle spécie la loi conditionnelle de la réponse y i sachant x i. Les y i sont indépendants des observations d'une famille exponentielle simple. Cette famille a pour densité de probabilité ( ) yi θ i b(θ i ) f(y i θ i, φ i ) = exp + c(y i, φ i ), (3.1) φ i avec θ i le paramètre naturel de la famille, lié à la moyenne de la distribution µ i, φ i le paramètre de dispersion et b(.) et c(.) des fonctions spéciques correspondant au type de la famille. (b) La composante systématique Elle est déterminée par un terme linéaire η i = x T i β, où β est un vecteur de paramètres inconnu de dimension p. La relation entre la partie linéaire et l'espérance conditionnelle µ i = E(y i x i ) est déterminée par : ou, de manière équivalente par µ i = h(η i ) = h(x T i β), (3.2) g(µ i ) = η i = x T i β, (3.3) avec h une fonction réponse injective connue, g une fonction dite de lien, qui est l'inverse de h. La fonction réponse h dans (3.2) est une transformation du prédicteur linéaire permettant de déterminer l'espérance conditionnelle. Pour le modèle logistique par exemple, où la moyenne µ i correspond à la probabilité de succès π i, on a π i = exp(xt i β) 1 + exp(x T i β), ce qui donne h(η i ) = exp(η i) 1 + exp(η i ) par : ( πi et log 1 π i g(π) = log ) = x T i β où la fonction de lien g = h 1 est donnée 21 ( ) π. 1 π

23 Un modèle linéaire généralisé est déterminé par : le type de la famille exponentielle qui spécie la loi de y i x i ; la forme du prédicteur linéaire la fonction réponse ou la fonction de lien. 3.2 Modèles linéaires généralisés pour des réponses continues Distribution normale Le modèle de régression linéaire normal est donné avec un terme d'erreur sous la forme y i = x T i β + ɛ i, avec ɛ i N (0, σ 2 ). Alternativement, le modèle peut être spécié sous forme de MLG par : y i x i N (µ i, σ 2 ) et µ i = η i = x T i β. La variable réponse est supposée de loi normale, de variance ne dépendant pas des observations. Cette loi est une famille exponentielle de paramètres θ(µ) = µ, b(θ) = µ 2 /2, φ = σ 2. Le lien entre la moyenne et le prédicteur est donné par µ i = η i = x T i β.. Ainsi, pour ce modèle la fonction de lien est la fonction identité. Les composantes aléatoire et systématique n'étant pas liées, il est facile de trouver un lien entre la moyenne et les prédicteurs. Ainsi, pour une variable réponse qui doit être positive(le temps de réaction ou les revenus), un lien qui assure la positivité de la moyenne est µ = exp(η) = exp(x T β). L'inuence des covariables et l'interprétation des paramètres va donc diérer du cas du modèle linéaire classique. En eet, pour le modèle µ = x T β = x 1 β x p β p, x j a un eet additif β j sur la moyenne alors que pour le modèle avec le lien modié µ = exp(x 1 β x p β p ) = e x 1β 1... e xpβp, x j a un eet multiplicatif par le facteur e β j sur la moyenne Distribution exponentielle Lorsque les variables réponses sont strictement positives un modèle suivant une loi normale n'est pas très approprié. La distribution la plus utilisée dans ce cas est la loi exponentielle f(y) = λe λy = exp( λy + log(λ)), y 0. En posant θ = λ, φ = 1, et b(θ) = log( θ), on voit que cette loi est une famille exponentielle ; son espérance est 1/λ et sa variance 1/λ 2. Une propriété de ce modèle de distribution est qu'il existe un lien satisfaisant θ(µ) = η. Il est donné par : g(µ) = 1 µ ou h(η) = 1 η. Puisque µ > 0, le prédicteur linéaire est donc restreint à η = x T β < 0. Pour contourner cette restriction, on utilise la fonction : ce qui donne µ = exp(η) = exp(x T β). g(µ) = log(µ) ou h(η) = exp(η), Master SITN

24 3.2.3 Distribution Gaussienne inverse Pour modéliser des variables réponses strictement positives, on peut également utiliser la loi gaussienne inverse. Une distribution gaussienne inverse de paramètres µ > 0 et λ > 0 notée IG(µ, λ) a pour densité : ( ) λ 1/2 ( f(y) = 2πy 3 exp λ ) 2µ 2 (y µ)2, y > 0 y On peut l'écrire sous la forme d'une famille exponentielle : ( y( 1/(2µ 2 )) + 1/µ f(y) = exp λ 1/λ 2y 1 2 log(λ2π) 3 ) 2 log(y), avec θ = 1 2µ 2, b(θ) = 1/µ = 2θ, φ = 1/λ, c(y, φ) = 1/(2yφ) 1 2 log(2π/φ) 3 2 log(y). La fonction de lien, qui satisfait θ(µ) = η, est donnée par : g(µ) = 1 2µ 2 ou h(η) = 1 2η. La dernière expression impose la contrainte η = x T β > 0. Pour éviter cette contrainte, on peut utiliser la fonction de lien logarithmique g(µ) = log(µ). Une propriété intéressante de la loi gaussienne inverse est que les estimateurs par la méthode du maximum de vraisemblance de la moyenne µ et de la dispersion 1/λ donnés par : sont indépendants. ˆµ = 1 n n y i, 1 ˆλ = 1 n n ( 1 1 ), y i ȳ 3.3 Modèles linéaires généralisés pour des réponses discrètes Modèles pour des données binaires Le cas le plus simple de réponse discrète est celui où on s'intéresse au "succès" ou à "l'échec", donc la variable réponse y prend deux valeurs : y {0, 1}. y suit donc une loi de Bernoulli de fonction de densité : ( ( ) ) π f(y) = π y (1 π) 1 y = exp y log + log(1 π), 1 π où π = P(y = 1) est la probabilité de "succès". Avec µ = π, cette loi est une famille exponentielle de paramètres θ(π) = log(π/(1 π)), b(θ) = log(1 + exp(θ)) = log(1 π), φ = 1. La relation qui donne le modèle logit est : π = exp(η) ( ) π, g(π) = log. 1 + exp(η) 1 π Alternativement, toute fonction de distribution strictement monotone F peut être utilisée comme fonction réponse. On aurait donc π = F (x T i β), avec h(η) = F (η) la fonction réponse et g(π) = F 1 (π) la fonction de lien. Master SITN

25 3.3.2 Modèle de Poisson Pour modéliser des données dénombrables, on utilise une variable réponse y N suivant une loi de Poisson de paramètre λ > 0 de densité : Les paramètres de la famille exponentielle sont : f(y) = λy y! e λ = exp (y log(λ) λ log(y!)). θ(µ) = log(µ), b(θ) = exp(θ) = µ, φ = 1, avec µ = λ l'espérance de y. Le choix de la fonction de lien devant prendre en compte la restriction λ > 0, la fonction la plus utilisée est la fonction logarithmique : Distribution binomiale négative log(λ) = x T β ou λ = exp(x T β). Une distribution alternative pour les données dénombrables est la loi binomiale négative de fonction de densité : ( ) Γ(ỹ + ν) ν ν ( ) µ y f(ỹ) =, y = 0, 1,... (3.4) Γ(ỹ + 1)Γ(ν) µ + ν µ + ν avec ν, µ > 0 étant les paramètres. Cette loi peut être considérée comme une combinaison d'une loi de Poisson et d'une loi Gamma. En eet, on suppose que le paramètre λ de la loi de Poisson est une variable aléatoire Gamma distribuée λ Γ(ν, ν µ ) d'espérance µ et que ỹ λ P(λ). La loi marginale de ỹ est donnée par (3.4). L'espérance et la variance de la loi binomiale négative sont respectivement : E(ỹ) = µ, var(ỹ) = µ + µ 2 /ν. Lorsque ν, on a E(ỹ) = var(ỹ), cette combinaison de lois se réduit donc à juste une loi de Poisson. Le paramètre ν peut être considéré comme un paramètre de dispersion supplémentaire. Pour des valeurs entières de ν la densité de la loi binomiale négative s'écrit : ( ) ν + y 1 f(y) = π ν (1 π) y, y = 0, 1,... (3.5) ν 1 avec π = ν/( µ + ν) [0, 1]. On peut écrire (3.4) sous la forme d'une famille exponentielle : ( ( )) log(π) + (ỹ/ν) log(1 π) Γ(ỹ + ν) f(ỹ) = exp + log, (1/ν) Γ(ỹ + 1)Γ(ν) avec π = ν/( µ+ν). Pour ν xé, en considérant la réponse modiée y = ỹ/ν d'espérance µ = E(y) = µ/ν, on a une famille exponentielle simple de paramètres : θ(µ) = log(1 π) = log(µ/(µ + 1)), b(θ) = log(1 exp(θ)), et φ = 1/ν. La fonction de lien canonique satisfaisant θ(µ) = η est : ( ) µ log = η ou µ = exp(η) µ exp(η). L'utilisation de cette fonction peut poser des problèmes car, pour η 0, on a µ. Pour éviter cela, il est préférable d'utiliser la fonction de lien logarithmique : log(µ) = η ou µ = exp(η). Master SITN

26 3.4 Notions complémentaires Moyennes et variances Supposons que la loi de la variable réponse est une famille exponentielle : ( ) yi θ i b(θ i ) f(y i θ i, φ i ) = exp + c(y i, φ i ). φ i Nous avons vu précédemment que le paramètre naturel θ i dépend de µ i. Pour la loi de Bernoulli par exemple on a θ i = θ(µ i ) = log(µ i /(1 µ i )), et puisque µ i = π i, on obtient alors θ i = log(π i /(1 π i )). En général, pour les familles exponentielles, la moyenne et la variance sont liés à la fonction b(θ i ) de la manière suivante : µ i = b (θ i ) = b(θ i) (3.6) θ σ 2 i = var(y i ) = φ i b (θ i ) = φ i 2 b(θ i ) θ 2 (3.7) Les variances sont donc exprimées en fonction du paramètre de dispersion φ i et de la fonction b (θ i ) appelée fonction de variance. Des formes (3.6) et (3.7), on déduit que pour les modèles linéaires généralisés, il y a une relation entre la moyenne et la variance car les deux dépendent des dérivées de b(θ). Puisque θ i dépend de la moyenne, en posant v(µ i ) = 2 b(θ i )/ θ 2, on a alors l'expression σ 2 i = φ iv(µ i ). Le paramètre de dispersion a pour forme générale : φ i = φa i, où a i est un terme connu. Les tableaux suivants présentent les composantes de chacune des lois étudiées précédemment ainsi que l'expression de leur moyenne et leur variance. (a) Composantes de la famille exponentielle Distribution Notation µ i θ(µ i ) b(θ i ) φ a i Normale N (µ i, σ 2 ) µ i µ i θi 2/2 σ2 1 Exponentielle E(λ i ) 1/λ i 1/µ i log( θ i ) 1 1 Gaussienne Inverse IG(µ i, λ) µ i 1/(2µ 2 i ) ( 2θ i) 1/2 1/λ 1 ( ) Bernoulli B(1, π i ) π i log µi 1 µ i log(1 + exp(θ i )) 1 1 Poisson P(λ i ) λ i log(µ i ) exp(θ i ) 1 1 ( ) Binomiale négative(modiée) NB(ν, ν(1 π i) ν(1 π π i )/ν i ) π i /ν log µi µ i +1 log(1 e θ i ) 1/ν 1 (b) Espérance et variance Distribution µ i = b (θ i ) fonction de variance b (θ i ) variance φ i b (θ i ) Normale µ i = θ i 1 σ 2 Exponentielle µ i = 1 θ i µ 2 i µ 2 i Gaussienne Inverse µ i = ( 2θ i ) 1/2 µ 3 i µ 2 i /λ Bernoulli µ i = exp(θ i) 1+exp(θ i ) π i (1 π i ) π i (1 π i ) Poisson λ i = exp(θ i ) λ i λ i Binomiale négative(modiée) µ i = exp(θ i) 1 exp(θ i ) µ i (1 µ i ) µ i (1 µ i )/ν Master SITN

27 3.4.2 Lien canonique Le choix de la fonction de lien dépend de la distribution de la variable réponse y. Pour chaque distribution de la famille exponentielle il existe une fonction de lien, ayant certains avantages techniques, appelée fonction de lien canonique. Le lien entre le prédicteur linéaire et le paramètre canonique est de la forme : θ i = x T i β. θ i étant une fonction θ(µ i ), le lien canonique g peut donc s'écrire sous la forme g(µ i ) = x T i β comme une transformation de µ i en θ i. Les fonctions de lien canonique sont données dans le tableau (a) ; on a par exemple g(µ) = µ pour la loi normale g(µ) = log(π/(1 π)) pour la loi de Bernoulli 3.5 Estimation par maximum de vraisemblance La méthode d'estimation la plus utilisée pour les modèles linéaires généralisés est celle du maximum de vraisemblance. Elle consiste à construire la vraisemblance des paramètres inconnus des données. L'estimation du maximum de vraisemblance pour tous les MLG a la même forme, car on suppose que les variables réponses proviennent d'une famille exponentielle. La principale caractéristique d'une famille exponentielle de densité f(y i θ i, φ i ) = exp ((y i θ i b(θ i ))/φ i + c(y i, φ i )) est que la moyenne et la variance ont pour expression : E(y i ) = b(θ i) θ, var(y i) = φ i 2 b(θ i ) 2 θ, les paramètres inconnus étant intégrés au terme θ i Log-vraisemblance et Fonction de score Dans le cas d'une famille exponentielle, la log-vraisemblance pour des observations indépendantes y 1,..., y n est : n n y i θ i b(θ i ) l(β) = l i (θ i ) =, φ i le terme c(y i, φ i ) étant omis car il ne dépend pas de θ i et donc de β. Pour maximiser la log-vraisemblance, on calcule la dérivée de l, s(β) = l(β)/ β, appelée fonction de score. En considérant que les paramètres résultent de la transformation : h θ η i µ i θ i g = h 1 µ = θ 1 on a :θ i = θ(µ i ), µ i = h(η i ) θ i = θ(h(η i )), avec η i = x T i β. La fonction de score s(β) s'écrit alors : s(β) = l(β) β = n l i (θ i ) θ θ(µ i ) µ h(η i ) η i η β. En utilisant la transformation de θ i en µ i donnée par µ i = µ(θ i ), on a : l i (θ i ) θ θ(µ i ) µ = = y i b (θ i ) = y i µ i, φ i φ i ( ) µ(θi ) 1 ( 2 b(θ i ) = θ θ 2 η i β = x i. ) 1 = φ i var(y i ), Master SITN

28 La fonction de score est alors donnée par : s(β) = n s i (β) = n h(η i ) y i µ i φ i x i η φ i var(y i ) = n h(η i ) (y i µ i ) x i η var(y i ). Or var(y i ) = σi 2 = φ i v(µ i ), donc l'équation s( ˆβ) = 0, à résoudre pour trouver un estimateur par la méthode du maximum de vraisemblance, s'écrit : n h(η i ) (y i µ i ) x i = 0. (3.8) η φ i v(µ i ) Cette équation devient plus simple en considérant le lien canonique. En eet, puisque θ i = η i = x T i β et h(η i)/ η = var(y i )/φ i, la fonction de score est réduite à : s(β) = n l i (θ i ) η i θ β s(β) = n x i y i µ i φ i, et en notation matricielle on a : s(β) = X T DΣ 1 (y µ), où X T = (x 1,..., x n ) est la matrice des variables explicatives, D = Diag( h(η 1 )/ η,..., h(η n )/ η) la matrice diagonale des dérivées, Σ = Diag(σ 2 1,..., σ2 n) la matrice de covariance et y T = (y 1,..., y n ), µ T = (µ 1,..., µ n ) les vecteurs respectifs des observations et des moyennes Matrice d'information La matrice d'information permet de déterminer la variance asymptotique. La matrice d'information observée est : ( ) F obs (β) = 2 l(β) β β T = 2 l(β). β i β j i,j Elle dépend des observations et est donc aléatoire. Son espérance ou matrice de Fisher(qui n'est pas aléatoire) est : F (β) = E(F obs (β)). Sous les hypothèses E(s(β)) = 0 et E( 2 l i / β β T ) = E(( l i / β)( l i / β T )), on a : ( n ) ( n ( ) F (β) = E s i (β)s i (β) T = E x i x T h(ηi ) 2 ( ) ) yi µ 2 i i η var(y i ) n ( ) = x i x T h(ηi ) 2 i /σi 2, η où σ 2 i = var(y i). En posant W = DΣ 1 D T = Diag F (β) = X T W X. Pour le lien canonique l'expression correspondante est : ( ( ) 2 ( ) ) 2 h(η1 ) η /σ 2 1,..., h(ηn) η /σ 2 n,, on obtient : F (β) = n x i x T i σi 2 /φ 2 i = X T W X, avec W = Diag(σ 2 1 /φ2 1,..., σ2 n/φ 2 n). Master SITN

29 3.5.3 Estimation Les estimateurs par la méthode du maximum de vraisemblance sont obtenus en résolvant l'équation s( ˆβ) = 0, où s est la fonction de score donnée en notation matricielle par : s(β) = X T DΣ 1 (y µ) = X T W D 1 (y µ). La résolution de cette équation peut se faire par la méthode de Newton-Raphson, qui est une méthode itérative de résolution d' équations non linéaires. Elle consiste à trouver la solution par amélioration successive, en partant d'une valeur initiale β (0). Soit β (k) l'estimateur obtenu à la k ième étape, partant de k = 0. Si s(β (k) ) 0, on considère l'approximation linéaire de Taylor : On résoud alors s lin ( ˆβ) = 0, ce qui donne : s(β) s lin (β) = s( ˆβ (k) ) + s( ˆβ (k) ) β (β ˆβ (k) ). ˆβ = ˆβ (k) ( s( ˆβ ) 1 (k) ) s( β ˆβ (k) ). Or s(β)/ β = 2 l(β)/ β β T, donc le nouvel estimateur est : ˆβ (k+1) = ˆβ (k) H( ˆβ (k) ) 1 s( ˆβ (k) ), avec H la matrice Hessienne H(β) = 2 l(β)/ β β T. On arrête les itérations si : ˆβ (k+1) ˆβ (k) ˆβ (k) < ε, où ε est un seuil xé au préalable. Cette méthode converge souvent assez vite. 3.6 Inférence La déviance La déviance est une mesure de l'écart entre le modèle ajusté et les observations basée sur le rapport de vraisemblance et permettant de comparer des modèles emboîtés. Les modèles étudiés ici sont les MLG et le modèle complet convenant aux données. Soit l(y; ˆµ, φ) le maximum de la log-vraisemblance du modèle où y T = (y 1,..., y n ) représente les données, ˆµ T = (ˆµ 1,..., ˆµ n ), ˆµ i = h(x T i ˆβ) représente les valeurs ajustées ; et soit φ i = φa i la dispersion des observations avec a i connue. Pour le modèle complet on a ˆµ = y, la log-vraisemblance est donc l(y; y, φ). θ(ˆµ i ) et θ(y i ) étant les paramètres canoniques respectifs du MLG étudié et du modèle complet, l'expression de la déviance est : D(y, ˆµ) = 2φ (l(y; ˆµ, φ) l(y; y, φ)) n 1 = 2 [y i (θ(y i ) θ(ˆµ i )) (b(θ(y i )) b(θ(ˆµ i )))] a i La déviance est liée au rapport de vraisemblance λ = 2 (l(y; ˆµ, φ) l(y; y, φ)), qui compare le modèle étudié au modèle complet. On a la relation : D(y, ˆµ) = φλ. Le tableau suivant donne les expressions des déviances pour quelques lois usuelles. Master SITN

Moments des variables aléatoires réelles

Moments des variables aléatoires réelles Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................

Plus en détail

Couples de variables aléatoires discrètes

Couples de variables aléatoires discrètes Couples de variables aléatoires discrètes ECE Lycée Carnot mai Dans ce dernier chapitre de probabilités de l'année, nous allons introduire l'étude de couples de variables aléatoires, c'est-à-dire l'étude

Plus en détail

Introduction à la Statistique Inférentielle

Introduction à la Statistique Inférentielle UNIVERSITE MOHAMMED V-AGDAL SCIENCES FACULTE DES DEPARTEMENT DE MATHEMATIQUES SMI semestre 4 : Probabilités - Statistique Introduction à la Statistique Inférentielle Prinemps 2013 0 INTRODUCTION La statistique

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo

Plus en détail

Méthodes de Simulation

Méthodes de Simulation Méthodes de Simulation JEAN-YVES TOURNERET Institut de recherche en informatique de Toulouse (IRIT) ENSEEIHT, Toulouse, France Peyresq06 p. 1/41 Remerciements Christian Robert : pour ses excellents transparents

Plus en détail

Le modèle de régression linéaire

Le modèle de régression linéaire Chapitre 2 Le modèle de régression linéaire 2.1 Introduction L économétrie traite de la construction de modèles. Le premier point de l analyse consiste à se poser la question : «Quel est le modèle?». Le

Plus en détail

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques

Plus en détail

CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE. Cinquième épreuve d admissibilité STATISTIQUE. (durée : cinq heures)

CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE. Cinquième épreuve d admissibilité STATISTIQUE. (durée : cinq heures) CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE Cinquième épreuve d admissibilité STATISTIQUE (durée : cinq heures) Une composition portant sur la statistique. SUJET Cette épreuve est composée d un

Plus en détail

NOTATIONS PRÉLIMINAIRES

NOTATIONS PRÉLIMINAIRES Pour le Jeudi 14 Octobre 2010 NOTATIONS Soit V un espace vectoriel réel ; l'espace vectoriel des endomorphismes de l'espace vectoriel V est désigné par L(V ). Soit f un endomorphisme de l'espace vectoriel

Plus en détail

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» Gilbert Saporta Professeur de Statistique Appliquée Conservatoire National des Arts et Métiers Dans leur quasi totalité, les banques et organismes financiers

Plus en détail

Programmes des classes préparatoires aux Grandes Ecoles

Programmes des classes préparatoires aux Grandes Ecoles Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme

Plus en détail

I3, Probabilités 2014 Travaux Dirigés F BM F BM F BM F BM F B M F B M F B M F B M 20 20 80 80 100 100 300 300

I3, Probabilités 2014 Travaux Dirigés F BM F BM F BM F BM F B M F B M F B M F B M 20 20 80 80 100 100 300 300 I3, Probabilités 2014 Travaux Dirigés TD 1 : rappels. Exercice 1 Poker simplié On tire 3 cartes d'un jeu de 52 cartes. Quelles sont les probabilités d'obtenir un brelan, une couleur, une paire, une suite,

Plus en détail

TESTS D'HYPOTHESES Etude d'un exemple

TESTS D'HYPOTHESES Etude d'un exemple TESTS D'HYPOTHESES Etude d'un exemple Un examinateur doit faire passer une épreuve type QCM à des étudiants. Ce QCM est constitué de 20 questions indépendantes. Pour chaque question, il y a trois réponses

Plus en détail

3. Conditionnement P (B)

3. Conditionnement P (B) Conditionnement 16 3. Conditionnement Dans cette section, nous allons rappeler un certain nombre de définitions et de propriétés liées au problème du conditionnement, c est à dire à la prise en compte

Plus en détail

3 Approximation de solutions d équations

3 Approximation de solutions d équations 3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle

Plus en détail

Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques.

Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques. 14-3- 214 J.F.C. p. 1 I Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques. Exercice 1 Densité de probabilité. F { ln x si x ], 1] UN OVNI... On pose x R,

Plus en détail

Espérance conditionnelle

Espérance conditionnelle Espérance conditionnelle Samy Tindel Nancy-Université Master 1 - Nancy Samy T. (IECN) M1 - Espérance conditionnelle Nancy-Université 1 / 58 Plan 1 Définition 2 Exemples 3 Propriétés de l espérance conditionnelle

Plus en détail

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois

Plus en détail

CHAPITRE VIII : Les circuits avec résistances ohmiques

CHAPITRE VIII : Les circuits avec résistances ohmiques CHAPITRE VIII : Les circuits avec résistances ohmiques VIII. 1 Ce chapitre porte sur les courants et les différences de potentiel dans les circuits. VIII.1 : Les résistances en série et en parallèle On

Plus en détail

Cours (7) de statistiques à distance, élaboré par Zarrouk Fayçal, ISSEP Ksar-Said, 2011-2012 LES STATISTIQUES INFERENTIELLES

Cours (7) de statistiques à distance, élaboré par Zarrouk Fayçal, ISSEP Ksar-Said, 2011-2012 LES STATISTIQUES INFERENTIELLES LES STATISTIQUES INFERENTIELLES (test de Student) L inférence statistique est la partie des statistiques qui, contrairement à la statistique descriptive, ne se contente pas de décrire des observations,

Plus en détail

Le Modèle Linéaire par l exemple :

Le Modèle Linéaire par l exemple : Publications du Laboratoire de Statistique et Probabilités Le Modèle Linéaire par l exemple : Régression, Analyse de la Variance,... Jean-Marc Azaïs et Jean-Marc Bardet Laboratoire de Statistique et Probabilités

Plus en détail

Modèles et Méthodes de Réservation

Modèles et Méthodes de Réservation Modèles et Méthodes de Réservation Petit Cours donné à l Université de Strasbourg en Mai 2003 par Klaus D Schmidt Lehrstuhl für Versicherungsmathematik Technische Universität Dresden D 01062 Dresden E

Plus en détail

STATISTIQUES. UE Modélisation pour la biologie

STATISTIQUES. UE Modélisation pour la biologie STATISTIQUES UE Modélisation pour la biologie 2011 Cadre Général n individus: 1, 2,..., n Y variable à expliquer : Y = (y 1, y 2,..., y n ), y i R Modèle: Y = Xθ + ε X matrice du plan d expériences θ paramètres

Plus en détail

Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples

Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples 45 Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples Les espaces vectoriels considérés sont réels, non réduits au vecteur nul et

Plus en détail

Données longitudinales et modèles de survie

Données longitudinales et modèles de survie ANALYSE DU Données longitudinales et modèles de survie 5. Modèles de régression en temps discret André Berchtold Département des sciences économiques, Université de Genève Cours de Master ANALYSE DU Plan

Plus en détail

Chapitre 2 Le problème de l unicité des solutions

Chapitre 2 Le problème de l unicité des solutions Université Joseph Fourier UE MAT 127 Mathématiques année 2011-2012 Chapitre 2 Le problème de l unicité des solutions Ce que nous verrons dans ce chapitre : un exemple d équation différentielle y = f(y)

Plus en détail

Cours 02 : Problème général de la programmation linéaire

Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la Programmation Linéaire. 5 . Introduction Un programme linéaire s'écrit sous la forme suivante. MinZ(ou maxw) =

Plus en détail

Biostatistiques Biologie- Vétérinaire FUNDP Eric Depiereux, Benoît DeHertogh, Grégoire Vincke

Biostatistiques Biologie- Vétérinaire FUNDP Eric Depiereux, Benoît DeHertogh, Grégoire Vincke www.fundp.ac.be/biostats Module 140 140 ANOVA A UN CRITERE DE CLASSIFICATION FIXE...2 140.1 UTILITE...2 140.2 COMPARAISON DE VARIANCES...2 140.2.1 Calcul de la variance...2 140.2.2 Distributions de référence...3

Plus en détail

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA

Plus en détail

SAS ENTERPRISE MINER POUR L'ACTUAIRE

SAS ENTERPRISE MINER POUR L'ACTUAIRE SAS ENTERPRISE MINER POUR L'ACTUAIRE Conférence de l Association des Actuaires I.A.R.D. 07 JUIN 2013 Sylvain Tremblay Spécialiste en formation statistique SAS Canada AGENDA Survol d Enterprise Miner de

Plus en détail

4 Distributions particulières de probabilités

4 Distributions particulières de probabilités 4 Distributions particulières de probabilités 4.1 Distributions discrètes usuelles Les variables aléatoires discrètes sont réparties en catégories selon le type de leur loi. 4.1.1 Variable de Bernoulli

Plus en détail

t 100. = 8 ; le pourcentage de réduction est : 8 % 1 t Le pourcentage d'évolution (appelé aussi taux d'évolution) est le nombre :

t 100. = 8 ; le pourcentage de réduction est : 8 % 1 t Le pourcentage d'évolution (appelé aussi taux d'évolution) est le nombre : Terminale STSS 2 012 2 013 Pourcentages Synthèse 1) Définition : Calculer t % d'un nombre, c'est multiplier ce nombre par t 100. 2) Exemples de calcul : a) Calcul d un pourcentage : Un article coûtant

Plus en détail

1 TD1 : rappels sur les ensembles et notion de probabilité

1 TD1 : rappels sur les ensembles et notion de probabilité 1 TD1 : rappels sur les ensembles et notion de probabilité 1.1 Ensembles et dénombrement Exercice 1 Soit Ω = {1, 2, 3, 4}. Décrire toutes les parties de Ω, puis vérier que card(p(ω)) = 2 4. Soit k n (

Plus en détail

Probabilités sur un univers fini

Probabilités sur un univers fini [http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur

Plus en détail

Température corporelle d un castor (une petite introduction aux séries temporelles)

Température corporelle d un castor (une petite introduction aux séries temporelles) Température corporelle d un castor (une petite introduction aux séries temporelles) GMMA 106 GMMA 106 2014 2015 1 / 32 Cas d étude Temperature (C) 37.0 37.5 38.0 0 20 40 60 80 100 Figure 1: Temperature

Plus en détail

1 Complément sur la projection du nuage des individus

1 Complément sur la projection du nuage des individus TP 0 : Analyse en composantes principales (II) Le but de ce TP est d approfondir nos connaissances concernant l analyse en composantes principales (ACP). Pour cela, on reprend les notations du précédent

Plus en détail

Retournement Temporel

Retournement Temporel Retournement Temporel Rédigé par: HENG Sokly Encadrés par: Bernard ROUSSELET & Stéphane JUNCA 2 juin 28 Remerciements Je tiens tout d'abord à remercier mes responsables de mémoire, M.Bernard ROUSSELET

Plus en détail

chapitre 4 Nombres de Catalan

chapitre 4 Nombres de Catalan chapitre 4 Nombres de Catalan I Dénitions Dénition 1 La suite de Catalan (C n ) n est la suite dénie par C 0 = 1 et, pour tout n N, C n+1 = C k C n k. Exemple 2 On trouve rapidement C 0 = 1, C 1 = 1, C

Plus en détail

Probabilités III Introduction à l évaluation d options

Probabilités III Introduction à l évaluation d options Probabilités III Introduction à l évaluation d options Jacques Printems Promotion 2012 2013 1 Modèle à temps discret 2 Introduction aux modèles en temps continu Limite du modèle binomial lorsque N + Un

Plus en détail

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante

Plus en détail

Contents. 1 Introduction Objectifs des systèmes bonus-malus Système bonus-malus à classes Système bonus-malus : Principes

Contents. 1 Introduction Objectifs des systèmes bonus-malus Système bonus-malus à classes Système bonus-malus : Principes Université Claude Bernard Lyon 1 Institut de Science Financière et d Assurances Système Bonus-Malus Introduction & Applications SCILAB Julien Tomas Institut de Science Financière et d Assurances Laboratoire

Plus en détail

GEA II Introduction aux probabilités Poly. de révision. Lionel Darondeau

GEA II Introduction aux probabilités Poly. de révision. Lionel Darondeau GEA II Introduction aux probabilités Poly. de révision Lionel Darondeau Table des matières Énoncés 4 Corrigés 10 TD 1. Analyse combinatoire 11 TD 2. Probabilités élémentaires 16 TD 3. Probabilités conditionnelles

Plus en détail

Critère du choix des variables auxiliaires à utiliser dans l'estimateur par calage

Critère du choix des variables auxiliaires à utiliser dans l'estimateur par calage des variables auxiliaires à utiliser dans l'estimateur par calage Mohammed El Haj Tirari Institut National de Statistique et d'economie Appliquée - roc Laboratoire de Statistique d'enquêtes, CREST - Ensai

Plus en détail

TABLE DES MATIERES. C Exercices complémentaires 42

TABLE DES MATIERES. C Exercices complémentaires 42 TABLE DES MATIERES Chapitre I : Echantillonnage A - Rappels de cours 1. Lois de probabilités de base rencontrées en statistique 1 1.1 Définitions et caractérisations 1 1.2 Les propriétés de convergence

Plus en détail

Table des matières. I Mise à niveau 11. Préface

Table des matières. I Mise à niveau 11. Préface Table des matières Préface v I Mise à niveau 11 1 Bases du calcul commercial 13 1.1 Alphabet grec...................................... 13 1.2 Symboles mathématiques............................... 14 1.3

Plus en détail

Régression linéaire. Nicolas Turenne INRA nicolas.turenne@jouy.inra.fr

Régression linéaire. Nicolas Turenne INRA nicolas.turenne@jouy.inra.fr Régression linéaire Nicolas Turenne INRA nicolas.turenne@jouy.inra.fr 2005 Plan Régression linéaire simple Régression multiple Compréhension de la sortie de la régression Coefficient de détermination R

Plus en détail

Chapitre 3. Les distributions à deux variables

Chapitre 3. Les distributions à deux variables Chapitre 3. Les distributions à deux variables Jean-François Coeurjolly http://www-ljk.imag.fr/membres/jean-francois.coeurjolly/ Laboratoire Jean Kuntzmann (LJK), Grenoble University 1 Distributions conditionnelles

Plus en détail

1 Définition de la non stationnarité

1 Définition de la non stationnarité Chapitre 2: La non stationnarité -Testsdedétection Quelques notes de cours (non exhaustives) 1 Définition de la non stationnarité La plupart des séries économiques sont non stationnaires, c est-à-direqueleprocessusquiles

Plus en détail

MÉTHODE DE MONTE CARLO.

MÉTHODE DE MONTE CARLO. MÉTHODE DE MONTE CARLO. Alexandre Popier Université du Maine, Le Mans A. Popier (Le Mans) Méthode de Monte Carlo. 1 / 95 PLAN DU COURS 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental

Plus en détail

PROBABILITES ET STATISTIQUE I&II

PROBABILITES ET STATISTIQUE I&II PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits

Plus en détail

Master Modélisation Aléatoire Paris VII, Cours Méthodes de Monte Carlo en nance et C++, TP n 2.

Master Modélisation Aléatoire Paris VII, Cours Méthodes de Monte Carlo en nance et C++, TP n 2. Master Modélisation Aléatoire Paris VII, Cours Méthodes de Monte Carlo en nance et C++, TP n 2. Techniques de correction pour les options barrières 25 janvier 2007 Exercice à rendre individuellement lors

Plus en détail

choisir H 1 quand H 0 est vraie - fausse alarme

choisir H 1 quand H 0 est vraie - fausse alarme étection et Estimation GEL-64943 Hiver 5 Tests Neyman-Pearson Règles de Bayes: coûts connus min π R ( ) + ( π ) R ( ) { } Règles Minimax: coûts connus min max R ( ), R ( ) Règles Neyman Pearson: coûts

Plus en détail

CAPTEURS - CHAINES DE MESURES

CAPTEURS - CHAINES DE MESURES CAPTEURS - CHAINES DE MESURES Pierre BONNET Pierre Bonnet Master GSI - Capteurs Chaînes de Mesures 1 Plan du Cours Propriétés générales des capteurs Notion de mesure Notion de capteur: principes, classes,

Plus en détail

TESTS PORTMANTEAU D ADÉQUATION DE MODÈLES ARMA FAIBLES : UNE APPROCHE BASÉE SUR L AUTO-NORMALISATION

TESTS PORTMANTEAU D ADÉQUATION DE MODÈLES ARMA FAIBLES : UNE APPROCHE BASÉE SUR L AUTO-NORMALISATION TESTS PORTMANTEAU D ADÉQUATION DE MODÈLES ARMA FAIBLES : UNE APPROCHE BASÉE SUR L AUTO-NORMALISATION Bruno Saussereau Laboratoire de Mathématiques de Besançon Université de Franche-Comté Travail en commun

Plus en détail

La problématique des tests. Cours V. 7 mars 2008. Comment quantifier la performance d un test? Hypothèses simples et composites

La problématique des tests. Cours V. 7 mars 2008. Comment quantifier la performance d un test? Hypothèses simples et composites La problématique des tests Cours V 7 mars 8 Test d hypothèses [Section 6.1] Soit un modèle statistique P θ ; θ Θ} et des hypothèses H : θ Θ H 1 : θ Θ 1 = Θ \ Θ Un test (pur) est une statistique à valeur

Plus en détail

CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE. EQUATIONS DIFFERENTIELLES.

CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE. EQUATIONS DIFFERENTIELLES. CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE EQUATIONS DIFFERENTIELLES Le but de ce chapitre est la résolution des deux types de systèmes différentiels linéaires

Plus en détail

LE PROBLEME DU PLUS COURT CHEMIN

LE PROBLEME DU PLUS COURT CHEMIN LE PROBLEME DU PLUS COURT CHEMIN Dans cette leçon nous définissons le modèle de plus court chemin, présentons des exemples d'application et proposons un algorithme de résolution dans le cas où les longueurs

Plus en détail

Une application de méthodes inverses en astrophysique : l'analyse de l'histoire de la formation d'étoiles dans les galaxies

Une application de méthodes inverses en astrophysique : l'analyse de l'histoire de la formation d'étoiles dans les galaxies Une application de méthodes inverses en astrophysique : l'analyse de l'histoire de la formation d'étoiles dans les galaxies Ariane Lançon (Observatoire de Strasbourg) en collaboration avec: Jean-Luc Vergely,

Plus en détail

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation

Plus en détail

Programmation linéaire

Programmation linéaire 1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit

Plus en détail

Filtrage stochastique non linéaire par la théorie de représentation des martingales

Filtrage stochastique non linéaire par la théorie de représentation des martingales Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de

Plus en détail

TP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options

TP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options Université de Lorraine Modélisation Stochastique Master 2 IMOI 2014-2015 TP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options 1 Les options Le but de ce

Plus en détail

Le modèle de Black et Scholes

Le modèle de Black et Scholes Le modèle de Black et Scholes Alexandre Popier février 21 1 Introduction : exemple très simple de modèle financier On considère un marché avec une seule action cotée, sur une période donnée T. Dans un

Plus en détail

Analyses de Variance à un ou plusieurs facteurs Régressions Analyse de Covariance Modèles Linéaires Généralisés

Analyses de Variance à un ou plusieurs facteurs Régressions Analyse de Covariance Modèles Linéaires Généralisés Analyses de Variance à un ou plusieurs facteurs Régressions Analyse de Covariance Modèles Linéaires Généralisés Professeur Patrice Francour francour@unice.fr Une grande partie des illustrations viennent

Plus en détail

Tests du χ 2. on accepte H 0 bonne décision erreur de seconde espèce on rejette H 0 erreur de première espèce bonne décision

Tests du χ 2. on accepte H 0 bonne décision erreur de seconde espèce on rejette H 0 erreur de première espèce bonne décision Page n 1. Tests du χ 2 une des fonctions des statistiques est de proposer, à partir d observations d un phénomène aléatoire (ou modélisé comme tel) une estimation de la loi de ce phénomène. C est que nous

Plus en détail

Programmation linéaire et Optimisation. Didier Smets

Programmation linéaire et Optimisation. Didier Smets Programmation linéaire et Optimisation Didier Smets Chapitre 1 Un problème d optimisation linéaire en dimension 2 On considère le cas d un fabricant d automobiles qui propose deux modèles à la vente, des

Plus en détail

Tests d indépendance en analyse multivariée et tests de normalité dans les modèles ARMA

Tests d indépendance en analyse multivariée et tests de normalité dans les modèles ARMA Tests d indépendance en analyse multivariée et tests de normalité dans les modèles ARMA Soutenance de doctorat, sous la direction de Pr. Bilodeau, M. et Pr. Ducharme, G. Université de Montréal et Université

Plus en détail

Théorème du point fixe - Théorème de l inversion locale

Théorème du point fixe - Théorème de l inversion locale Chapitre 7 Théorème du point fixe - Théorème de l inversion locale Dans ce chapitre et le suivant, on montre deux applications importantes de la notion de différentiabilité : le théorème de l inversion

Plus en détail

Analyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I

Analyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I Analyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I Roxane Duroux 1 Cadre de l étude Cette étude s inscrit dans le cadre de recherche de doses pour des essais cliniques

Plus en détail

Actuariat I ACT2121. septième séance. Arthur Charpentier. Automne 2012. charpentier.arthur@uqam.ca. http ://freakonometrics.blog.free.

Actuariat I ACT2121. septième séance. Arthur Charpentier. Automne 2012. charpentier.arthur@uqam.ca. http ://freakonometrics.blog.free. Actuariat I ACT2121 septième séance Arthur Charpentier charpentier.arthur@uqam.ca http ://freakonometrics.blog.free.fr/ Automne 2012 1 Exercice 1 En analysant le temps d attente X avant un certain événement

Plus en détail

CCP PSI - 2010 Mathématiques 1 : un corrigé

CCP PSI - 2010 Mathématiques 1 : un corrigé CCP PSI - 00 Mathématiques : un corrigé Première partie. Définition d une structure euclidienne sur R n [X]... B est clairement symétrique et linéaire par rapport à sa seconde variable. De plus B(P, P

Plus en détail

FORMULAIRE DE STATISTIQUES

FORMULAIRE DE STATISTIQUES FORMULAIRE DE STATISTIQUES I. STATISTIQUES DESCRIPTIVES Moyenne arithmétique Remarque: population: m xμ; échantillon: Mx 1 Somme des carrés des écarts "# FR MOYENNE(série) MOYENNE(série) NL GEMIDDELDE(série)

Plus en détail

Calcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes.

Calcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes. 1 Définitions, notations Calcul matriciel Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes. On utilise aussi la notation m n pour le

Plus en détail

Arbres binaires de décision

Arbres binaires de décision 1 Arbres binaires de décision Résumé Arbres binaires de décision Méthodes de construction d arbres binaires de décision, modélisant une discrimination (classification trees) ou une régression (regression

Plus en détail

IBM SPSS Regression 21

IBM SPSS Regression 21 IBM SPSS Regression 21 Remarque : Avant d utiliser ces informations et le produit qu elles concernent, lisez les informations générales sous Remarques sur p. 46. Cette version s applique à IBM SPSS Statistics

Plus en détail

Probabilités sur un univers fini

Probabilités sur un univers fini [http://mp.cpgedupuydelome.fr] édité le 10 août 2015 Enoncés 1 Proailités sur un univers fini Evènements et langage ensemliste A quelle condition sur (a,, c, d) ]0, 1[ 4 existe-t-il une proailité P sur

Plus en détail

Stratégie optimale de stockage de déchets à vie longue

Stratégie optimale de stockage de déchets à vie longue Stratégie optimale de stockage de déchets à vie longue Bertrand Villeneuve Université Paris-Dauphine bertrand.villeneuve@dauphine.fr 3 octobre 211 Ce texte présente des calculs théoriques et indications

Plus en détail

Processus Stochastiques

Processus Stochastiques Processus Stochastiques Olivier Scaillet University of Geneva and Swiss Finance Institute Outline 1 Introduction 2 Chaînes de Markov 3 Application en assurance 4 Application en nance Processus Stochastique

Plus en détail

Les modèles de choix binaire

Les modèles de choix binaire Chapitre 4 Les modèles de choix binaire Les modèles de régression linéaire développés ci-dessus concernent une variable dépendante continue (comme par exemple le salaire ou le taux de chômage). Ce chapitre

Plus en détail

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy

Plus en détail

Cours d Analyse. Fonctions de plusieurs variables

Cours d Analyse. Fonctions de plusieurs variables Cours d Analyse Fonctions de plusieurs variables Licence 1ère année 2007/2008 Nicolas Prioux Université de Marne-la-Vallée Table des matières 1 Notions de géométrie dans l espace et fonctions à deux variables........

Plus en détail

Condition de stabilité d'un réseau de les d'attente à deux stations et N classes de clients 1

Condition de stabilité d'un réseau de les d'attente à deux stations et N classes de clients 1 General Mathematics Vol. 18, No. 4 (2010), 85108 Condition de stabilité d'un réseau de les d'attente à deux stations et N classes de clients 1 Faiza Belarbi, Amina Angelika Bouchentouf Résumé Nous étudions

Plus en détail

Comparaison de populations

Comparaison de populations Ricco Rakotomalala Comparaison de populations Tests paramétriques Version 1.2 Université Lumière Lyon 2 Page: 1 job: Comp_Pop_Tests_Parametriques macro: svmono.cls date/time: 11-Jun-2013/6:32 Page: 2 job:

Plus en détail

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé Baccalauréat S ntilles-guyane 11 septembre 14 Corrigé EXERCICE 1 6 points Commun à tous les candidats Une entreprise de jouets en peluche souhaite commercialiser un nouveau produit et à cette fin, effectue

Plus en détail

Formations EViews FORMATIONS GENERALES INTRODUCTIVES INTRO : INTRODUCTION A LA PRATIQUE DE L ECONOMETRIE AVEC EVIEWS

Formations EViews FORMATIONS GENERALES INTRODUCTIVES INTRO : INTRODUCTION A LA PRATIQUE DE L ECONOMETRIE AVEC EVIEWS Formations EViews FORMATIONS GENERALES INTRODUCTIVES DEB : DECOUVERTE DU LOGICIEL EVIEWS INTRO : INTRODUCTION A LA PRATIQUE DE L ECONOMETRIE AVEC EVIEWS FORMATIONS METHODES ECONOMETRIQUES VAR : MODELES

Plus en détail

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes IUT HSE Probabilités et Statistiques Feuille : variables aléatoires discrètes 1 Exercices Dénombrements Exercice 1. On souhaite ranger sur une étagère 4 livres de mathématiques (distincts), 6 livres de

Plus en détail

FOAD COURS D ECONOMETRIE 1 CHAPITRE 2 : Hétéroscédasicité des erreurs. 23 mars 2012.

FOAD COURS D ECONOMETRIE 1 CHAPITRE 2 : Hétéroscédasicité des erreurs. 23 mars 2012. FOAD COURS D ECONOMETRIE CHAPITRE 2 : Hétéroscédasicité des erreurs. 23 mars 202. Christine Maurel Maître de conférences en Sciences Economiques Université de Toulouse - Capitole Toulouse School of Economics-ARQADE

Plus en détail

La fonction exponentielle

La fonction exponentielle DERNIÈRE IMPRESSION LE 2 novembre 204 à :07 La fonction exponentielle Table des matières La fonction exponentielle 2. Définition et théorèmes.......................... 2.2 Approche graphique de la fonction

Plus en détail

Résolution de systèmes linéaires par des méthodes directes

Résolution de systèmes linéaires par des méthodes directes Résolution de systèmes linéaires par des méthodes directes J. Erhel Janvier 2014 1 Inverse d une matrice carrée et systèmes linéaires Ce paragraphe a pour objet les matrices carrées et les systèmes linéaires.

Plus en détail

UEO11 COURS/TD 1. nombres entiers et réels codés en mémoire centrale. Caractères alphabétiques et caractères spéciaux.

UEO11 COURS/TD 1. nombres entiers et réels codés en mémoire centrale. Caractères alphabétiques et caractères spéciaux. UEO11 COURS/TD 1 Contenu du semestre Cours et TDs sont intégrés L objectif de ce cours équivalent a 6h de cours, 10h de TD et 8h de TP est le suivant : - initiation à l algorithmique - notions de bases

Plus en détail

Analyse de corrélation Étude des dépendances - Variables quantitatives

Analyse de corrélation Étude des dépendances - Variables quantitatives Ricco Rakotomalala Analyse de corrélation Étude des dépendances - Variables quantitatives Version 1.1 Université Lumière Lyon 2 Page: 1 job: Analyse_de_Correlation macro: svmono.cls date/time: 8-Mar-2015/7:21

Plus en détail

Compte rendu des TP matlab

Compte rendu des TP matlab Compte rendu des TP matlab Krell Stella, Minjeaud Sebastian 18 décembre 006 1 TP1, Discrétisation de problèmes elliptiques linéaires 1d Soient > 0, a R, b 0, c, d R et f C([0, 1], R). On cerce à approcer

Plus en détail

Variables Aléatoires. Chapitre 2

Variables Aléatoires. Chapitre 2 Chapitre 2 Variables Aléatoires Après avoir réalisé une expérience, on ne s intéresse bien souvent à une certaine fonction du résultat et non au résultat en lui-même. Lorsqu on regarde une portion d ADN,

Plus en détail

Évaluation de la régression bornée

Évaluation de la régression bornée Thierry Foucart UMR 6086, Université de Poitiers, S P 2 M I, bd 3 téléport 2 BP 179, 86960 Futuroscope, Cedex FRANCE Résumé. le modèle linéaire est très fréquemment utilisé en statistique et particulièrement

Plus en détail

TSTI 2D CH X : Exemples de lois à densité 1

TSTI 2D CH X : Exemples de lois à densité 1 TSTI 2D CH X : Exemples de lois à densité I Loi uniforme sur ab ; ) Introduction Dans cette activité, on s intéresse à la modélisation du tirage au hasard d un nombre réel de l intervalle [0 ;], chacun

Plus en détail

Carl-Louis-Ferdinand von Lindemann (1852-1939)

Carl-Louis-Ferdinand von Lindemann (1852-1939) Par Boris Gourévitch "L'univers de Pi" http://go.to/pi314 sai1042@ensai.fr Alors ça, c'est fort... Tranches de vie Autour de Carl-Louis-Ferdinand von Lindemann (1852-1939) est transcendant!!! Carl Louis

Plus en détail

3. Caractéristiques et fonctions d une v.a.

3. Caractéristiques et fonctions d une v.a. 3. Caractéristiques et fonctions d une v.a. MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v2) MTH2302D: fonctions d une v.a. 1/32 Plan 1. Caractéristiques d une distribution 2. Fonctions

Plus en détail

Cours de méthodes de scoring

Cours de méthodes de scoring UNIVERSITE DE CARTHAGE ECOLE SUPERIEURE DE STATISTIQUE ET D ANALYSE DE L INFORMATION Cours de méthodes de scoring Préparé par Hassen MATHLOUTHI Année universitaire 2013-2014 Cours de méthodes de scoring-

Plus en détail

Exercices - Polynômes : corrigé. Opérations sur les polynômes

Exercices - Polynômes : corrigé. Opérations sur les polynômes Opérations sur les polynômes Exercice 1 - Carré - L1/Math Sup - Si P = Q est le carré d un polynôme, alors Q est nécessairement de degré, et son coefficient dominant est égal à 1. On peut donc écrire Q(X)

Plus en détail

Bases : Probabilités, Estimation et Tests.

Bases : Probabilités, Estimation et Tests. Université René Descartes LMD Sciences de la Vie et de la Santé UFR Biomédicale, M1 de Santé Publique 45 rue des Saints-Père, 75 006 Paris Spécialité Biostatistique M1 COURS de BIOSTATISTIQUE I Bases :

Plus en détail