Master 1 MAIM-SITN. Régression pour des données de type catégorie
|
|
- Emma Poulin
- il y a 8 ans
- Total affichages :
Transcription
1 Master 1 MAIM-SITN Régression pour des données de type catégorie Présenté par : Fariath SOULE Encadrant : Gabriela CIUPERCA Année universitaire :
2 Remerciements Je remercie Madame Gabriela CIUPERCA, tutrice de mon Travail d'etude et de Recherche, pour son soutien et ses orientations qui m'ont permis de mener à terme ce projet. Master SITN
3 Table des matières 1 Rappels et généralités Données catégorielles Exemple : Durée du chômage Classication des variables Composantes d'une régression structurée Rappels sur la régression linéaire classique Résidus et matrice chapeau Décomposition et coecient de détermination Tests d'hypothèses Sous modèles et tests d'hypothèses linéaires Modèles de régression catégorielle Interprétation et codage des covariables Covariables quantitatives Covariables catégorielles Schémas de codage Cotes, Logits et Rapport de Cotes Relation entre variable réponse et variables explicatives Limites des modèles linéaires Modélisation de réponses binaires par des variables latentes Le modèle Logit Représentations du modèle Modèle Logit avec prédicteurs continus Modèle Logit avec prédicteur binaire Modèle Logit avec prédicteurs catégoriels Modèle Logit avec prédicteur linéaire Modèle Logit pour une réponse multinomiale Modèles alternatifs de régression binaire Modèles pour des réponses binaires Avantages des modèles Logit Modèles linéaires généralisés Structure Basique Modèles linéaires généralisés pour des réponses continues Distribution normale Distribution exponentielle Distribution Gaussienne inverse Modèles linéaires généralisés pour des réponses discrètes Modèles pour des données binaires Modèle de Poisson Distribution binomiale négative Notions complémentaires Moyennes et variances
4 3.4.2 Lien canonique Estimation par maximum de vraisemblance Log-vraisemblance et Fonction de score Matrice d'information Estimation Inférence La déviance Analyse de la déviance et tests d'hypothèses Tests statistiques alternatifs pour des hypothèses linéaires Quelques applications Vasoconstriction Choix d'une marque Master SITN
5 Introduction Au cours d'une étude statistique, on peut être amené à modéliser toutes sortes de variables. Les méthodes de modélisation les plus utilisées sont la régression linéaire pour la modélisation d'une variable quantitative en fonction de prédicteurs quantitatifs et l'analyse de variance (ANOVA) pour la modélisation d'une variable quantitative en fonction de prédicteurs qualitatifs. Ces deux méthodes ne sont pas appropriées pour la modélisation d'une variable qualitative. Ainsi, pour ce type de variables, il est nécessaire d'avoir recours à des méthodes alternatives. Ce Travail d'etude et de Recherche consiste à étudier diérents types de modèles que l'on pourrait mettre en place pour modéliser les variables qualitatives. Ces modèles étant basés sur les modèles de régression linéaire, nous débuterons notre étude par un rappel général de ceux-ci. Nous ferons ensuite une étude plus détaillée d'un modèle particulier, le modèle Logit et nous présenterons une généralisation des modèles linéaires. Pour nir, nous appliquerons les méthodes étudiées à des données an de faire des prédictions en nous basant sur les modèles de régression. Master SITN
6 Chapitre 1 Rappels et généralités Les données de type catégorielles sont des types de données que l'on rencontre très souvent lors des analyses statistiques dans plusieurs domaines tels que l'économie, la biologie,la médecine... Pour étudier ces données,on utilise des variables de type catégorie. 1.1 Données catégorielles Une variable de type catégorie est une variable pour laquelle les valeurs possibles forment un ensemble de catégories ou classes, qui peut être ni ou inni. Un exemple de variable catégorielle est le diagnostic résultant d'un examen médical qui a deux classes : normal et anormal Exemple : Durée du chômage Des données issues d'une étude sur la durée de chômage sont présentees dans le tableau suivant : Durée Sexe 6 mois > 6 mois Masculin Féminin Nous remarquons que ces données sont regroupées en deux classes : durée de chômage 6 mois (chômage à court terme) durée de chômage > 6 mois (chômage à long terme) Ce sont donc des données de type catégorie Classication des variables On distingue deux types de variables catégorielles : les variables nominales et les variables ordinales. Les variables nominales sont celles pour lesquelles les catégories de réponses sont qualitatives et non ordonnées. Lorsque l'on assigne des nombres 1,2,...k à ces catégories c'est purement à titre indicatif. Ainsi, la nationalité ou la couleur des cheveux par exemple sont des variables nominales. Les variables ordinales quant à elles sont des variables pour lesquelles les classes sont ordonnées. Comme exemple nous avons la sévérité d'un symptôme(qui peut avoir comme classes :aucun, modéré, marqué). 1.2 Composantes d'une régression structurée Deux types de variables sont utilisées dans les méthodes de régression : les variables explicatives(ou indépendantes) x et les variables expliquées(ou dépendantes) y ; le but de ces méthodes étant de quantier l'inuence de x sur y et de pouvoir ainsi donner une prévision de cette dernière en utilisant des observations de x. 5
7 La régression structurée fait appel à deux composantes : les composantes aléatoires, qui sont le plus souvent spéciées par des hypothèses de distributions, et les composantes qui spécient la structure des prédicteurs x. La moyenne µ de y est alors modélisée comme une fonction en x sous la forme : µ = h(η(x)), où h est une transformation et η(x) un terme structuré (terme inuent). Une forme très simple utilisée en régression linéaire classique est : µ = β 0 + x 1 β x p β p = β 0 + x T β avec x T = (x 1,..., x p ) et β = (β 1,..., β p ) T. Ainsi, en régression linéaire classique, on considère que la moyenne µ est directement spéciée par un prédicteur linéaire η(x) = β 0 + x T β. La fonction h dans ce cas est la fonction identité. Pour modéliser la variable expliquée y, il est nécessaire de supposer une loi appropriée pour les données. En présence de données discrètes, on a deux possibilités : pour des données binaires y {0, 1}, la loi est déterminée par π = P(y = 1) (c'est une loi de Bernoulli). Pour des données dénombrables y {0, 1, 2,...}, la loi de Poisson est un bon choix. Dans le cas de données continues, l'hypothèse de normalité est la plus utilisée. La forme la plus utilisée pour les prédicteurs est la structure linéaire η(x) = β 0 + x T β, qui permet une interprétation assez simple des paramètres. 1.3 Rappels sur la régression linéaire classique Soit (y i, x i1,..., x ip ) un ensemble d'observations où y i est la variable réponse(variable dépendante) et x i1,..., x ip les covariables pour i = 1,..., n. Le modèle correspondant s'écrit : y i = β 0 + x i1 β x ip β p + ε i, i = 1,..., n. avec ε i N (0, σ 2 ) et cov(ε i, ε j ) = 0 si i j. En notation matricielle, on a : y 1 1 x x 1p β 0 ε 1.. = 1 x x 2p β y n 1 } x n1... {{ x np } β p ε n X ou plus simplement y = Xβ avec y = (y 1,..., y n ) T le vecteur des variables réponses, X la matrice composée des variables explicatives, β = (β 0,..., βp) T le vecteur des paramètres et ε = (ε 1,..., ε n ) T le vecteur des erreurs. Ainsi, on a E(ε) = 0 et cov(ε) = σ 2 I, ce qui implique que y N (Xβ, σ 2 I) et donc µ = E(y X = Xβ). Un estimateur sans biais de β est ˆβ = (X T X) 1 X T y, avec cov( ˆβ) = σ 2 (X T X) 1. Il est obtenu par la méthode des moindres carrés en minimisant la fonction Q(β) = n (y i x T i β). Un estimateur sans biais de σ 2 obtenu par la méthode du maximum de vraisemblance est ˆσ 2 = 1 n p 1 n (y i x T i ˆβ) 2 Master SITN
8 1.3.1 Résidus et matrice chapeau La diérence entre les prévisions (ŷ i = x T i ˆβ) et les valeurs observées est donnée par les résidus r i = y i ŷ i = y i x T i ˆβ. Puisque les résidus sont exprimés en fonction de ˆβ qui dépend de toutes les observations, leur variance n'est pas forcément égale à celle des observations. Pour faire de bonnes prévisions il faut donc prendre en compte la variabilité de ˆβ, d'où l'introduction de la matrice chapeau. La matrice chapeau, encore appelée matrice de projection est la matrice H vériant ŷ = Hy, c'est à dire H = X(X T X) 1 X T ; c'est une matrice de projection,car elle est symétrique et idempotente(h 2 = H). Le vecteur des résidus est alors donné par : r = y ŷ = y Hy = (I H)y. On a : cov(r) = σ 2 (I H). En posant H = (h ij ), les éléments diagonaux de la matrice de covariance de r sont alors : var(r i ) = σ 2 (1 h ii ). De plus, si on pose r i = r i 1 hii, on a alors var( r i ) = σ 2 (c'est la même variance que celle des observations). Si on fait une autre transformation en divisant r i par un estimateur sans biais de σ 2 qui est ˆσ 2 = 1 n p 1 n (y i x T i ˆβ) 2 = 1 n p 1 n ri 2 = rt r n p 1, on obtient alors le résidu studentisé r i = r i ˆσ = y i ˆµ i ˆσ 1 h ii, avec ˆµ i = ŷ i Décomposition et coecient de détermination La somme des carrés des écarts peut être décomposée de la façon suivante : n (y i ȳ) 2 = n n (y i ˆµ i ) 2 + (ˆµ i ȳ) 2, avec SST = n (y i ȳ) 2 la somme totale(la dispersion de y), SSR = n (ˆµ i ȳ) 2 la dispersion due au modèle et SSE = n (y i ˆµ i ) 2 la dispersion résiduelle. Le coecient de détermination est le rapport : R 2 = SSR SST = 1 SSE SST. Il donne le pourcentage de variabilité du modèle et permet également de mesurer la qualité de l'ajustement. Master SITN
9 1.3.3 Tests d'hypothèses et Les tests les plus importants sont pour les hypothèses H 0 : β 1 =... = βp = 0 H 1 : i {1,..., p} tel que β i 0 (1.1) H 0 : β i = 0 H 1 : β i 0 (1.2) Le test (1.1) permet de savoir si le modèle est signicatif, c'est à dire si les variables explicatives x 1,..., x p inuent réellement y. La statistique de test utilisée est Z = SSR/p F (p, n p 1), SSE/(n p 1) et la zone de rejet est donnée par R = {Z > u 1 α } où u 1 α est le fractile d'ordre 1 α de la loi de Fisher F (p, n p 1). Dans (1.2) on teste une variable particulière : on cherche à savoir si elle inue y sachant que les autres variables sont dans le modèle. La statistique de test dans ce cas est ˆβ i Z = cov( ˆ ˆβ t(n p 1), i ) avec cov( ˆ ˆβ i ) = ˆσ { a ii, les } a ii étant les termes diagonaux de la matrice (X T X) 1. La zone de rejet est alors R = Z > u 1 α où u 2 1 α est le fractile d'ordre 1 α 2 2 de la loi de Student t(n p 1) Sous modèles et tests d'hypothèses linéaires Faire un test d'hypothèses linéaires consiste à tester, par exemple, les hypothèses H 0 : Cβ = ξ H 1 : Cβ ξ L'hypothèse nulle H 0 : β 1 = β 2 =... = β p = 0 s'écrit dans ce cas : 0 1 β 0 0 H 0 :. 1 β = β p 0 L'hypothèse H 0 : β i = 0 est donnée par H 0 : ( )β = 0 et H 0 : β i = β j par H 0 : ( )β = 0, où 1 correspond à β i et 1 à β j. Les hypothèses H 0 : β 1 = β 2 =... = β p = 0 ou H 0 : β i = 0 sont des hypothèses linéaires et les modèles correspondants sont des sous modèles du modèle de régression multiple. Si M est un sous modèle de M ( M M), M étant le modèle de régression multiple complet alors M est restreint à un sous espace de dimension (p+1) s, avec rang(c) = s. Soient ˆβ un estimateur par moindres carrés pour le modèle complet et β un estimateur qui minimise : (y Xβ) T (y Xβ) sous la contrainte Cβ = ξ. β est donné par : β = ˆβ (X T X) 1 C T [ C(X T X) 1 C T ] [ 1 C ˆβ ] ξ. (1.3) De plus, on a les erreurs : SSE(M) = n (y i x T i ˆβ) 2 = (y X ˆβ) T (y X ˆβ), Master SITN
10 La décomposition SSE( M) = n (y i x T i β) 2 = (y X β) T (y X β). SSE( M) = SSE(M) + SSE( M M). (1.4) peut être donc utilisée pour tester l'ajustement du modèle M sachant que M est un modèle accepté. Cela correspond à tester H 0 : Cβ = ξ. Or y X β = (X ˆβ X β) + (y X ˆβ) et (y X ˆβ) orthogonal à (X ˆβ X β), c'est-à-dire (y X ˆβ) T (X ˆβ X β) = 0. On en déduit la forme explicite de SSE( M M) : SSE( M M) = ( C ˆβ T [C(X ξ) T X) 1 C T ] ( 1 C ˆβ ) ξ. SSE( M), SSE( M) et SSE( M M) suivent des lois du χ 2 avec le degré de liberté dépendant du modèle accepté. Ainsi, on a : SSE( M) = SSE( M M) + SSE(M) σ 2 χ 2 (n p 1 + s) σ 2 χ 2 (s) σ 2 χ 2 (n p 1) si M est accepté si M est accepté si M est accepté. Ainsi, si le modèle M est valable, on peut utiliser ( SSE( M) ) SSE(M) /s F = SSE(M)/(n p 1) F (n, n p 1) comme statistique de test pour H 0 : Cβ = ξ. Master SITN
11 Chapitre 2 Modèles de régression catégorielle Le but de ces méthodes est d'établir les relations entre les covariables x et la réponse y an d'évaluer l'inuence de x sur y et faire des prévisions. Mais contrairement à la régression linéaire classique où la variable y est supposée de loi normale et peut prendre n'importe quelle valeur, une variable catégorielle ne peut prendre qu'un nombre limité de valeurs. 2.1 Interprétation et codage des covariables Covariables quantitatives Pour une covariable quantitative x comme l'âge par exemple, le modèle linéaire utilisé s'écrit : On a alors : E(y x) = β 0 + xβ A. E(y x + 1) = β 0 + (x + 1)β A β A = E(y x + 1) E(y x), donc β A représente la variation de la moyenne de la réponse y si la covariable x augmente d'une unité : c'est l'eet de l'âge sur la variable y Covariables catégorielles Parmi les covariables catégorielles nous avons les covariables binaires(qui contiennent deux classes) et les covariables multicatégorielles(qui contiennent plus de deux classes). Lorsqu'on est en présence d'une covariable binaire comme le sexe par exemple, puisqu'on ne peut la quantier, il est alors nécessaire de la coder. Un exemple de codage pour est le suivant : { 1 masculin x = 0 féminin L'interprétation devient alors la même que pour les variables quantitatives. En ce qui concerne les variables multicatégorielles, on peut les coder en (0-1) ou utiliser une technique de codage eet Schémas de codage Soit une covariable M ayant k classes non ordonnées. Codage (0-1) C'est le type de schéma utilisé pour coder les variables binaires. Dans le cas de variables multicatégorielles, ce schéma s'écrit : Pour M {1,..., k} 10
12 { 1 si M = j x M(j) = 0 sinon Lorsqu' il y a une valeur référence(β 0 ) dans le modèle, on peut utiliser seulement k 1 variables muettes. La classe de la variable omise est alors considérée comme la catégorie de référence. Si on choisit la classe k comme référence, le prédicteur linéaire est déterminé par les k 1 premières variables muettes. On a donc : E(y M) = β 0 + x M(1) β M(1) x M(k 1) β M(k 1) (2.1) L'interprétation des paramètres dans ce cas se fait en examinant la réponse pour diérentes valeurs de M : E(y M = i) = β 0 + β M(i), i = 1,..., k 1 E(y M = k) = β 0 β 0 est donc la moyenne de la catégorie référence k et β M(i) est l'eet de la classe M = i sur y par rapport à la classe M = k. Codage eet Dans ce type de codage, les classes sont traitées de manière symétrique : Le prédicteur linéaire (2.1) devient dans ce cas : ce qui donne la formule de β 0 : Pour M {1,..., k} 1 si M = j x M(j) = 1 si M = k, j = 1,..., k 1 0 sinon E(y M = i) = β 0 + β M(i), i = 1,..., k 1 E(y M = k) = β 0 β M(1)... β M(k 1), β 0 = 1 k k E(y M = i) Remarquons que ici, même si on a utilisé k 1 variables muettes, il n'y a pas de catégorie référence comme dans le cas précédent. 2.2 Cotes, Logits et Rapport de Cotes Soit y une réponse binaire codée par y = 1(le succès) et y = 0(l'échec). La loi de la variable aléatoire binaire y {0, 1} est donnée par la probabilité π = P(y = 1). La probabilité de {y = 0} est alors P(y = 0) = 1 π. y a pour moyenne E(y) = π et pour variance var(y) = π(1 π). Pour une variable réponse binaire y, la moyenne et la variance sont donc déterminées par une seule valeur : π = P(y = 1). Au lieu d'utiliser π comme indicateur du comportement aléatoire de la réponse, il est souvent plus utile de considérer une transformation de π. Les transformations les plus utilisées sont les cotes et les logits qui sont des fonctions de π. Master SITN
13 La cote de π est donnée par la formule γ(π) = π 1 π. Elle compare la probabilité de l'événement y = 1 à celle de y = 0. De la même manière on dénit la cote de 1 π, qui compare la probabilité de y = 0 à celle de y = 1, par : On a alors la relation : γ(1 π) = 1 π π γ(π)γ(1 π) = 1. = 1 γ(π). La fonction Logit quant à elle, est le logarithme de la cote : ( ) ( ) π 1 π logit(π) = log(γ(π)) = log et logit(1 π) = log = logit(π). 1 π π Ainsi on a : logit(π) + logit(1 π) = Relation entre variable réponse et variables explicatives Limites des modèles linéaires Soit y i {0, 1} une variable binaire et x i, i = 1,..., n les covariables. Pour modéliser y i, on serait tenté d'utiliser le modèle linéaire classique mais plusieurs problèmes se posent. D'abord, on a : y i = β 0 + x T i β + ε i, (2.2) E(y i ) = β 0 + x T i β + E(ε i ) = β 0 + x T i β, or E(y i ) = π i = π i = β 0 + x T i β, avec π i = P(y i = 1 x i ). Puisque π i [0, 1], même pour le plus simple des modèles (où on a qu'un seul prédicteur) π i = β 0 +x i β, on peut trouver des valeurs de x i pour lesquelles on aura π i < 0 ou π i > 1 si β 0. Cela limite considérablement le champ d'application de ce modèle. Aussi, en remplaçant π i = β 0 + x T i β dans (2.2) on obtient : y i = π i + ε i, donc ε i { π i, 1 π i }, ce qui implique que ε i est une variable binaire et var(ε i ) = var(y i ) = π i (1 π i ). Le modèle ainsi considéré est donc hétéroscédastique, c'est-à-dire que les ε i n'ont pas la même variance, contrairement au cas linéaire où on a var(ε i ) = σ 2, i. Nous n'avons donc pas les conditions satisfaites par un modèle de régression linéaire classique qui sont entre autres : continuité des variables ε i et var(ε i ) = σ 2, i Modélisation de réponses binaires par des variables latentes Supposons qu'une variable continue sous-jacente dirige le processus de décision qui aboutit à un résultat catégoriel. Par exemple, soit y la variable binaire correspondant à l'achat d'une voiture : { 1 achat d'une voiture y = 0 pas d'achat de voiture La variable y ici dépend d'une variable continue : les revenus nanciers. Soit alors ỹ i une réponse latente associée à une variable binaire y i. Un modèle de régression pour ỹ i est : ỹ i = γ 0 + x T i β + ε i. Master SITN
14 Modéliser y i revient alors à la considérer comme une version dichotomisée de ỹ i avec où θ est un paramètre inconnu (un seuil). On a alors : y i = 1 si ỹ i θ, (2.3) π i = π (x i ) = P (y i = 1 x i ) = P (ỹ i θ) = P ( γ 0 + x T i β + ε i θ ) = P ( ε i γ 0 θ + x T i β ) = F ( β 0 + x T i β ), avec β 0 = γ 0 θ et F une fonction de lien qui est dans ce cas la fonction de répartition de ( ε i ). On obtient ainsi le modèle : π (x i ) = F ( β 0 + x T i β ) (2.4) Les paramètres du modèle peuvent alors être interprétés sans faire référence à une quelconque variable latente. Un exemple de ce type de modèle est le modèle logit déni par : π (x i ) = F ( β 0 + x T i β ), où F est la fonction de répartition de la loi logistique dénie par : F (η) = exp(η) 1 + exp(η). Densité Fonction de répartition dlogis(x) plogis(x) x x Figure 2.1 La loi logistique La gure (2.1) représente la densité et la fonction de répartition de la loi logistique. 2.4 Le modèle Logit Représentations du modèle Soit x le vecteur des prédicteurs, la forme basique du modèle est donnée par : π(x) = F (η(x)), Master SITN
15 où F est dénie par : F (η) = modèle Logit : exp(η) 1+exp(η) et η(x) = xt β. On a donc les trois représentations suivantes du π(x) = exp(xt β) 1 + exp(x T β) (a) π(x) 1 π(x) = exp(xt β) (b) ( ) π(x) log = x T β (c). 1 π(x) De la forme (a), on déduit que la probabilité π(x) est déterminée par les covariables. La forme (b) montre que la cote dépend des covariables. La forme (c) quant à elle montre que les logits dépendent linéairement des covariables Modèle Logit avec prédicteurs continus Cas d'un seul prédicteur Supposons que la variable réponse y a un seul prédicteur x. Le modèle s'écrit alors : π(x) = exp(β 0 + xβ) 1 + exp(β 0 + xβ), (2.5) avec β 0 et β des paramètres inconnus. Pour une interprètation plus aisée des paramètres, il est préférable d'utiliser des représentations alternatives du modèle(les formes (a) et (b) vue plus haut) : π(x) 1 π(x) = exp(β 0 + xβ) (2.6) ( ) π(x) log = β 0 + xβ (2.7) 1 π(x) Pour un modèle linéaire E(y x) = β 0 +xβ, β est la variation de la moyenne lorsque x croît d'une unité : c'est l'eet de x sur y. Pour le modèle logit, cette variation est mesurée en logit. Par dénition : ( ) π(x) logit(x) = log(γ(x)) = log 1 π(x) logit(x) = β 0 + xβ d'après (2.7). De même, on dénit logit(x + 1) = β 0 + (x + 1)β. On en déduit alors le paramètre β qui vaut : En utilisant la forme (2.6) on a : γ(x) = β = logit(x + 1) logit(x). π(x) ( 1 π(x) = eβ 0 e xβ = e β 0 e β) x. Il est évident que e β 0 est la valeur de la cote pour x = 0. Prédicteur multivariable Lorsque plusieurs covariables continues sont présentes dans le modèle, le prédicteur linéaire est de la forme : η(x) = β 0 + x 1 β x m β m, où m est le nombre de covariables. Le logit et la cote sont donnés respectivement par : ( ) π(x) logit(x) = log = β 0 + x 1 β x m β m 1 π(x) Master SITN
16 et γ(x) = π(x) ( ) 1 π(x) = eβ 0 e β x1 ( ) xm 1... e βm. L'eet β j, j = 1,..., m de la covariable x j sur y est alors donné par : β j = logit(x 1,..., x j + 1,..., x m ) logit(x 1,..., x m ). Il correspond à la variation additive en logits lorsque x j variables sont xes. croît d'une unité, sachant que les autres Modèle Logit avec prédicteur binaire On cherche à modéliser une variable réponse y binaire (y = 0 ou 1) en fonction d'un seul prédicteur qui est également binaire. Soient une variable explicative binaire, le sexe par exemple, et x G la variable muette correspondante : { 1 masculin x G = 0 féminin Le modèle logit s'écrit alors : ( ) π(xg ) log = β 0 + x G β, 1 π(x G ) π(x G ) ( 1 π(x G ) = eβ 0 e β) x G (2.8) avec π(x G ) = P(y = 1 x G ). β 0 est donné par la relation ( ) π(xg ) = 0 β 0 = log = logit(x G = 0) 1 π(x G ) = 0 Il correspond au logit dans la catégorie de référence où x G = 0. L'eet de la covariable est alors : ( ) ( ) π(xg = 1) π(xg = 0) β = log log 1 π(x G = 1) 1 π(x G = 0) = logit(x G = 1) logit(x G = 0) On peut donc interpréter β comme la variation additive en logit pour la transition de x G = 0 à x G = 1. Une plus simple interprétation peut se faire en utilisant une transformation des paramètres. On a donc : e β 0 = π(x G = 0) 1 π(x G = 0) = γ(x G = 0), correspondant à la cote pour la catégorie de référence x G = 0 et e β = π(x G = 1)/1 π(x G = 1) π(x G = 0)/1 π(x G = 0) = γ(x G = 1) γ(x G = 0) = γ(1 0), correspondant au rapport de cotes entre x G = 1 et x G = Modèle Logit avec prédicteurs catégoriels Généralement, les covariables catégorielles ont plus de deux classes.néanmoins, l'interprétation des paramètres est la même que dans le cas binaire. Master SITN
17 a) Cas d'un seul prédicteur catégoriel Supposons y que la variable réponse dépend d'un seul prédicteur catégoriel (ou facteur) A ayant pour classes {1,..., I}. Soit π(i) = P(y = 1 A = i) la probabilité réponse. Si le prédicteur est codé en (0-1), la forme générale du modèle est : ( ) π(i) log = β 0 + β i ou 1 π(i) π(i) 1 π(i) = eβ 0 e β i. (2.9) ( ) Puisqu'on a I logits, log π(i) 1 π(i), i = 1,..., I et I + 1 paramètres β 0, β 1,..., β I, il faut une contrainte sur les paramètres pour pouvoir les identier.on pose alors β I = 0, ainsi I est la catégorie de référence et β 0 est alors considéré comme le logit de la catégorie de référence : ( ) π(i) β 0 = log. 1 π(i) Les β i sont alors donnés par : β i = log ( ) ( ) π(i) π(i) log = log γ(i I). 1 π(i) 1 π(i) Ils représentent la variation additive en logits lorsqu'on remplace la classe A = I par A = i. En terme d'exponentiel on a : ( ) e β 0 π(i) = log et e β i = γ(i I) 1 π(i) Le modèle (2.9) peut être donné sous la forme d'un modèle de régression linéaire en utilisant les variables muettes x A(i) = 1 si A = i et x A(i) = 0 sinon. On obtient alors un modèle avec les prédicteurs x A(1),..., x A(I 1) : ( ) π(i) log = β 0 + x 1 π(i) A(1) β x A(I 1) β I 1. b) Cas de plusieurs prédicteurs catégoriels Supposons que y dépend de deux prédicteurs A ayant pour classes {1,..., I} et B ayant pour classes {1,..., J}, sans interactions entre les facteurs. Posons π(a = i, B = j) = P(y = 1 A = i, B = j) et considérons I et J comme les catégories de référence respectives des prédicteurs A et B. Le modèle de régression s'écrit : ( ) π(a = i, B = j) log = β 0 +x 1 π(a = i, B = j) A(1) β A(1) +...+x A(I 1) β A(I 1) +x B(1) β B(1) +...+x B(J 1) β B(J 1), avec x A(i), x B(j) des variables muettes codées en (0-1). Le paramètre β 0 s'obtient pour A = I et B = J : ( ) π(a = I, B = J) β 0 = log, e β 0 π(a = I, B = J) = = γ(a = I, B = J). 1 π(a = I, B = J) 1 π(a = I, B = J) L'exponentielle de β 0 correspond à la cote pour la catégorie de référence (A = I, B = J). On en déduit l'expression des autres paramètres (sous forme exponentielle) : e β A(i) = π(a = i, B = j)/(1 π(a = i, B = j)) γ(a = i, B = j) = π(a = I, B = j)/(1 π(a = I, B = j)) γ(a = I, B = j), correspondant au rapport de cotes entre les classes A = i et A = I quelque soit la classe du prédicteur B. e β π(a = i, B = j)/(1 π(a = i, B = j)) γ(a = i, B = j) B(j) = = π(a = i, B = J)/(1 π(a = i, B = J)) γ(a = i, B = J), correspondant au rapport de cotes entre les classes B = j et B = J quelque soit la classe du prédicteur A. Master SITN
18 2.4.5 Modèle Logit avec prédicteur linéaire En pratique, on rencontre souvent des cas où il y a plusieurs covariables, certaines étant continues et d'autres catégorielles. Dans ce cas, le modèle logit correspondant s'écrit : logit(x) = η(x), où η(x) est un prédicteur linéaire donné par : ce qui donne η(x) = x T β = β 0 + x 1 β x p β p, ( ) π(x) log = β 0 + x 1 β x p β p. 1 π(x) Les composantes du prédicteur linéaire ne sont pas forcément les variables originales. Elles peuvent être : x i, x 2 i,..., des termes construits à partir de la variable originale continue x i x A(i),..., x A(I 1), des variables muettes issues de la transformation d'une variable catégorielle A {1,..., I} Modèle Logit pour une réponse multinomiale C'est le type de modèle utilisé pour des variables réponses multicatégorielles. La distribution multinomiale La loi multinomiale est une généralisation de la loi binomiale. Elle admet plus de deux résultats possibles. Soient 1,..., k les résultats possibles, de probabilités π 1,..., π k. Pour une variable aléatoire Y prenant pour valeurs 1,..., k, on a la relation P(Y = r) = π r. Une repreésentation en termes de vecteurs est plus appropriée. Supposons que l'échantillon de données soit de taille m. Les composantes du vecteur y T = (y 1,..., y k ) donnent les eectifs des catégories 1,..., k. Le vecteur y T = (y 1,..., y k ) a pour fonction de probabilité : f(y 1,..., y k ) = { m! y 1!...y k! πy πy k k, y i {0,..., m} si 0 sinon. i y i = m Un vecteur réponse avec cette fonction de probabilité suit une loi multinomiale de paramètres m et π T = (π 1,..., π k ). Puisque i y i = m, il y a une certaine redondance dans cette représentation. Pour éviter cela, on utilise le vecteur y T = (y 1,..., y q ), avec q = k 1. On obtient alors pour la probabilité : f(y 1,..., y q ) = m! y 1!... y q!(m y 1... y q )! πy πyq q (1 π 1... π q ) m y 1... y q. Dans la suite, nous utiliserons cette dernière version avec q = k 1 composantes. Pour ces composantes, on a : E(y i ) = mπ i, var(y i ) = mπ i (1 π i ), cov(y i, y j ) = mπ i π j. Le modèle Logit multinomial Soient une variable réponse Y {1,..., k}, de loi multinomiale et y T = (y 1,..., y k ) le vecteur des eectifs correspondant. Pour un vecteur de variables explicatives x, le modèle logit binaire (k = 2) est de la forme : P(Y = 1 x) = exp(xt β) 1 + exp(x T β), ce qui est équivalent à : log ( ) P(Y = 1 x) = x T β. P(Y = 2 x) Master SITN
19 Le modèle logit multinomial s'écrit avec la même forme linéaire de logits, à la seule diérence qu'on considère k 1 logits. On a donc : ( ) P(Y = r x) log = x T β r, r = 1,..., q (2.10) P(Y = k x) Dans cette représentation, on compare les probalités P(Y = r x) à la probabilité P(Y = k x). k sert donc de catégorie de référence. De (2.10) on a : P(Y = r x) = P(Y = k x) exp(x T β r ), donc k 1 k 1 P(Y = r x) = P(Y = k x) exp(x T β r ). r=1 r=1 En ajoutant P(Y = k x) dans chaque membre de l'égalité on a : k 1 k 1 P(Y = k x) + P(Y = r x) = P(Y = k x) + P(Y = k x) exp(x T β r ) r=1 [ ] k 1 1 = P(Y = k x) 1 + exp(x T β r ) r=1 r=1 P(Y = k x) = k 1 r=1 exp(xt β r ) De (2.10) et (2.11) on déduit alors l'expression de P(Y = r x) : (2.11) P(Y = r x) = exp(x T β r ) 1 +, r = 1,..., k 1. (2.12) k 1 s=1 exp(xt β s ) La représentation du modèle logit multinomial dépend du choix de la catégorie de référence. Toute classe appartenant à 1,..., k peut être prise comme catégorie de référence. En choisissant une catégorie de référence, seulement q = k 1 probabilités doivent être spéciées. 2.5 Modèles alternatifs de régression binaire Considérons la forme générale des modèles : π(x) = F (x T β), où F est la fonction de répartition d'une variable latente Modèles pour des réponses binaires Le modèle Probit Le modèle Probit, très utilisé en économie, est basé sur la fonction de répartition de la loi normale : Il s'écrit : φ(η) = (2π) 1/2 η e t2 /2 dt. π(x) = φ(x T β), φ 1 (π(x)) = x T β. Dans les applications, le modèle probit donne approximativement les mêmes résultats que le modèle logit. Les p-values sont presque égales et les tests de signication révèlent que les variables qui inuent la réponse sont les mêmes indépendamment du modèle considéré. Master SITN
20 Modèles Log-Log et Log-Log complémentaire Le modèle Log-Log complémentaire est basée sur la fonction de répartition de la loi de Gompertz dénie par : F (η) = 1 exp( exp(η)). Contrairement à la fonction de répartition de la loi logistique, la fonction de répartition de la loi de Gompertz est asymétrique. Les représentations du modèle sont les suivantes : π(x) = 1 exp( exp(x T β)) ou log( log(1 π(x))) = x T β (2.13) La forme (2.13) modélise π(x) = P(y = 1 x). Les deux valeurs possibles de y, y = 1 et y = 0, étant interchangeable, on peut utiliser le modèle (2.13) pour la réponse y = 0. Ainsi, on aurait 1 π(x) = 1 exp( exp( x T β)), d'où la forme générale du modèle Log-Log : π(x) = exp( exp( x T β)) ou log( log(π(x))) = x T β. L'utilisation de x T β à la place de x T β permet d'écrire le modèle sous la forme π(x) = F (x T β), où F est la fonction de répartition de la loi de Gumbel dénie par : F (η) = exp( exp( η)). Modèle exponentiel Soit Z une variable dénombrable prenant pour valeurs 0, 1, 2,... La loi de Z peut être approximée par la loi de Poisson qui a pour densité P(Z = z) = λ z e λ /z!, z = 0, 1, 2,... où λ est l'espérance de Z. Si l'on s'intéresse seulement aux cas Z = 0 ou Z > 0, on obtient la variable dichotomique { 1 si Z > 0 y = 0 si Z = 0 On a alors : P(y = 1) = P(Z > 0) = 1 P(Z = 0) = 1 e λ. En supposant que l'espérance λ dépend linéairement des covariables, par exemple λ = x T β, on obtient le modèle exponentiel : π(x) = 1 exp( x T β) ou log(1 π(x)) = x T β. En prenant λ = exp(x T β), on retrouve le modèle log-log complémentaire. Modèle de Cauchy Ce modèle est basé sur la loi de Cauchy de fonction de répartition F (η) = 1 π arctan(η) C'est une loi assez particulière car n'a ni la moyenne, ni la variance ne sont dénies. Le modèle de Cauchy est déterminé par la fonction de lien "cauchit" g(u) = tan(π(u 1/2)) : π(x) = 1 π arctan(xt β) + 1 ou tan (π(π(x) 12 ) 2 ) = x T β (2.14) La loi de Cauchy admet plus de valeurs extrêmes que la loi normale. Il est donc plus intéressant d'avoir recours à ce modèle lorsqu'on a des observations pour lesquelles le prédicteur linéaire est grand en valeur absolue. Modèle avec fonction de lien identité En régression linéaire, la fonction de lien la plus utilisé est la fonction identité. On a dans ce cas E(y i ) = x T i β. Cette fonction peut être aussi utilisée en régression binaire et on obtient le modèle : π(x) = x T β. Notons toutefois que ce type de modèle ne peut s'appliquer qu'à des cas où l'espace des covariables est restreint à un ensemble pour lequel on a π(x) [0, 1]. Master SITN
21 2.5.2 Avantages des modèles Logit Le modèle Logit a de nombreux avantages qui font de lui l'un des modèles les plus utilisés : (1) Les paramètres sont faciles à interpréter en terme de cotes (pour exp(β)) et de log-cotes (pour β). (2) Si toutes les covariables sont catégorielles, l'hypothèse H 0 : β = 0 est équivalente à l'indépendance entre la variable réponse et les variables explicatives. Pour les prédicteurs pris séparément, l'hypothèse H 0 : β j = 0 correspond à une indépendance conditionnelle de la réponse sachant les autres variables. (3) Le modèle est en relation avec la loi normale de par l'hypothèse x y = i N (µ i, Σ). (4) Si les observations sont tirées de la loi conditionnelle de x sachant y, au lieu de provenir de la forme usuelle(observation de réponses y sachant x), alors les eets des variables peuvent être estimés. Master SITN
22 Chapitre 3 Modèles linéaires généralisés Les modèles linéaires généralisés (MLG)représentent une structure générale de modèle permettant de traiter les variables réponses,catégorielles et continues, d'une même manière. 3.1 Structure Basique Un modèle linéaire généralisé a deux composantes : une composante aléatoire et une composante systématique. (a) La composante aléatoire Elle spécie la loi conditionnelle de la réponse y i sachant x i. Les y i sont indépendants des observations d'une famille exponentielle simple. Cette famille a pour densité de probabilité ( ) yi θ i b(θ i ) f(y i θ i, φ i ) = exp + c(y i, φ i ), (3.1) φ i avec θ i le paramètre naturel de la famille, lié à la moyenne de la distribution µ i, φ i le paramètre de dispersion et b(.) et c(.) des fonctions spéciques correspondant au type de la famille. (b) La composante systématique Elle est déterminée par un terme linéaire η i = x T i β, où β est un vecteur de paramètres inconnu de dimension p. La relation entre la partie linéaire et l'espérance conditionnelle µ i = E(y i x i ) est déterminée par : ou, de manière équivalente par µ i = h(η i ) = h(x T i β), (3.2) g(µ i ) = η i = x T i β, (3.3) avec h une fonction réponse injective connue, g une fonction dite de lien, qui est l'inverse de h. La fonction réponse h dans (3.2) est une transformation du prédicteur linéaire permettant de déterminer l'espérance conditionnelle. Pour le modèle logistique par exemple, où la moyenne µ i correspond à la probabilité de succès π i, on a π i = exp(xt i β) 1 + exp(x T i β), ce qui donne h(η i ) = exp(η i) 1 + exp(η i ) par : ( πi et log 1 π i g(π) = log ) = x T i β où la fonction de lien g = h 1 est donnée 21 ( ) π. 1 π
23 Un modèle linéaire généralisé est déterminé par : le type de la famille exponentielle qui spécie la loi de y i x i ; la forme du prédicteur linéaire la fonction réponse ou la fonction de lien. 3.2 Modèles linéaires généralisés pour des réponses continues Distribution normale Le modèle de régression linéaire normal est donné avec un terme d'erreur sous la forme y i = x T i β + ɛ i, avec ɛ i N (0, σ 2 ). Alternativement, le modèle peut être spécié sous forme de MLG par : y i x i N (µ i, σ 2 ) et µ i = η i = x T i β. La variable réponse est supposée de loi normale, de variance ne dépendant pas des observations. Cette loi est une famille exponentielle de paramètres θ(µ) = µ, b(θ) = µ 2 /2, φ = σ 2. Le lien entre la moyenne et le prédicteur est donné par µ i = η i = x T i β.. Ainsi, pour ce modèle la fonction de lien est la fonction identité. Les composantes aléatoire et systématique n'étant pas liées, il est facile de trouver un lien entre la moyenne et les prédicteurs. Ainsi, pour une variable réponse qui doit être positive(le temps de réaction ou les revenus), un lien qui assure la positivité de la moyenne est µ = exp(η) = exp(x T β). L'inuence des covariables et l'interprétation des paramètres va donc diérer du cas du modèle linéaire classique. En eet, pour le modèle µ = x T β = x 1 β x p β p, x j a un eet additif β j sur la moyenne alors que pour le modèle avec le lien modié µ = exp(x 1 β x p β p ) = e x 1β 1... e xpβp, x j a un eet multiplicatif par le facteur e β j sur la moyenne Distribution exponentielle Lorsque les variables réponses sont strictement positives un modèle suivant une loi normale n'est pas très approprié. La distribution la plus utilisée dans ce cas est la loi exponentielle f(y) = λe λy = exp( λy + log(λ)), y 0. En posant θ = λ, φ = 1, et b(θ) = log( θ), on voit que cette loi est une famille exponentielle ; son espérance est 1/λ et sa variance 1/λ 2. Une propriété de ce modèle de distribution est qu'il existe un lien satisfaisant θ(µ) = η. Il est donné par : g(µ) = 1 µ ou h(η) = 1 η. Puisque µ > 0, le prédicteur linéaire est donc restreint à η = x T β < 0. Pour contourner cette restriction, on utilise la fonction : ce qui donne µ = exp(η) = exp(x T β). g(µ) = log(µ) ou h(η) = exp(η), Master SITN
24 3.2.3 Distribution Gaussienne inverse Pour modéliser des variables réponses strictement positives, on peut également utiliser la loi gaussienne inverse. Une distribution gaussienne inverse de paramètres µ > 0 et λ > 0 notée IG(µ, λ) a pour densité : ( ) λ 1/2 ( f(y) = 2πy 3 exp λ ) 2µ 2 (y µ)2, y > 0 y On peut l'écrire sous la forme d'une famille exponentielle : ( y( 1/(2µ 2 )) + 1/µ f(y) = exp λ 1/λ 2y 1 2 log(λ2π) 3 ) 2 log(y), avec θ = 1 2µ 2, b(θ) = 1/µ = 2θ, φ = 1/λ, c(y, φ) = 1/(2yφ) 1 2 log(2π/φ) 3 2 log(y). La fonction de lien, qui satisfait θ(µ) = η, est donnée par : g(µ) = 1 2µ 2 ou h(η) = 1 2η. La dernière expression impose la contrainte η = x T β > 0. Pour éviter cette contrainte, on peut utiliser la fonction de lien logarithmique g(µ) = log(µ). Une propriété intéressante de la loi gaussienne inverse est que les estimateurs par la méthode du maximum de vraisemblance de la moyenne µ et de la dispersion 1/λ donnés par : sont indépendants. ˆµ = 1 n n y i, 1 ˆλ = 1 n n ( 1 1 ), y i ȳ 3.3 Modèles linéaires généralisés pour des réponses discrètes Modèles pour des données binaires Le cas le plus simple de réponse discrète est celui où on s'intéresse au "succès" ou à "l'échec", donc la variable réponse y prend deux valeurs : y {0, 1}. y suit donc une loi de Bernoulli de fonction de densité : ( ( ) ) π f(y) = π y (1 π) 1 y = exp y log + log(1 π), 1 π où π = P(y = 1) est la probabilité de "succès". Avec µ = π, cette loi est une famille exponentielle de paramètres θ(π) = log(π/(1 π)), b(θ) = log(1 + exp(θ)) = log(1 π), φ = 1. La relation qui donne le modèle logit est : π = exp(η) ( ) π, g(π) = log. 1 + exp(η) 1 π Alternativement, toute fonction de distribution strictement monotone F peut être utilisée comme fonction réponse. On aurait donc π = F (x T i β), avec h(η) = F (η) la fonction réponse et g(π) = F 1 (π) la fonction de lien. Master SITN
25 3.3.2 Modèle de Poisson Pour modéliser des données dénombrables, on utilise une variable réponse y N suivant une loi de Poisson de paramètre λ > 0 de densité : Les paramètres de la famille exponentielle sont : f(y) = λy y! e λ = exp (y log(λ) λ log(y!)). θ(µ) = log(µ), b(θ) = exp(θ) = µ, φ = 1, avec µ = λ l'espérance de y. Le choix de la fonction de lien devant prendre en compte la restriction λ > 0, la fonction la plus utilisée est la fonction logarithmique : Distribution binomiale négative log(λ) = x T β ou λ = exp(x T β). Une distribution alternative pour les données dénombrables est la loi binomiale négative de fonction de densité : ( ) Γ(ỹ + ν) ν ν ( ) µ y f(ỹ) =, y = 0, 1,... (3.4) Γ(ỹ + 1)Γ(ν) µ + ν µ + ν avec ν, µ > 0 étant les paramètres. Cette loi peut être considérée comme une combinaison d'une loi de Poisson et d'une loi Gamma. En eet, on suppose que le paramètre λ de la loi de Poisson est une variable aléatoire Gamma distribuée λ Γ(ν, ν µ ) d'espérance µ et que ỹ λ P(λ). La loi marginale de ỹ est donnée par (3.4). L'espérance et la variance de la loi binomiale négative sont respectivement : E(ỹ) = µ, var(ỹ) = µ + µ 2 /ν. Lorsque ν, on a E(ỹ) = var(ỹ), cette combinaison de lois se réduit donc à juste une loi de Poisson. Le paramètre ν peut être considéré comme un paramètre de dispersion supplémentaire. Pour des valeurs entières de ν la densité de la loi binomiale négative s'écrit : ( ) ν + y 1 f(y) = π ν (1 π) y, y = 0, 1,... (3.5) ν 1 avec π = ν/( µ + ν) [0, 1]. On peut écrire (3.4) sous la forme d'une famille exponentielle : ( ( )) log(π) + (ỹ/ν) log(1 π) Γ(ỹ + ν) f(ỹ) = exp + log, (1/ν) Γ(ỹ + 1)Γ(ν) avec π = ν/( µ+ν). Pour ν xé, en considérant la réponse modiée y = ỹ/ν d'espérance µ = E(y) = µ/ν, on a une famille exponentielle simple de paramètres : θ(µ) = log(1 π) = log(µ/(µ + 1)), b(θ) = log(1 exp(θ)), et φ = 1/ν. La fonction de lien canonique satisfaisant θ(µ) = η est : ( ) µ log = η ou µ = exp(η) µ exp(η). L'utilisation de cette fonction peut poser des problèmes car, pour η 0, on a µ. Pour éviter cela, il est préférable d'utiliser la fonction de lien logarithmique : log(µ) = η ou µ = exp(η). Master SITN
26 3.4 Notions complémentaires Moyennes et variances Supposons que la loi de la variable réponse est une famille exponentielle : ( ) yi θ i b(θ i ) f(y i θ i, φ i ) = exp + c(y i, φ i ). φ i Nous avons vu précédemment que le paramètre naturel θ i dépend de µ i. Pour la loi de Bernoulli par exemple on a θ i = θ(µ i ) = log(µ i /(1 µ i )), et puisque µ i = π i, on obtient alors θ i = log(π i /(1 π i )). En général, pour les familles exponentielles, la moyenne et la variance sont liés à la fonction b(θ i ) de la manière suivante : µ i = b (θ i ) = b(θ i) (3.6) θ σ 2 i = var(y i ) = φ i b (θ i ) = φ i 2 b(θ i ) θ 2 (3.7) Les variances sont donc exprimées en fonction du paramètre de dispersion φ i et de la fonction b (θ i ) appelée fonction de variance. Des formes (3.6) et (3.7), on déduit que pour les modèles linéaires généralisés, il y a une relation entre la moyenne et la variance car les deux dépendent des dérivées de b(θ). Puisque θ i dépend de la moyenne, en posant v(µ i ) = 2 b(θ i )/ θ 2, on a alors l'expression σ 2 i = φ iv(µ i ). Le paramètre de dispersion a pour forme générale : φ i = φa i, où a i est un terme connu. Les tableaux suivants présentent les composantes de chacune des lois étudiées précédemment ainsi que l'expression de leur moyenne et leur variance. (a) Composantes de la famille exponentielle Distribution Notation µ i θ(µ i ) b(θ i ) φ a i Normale N (µ i, σ 2 ) µ i µ i θi 2/2 σ2 1 Exponentielle E(λ i ) 1/λ i 1/µ i log( θ i ) 1 1 Gaussienne Inverse IG(µ i, λ) µ i 1/(2µ 2 i ) ( 2θ i) 1/2 1/λ 1 ( ) Bernoulli B(1, π i ) π i log µi 1 µ i log(1 + exp(θ i )) 1 1 Poisson P(λ i ) λ i log(µ i ) exp(θ i ) 1 1 ( ) Binomiale négative(modiée) NB(ν, ν(1 π i) ν(1 π π i )/ν i ) π i /ν log µi µ i +1 log(1 e θ i ) 1/ν 1 (b) Espérance et variance Distribution µ i = b (θ i ) fonction de variance b (θ i ) variance φ i b (θ i ) Normale µ i = θ i 1 σ 2 Exponentielle µ i = 1 θ i µ 2 i µ 2 i Gaussienne Inverse µ i = ( 2θ i ) 1/2 µ 3 i µ 2 i /λ Bernoulli µ i = exp(θ i) 1+exp(θ i ) π i (1 π i ) π i (1 π i ) Poisson λ i = exp(θ i ) λ i λ i Binomiale négative(modiée) µ i = exp(θ i) 1 exp(θ i ) µ i (1 µ i ) µ i (1 µ i )/ν Master SITN
27 3.4.2 Lien canonique Le choix de la fonction de lien dépend de la distribution de la variable réponse y. Pour chaque distribution de la famille exponentielle il existe une fonction de lien, ayant certains avantages techniques, appelée fonction de lien canonique. Le lien entre le prédicteur linéaire et le paramètre canonique est de la forme : θ i = x T i β. θ i étant une fonction θ(µ i ), le lien canonique g peut donc s'écrire sous la forme g(µ i ) = x T i β comme une transformation de µ i en θ i. Les fonctions de lien canonique sont données dans le tableau (a) ; on a par exemple g(µ) = µ pour la loi normale g(µ) = log(π/(1 π)) pour la loi de Bernoulli 3.5 Estimation par maximum de vraisemblance La méthode d'estimation la plus utilisée pour les modèles linéaires généralisés est celle du maximum de vraisemblance. Elle consiste à construire la vraisemblance des paramètres inconnus des données. L'estimation du maximum de vraisemblance pour tous les MLG a la même forme, car on suppose que les variables réponses proviennent d'une famille exponentielle. La principale caractéristique d'une famille exponentielle de densité f(y i θ i, φ i ) = exp ((y i θ i b(θ i ))/φ i + c(y i, φ i )) est que la moyenne et la variance ont pour expression : E(y i ) = b(θ i) θ, var(y i) = φ i 2 b(θ i ) 2 θ, les paramètres inconnus étant intégrés au terme θ i Log-vraisemblance et Fonction de score Dans le cas d'une famille exponentielle, la log-vraisemblance pour des observations indépendantes y 1,..., y n est : n n y i θ i b(θ i ) l(β) = l i (θ i ) =, φ i le terme c(y i, φ i ) étant omis car il ne dépend pas de θ i et donc de β. Pour maximiser la log-vraisemblance, on calcule la dérivée de l, s(β) = l(β)/ β, appelée fonction de score. En considérant que les paramètres résultent de la transformation : h θ η i µ i θ i g = h 1 µ = θ 1 on a :θ i = θ(µ i ), µ i = h(η i ) θ i = θ(h(η i )), avec η i = x T i β. La fonction de score s(β) s'écrit alors : s(β) = l(β) β = n l i (θ i ) θ θ(µ i ) µ h(η i ) η i η β. En utilisant la transformation de θ i en µ i donnée par µ i = µ(θ i ), on a : l i (θ i ) θ θ(µ i ) µ = = y i b (θ i ) = y i µ i, φ i φ i ( ) µ(θi ) 1 ( 2 b(θ i ) = θ θ 2 η i β = x i. ) 1 = φ i var(y i ), Master SITN
28 La fonction de score est alors donnée par : s(β) = n s i (β) = n h(η i ) y i µ i φ i x i η φ i var(y i ) = n h(η i ) (y i µ i ) x i η var(y i ). Or var(y i ) = σi 2 = φ i v(µ i ), donc l'équation s( ˆβ) = 0, à résoudre pour trouver un estimateur par la méthode du maximum de vraisemblance, s'écrit : n h(η i ) (y i µ i ) x i = 0. (3.8) η φ i v(µ i ) Cette équation devient plus simple en considérant le lien canonique. En eet, puisque θ i = η i = x T i β et h(η i)/ η = var(y i )/φ i, la fonction de score est réduite à : s(β) = n l i (θ i ) η i θ β s(β) = n x i y i µ i φ i, et en notation matricielle on a : s(β) = X T DΣ 1 (y µ), où X T = (x 1,..., x n ) est la matrice des variables explicatives, D = Diag( h(η 1 )/ η,..., h(η n )/ η) la matrice diagonale des dérivées, Σ = Diag(σ 2 1,..., σ2 n) la matrice de covariance et y T = (y 1,..., y n ), µ T = (µ 1,..., µ n ) les vecteurs respectifs des observations et des moyennes Matrice d'information La matrice d'information permet de déterminer la variance asymptotique. La matrice d'information observée est : ( ) F obs (β) = 2 l(β) β β T = 2 l(β). β i β j i,j Elle dépend des observations et est donc aléatoire. Son espérance ou matrice de Fisher(qui n'est pas aléatoire) est : F (β) = E(F obs (β)). Sous les hypothèses E(s(β)) = 0 et E( 2 l i / β β T ) = E(( l i / β)( l i / β T )), on a : ( n ) ( n ( ) F (β) = E s i (β)s i (β) T = E x i x T h(ηi ) 2 ( ) ) yi µ 2 i i η var(y i ) n ( ) = x i x T h(ηi ) 2 i /σi 2, η où σ 2 i = var(y i). En posant W = DΣ 1 D T = Diag F (β) = X T W X. Pour le lien canonique l'expression correspondante est : ( ( ) 2 ( ) ) 2 h(η1 ) η /σ 2 1,..., h(ηn) η /σ 2 n,, on obtient : F (β) = n x i x T i σi 2 /φ 2 i = X T W X, avec W = Diag(σ 2 1 /φ2 1,..., σ2 n/φ 2 n). Master SITN
29 3.5.3 Estimation Les estimateurs par la méthode du maximum de vraisemblance sont obtenus en résolvant l'équation s( ˆβ) = 0, où s est la fonction de score donnée en notation matricielle par : s(β) = X T DΣ 1 (y µ) = X T W D 1 (y µ). La résolution de cette équation peut se faire par la méthode de Newton-Raphson, qui est une méthode itérative de résolution d' équations non linéaires. Elle consiste à trouver la solution par amélioration successive, en partant d'une valeur initiale β (0). Soit β (k) l'estimateur obtenu à la k ième étape, partant de k = 0. Si s(β (k) ) 0, on considère l'approximation linéaire de Taylor : On résoud alors s lin ( ˆβ) = 0, ce qui donne : s(β) s lin (β) = s( ˆβ (k) ) + s( ˆβ (k) ) β (β ˆβ (k) ). ˆβ = ˆβ (k) ( s( ˆβ ) 1 (k) ) s( β ˆβ (k) ). Or s(β)/ β = 2 l(β)/ β β T, donc le nouvel estimateur est : ˆβ (k+1) = ˆβ (k) H( ˆβ (k) ) 1 s( ˆβ (k) ), avec H la matrice Hessienne H(β) = 2 l(β)/ β β T. On arrête les itérations si : ˆβ (k+1) ˆβ (k) ˆβ (k) < ε, où ε est un seuil xé au préalable. Cette méthode converge souvent assez vite. 3.6 Inférence La déviance La déviance est une mesure de l'écart entre le modèle ajusté et les observations basée sur le rapport de vraisemblance et permettant de comparer des modèles emboîtés. Les modèles étudiés ici sont les MLG et le modèle complet convenant aux données. Soit l(y; ˆµ, φ) le maximum de la log-vraisemblance du modèle où y T = (y 1,..., y n ) représente les données, ˆµ T = (ˆµ 1,..., ˆµ n ), ˆµ i = h(x T i ˆβ) représente les valeurs ajustées ; et soit φ i = φa i la dispersion des observations avec a i connue. Pour le modèle complet on a ˆµ = y, la log-vraisemblance est donc l(y; y, φ). θ(ˆµ i ) et θ(y i ) étant les paramètres canoniques respectifs du MLG étudié et du modèle complet, l'expression de la déviance est : D(y, ˆµ) = 2φ (l(y; ˆµ, φ) l(y; y, φ)) n 1 = 2 [y i (θ(y i ) θ(ˆµ i )) (b(θ(y i )) b(θ(ˆµ i )))] a i La déviance est liée au rapport de vraisemblance λ = 2 (l(y; ˆµ, φ) l(y; y, φ)), qui compare le modèle étudié au modèle complet. On a la relation : D(y, ˆµ) = φλ. Le tableau suivant donne les expressions des déviances pour quelques lois usuelles. Master SITN
Moments des variables aléatoires réelles
Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................
Plus en détailCouples de variables aléatoires discrètes
Couples de variables aléatoires discrètes ECE Lycée Carnot mai Dans ce dernier chapitre de probabilités de l'année, nous allons introduire l'étude de couples de variables aléatoires, c'est-à-dire l'étude
Plus en détailIntroduction à la Statistique Inférentielle
UNIVERSITE MOHAMMED V-AGDAL SCIENCES FACULTE DES DEPARTEMENT DE MATHEMATIQUES SMI semestre 4 : Probabilités - Statistique Introduction à la Statistique Inférentielle Prinemps 2013 0 INTRODUCTION La statistique
Plus en détailSimulation de variables aléatoires
Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo
Plus en détailMéthodes de Simulation
Méthodes de Simulation JEAN-YVES TOURNERET Institut de recherche en informatique de Toulouse (IRIT) ENSEEIHT, Toulouse, France Peyresq06 p. 1/41 Remerciements Christian Robert : pour ses excellents transparents
Plus en détailLe modèle de régression linéaire
Chapitre 2 Le modèle de régression linéaire 2.1 Introduction L économétrie traite de la construction de modèles. Le premier point de l analyse consiste à se poser la question : «Quel est le modèle?». Le
Plus en détailChapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens
Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques
Plus en détailCONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE. Cinquième épreuve d admissibilité STATISTIQUE. (durée : cinq heures)
CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE Cinquième épreuve d admissibilité STATISTIQUE (durée : cinq heures) Une composition portant sur la statistique. SUJET Cette épreuve est composée d un
Plus en détailNOTATIONS PRÉLIMINAIRES
Pour le Jeudi 14 Octobre 2010 NOTATIONS Soit V un espace vectoriel réel ; l'espace vectoriel des endomorphismes de l'espace vectoriel V est désigné par L(V ). Soit f un endomorphisme de l'espace vectoriel
Plus en détailLA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»
LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» Gilbert Saporta Professeur de Statistique Appliquée Conservatoire National des Arts et Métiers Dans leur quasi totalité, les banques et organismes financiers
Plus en détailProgrammes des classes préparatoires aux Grandes Ecoles
Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme
Plus en détailI3, Probabilités 2014 Travaux Dirigés F BM F BM F BM F BM F B M F B M F B M F B M 20 20 80 80 100 100 300 300
I3, Probabilités 2014 Travaux Dirigés TD 1 : rappels. Exercice 1 Poker simplié On tire 3 cartes d'un jeu de 52 cartes. Quelles sont les probabilités d'obtenir un brelan, une couleur, une paire, une suite,
Plus en détailTESTS D'HYPOTHESES Etude d'un exemple
TESTS D'HYPOTHESES Etude d'un exemple Un examinateur doit faire passer une épreuve type QCM à des étudiants. Ce QCM est constitué de 20 questions indépendantes. Pour chaque question, il y a trois réponses
Plus en détail3. Conditionnement P (B)
Conditionnement 16 3. Conditionnement Dans cette section, nous allons rappeler un certain nombre de définitions et de propriétés liées au problème du conditionnement, c est à dire à la prise en compte
Plus en détail3 Approximation de solutions d équations
3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle
Plus en détailExercice autour de densité, fonction de répatition, espérance et variance de variables quelconques.
14-3- 214 J.F.C. p. 1 I Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques. Exercice 1 Densité de probabilité. F { ln x si x ], 1] UN OVNI... On pose x R,
Plus en détailEspérance conditionnelle
Espérance conditionnelle Samy Tindel Nancy-Université Master 1 - Nancy Samy T. (IECN) M1 - Espérance conditionnelle Nancy-Université 1 / 58 Plan 1 Définition 2 Exemples 3 Propriétés de l espérance conditionnelle
Plus en détailLa Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1
La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois
Plus en détailCHAPITRE VIII : Les circuits avec résistances ohmiques
CHAPITRE VIII : Les circuits avec résistances ohmiques VIII. 1 Ce chapitre porte sur les courants et les différences de potentiel dans les circuits. VIII.1 : Les résistances en série et en parallèle On
Plus en détailCours (7) de statistiques à distance, élaboré par Zarrouk Fayçal, ISSEP Ksar-Said, 2011-2012 LES STATISTIQUES INFERENTIELLES
LES STATISTIQUES INFERENTIELLES (test de Student) L inférence statistique est la partie des statistiques qui, contrairement à la statistique descriptive, ne se contente pas de décrire des observations,
Plus en détailLe Modèle Linéaire par l exemple :
Publications du Laboratoire de Statistique et Probabilités Le Modèle Linéaire par l exemple : Régression, Analyse de la Variance,... Jean-Marc Azaïs et Jean-Marc Bardet Laboratoire de Statistique et Probabilités
Plus en détailModèles et Méthodes de Réservation
Modèles et Méthodes de Réservation Petit Cours donné à l Université de Strasbourg en Mai 2003 par Klaus D Schmidt Lehrstuhl für Versicherungsmathematik Technische Universität Dresden D 01062 Dresden E
Plus en détailSTATISTIQUES. UE Modélisation pour la biologie
STATISTIQUES UE Modélisation pour la biologie 2011 Cadre Général n individus: 1, 2,..., n Y variable à expliquer : Y = (y 1, y 2,..., y n ), y i R Modèle: Y = Xθ + ε X matrice du plan d expériences θ paramètres
Plus en détailFonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples
45 Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples Les espaces vectoriels considérés sont réels, non réduits au vecteur nul et
Plus en détailDonnées longitudinales et modèles de survie
ANALYSE DU Données longitudinales et modèles de survie 5. Modèles de régression en temps discret André Berchtold Département des sciences économiques, Université de Genève Cours de Master ANALYSE DU Plan
Plus en détailChapitre 2 Le problème de l unicité des solutions
Université Joseph Fourier UE MAT 127 Mathématiques année 2011-2012 Chapitre 2 Le problème de l unicité des solutions Ce que nous verrons dans ce chapitre : un exemple d équation différentielle y = f(y)
Plus en détailCours 02 : Problème général de la programmation linéaire
Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la Programmation Linéaire. 5 . Introduction Un programme linéaire s'écrit sous la forme suivante. MinZ(ou maxw) =
Plus en détailBiostatistiques Biologie- Vétérinaire FUNDP Eric Depiereux, Benoît DeHertogh, Grégoire Vincke
www.fundp.ac.be/biostats Module 140 140 ANOVA A UN CRITERE DE CLASSIFICATION FIXE...2 140.1 UTILITE...2 140.2 COMPARAISON DE VARIANCES...2 140.2.1 Calcul de la variance...2 140.2.2 Distributions de référence...3
Plus en détailTests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles
Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA
Plus en détailSAS ENTERPRISE MINER POUR L'ACTUAIRE
SAS ENTERPRISE MINER POUR L'ACTUAIRE Conférence de l Association des Actuaires I.A.R.D. 07 JUIN 2013 Sylvain Tremblay Spécialiste en formation statistique SAS Canada AGENDA Survol d Enterprise Miner de
Plus en détail4 Distributions particulières de probabilités
4 Distributions particulières de probabilités 4.1 Distributions discrètes usuelles Les variables aléatoires discrètes sont réparties en catégories selon le type de leur loi. 4.1.1 Variable de Bernoulli
Plus en détailt 100. = 8 ; le pourcentage de réduction est : 8 % 1 t Le pourcentage d'évolution (appelé aussi taux d'évolution) est le nombre :
Terminale STSS 2 012 2 013 Pourcentages Synthèse 1) Définition : Calculer t % d'un nombre, c'est multiplier ce nombre par t 100. 2) Exemples de calcul : a) Calcul d un pourcentage : Un article coûtant
Plus en détail1 TD1 : rappels sur les ensembles et notion de probabilité
1 TD1 : rappels sur les ensembles et notion de probabilité 1.1 Ensembles et dénombrement Exercice 1 Soit Ω = {1, 2, 3, 4}. Décrire toutes les parties de Ω, puis vérier que card(p(ω)) = 2 4. Soit k n (
Plus en détailProbabilités sur un univers fini
[http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur
Plus en détailTempérature corporelle d un castor (une petite introduction aux séries temporelles)
Température corporelle d un castor (une petite introduction aux séries temporelles) GMMA 106 GMMA 106 2014 2015 1 / 32 Cas d étude Temperature (C) 37.0 37.5 38.0 0 20 40 60 80 100 Figure 1: Temperature
Plus en détail1 Complément sur la projection du nuage des individus
TP 0 : Analyse en composantes principales (II) Le but de ce TP est d approfondir nos connaissances concernant l analyse en composantes principales (ACP). Pour cela, on reprend les notations du précédent
Plus en détailRetournement Temporel
Retournement Temporel Rédigé par: HENG Sokly Encadrés par: Bernard ROUSSELET & Stéphane JUNCA 2 juin 28 Remerciements Je tiens tout d'abord à remercier mes responsables de mémoire, M.Bernard ROUSSELET
Plus en détailchapitre 4 Nombres de Catalan
chapitre 4 Nombres de Catalan I Dénitions Dénition 1 La suite de Catalan (C n ) n est la suite dénie par C 0 = 1 et, pour tout n N, C n+1 = C k C n k. Exemple 2 On trouve rapidement C 0 = 1, C 1 = 1, C
Plus en détailProbabilités III Introduction à l évaluation d options
Probabilités III Introduction à l évaluation d options Jacques Printems Promotion 2012 2013 1 Modèle à temps discret 2 Introduction aux modèles en temps continu Limite du modèle binomial lorsque N + Un
Plus en détailOptimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications
Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante
Plus en détailContents. 1 Introduction Objectifs des systèmes bonus-malus Système bonus-malus à classes Système bonus-malus : Principes
Université Claude Bernard Lyon 1 Institut de Science Financière et d Assurances Système Bonus-Malus Introduction & Applications SCILAB Julien Tomas Institut de Science Financière et d Assurances Laboratoire
Plus en détailGEA II Introduction aux probabilités Poly. de révision. Lionel Darondeau
GEA II Introduction aux probabilités Poly. de révision Lionel Darondeau Table des matières Énoncés 4 Corrigés 10 TD 1. Analyse combinatoire 11 TD 2. Probabilités élémentaires 16 TD 3. Probabilités conditionnelles
Plus en détailCritère du choix des variables auxiliaires à utiliser dans l'estimateur par calage
des variables auxiliaires à utiliser dans l'estimateur par calage Mohammed El Haj Tirari Institut National de Statistique et d'economie Appliquée - roc Laboratoire de Statistique d'enquêtes, CREST - Ensai
Plus en détailTABLE DES MATIERES. C Exercices complémentaires 42
TABLE DES MATIERES Chapitre I : Echantillonnage A - Rappels de cours 1. Lois de probabilités de base rencontrées en statistique 1 1.1 Définitions et caractérisations 1 1.2 Les propriétés de convergence
Plus en détailTable des matières. I Mise à niveau 11. Préface
Table des matières Préface v I Mise à niveau 11 1 Bases du calcul commercial 13 1.1 Alphabet grec...................................... 13 1.2 Symboles mathématiques............................... 14 1.3
Plus en détailRégression linéaire. Nicolas Turenne INRA nicolas.turenne@jouy.inra.fr
Régression linéaire Nicolas Turenne INRA nicolas.turenne@jouy.inra.fr 2005 Plan Régression linéaire simple Régression multiple Compréhension de la sortie de la régression Coefficient de détermination R
Plus en détailChapitre 3. Les distributions à deux variables
Chapitre 3. Les distributions à deux variables Jean-François Coeurjolly http://www-ljk.imag.fr/membres/jean-francois.coeurjolly/ Laboratoire Jean Kuntzmann (LJK), Grenoble University 1 Distributions conditionnelles
Plus en détail1 Définition de la non stationnarité
Chapitre 2: La non stationnarité -Testsdedétection Quelques notes de cours (non exhaustives) 1 Définition de la non stationnarité La plupart des séries économiques sont non stationnaires, c est-à-direqueleprocessusquiles
Plus en détailMÉTHODE DE MONTE CARLO.
MÉTHODE DE MONTE CARLO. Alexandre Popier Université du Maine, Le Mans A. Popier (Le Mans) Méthode de Monte Carlo. 1 / 95 PLAN DU COURS 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental
Plus en détailPROBABILITES ET STATISTIQUE I&II
PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits
Plus en détailMaster Modélisation Aléatoire Paris VII, Cours Méthodes de Monte Carlo en nance et C++, TP n 2.
Master Modélisation Aléatoire Paris VII, Cours Méthodes de Monte Carlo en nance et C++, TP n 2. Techniques de correction pour les options barrières 25 janvier 2007 Exercice à rendre individuellement lors
Plus en détailchoisir H 1 quand H 0 est vraie - fausse alarme
étection et Estimation GEL-64943 Hiver 5 Tests Neyman-Pearson Règles de Bayes: coûts connus min π R ( ) + ( π ) R ( ) { } Règles Minimax: coûts connus min max R ( ), R ( ) Règles Neyman Pearson: coûts
Plus en détailCAPTEURS - CHAINES DE MESURES
CAPTEURS - CHAINES DE MESURES Pierre BONNET Pierre Bonnet Master GSI - Capteurs Chaînes de Mesures 1 Plan du Cours Propriétés générales des capteurs Notion de mesure Notion de capteur: principes, classes,
Plus en détailTESTS PORTMANTEAU D ADÉQUATION DE MODÈLES ARMA FAIBLES : UNE APPROCHE BASÉE SUR L AUTO-NORMALISATION
TESTS PORTMANTEAU D ADÉQUATION DE MODÈLES ARMA FAIBLES : UNE APPROCHE BASÉE SUR L AUTO-NORMALISATION Bruno Saussereau Laboratoire de Mathématiques de Besançon Université de Franche-Comté Travail en commun
Plus en détailLa problématique des tests. Cours V. 7 mars 2008. Comment quantifier la performance d un test? Hypothèses simples et composites
La problématique des tests Cours V 7 mars 8 Test d hypothèses [Section 6.1] Soit un modèle statistique P θ ; θ Θ} et des hypothèses H : θ Θ H 1 : θ Θ 1 = Θ \ Θ Un test (pur) est une statistique à valeur
Plus en détailCHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE. EQUATIONS DIFFERENTIELLES.
CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE EQUATIONS DIFFERENTIELLES Le but de ce chapitre est la résolution des deux types de systèmes différentiels linéaires
Plus en détailLE PROBLEME DU PLUS COURT CHEMIN
LE PROBLEME DU PLUS COURT CHEMIN Dans cette leçon nous définissons le modèle de plus court chemin, présentons des exemples d'application et proposons un algorithme de résolution dans le cas où les longueurs
Plus en détailUne application de méthodes inverses en astrophysique : l'analyse de l'histoire de la formation d'étoiles dans les galaxies
Une application de méthodes inverses en astrophysique : l'analyse de l'histoire de la formation d'étoiles dans les galaxies Ariane Lançon (Observatoire de Strasbourg) en collaboration avec: Jean-Luc Vergely,
Plus en détailSouad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/
Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation
Plus en détailProgrammation linéaire
1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit
Plus en détailFiltrage stochastique non linéaire par la théorie de représentation des martingales
Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de
Plus en détailTP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options
Université de Lorraine Modélisation Stochastique Master 2 IMOI 2014-2015 TP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options 1 Les options Le but de ce
Plus en détailLe modèle de Black et Scholes
Le modèle de Black et Scholes Alexandre Popier février 21 1 Introduction : exemple très simple de modèle financier On considère un marché avec une seule action cotée, sur une période donnée T. Dans un
Plus en détailAnalyses de Variance à un ou plusieurs facteurs Régressions Analyse de Covariance Modèles Linéaires Généralisés
Analyses de Variance à un ou plusieurs facteurs Régressions Analyse de Covariance Modèles Linéaires Généralisés Professeur Patrice Francour francour@unice.fr Une grande partie des illustrations viennent
Plus en détailTests du χ 2. on accepte H 0 bonne décision erreur de seconde espèce on rejette H 0 erreur de première espèce bonne décision
Page n 1. Tests du χ 2 une des fonctions des statistiques est de proposer, à partir d observations d un phénomène aléatoire (ou modélisé comme tel) une estimation de la loi de ce phénomène. C est que nous
Plus en détailProgrammation linéaire et Optimisation. Didier Smets
Programmation linéaire et Optimisation Didier Smets Chapitre 1 Un problème d optimisation linéaire en dimension 2 On considère le cas d un fabricant d automobiles qui propose deux modèles à la vente, des
Plus en détailTests d indépendance en analyse multivariée et tests de normalité dans les modèles ARMA
Tests d indépendance en analyse multivariée et tests de normalité dans les modèles ARMA Soutenance de doctorat, sous la direction de Pr. Bilodeau, M. et Pr. Ducharme, G. Université de Montréal et Université
Plus en détailThéorème du point fixe - Théorème de l inversion locale
Chapitre 7 Théorème du point fixe - Théorème de l inversion locale Dans ce chapitre et le suivant, on montre deux applications importantes de la notion de différentiabilité : le théorème de l inversion
Plus en détailAnalyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I
Analyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I Roxane Duroux 1 Cadre de l étude Cette étude s inscrit dans le cadre de recherche de doses pour des essais cliniques
Plus en détailActuariat I ACT2121. septième séance. Arthur Charpentier. Automne 2012. charpentier.arthur@uqam.ca. http ://freakonometrics.blog.free.
Actuariat I ACT2121 septième séance Arthur Charpentier charpentier.arthur@uqam.ca http ://freakonometrics.blog.free.fr/ Automne 2012 1 Exercice 1 En analysant le temps d attente X avant un certain événement
Plus en détailCCP PSI - 2010 Mathématiques 1 : un corrigé
CCP PSI - 00 Mathématiques : un corrigé Première partie. Définition d une structure euclidienne sur R n [X]... B est clairement symétrique et linéaire par rapport à sa seconde variable. De plus B(P, P
Plus en détailFORMULAIRE DE STATISTIQUES
FORMULAIRE DE STATISTIQUES I. STATISTIQUES DESCRIPTIVES Moyenne arithmétique Remarque: population: m xμ; échantillon: Mx 1 Somme des carrés des écarts "# FR MOYENNE(série) MOYENNE(série) NL GEMIDDELDE(série)
Plus en détailCalcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes.
1 Définitions, notations Calcul matriciel Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes. On utilise aussi la notation m n pour le
Plus en détailArbres binaires de décision
1 Arbres binaires de décision Résumé Arbres binaires de décision Méthodes de construction d arbres binaires de décision, modélisant une discrimination (classification trees) ou une régression (regression
Plus en détailIBM SPSS Regression 21
IBM SPSS Regression 21 Remarque : Avant d utiliser ces informations et le produit qu elles concernent, lisez les informations générales sous Remarques sur p. 46. Cette version s applique à IBM SPSS Statistics
Plus en détailProbabilités sur un univers fini
[http://mp.cpgedupuydelome.fr] édité le 10 août 2015 Enoncés 1 Proailités sur un univers fini Evènements et langage ensemliste A quelle condition sur (a,, c, d) ]0, 1[ 4 existe-t-il une proailité P sur
Plus en détailStratégie optimale de stockage de déchets à vie longue
Stratégie optimale de stockage de déchets à vie longue Bertrand Villeneuve Université Paris-Dauphine bertrand.villeneuve@dauphine.fr 3 octobre 211 Ce texte présente des calculs théoriques et indications
Plus en détailProcessus Stochastiques
Processus Stochastiques Olivier Scaillet University of Geneva and Swiss Finance Institute Outline 1 Introduction 2 Chaînes de Markov 3 Application en assurance 4 Application en nance Processus Stochastique
Plus en détailLes modèles de choix binaire
Chapitre 4 Les modèles de choix binaire Les modèles de régression linéaire développés ci-dessus concernent une variable dépendante continue (comme par exemple le salaire ou le taux de chômage). Ce chapitre
Plus en détailExercices - Fonctions de plusieurs variables : corrigé. Pour commencer
Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy
Plus en détailCours d Analyse. Fonctions de plusieurs variables
Cours d Analyse Fonctions de plusieurs variables Licence 1ère année 2007/2008 Nicolas Prioux Université de Marne-la-Vallée Table des matières 1 Notions de géométrie dans l espace et fonctions à deux variables........
Plus en détailCondition de stabilité d'un réseau de les d'attente à deux stations et N classes de clients 1
General Mathematics Vol. 18, No. 4 (2010), 85108 Condition de stabilité d'un réseau de les d'attente à deux stations et N classes de clients 1 Faiza Belarbi, Amina Angelika Bouchentouf Résumé Nous étudions
Plus en détailComparaison de populations
Ricco Rakotomalala Comparaison de populations Tests paramétriques Version 1.2 Université Lumière Lyon 2 Page: 1 job: Comp_Pop_Tests_Parametriques macro: svmono.cls date/time: 11-Jun-2013/6:32 Page: 2 job:
Plus en détailBaccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé
Baccalauréat S ntilles-guyane 11 septembre 14 Corrigé EXERCICE 1 6 points Commun à tous les candidats Une entreprise de jouets en peluche souhaite commercialiser un nouveau produit et à cette fin, effectue
Plus en détailFormations EViews FORMATIONS GENERALES INTRODUCTIVES INTRO : INTRODUCTION A LA PRATIQUE DE L ECONOMETRIE AVEC EVIEWS
Formations EViews FORMATIONS GENERALES INTRODUCTIVES DEB : DECOUVERTE DU LOGICIEL EVIEWS INTRO : INTRODUCTION A LA PRATIQUE DE L ECONOMETRIE AVEC EVIEWS FORMATIONS METHODES ECONOMETRIQUES VAR : MODELES
Plus en détailProbabilités et Statistiques. Feuille 2 : variables aléatoires discrètes
IUT HSE Probabilités et Statistiques Feuille : variables aléatoires discrètes 1 Exercices Dénombrements Exercice 1. On souhaite ranger sur une étagère 4 livres de mathématiques (distincts), 6 livres de
Plus en détailFOAD COURS D ECONOMETRIE 1 CHAPITRE 2 : Hétéroscédasicité des erreurs. 23 mars 2012.
FOAD COURS D ECONOMETRIE CHAPITRE 2 : Hétéroscédasicité des erreurs. 23 mars 202. Christine Maurel Maître de conférences en Sciences Economiques Université de Toulouse - Capitole Toulouse School of Economics-ARQADE
Plus en détailLa fonction exponentielle
DERNIÈRE IMPRESSION LE 2 novembre 204 à :07 La fonction exponentielle Table des matières La fonction exponentielle 2. Définition et théorèmes.......................... 2.2 Approche graphique de la fonction
Plus en détailRésolution de systèmes linéaires par des méthodes directes
Résolution de systèmes linéaires par des méthodes directes J. Erhel Janvier 2014 1 Inverse d une matrice carrée et systèmes linéaires Ce paragraphe a pour objet les matrices carrées et les systèmes linéaires.
Plus en détailUEO11 COURS/TD 1. nombres entiers et réels codés en mémoire centrale. Caractères alphabétiques et caractères spéciaux.
UEO11 COURS/TD 1 Contenu du semestre Cours et TDs sont intégrés L objectif de ce cours équivalent a 6h de cours, 10h de TD et 8h de TP est le suivant : - initiation à l algorithmique - notions de bases
Plus en détailAnalyse de corrélation Étude des dépendances - Variables quantitatives
Ricco Rakotomalala Analyse de corrélation Étude des dépendances - Variables quantitatives Version 1.1 Université Lumière Lyon 2 Page: 1 job: Analyse_de_Correlation macro: svmono.cls date/time: 8-Mar-2015/7:21
Plus en détailCompte rendu des TP matlab
Compte rendu des TP matlab Krell Stella, Minjeaud Sebastian 18 décembre 006 1 TP1, Discrétisation de problèmes elliptiques linéaires 1d Soient > 0, a R, b 0, c, d R et f C([0, 1], R). On cerce à approcer
Plus en détailVariables Aléatoires. Chapitre 2
Chapitre 2 Variables Aléatoires Après avoir réalisé une expérience, on ne s intéresse bien souvent à une certaine fonction du résultat et non au résultat en lui-même. Lorsqu on regarde une portion d ADN,
Plus en détailÉvaluation de la régression bornée
Thierry Foucart UMR 6086, Université de Poitiers, S P 2 M I, bd 3 téléport 2 BP 179, 86960 Futuroscope, Cedex FRANCE Résumé. le modèle linéaire est très fréquemment utilisé en statistique et particulièrement
Plus en détailTSTI 2D CH X : Exemples de lois à densité 1
TSTI 2D CH X : Exemples de lois à densité I Loi uniforme sur ab ; ) Introduction Dans cette activité, on s intéresse à la modélisation du tirage au hasard d un nombre réel de l intervalle [0 ;], chacun
Plus en détailCarl-Louis-Ferdinand von Lindemann (1852-1939)
Par Boris Gourévitch "L'univers de Pi" http://go.to/pi314 sai1042@ensai.fr Alors ça, c'est fort... Tranches de vie Autour de Carl-Louis-Ferdinand von Lindemann (1852-1939) est transcendant!!! Carl Louis
Plus en détail3. Caractéristiques et fonctions d une v.a.
3. Caractéristiques et fonctions d une v.a. MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v2) MTH2302D: fonctions d une v.a. 1/32 Plan 1. Caractéristiques d une distribution 2. Fonctions
Plus en détailCours de méthodes de scoring
UNIVERSITE DE CARTHAGE ECOLE SUPERIEURE DE STATISTIQUE ET D ANALYSE DE L INFORMATION Cours de méthodes de scoring Préparé par Hassen MATHLOUTHI Année universitaire 2013-2014 Cours de méthodes de scoring-
Plus en détailExercices - Polynômes : corrigé. Opérations sur les polynômes
Opérations sur les polynômes Exercice 1 - Carré - L1/Math Sup - Si P = Q est le carré d un polynôme, alors Q est nécessairement de degré, et son coefficient dominant est égal à 1. On peut donc écrire Q(X)
Plus en détailBases : Probabilités, Estimation et Tests.
Université René Descartes LMD Sciences de la Vie et de la Santé UFR Biomédicale, M1 de Santé Publique 45 rue des Saints-Père, 75 006 Paris Spécialité Biostatistique M1 COURS de BIOSTATISTIQUE I Bases :
Plus en détail