Tests statistiques Formation «Analyse de données RNA-seq/ChiP-seq»

Transcription

1 Tests statistiques Formation «Analyse de données RNA-seq/ChiP-seq» Guy Perrière Pôle Rhône-Alpes de Bioinformatique 14 novembre 2012 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

2 Plan Définitions 1 Définitions 2 Les difféntes distributions 3 Principe des tests 4 Exemple du modèle gaussien 5 Tests non paramétriques Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

3 Définitions Notion d échantillon Un phénomène n est généralement étudié que sur un échantillon de la population : Sondages, toxicité, séquences ARN, etc. Si on change d échantillon (i.e., si on répète l expérience), les résultats seront différents. La taille et la nature de l échantillon sont des éléments déterminants dans la démarche statistique. Motivation des statistiques : Prise en compte de ces contraintes afin de définir dans quelle mesure les résultats sont généralisables à la population. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

4 Définitions Notion d expérience aléatoire Une expérience aléatoire est une action ou un procédé dont le résultat est indéterminé ou incertain (e.g., lancer de pièce). Un évènement est un des résultats possible d une expérience (e.g., résultat Pile ou Face au lancer). En première approximation, la probabilité d un évènement est définie comme : Proportion de fois où l on observerait ledit évènement si l on répétait l expérience aléatoire une infinité de fois. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

5 Définitions Variables aléatoires Une variable aléatoire (v.a.) X est une fonction de l expérience aléatoire. Une réalisation x d une v.a. X est la valeur de la variable après avoir effectué l expérience. En statistiques, on considère que les données sont des réalisations des v.a. : Dans un échantillon de taille n, on a n réalisations (x 1, x 2,..., x n ) des v.a. (X 1, X 2,..., X n ). Plus n augmente et plus on collecte de l information sur le phénomène étudié. Une grande taille d échantillon permet d obtenir : Une meilleure précision sur l explication du phénomène Un meilleur pouvoir prédictif du modèle. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

6 Plan Les difféntes distributions 1 Définitions 2 Les difféntes distributions 3 Principe des tests 4 Exemple du modèle gaussien 5 Tests non paramétriques Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

7 Les difféntes distributions Variables aléatoires discrètes Les valeurs prises par les variables sont discrètes. Leur loi est complètement déterminée par P(X = k) pour tout k X (Ω), avec : P(X = k) = 1 k X (Ω) La fonction de répartition F de X est définie par : F (k) = P(X k) L espérance mathématique et la variance sont définies par : E(X ) = k P(X = k) et V(X ) = [k E(X )] 2 P(X = k) k X (Ω) k X (Ω) Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

8 Les difféntes distributions Distribution de Poisson Écriture sous la forme P(λ), avec λ R + le paramètre de la loi. Loi de probabilité : P(X = k) = λk e λ k! avec X (Ω) = N. Espérance mathématique et variance : E(X ) = V(X ) = λ Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

9 Exemples numériques Les difféntes distributions P(X = k) λ = 1 λ = 2 λ = 5 λ = k P(X k) k Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

10 Les difféntes distributions Distribution Binomiale Écriture sous la forme B(n, p), avec n N et p [0, 1] les deux paramètres de la loi. Loi de probabilité : avec X (Ω) = [0, n]. P(X = k) = Espérance mathématique et variance : = ( ) n p k (1 p) n k k n! k!(n k)! pk (1 p) n k E(X ) = np et V(X ) = np(1 p) Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

11 Exemples numériques Les difféntes distributions P(X = k) n = 20, p = 0.5 n = 20, p = 0.7 n = 40, p = 0.5 n = 40, p = k P(X = k) k Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

12 Les difféntes distributions Distribution Binomiale Négative Écriture sous la forme J (n, p), avec n N et p [0, 1] les deux paramètres de la loi. Loi de probabilité : ( ) k + n 1 P(X = k) = p n (1 p) k k ( ) n = ( 1) k p n (1 p) k k avec X (Ω) = N. Espérance mathématique et variance : E(X ) = n(1 p) p et V(X ) = n(1 p) p 2 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

13 Exemples numériques Les difféntes distributions P(X = k) n = 2, p = 0.5 n = 5, p = 0.5 n = 10, p = 0.5 n = 20, p = k P(X k) k Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

14 Les difféntes distributions Variables aléatoires continues Les valeurs prises par les variables appartiennent à des ensembles continus : La probabilité d un point est nulle. Raisonnement en termes d intervalles : P(a X b). La loi d une variable continue est définie par sa densité de probabilité f ou par sa fonction de répartition F : f (x)dx = 1 et F (t) = P(X t) X (Ω) L espérance mathématique et la variance sont définies par : E(X ) = x f (x)dx et V(X ) = [x E(X )] 2 f (x)dx X (Ω) X (Ω) Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

15 Les difféntes distributions Distribution Normale Écriture sous la forme N (µ, σ 2 ), avec µ R et σ 2 R + les deux paramètres de la loi. Loi de probabilité : avec X (Ω) = R. f (x) = 1 σ 2π exp { Espérance mathématique et variance : } (x µ)2 2σ 2 E(X ) = µ et V(X ) = σ 2 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

16 Les difféntes distributions Exemples numériques f(x) x µ = 0, σ 2 = 0.2 µ = 0, σ 2 = 1.0 µ = 0, σ 2 = 5.0 µ = -2, σ 2 = 0.5 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

17 Les difféntes distributions Distribution Gamma Écriture sous la forme G(α, β), avec α R + et β R + les paramètres de la loi. Loi de probabilité : avec X (Ω) = R +. f (x) = x α 1 e x/β Γ(α)β α et Γ(α) = Espérance mathématique et variance : E(X ) = αβ et V(X ) = αβ 2 0 e t t α 1 dt Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

18 Les difféntes distributions Exemples numériques f(x) x α = 0.25 α = 1 α = 2 α = 10 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

19 Les difféntes distributions Distribution de Student Écriture sous la forme T (k), avec k N le nombre de degrés de liberté (d.d.l.) de la distribution. Loi de probabilité : ( ) k + 1 f (x) = 1 Γ 2 ( ) (1 + x 2 kπ k k Γ 2 avec X (Ω) = R. Espérance mathématique et variance : E(X ) = 0 (k > 1) et V(X ) = k k + 2 ) (k+1)/2 (k > 2) Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

20 Les difféntes distributions Exemples numériques f(x) x k = 1 k = 2 k = 5 k = 10 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

21 Plan Principe des tests 1 Définitions 2 Les difféntes distributions 3 Principe des tests 4 Exemple du modèle gaussien 5 Tests non paramétriques Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

22 Principe des tests Tests et démarche scientifique Les démarches d estimation et de test sont différentes mais complémentaires : Dualité entre les deux approches. Pour l estimation, on cherche à collecter des informations sur un paramètre et à l estimer au mieux. Pour les tests, la démarche suivie consiste à comparer ou, plus généralement, à quantifier la compatibilité (ou l absence d incompatibilité) des données. Processus courant : Hypothèse Expérience Résultats Discussion de l hypothèse. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

23 Principe des tests Cadre des tests paramétriques La distribution des données est modélisée au moyen d un modèle statistique. Un modèle statistique est constitué d une famille de lois de probabilité sur un même espace : Ces lois de probabilités dépendent d un paramètre θ qui appartient à un ensemble Θ : M θ = {P θ, θ Θ} Test paramétrique : Test qui concerne les paramètres du modèle. Les x i sont considérés comme des réalisations de la v.a. X i, de loi M θ. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

24 Principe des tests Définition de plusieurs hypothèses On s intéresse à deux sous-ensembles de Θ, notés Θ 0 et Θ 1 et on pose : H 0 : {θ Θ 0 } H 1 : {θ Θ 1 } Exemple d un modèle Binomial de paramètre p : Θ 0 = {0.5} Θ 1 = [0, 1] \ {0.5} Exemple d un modèle Normal de paramètre µ : Θ 0 = {10 C} Θ 1 =]10 C, [ La finalité d un test est de prendre une décision Oui/Non : Acceptation/Rejet au vu des données Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

25 Principe des tests Définition d un test On appelle test une fonction φ des observations (X i = x i ) qui permet de choisir entre deux hypothèses : Deux valeurs possibles, 0 ou 1 : {φ(x ) = 0} alors on choisit H 0 : {θ Θ 0 } {φ(x ) = 1} alors on choisit H 1 : {θ Θ 1 } L ensemble des X pour lesquels on rejette H 0 {X, φ(x ) = 1} s appelle région de rejet. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

26 Principe des tests Les différentes qualités d un test L erreur de première espèce α est définie comme étant l espérance de φ(x ) sous H 0 : α = P{Décider H 1 alors que H 0 est vraie} = P{φ(X ) = 1 H 0 } = P 0 {φ(x ) = 1} L erreur de deuxième espèce β est définie comme étant l espérance de φ(x ) sous H 1 : β = P{Décider H 0 alors que H 1 est vraie} = P{φ(X ) = 0 H 1 } = P 1 {φ(x ) = 0} La puissance d un test est égale à π = 1 β. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

27 Principe des tests Différence entre H 0 et H 1 Les deux risques sont liés et varient généralement en sens inverse. Les hypothèses H 0 et H 1 ne jouent pas des rôles symétriques (Neyman et Pearson, 1933) : H 0 suppose l absence d effet et devient l hypothèse à réfuter. Affranchissement de ce qui se passe sous H 1. Stratégie standard : Accumuler des données pour savoir si on doit garder H 0 ou non. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

28 Principe des tests Du rôle central de l hypothèse nulle Le choix de l hypothèse nulle est l étape la plus délicate d une procédure de test. Choisir une «bonne» hypothèse est d autant plus crucial qu elle sera privilégiée : Les risques prennent des rôles dissymétriques lorsqu on privilégie H 0. L idée est de fixer α a priori ; c est le principe de précaution : Cet a priori signifie que α est le risque maximum que l on est prêt à prendre en rejetant H 0 à tort. Plus α diminue et plus le test devient conservatif ; on aura tendance à conserver H 0. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

29 Principe des tests Statistique de test Construction d une statistique de test S(X ) après le choix de l hypothèse nulle : Dépend des données et sa distribution, du modèle choisi. Souvent fondée sur la moyenne X. La définition d un score approprié est un élément central de la procédure de test. Plusieurs statistiques sont en général possibles pour la même hypothèse nulle. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

30 Principe des tests Notion de risque La démarche fondamentale consiste à se placer sous H 0 : Si H 0 était vraie, quelle serait la distribution de S(X )? Le raisonnement consiste à s interroger sur le caractère plausible ou non de l observation d un tel score. La procédure consiste à rejeter H 0 quand S(X ) dépasse un seuil : {Rejet de H 0 } {φ(x ) = 1} {S(X ) u} Dans ce cas P 0 {S(X ) u} s interprète comme un risque : C est la masse qu il resterait dans la distribution sous H 0 si on rejetait à u. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

31 Principe des tests Contrôle du risque Si le principe est de rejeter H 0 quand la statistique dépasse un seuil, comment le choisir? Plus la statistique de test S(X ) est grande, plus on le rejette avec certitude. On peut contrôler le risque de première espèce α en choisissant u tel que : P 0 {S(X ) u} α La valeur de u nous est fournie par les données de l échantillon : Réalisation de S(X ) notée s obs. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

32 Principe des tests Résumé de la procédure 1 Recueil des données (x 1, x 2,..., x n ). 2 Modélisation des observations (X 1, X 2,..., X n ) au moyen de M θ. 3 Définition d une hypothèse nulle H 0 à tester. 4 Définition d une statistique de test S(X ) et évaluation sur l échantillon s obs. 5 Calcul de la probabilité de dépassement P 0 {S(X ) s obs } sous H 0, c est la p-valeur ou p-value. 6 Fixation du risque α. 7 Si P 0 {S(X ) s obs } α, rejet de H 0. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

33 Plan Exemple du modèle gaussien 1 Définitions 2 Les difféntes distributions 3 Principe des tests 4 Exemple du modèle gaussien 5 Tests non paramétriques Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

34 Exemple du modèle gaussien Comparaison de moyennes I 1 Soit deux échantillons provenant de populations indépendantes : Tailles respectives n 1 et n 2 et notation comme (x 1 1, x 1 2,..., x 1 n 1 ) et (x 2 1, x 2 2,..., x 2 n 2 ). 2 On suppose que la variable d interêt peut être modélisée par une loi normale, telle que : X 1 i iid N (µ 1, σ 2 ) et X 2 i iid N (µ 2, σ 2 ) Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

35 Exemple du modèle gaussien Comparaison de moyennes II 3 Hypothèse nulle de l égalité du paramètre d espérance dans les populations : H 0 : {µ 1 = µ 2 } Hypothèse alternative : Estimation de µ 1 et µ 2 : H 1 : {µ 1 µ 2 } µ 1 = X 1 et µ 2 = X 2 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

36 Exemple du modèle gaussien Comparaison de moyennes III 4 Construction d une statistique S(X ) pour tester H 0 : ( ) X 1 X 2 H0 N 0, σ 2 1 n n 2 Si σ 2 connue, utilisation de la statistique centrée réduite : S(X ) = X 1 X 2 1 σ + 1 n 1 n 2 5 Calcul de s obs à partir des données. 6 Choix de α. 7 Si P 0 {S(X ) s obs } α, rejet de H 0. N (0, 1) H 0 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

37 Variantes du test I Exemple du modèle gaussien Si σ 2 est inconnue, il faut l estimer, ce qui change S(X ) : avec : S(X ) = X 1 X 2 1 s + 1 n 1 n 2 T (n 1 + n 2 2) H 0 s 2 = (n 1 1)s (n 2 1)s 2 2 n 1 + n 2 2 Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

38 Variantes du test II Exemple du modèle gaussien Si les deux groupes ont des variances différentes, le modèle change : X 1 i iid N (µ 1, σ 2 1) et X 2 i iid N (µ 2, σ 2 2) Par conséquent, S(X ) change également : S(X ) = X 1 X 2 s 2 1 n 1 + s2 2 n 2 T (k) H 0 avec k, le nombre de d.d.l., donné par la formule de Satterthwaite (trop complexe pour être donnée ici!) Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

39 Plan Tests non paramétriques 1 Définitions 2 Les difféntes distributions 3 Principe des tests 4 Exemple du modèle gaussien 5 Tests non paramétriques Guy Perrière (PRABI) Tests statistiques 14 novembre / 40

40 Tests non paramétriques Utilisation Lorsqu il n est pas raisonnable d utiliser des lois limites. Lorsque trop peu d observations sont disponibles pour faire des hypothèses quant à leur distribution. Théorie générale fondée sur les statistiques de rang : Le plus connu est le test de Wilcoxon (Mann-Whitney) : Se rapproche du test gaussien à variances égales. Guy Perrière (PRABI) Tests statistiques 14 novembre / 40