STA108 Sondages. Philippe Périé cours n 4 : 24OCT2014

Transcription

1 STA108 Sondages Philippe Périé cours n 4 : 24OCT2014

2 STA108 - Sondages Philippe Périé (IPSOS) philippe.perie@ipsos.com Sylvie Rousseau (INSEE) sylvie.rousseau@insee.fr

3 Stratification Introduction Notations formalisme Méthodes d allocation dans les strates Mise en œuvre

4 Stratification Idée : S il existe dans la base de sondage un critère permettant de distinguer a priori et de manière pertinente entre eux des individus, on aura tout à gagner à utiliser cette information pour répartir l échantillon dans chaque sous-population. C est le principe de la stratification: découper la population en sous ensembles homogènes appelés strates et réaliser un sondage dans chacune d elles. La stratification a pour objectif de pour objectif de diminuer la variance, donc d augmenter la précision vs un sondage aléatoire simple de même taille 4

5 Résumé sur les plans de sondage classiques (source Pascal Ardilly, Les techniques de sondage, Dunod 2006) Par rapport au SAS, les + et les indiquent un gain/perte en termes de facilité de réalisation du tirage et estimation, précision, et coût terrain à taille égale

6 Intuition Dans un sondage aléatoire simple, toutes les combinaisons de n éléments parmi N sont possibles avec la même probabilité. Or, il arrive que certaines d entre elles puissent s avérer a priori indésirables parce que elles produisent des estimations trop éloignées de la valeur de la moyenne sur la population en concentrant des éléments trop semblables Exemple : N=5, Y = { }, Y= 20, tous les échantillons n=2 s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 y y y SAS, sans biais, on vérifie bien que : y = 20 = s S Pr S = s y L écart type d une estimation à l autre est : Var y = E y E y ² = 3.95 Par exemple, parmi ces échantillons de 2 unités, on trouve les cas extrêmes (13, 15) et (25, 30) qui sont particulièrement «mauvais». S il existe dans la base de sondage un critère permettant de distinguer a priori les catégories des petits et gros clients, pour forcer à ne pas les avoir simultanément dans l échantillon, on aura tout à gagner à utiliser cette information. 6

7 Intuition N=5, Y { }, Y= 20 Y 1 { },y 1 = 15 Y 2 {25 30}, y 2 = 27.5 Liste des échantillons de taille n=2 avec stratification (un chez les petits, un chez les grands) s 1 s 2 s 3 s 4 s 5 s 6 s 7 s 8 s 9 s 10 y y La stratification engendre une réduction du support par rapport au plan de sondage aléatoire simple : les échantillons s1,s2,s5,s10 non désirables ne sont plus possibles L unité échantillonnée dans la première strate est désignée pour en représenter trois, celle de la deuxième strate vaut pour deux. Il convient donc de pondérer chaque valeur par le poids de la strate dont elle est issue y = 3 5 y y 2 7

8 Intuition On peut vérifier que la moyenne des six valeurs réalisables pour Y est encore 20. Cela signifie que la variable aléatoire Y a Y pour espérance mathématique et qu elle est donc un estimateur sans biais pour le moyenne Y On remarque également que la plage des estimations est beaucoup plus resserrée autour de la cible que dans le cas du SAS : les valeurs extrêmes sont moins éloignées. s 1 s 2 s 3 s 4 s 5 s 6 s 7 s 8 s 9 s 10 y y y Sans biais y = 20 = s S Pr S = s y L écart type d une estimation à l autre est : Var y = E y E y ² = 1.4 8

9 Stratification Déterminer des strates les plus homogènes possibles, par rapport au sujet étudié. 2 types de considérations vont conduire au choix des critères de stratification : disponibilité des critères dans la base de sondage ; pertinence des différents critères pour créer des strates homogènes. Ceci nécessite une connaissance soit intuitive, soit venant d études réalisées antérieurement. 9

10 Stratification Introduction Notations formalisme Méthodes d allocation dans les strates Mise en œuvre

11 Stratification, notations Population U avec les notations classiques : N, y, σ 2 La population est scindée en groupes appelés strates : N 1, N 2,,.. N N = y 1, y 2, y h,.. y Y = N Y h σ² 1, σ² 2, σ² h,.. σ 2 Échantillon s : n, y, σ² Dans l échantillon, les strates : n 1, n 2, n h,.. n n = n h y 1, y 2 y h,.. y y = y N h σ² 1, σ² 2 σ² h,.. σ² : 11

12 Stratification, décomposition de la variance Avec les notations de la page précédente, on peut écrire la formule suivante : Variance totale = moyenne des variances + variance des moyennes Variance totale = variance INTRA + variance INTER σ² = N 1 σ² h + N y h y ² N N 1 Avec : σ h 2 = 1 1 i g h y i y h ² En pratique, dès que est assez grand pour tout h, alors on a : σ 2 N σ2 h + N Y h Y ² 12

13 Stratification Pour la suite, on se placera dans le cas d un tirage aléatoire simple sans remise, à l intérieur de chaque strate. On peut bien sur considérer des sondages à probabilités inégales dans chaque strate, ce qui arrive dans la pratique, mais cela alourdirait les notations et la passage de l un à l autre (hormis les notations!) est assez direct, par assemblage. 13

14 Stratification Estimateur y STR estime sans biais y (orvitz Thomson) y STR = h=1 Nh N y h = h=1 i S h N. n h y i Où S h est l échantillon tiré dans la strate h et nh la taille de cet échantillon. Tout individu sélectionné en strate h a donc un poids de sondage : w i = N.n h égal au nombre d individus qu il représente divisé par N. Ce poids dépend de la strate : le sondage stratifié est en général (sauf allocation proportionnelle cf. plus loin) un sondage à probabilité inégales. Variance: V y STR = V h=1 Nh N y h = h=1 N 2 1 f h σ² h n h Si l on s intéresse à une proportion, on aura : σ² h p h 1 p h 14

15 Stratification La formule précédente nous dit que pour avoir un estimateur précis, il faut avoir des σ² h petits, c est-àdire former des strates homogènes par rapport à la variable d intérêt. En pratique, on forme les strates sur la base de l expérience passée ou en se servant d une variable bien corrélée à Y : si les strates sont efficaces pour cette variable, alors elles le seront pour Y. L estimateur sans biais de la variance de l estimateur se déduit directement en remplaçant les dispersions vraies dans les strates par celles estimées dans les échantillons : V y STR = V h=1 Nh N y h = h=1 N 2 1 f h σ² h n h 15

16 Stratification Introduction Notations formalisme Méthodes d allocation dans les strates Mise en œuvre

17 Stratification, répartition proportionnelle Échantillon dit «représentatif»: n h n = N τ h = n h = n N = τ Taux de sondage constant dans chaque strate y STR = N y h = n h n y h = y = y prop 17

18 Stratification, répartition proportionnelle Cas général : V y STR = V h=1 Nh N y h = h=1 N 2 1 f h σ² h n h En posant : n h = n N τ h = n h = n N = τ On obtient : V y STR prop = h=1 N 2 1 f n σ² h n n h = h=1 N 1 f n σ² h 18

19 Stratification, répartition proportionnelle vs le SAS On peut écrire : V y STR prop V y SAS 1 f n N y h y ² Le sondage stratifié à allocation proportionnelle est plus précis que le sondage aléatoire simple d un échantillon de même taille, d autant plus que les moyennes entre strates sont différentes 19

20 Stratification optimale On cherche une répartition optimale entre les strates au sens de la variance et à couts fixés Le problème est : min h=1 slc N h=1 On remarque que h=1 2 V y STR = 1 f h σ² h n h n h c h = c 0 h=1 σ² h est constant. N 2 1 f h σ² h n h min 1 N h=1 Nh ² slc n h σ² h h=1 h=1 n h c h = c 0 σ² h 20

21 Stratification optimale On montre que l optimum est atteint pour : n h σ h c h n h σ h c h Si C h constant dans toutes les strates alors on a la répartition dite de Neyman : n h = n σ h σ h 21

22 Stratification optimale Cette répartition utilise un taux de sondage f proportionnel à la dispersion σ h de Y étudiée dans chaque strate et inversement proportionnel à la racine carré du cout n h σ h c h Plus une strate est hétérogène vis-à-vis de la variable étudiée, plus on utilise un taux de sondage important. Cette répartition est celle qui fournit la variance la plus faible une fois les strates déterminées. 22

23 Stratification optimale Remarquons que l échantillon de Neyman dépend du caractère que l on veut estimer en priorité. C est pour ce caractère que l on prendra la variance en considération. En général, celle-ci ne sera pas connue a priori. Elle pourra être estimée à partir d une enquête antérieure ou d études limitées. 23

24 Stratification Exemple : pré sondage de 155 unités Strates n h y h σ² h

25 Stratification Exemple : y STR = h=1 Nh N y h = = Intervalle de confiance à 95% pour y : V y STR = h=1 N 2 1 f h σ 2 h n h h=1 N 2 σ 2 h n h = = 0.14² Soit : 14.21± soit [13.93< y < 14.49] Pour le total T : 15466±

26 Sans stratification, calcul de σ 2 Sans stratification : σ² = N 1 σ² h + N y h y ² N N 1 On estime : σ² h par : σ² h y h par : y h y par : y STR Alors : σ 2 = 6.06 = (2.46)² 26

27 Sans stratification Échantillon simple à 1000: V y SAS σ2 n N n N 1 = = (0.0742)² y connu à ± 0.15 T connu à

28 Répartition de Neyman Répartition de Neyman pour n=1000: N 1 σ 1 = 6275 n 1 = 1000 x 6275/ = 325 N 2 σ 2 = 5572 n 2 = 288 N 3 σ 3 = 3038 n 3 = 157 N 4 σ 4 = 4427 n 4 = 229 σ h = Variance: V y STR Neyman = h=1 N 2 1 fh σ² h n h = = (0.0542)² y connu à ±1.96 x soit T connu à ±

29 Répartition proportionnelle Échantillon stratifié représentatif pour n=1000: n 1 = 345 n 2 = 301 n 3 = 127 n 4 =

30 SAS proc SURVEYSELECT Allocations des strates SAS propose les 3 Allocations, ainsi que la possibilité de spécifier la précision désirée 1. Proportional Allocation 2. Optimal Allocation 3. Neyman Allocation 4. Specifying the Margin of Error 30

31 Sour R avec PracTools Le package PracTools ( dex.html) de l ouvrage Practical Tools for Designing and Weighting Survey Samples de Richard Valliant dispose d une function permettant de faciliter les calculs sous R : stralloc Designing-Weighting-Statistics- Behavioral/dp/ X

32 Sour R avec PracTools Une fois installé le package PracTools, on définit les Nh, les Sh et on appelle la fonction stralloc avec en paramètre le type d allocation désirée On retrouve les valeurs de l exemple

33 Autre exemple pascal Ardilly p 103 Dans cet exemple, du fait de variances très différentes, le calcul théorique conduit à vouloir sélectionner plus que la totalité de la strate! On sélectionne donc la totalité de la strate et on recommence sur N - et une strate de moins

34 Estimation d une proportion p Même démarche: une proportion est une moyenne particulière : V p STR = V h=1 Nh N f h h=1 N 2 p h 1 p h n h 1 f h 34

35 Stratification Introduction Notations formalisme Méthodes d allocation dans les strates Mise en œuvre

36 Stratification Variable de stratification: en théorie Y; sinon, variable bien corrélée avec Y. En pratique quand il y a plusieurs variables d intérêt et une variable de stratification, on utilise la répartition proportionnelle Comment stratifier? Remarque préalable: dans un sondage à probabilité inégale i proportionnel à Yi annule la variance. Nombre de strates: le maximum mais limites de faisabilité Répartition dans les strates: Si S h inconnu : répartition proportionnelle Si S h connu : Neyman Sinon, hypothèse fréquente s h y h = c d où n h proportionnel à la somme de la variable étudiée ou d une variable corrélée. Exemple: échantillon d entreprises proportionnel au CA ou à l effectif de la strate. 36

37 Exemples Enquêtes INSEE auprès des entreprises, sondages B2B en institut. Le plan de sondage des enquêtes de l'insee auprès des entreprises est en général un plan de sondage stratifié avec un sondage aléatoire simple sans remise dans chaque strate. 37

38 Exemples Indice des prix «Le plan de sondage est stratifié selon trois types de critères : - critère géographique : les relevés sont effectués dans 96 agglomérations de plus de habitants dispersées sur le territoire métropolitain et de toute taille ainsi que 10 agglomérations dans les DOM ; - type de produit : un échantillon d'un peu plus de 1000 familles de produits, appelées "variétés" est défini pour tenir compte de l'hétérogénéité des produits au sein des postes. La variété est le niveau de base pour le suivi des produits et le calcul de l'indice. La liste des variétés reste confidentielle et l'ipc n'est pas diffusé à ce niveau ; - type de point de vente : un échantillon de points de vente, stratifié par forme de vente, a été constitué pour représenter la diversité des produits et modes d'achat des consommateurs et prendre en compte des variations de prix différenciées selon les formes de vente. Le croisement de ces différents critères aboutit à suivre un peu plus de séries (produits précis dans un point de vente donné) donnant lieu à près de relevés mensuels.» 38

39 Taille des strates - Autres considérations Dans la pratique, d autres considérations que la précision optimale peuvent guider l allocation dans les strates, comme la nécessité d avoir des bases de lectures suffisantes sur chaque strate L étude d audience de la presse Audipresse ONE part d une répartition géographique proportionnelle, à partir de laquelle on impose des seuils minimaux dans chaque département. Citons aussi le type d abonnement pour le secteur des télécoms, les classes d ancienneté, les canaux de recrutement des client pour les études de satisfaction,. 39

40 Stratification Introduction Notations formalisme Méthodes d allocation dans les strates Mise en œuvre