NOMBRES ALEATOIRES et PSEUDO-ALEATOIRES G.Saporta, P.Périé et S.Rousseau, octobre 2011

Transcription

1 NOMBRES ALEATOIRES et PSEUDO-ALEATOIRES G.Saporta, P.Périé et S.Rousseau, octobre 2011 Utiles pour réaliser r des tirages et simuler des phénom nomènes nes aléatoires atoires Nombres aléatoires: atoires: suite de réalisations r indépendantes d une d variable uniforme sur [0;1] Peuvent être obtenus par des procédés s physiques: roues de loterie, éclairage à intervalles irréguliers d'un disque divisé en 10 secteurs isométriques et numérot rotés s de 0 à 9 : table de Kendall et Babington Smith 1

2 Nombres pseudo aléatoires Procédés s déterministes d mais fournissant une suite de nombres en apparence iid sur [0; 1] Suites mathématiques matiques décimales de π,, des tables de logarithmes Procédés s arithmétiques tiques Milieu du carré de Von Neumann (1946) 2

3 On part d'un nombre entier On l él élève au carré On extrait les chiffres du centre comme nombres aléatoires. atoires. Exemple : x 0 = 7534 (7534) 2 = (7611) 2 = (9273) 2 = (9885) 2 = d'où la suite Inconvénients nients majeurs : dépendance d au nombre de départ d et régularités s nombreuses (permanence de 0 ou de séries s particulières). res). 3

4 Méthodes de congruence Elles reposent sur des suites récurrentes : choix arbitraire d un entier x 0 appelé germe (ou seed ou graine) génération d une séquence (x 1,..., x n ) d entiers : X i+1 =a x i +b (modulo m) pour i = 1,..., n, où a, b et m sont des entiers appelés respectivement multiplicateur, incrément et modulo. On vérifie : 0< x i < m pour i 1,..., n. Intérêt : les nombres u 1...,u n où forment un échantillon pseudo-aléatoire de la loi uniforme sur [0,1] si les entiers a, b et m sont «bien» choisis. u = Intuition de l horloge : les heures 9h et 21 sont Congrues modulo 12 x i m 4

5 Le procédé étant déterministe, ces nombres sont dits pseudo-aléatoires. Exemple : x 0 = 1 ; a = 6 ; b = 0 ; m = 25 x 0 = 1 x 1 = 6 [25] = 6 x 2 = 36[25] =11 x 3 = 66[25] = 16 x 4 = 21 x 5 = 1 = x 0 Ce cycle a pour longueur 5. Remarque : La séquence x i i=1,...,n contient au plus m termes distincts. Cette suite est donc périodique de période p avec p m Si p = m, la période est dite pleine. 5

6 Choix des entiers a, b et m : Ils sont déterminés de telle sorte que la séquence ait les meilleures propriétés possibles. En particulier, m est pris aussi grand que possible pour assurer une grande variété de valeurs dans la suite xi Hull et Dobell (1962) ont montré que les séquences de période pleine sont obtenues si et seulement si : b et m sont premiers entre eux, (a-1) est un multiple de chaque nombre premier qui divise m si m est un multiple de 4 alors (a-1) aussi Un algorithme très usité est la méthode congruentielle de Lehmer (1948) qui pose b = 0. 6

7 Méthode de Lehmer : =ax i (m) x i+1 =ax (Sur machines 32 bits m aussi grand que possible m=2 31-1) choix classiques: a=7 5 =16807 m= a= =65539 m= a= m= Remarque : a= =65539 m= : RANDU (introduit dans les années 1960, sur des machines IBM. Il est très impopulaire car il possède de nombreux biais auxquels ont dûd faire face les personnes qui l'ont utilisé). 7

8 RANDU a= =65539 m= m = m²=6m-9 9 mod 2 31 Pb : trois nombres successifs X n X n + 1 et X n + 2 vérifient toujours la relation X n + 2= 2 = 6 6X n X n Cette relation donne un caractère re prédictif à la série s pseaudo aléatoire: atoire: par exemple, une modification des valeurs de X n et X n + 1 de l'ordre de 0,01, change la valeur de X n + 2 d'au plus 0,15. Pour avoir un "bon" générateur, g on souhaite une relation avec des coefficients beaucoup plus grands, de telle manière qu'une petite modification de X n et X n + 1 change complètement X n + 2 8

9 9

10 Solutions variées: congruences avec retard x i =a x i -r +b [m] Exemple: r i+1 =( r i ) m = 2 32 (Numerical Recipes in C ) Nombreux tests pour valider le caractère uniforme et l indépendance des réalisations Chi-deux, Kolmogorov, tests de séquences, de non corrélation 10

11 estimation de π sop.inria.fr/mefisto/java/tutorial1/node15.html#section

12 Calcul d intégrales: méthode de Monte Carlo Première méthodem : on simule n valeurs de U 1 I = g() tdt= Eg ( ( U )) 0 n ˆ 1 I = g( ui ) n i = 1 Deuxième méthode: m fonction d importanced T variable sur [0 ;1] de densité p(t) n 1 g() t g( T ) () Iˆ 0 n i= 1 I = p t dt = E p() t p( T) = 1 g( t ) i p( t ) i 12

13 Générateurs pseudo-aléatoires cryptographiques Doivent être capable de produire des séries s dont le caractère re pseudo aléatoire atoire est moins discernable pour mériter ce titre Mais plus lents Un générateur g rateur congruenciel rapide et possédant de bonnes propriétés s : Mersenne Twister (1997) Mais n est n pas considéré comme générateur g cryptographique Utilisé dans SPSS à partir de la version 12 13

14 ALGORITHMES DE TIRAGE Qualités s souhaitées: Sans remise Séquentiel Rapide Respecte les probabilités s d inclusiond De taille fixe Utilisable si N est inconnu Etc. 14

15 Une méthode inefficace : énumération puis sélection (Yves Tillé, Sampling Algorithms p 31) Si le plan de sondage est connu, et que la population n est n par trop large, une méthode m pour sélectionner s un échantillon est l approche l énumérative : énumérer tous les échantillons possibles, puis en sélectionner 1 au hasard. méthode pure et simple conceptuellement mais impossible dès d s que la population dépasse d quelques dizaines L objectif des algorithmes de tirage est de tirer un échantillon en respectant le plan de sondage et en évitant une énumération complète au préalable 15

16 Classes de méthodes (Yves Tillé pp 32 39) Martingales Algorithmes séquentielss Sélection pas à pas Par élimination Sondages réjectifsr 16

17 Notion d entropie On montre aisément que I(p) est toujours positif. Plus l entropie l est élevée, e, plus le plan de sondage est en un certain cas aléatoire atoire A A défaut d d information d auxiliaire, on peut chercher le plan le plus aléatoire atoire (au sens de l entropie) l qui vérifie v les probabilités s d inclusion d fixées 17

18 Plans à probabilités égales sans remise 18

19 Plans à probabilités égales sans remise Tirage de Bernoulli: on tire N nombres aléatoires. atoires. L unitl unité i est retenue si U i <π. 19

20 Tirage de Bernoulli 20

21 Tri aléatoire atoire 21

22 Sélection-rejet si U 1 <n/n on prend l unitl unité 1. Puis n=n-1 1 et N=N-1. On sélectionne s l unité 2 si U 2 <n-1/n 1/N-1 Si U 1 >n/n, on passe à l unité 2 avec N=N-1. On sélectionne s l unitl unité 2 si U 2 <n/n-1 1 etc. j= nb d unités déjà sélectionnées 22

23 Méthode de mise à jour de l él échantillon 23

24 24

25 Pas aléatoires atoires Tirer U et trouver s tel que C U 1 C sélectionner l unitl unité s+1, faire N=N-s-1 1 et n=n-1 1 etc. et aussi le tirage systématique matique n N s 1 n N 25

26 Tirage systématique Définir un pas de tirage = N/n (entier par arrondi) Tirer une unité au hasard au début d du fichier entre 1 et pas Sélectionner une unité tous les pas Avantages: simplicité,, N pas nécessairement n connu a priori, peut être plus efficace que le tirage aléatoire atoire si le fichier est trié selon une variable bien corrélée à la variable d intd intérêt (cf cours sur le sondage en grappes) 26

27 Inconvénients nients Si périodicitp riodicité dans le fichier (Ardilly) 27

28 Probabilités inégales sans remise Infinité de plans de sondage pour des π i fixés Plus de 50 méthodes m de tirage! Aucune ne satisfait tous les critères. res. Quelques techniques simples: Tirage avec remise et conservation des unités s distinctes mais taille non fixe Rejet de l él échantillon si il y a des doublons mais proba d inclusion non proportionnelles aux x i 28

29 Tirage successif sans remise: On recalcule les probas d inclusion d après s tirage de ' π i chaque individu. Si j est tiré: π i Ne respecte pas les probas d inclusion d d ordre d 1 Tirage poissonnien: sélectionner s i si U i <π i π ij = π i π j variance simple Mais taille non fixe = 1 π j 29

30 Tirage poissonnien (S.Rousseau, 2004) 30

31 Méthode de Sunter (g sélection-rejet) (généralisation de la méthode m de 31

32 32

33 Méthode RHC (Rao, Hartley,Cochran) Pour un tirage à probabilités s proportionnelles à la taille X Trier les unités s dans un ordre alétaoire Tronçonner onner le fichier en n groupes successifs de N/n unités Tirer dans chaque groupe une unité proportionnellement à la taille Simple et performant Remarque: procédé «inexactement proportionnel à la taille» car les groupes ne sont pas de même taille 33