Apprentissage automatique Méthodes d échantillonnage - motivation

Transcription

1 Apprentissage automatique Méthodes d échantillonnage - motivation

2 ÉCHANTILLONNAGE échantillonnage La plupart des algorithmes d apprentissage vus sont basés sur un modèle probabiliste un modèle probabiliste exprime comment on suppose que nos données ont été générées Comment simule-t-on ce processus de génération? on utilise un algorithme d échantillonnage tel que : probabilité de générer une donnée = probabilité assignée par le modèle 2

3 ÉCHANTILLONNAGE visualisation Pourquoi échantillonner? pour visualiser ce qui a été appris Salakhutdinov et Murray, 2008 Ensemble d entraînement Mélange de produits de Bernoulli 3

4 ÉCHANTILLONNAGE estimation d espérance, estimation Monte Carlo Pourquoi échantillonner? pour estimer une espérance E[f] = f(z)p(z) dz Un tel calcul d une espérance ainsi est appelé une estimation Monte Carlo 4

5 ÉCHANTILLONNAGE estimation d espérance, estimation Monte Carlo Pourquoi échantillonner? pour estimer une espérance L 1 E[f] = f(z)p(z) dz f(z (l) ) L l=1 z (l) échantillonnés de p(z) Un tel calcul d une espérance ainsi est appelé une estimation Monte Carlo 4

6 ÉCHANTILLONNAGE estimation de la loi prédictive a posteriori Pourquoi échantillonner? pour estimer la loi prédictive a posteriori p(t t, α, β) = p(t w, β)p(w t, α, β) dw 5

7 ÉCHANTILLONNAGE estimation de la loi prédictive a posteriori Pourquoi échantillonner? pour estimer la loi prédictive a posteriori p(t t, α, β) = p(t w, β)p(w t, α, β) dw LX 1 L p(t w (l), ) l=1 5 w (l) échantillonnés de p(w t,, )

8 ÉCHANTILLONNAGE estimation de la loi prédictive a posteriori Pourquoi échantillonner? pour approximer l étape M de l algorithme EM Q(θ, θ old ) = p(z X, θ old ) ln p(z, X θ) dz. 6

9 ÉCHANTILLONNAGE estimation de la loi prédictive a posteriori Pourquoi échantillonner? pour approximer l étape M de l algorithme EM Q(θ, θ old ) = p(z X, θ old ) ln p(z, X θ) dz. L ) 1 L ln p(z (l), X θ). l=1 {Z } Z (l) échantillonnés de 6 p(z X, θ old )

10 Apprentissage automatique Méthodes d échantillonnage - variable aléatoire discrète scalaire

11 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 8

12 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 8

13 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire Variable : Z {1,2,...,M} Algorithme 1. séparer l intervalle (0,1) en M intervalles, où le i e intervalle est de longueur p(z=i) et est associé à la valeur i 2. échantillonner un nombre x uniformément dans (0,1) 9 3. retourner l étiquette de l intervalle dans lequel x se trouve

14 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) =

15 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) = 0.2 Z=1 Z=2 Z=3 Z=

16 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) = 0.2 Z=1 Z=2 Z=3 Z= x =

17 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) = 0.2 Z=1 Z=2 Z=3 Z= x =

18 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) = 0.2 Z=1 Z=2 Z=3 Z=4 p(0.7 <x<0.8) x =

19 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) = 0.2 Z=1 Z=2 Z=3 Z=4 retourne { p(0.7 <x<0.8) x =

20 ÉCHANTILLONNAGE DE BASE variable aléatoire discrète scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire p(z=1) = 0.4 p(z=2) = 0.3 p(z=3) = 0.1 p(z=4) = 0.2 Z=1 Z=2 Z=3 Z=4 retourne { p(0.7 <x<0.8) = x = Z dx =0.1 10

21 Apprentissage automatique Méthodes d échantillonnage - variable aléatoire continue scalaire

22 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire RAPPEL d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 12

23 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire RAPPEL d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 12

24 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire Variable : Z I, fonction de densité p(z) et fonction de répartition Algorithme P (z) = Z z min(i) 1. échantillonner un nombre x uniformément dans (0,1) p(x)dx 2. retourner P -1 (x) 13

25 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire Variable : Z I, fonction de densité p(z) et fonction de répartition Algorithme P (z) = Z z min(i) 1. échantillonner un nombre x uniformément dans (0,1) p(x)dx 2. retourner P -1 (x) fonction réciproque de P(z) (inverse function) 13

26 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire 1 h(y) P(z) p(z) p(y) 14 0 y z

27 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire 1 x h(y) P(z) p(z) p(y) 14 0 y z

28 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire 1 x h(y) P(z) p(z) p(y) 14 0 y z P -1 (x)

29 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire 1 x h(y) P(z) p(z) p(y) 14 0 y z P -1 (x)

30 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire 1 p(p 1 (X) apple z) x h(y) P(z) p(z) p(y) 14 0 y z P -1 (x)

31 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire 1 p(p 1 (X) apple z) = p(x apple P (z)) x h(y) P(z) p(z) p(y) 14 0 y z P -1 (x)

32 ÉCHANTILLONNAGE DE BASE variable aléatoire continue scalaire Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire continue scalaire x 1 p(z) p(y) h(y) P(z) p(p 1 (X) apple z) = p(x apple P (z)) = P (z) puisque X est uniforme dans (0,1) 14 0 y z P -1 (x)

33 Apprentissage automatique Méthodes d échantillonnage - vecteur aléatoire gaussien

34 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire RAPPEL d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 16

35 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire RAPPEL d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 16

36 ÉCHANTILLONNAGE DE BASE variable aléatoire gaussienne vectorielle Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire gaussienne vectorielle Variable : Z gaussienne, fonction de densité N (z µ, ) Algorithme 1. générer vecteur gaussien x de moyenne 0 et covariance I 2. calculer L telle que = LL T 3. retourner Lx + µ 17

37 ÉCHANTILLONNAGE DE BASE variable aléatoire gaussienne vectorielle Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire gaussienne vectorielle Génère de N (z µ, ) puisque transformation linéaire de variables gaussiennes est aussi gaussienne E[Lx + µ] =LE[x]+µ = µ cov[lx + µ] =Lcov[x]L T = LL T = 18

38 ÉCHANTILLONNAGE DE BASE variable aléatoire gaussienne vectorielle Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire gaussienne vectorielle Comment calculer L? décomposition de Cholesky (L est alors triangulaire inférieure) à partir de la décomposition en valeurs/vecteurs propres de : L = U 1 2 U T 19

39 Apprentissage automatique Méthodes d échantillonnage - méthode de rejet

40 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire RAPPEL d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 21

41 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage RAPPEL d une variable aléatoire discrète scalaire d une variable aléatoire continue scalaire Quoi faire lorsque ces méthodes d une variable aléatoire gaussienne vectorielle ne sont pas applicables? On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 21

42 EXEMPLE exemple de cas problématique Considérons le cas d une loi p(z) = 1 Z p p(z) où calculer Z p Cas spécifiques : est trop lourd, mais pas p(z) n orde loi a posteriori en apprentissage bayésien p(«modèle» «données») p(«données» «modèle») p(«modèle») probabilités p(z x) de modèles plus riche qu un mélange 22

43 MÉTHODE DE REJET méthode de rejet, proposal distribution Supposons qu on ait une loi q(z) telle que pour une certaine valuer de k kq(z) p(z) nction and is ill kq(z 0 ) kq(z) q(z) est appelée loi instrumentale (proposal distribution) Méthode de rejet 1. échantillonner z 0 de q(z) 2. échantillonner u 0 uniformément entre 0 et kq(z 0 ) z 0 u 0 p(z) z 3. si u 0 < p(z), alors retourner z 0 d is ill 4. sinon, revenir à l étape 1. 23

44 MÉTHODE DE REJET méthode de rejet La loi q(z) doit être non nulle pour chaque valeur de z telle que p(z) est non nulle Si q(z) ne donne pas une borne serrée, cette méthode peut être très inefficace Trouver q(z) qui satisfait la condition pas toujours facile kq(z) p(z) nction and is ill il est parfois possible de construire q(z) de façon automatique (voir section ) n est 24

45 Apprentissage automatique Méthodes d échantillonnage - échantillonnage préférentiel

46 ÉCHANTILLONNAGE DE BASE méthodes de base Débutons par les méthodes de base pour l échantillonnage RAPPEL d une variable aléatoire discrète scalaire d une variable aléatoire continue scalaire Quoi faire lorsque ces méthodes d une variable aléatoire gaussienne vectorielle ne sont pas applicables? On va supposer qu on a accès à un générateur pour une variable aléatoire uniformément distribuée entre 0 et 1 les méthodes de base vont utiliser les nombres aléatoires qu il génère 26

47 MÉTHODE DE REJET méthode de rejet, proposal distribution Supposons qu on ait une loi q(z) telle que pour une certaine valuer de k kq(z) p(z) nction and is ill q(z) est appelée loi instrumentale (proposal distribution) kq(z 0 ) RAPPEL kq(z) Méthode de rejet 1. échantillonner z 0 de q(z) 2. échantillonner u 0 uniformément entre 0 et kq(z 0 ) z 0 u 0 p(z) z 3. si u 0 < p(z), alors retourner z 0 d is ill 4. sinon, revenir à l étape 1. 27

48 ÉCHANTILLONNAGE estimation d espérance, estimation Monte Carlo Pourquoi échantillonner d un modèle? pour estimer une espérance E[f] = f(z)p(z) dz 1 L L f(z (l) ) l=1 RAPPEL z (l) échantillonnés de p(z) Un tel calcul d une espérance ainsi est appelé une estimation Monte Carlo 28

49 ÉCHANTILLONNAGE PRÉFÉRENTIEL échantillonnage préférentiel, importance weights Pourquoi échantillonner d un modèle? pour estimer une espérance E[f] = f(z)p(z) dz = f(z) p(z) q(z) q(z) dz 29 1 L L l=1 p(z (l) ) q(z (l) ) f(z(l) ).

50 ÉCHANTILLONNAGE PRÉFÉRENTIEL échantillonnage préférentiel, importance weights Pourquoi échantillonner d un modèle? pour estimer une espérance E[f] = = f(z)p(z) dz f(z) p(z) q(z) q(z) dz Importance weights : w l r l = p(z (l) )/q(z (l) ) ntroduced by samplin L 1 L p(z (l) ) 29 l=1 w l q(z (l) ) f(z(l) ).

51 ÉCHANTILLONNAGE PRÉFÉRENTIEL échantillonnage préférentiel, importance sampling Supposons qu on ait une loi q(z) (proposal distribution) Échantillonnage préférentiel 1. échantillonner L fois de q(z), pour obtenir z (1),..., z (L) 2. calculer les L poids w 1,..., w L retourner w l r l = p(z (l) )/q(z (l) ) ntroduced by samplin LX 1 w l f(z l ) L l=1

52 ÉCHANTILLONNAGE PRÉFÉRENTIEL échantillonnage préférentiel, importance sampling Comme pour la méthode de rejet, le succès de cette méthode dépend de la proximité entre q(z) et p(z) Dans le cas où suivants : p(z) = 1 Z p ep(z), on peut utiliser les poids w l = L p(z (l) )/q(z (l) ) m p(z(m) )/q(z (m) ). 31

53 Apprentissage automatique Méthodes d échantillonnage - Metropolis-Hastings

54 MÉTHODE DE REJET méthode de rejet, proposal distribution Supposons qu on ait une loi q(z) telle que pour une certaine valuer de k kq(z) p(z) nction and is ill q(z) est appelée loi instrumentale (proposal distribution) kq(z 0 ) RAPPEL kq(z) Méthode de rejet 1. échantillonner z 0 de q(z) 2. échantillonner u 0 uniformément entre 0 et kq(z 0 ) z 0 u 0 p(z) z 3. si u 0 < p(z), alors retourner z 0 d is ill 4. sinon, revenir à l étape 1. 33

55 MÉTHODE DE REJET méthode de rejet, proposal distribution Supposons qu on ait une loi q(z) telle que pour une certaine valuer de k kq(z) p(z) nction and is ill kq(z 0 ) RAPPEL kq(z) q(z) est appelée loi instrumentale (proposal distribution) Fonctionne souvent mal en haute Méthode de rejet dimension, puisque passe son temps à 1. échantillonner z 0 de q(z) rejeter les propositions z 0 2. échantillonner u 0 uniformément entre 0 et kq(z 0 ) z 0 u 0 p(z) z 3. si u 0 < p(z), alors retourner z 0 d is ill 4. sinon, revenir à l étape 1. 33

56 MONTE CARLO PAR CHAÎNES DE MARKOV MCMC On aimerait que l algorithme tire profit de ses «bons coups» lorsqu il trouve un bon échantillon z 0, on pourrait l utiliser pour tirer notre prochain échantillon (p. ex. un échantillon «proche») Spécifiquement, on pourrait tirer les z (1),..., z (L) en chaîne z (1) z (2) z (3)... z (L) la séquence z (1),..., z (L) est donc définie par une chaîne de Markov C est ce qu on appelle une méthode Monte Carlo par Chaînes de Markov (MCMC) 34

57 METROPOLIS-HASTINGS Metropolis-Hastings, probabilité d acceptation Supposons qu on ait une loi q(z (l) z (l-1) ) dernier échantillon généré Metropolis-Hastings 1. échantillonner un proposition z * de q(z (l) z (l-1) ) 2. avec probabilité d acceptation A(z, z (l 1) ep(z )q(z (l 1) z ) )=min 1, ep(z (l 1) )q(z z (l 1) ) assigner z (l) z *, sinon z (l) z (l-1) 3. retourner z (l) 35

58 METROPOLIS-HASTINGS Metropolis-Hastings, probabilité d acceptation Supposons qu on ait une loi q(z (l) z (l-1) ) dernier échantillon généré Metropolis-Hastings 1. échantillonner un proposition z * de q(z (l) z (l-1) ) 2. avec probabilité d acceptation A(z, z (l 1) ep(z )q(z (l 1) z ) )=min 1, ep(z (l 1) )q(z z (l 1) ) Se simplifie s il y a symétrie : q(z (l) z (l-1) ) = q(z (l-1) z (l) ) assigner z (l) z *, sinon z (l) z (l-1) 3. retourner z (l) 35

59 METROPOLIS-HASTINGS Metropolis-Hastings, probabilité d acceptation Le choix de la loi de proposition q(z (l) z (l-1) ) est important une condition suffisante pour que l échantillonnage soit valide est que la probabilité de proposer toute valeur légale de z soit non nulle sous q(z (l) z (l-1) ) Un choix courant de q(z (l) z (l-1) ) est de prendre une gaussienne centrée en z (l-1) une petite covariance impliquera des déplacements lents une grande covariance impliquera des risques de ne pas accepter souvent 36

60 METROPOLIS-HASTINGS Metropolis-Hastings Exemple : propositions acceptées propositions rejetées

61 Apprentissage automatique Méthodes d échantillonnage - échantillonnage de Gibbs

62 MONTE CARLO PAR CHAÎNES DE MARKOV MCMC On aimerait que l algorithme tire profit de ses «bons coups» RAPPEL lorsqu il trouve un bon échantillon z 0, on pourrait l utiliser pour tirer notre prochain échantillon (p. ex. un échantillon «proche») Spécifiquement, on pourrait tirer les z (1),..., z (L) en chaîne z (1) z (2) z (3)... z (L) la séquence z (1),..., z (L) est donc définie par une chaîne de Markov C est ce qu on appelle une méthode Monte Carlo par Chaînes de Markov (MCMC) 39

63 METROPOLIS-HASTINGS Metropolis-Hastings, probabilité d acceptation Supposons qu on ait une loi q(z (l) z (l-1) ) dernier échantillon généré RAPPEL Metropolis-Hastings 1. échantillonner un proposition z * de q(z (l) z (l-1) ) 2. avec probabilité d acceptation A(z, z (l 1) ep(z )q(z (l 1) z ) )=min 1, ep(z (l 1) )q(z z (l 1) ) assigner z (l) z *, sinon z (l) z (l-1) 3. retourner z (l) 40

64 METROPOLIS-HASTINGS Metropolis-Hastings, probabilité d acceptation Supposons qu on ait une loi q(z (l) z (l-1) ) dernier échantillon généré RAPPEL Metropolis-Hastings 1. échantillonner un proposition z * de q(z (l) z (l-1) ) 2. avec probabilité d acceptation A(z, z (l 1) )=min 1, assigner z (l) z *, sinon z (l) z (l-1) 3. retourner z (l) Peut-on éviter d avoir à fournir une loi q(z l z l-1 )? ep(z )q(z (l 1) z ) ep(z (l 1) )q(z z (l 1) ) 40

65 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Échantillonnage de Gibbs 1. assigner z (l) z (l-1) 2. choisir k aléatoirement parmi {1,..., D} 3. remplacer z k (l) par un échantillon de p(z (l) k z(l) 1,...,z(l) k 1,z(l) k+1,...,z(l) D ) 4. retourner z (l) 41

66 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Échantillonnage de Gibbs 1. assigner z (l) z (l-1) 2. choisir k aléatoirement parmi {1,..., D} 3. remplacer z k (l) par un échantillon de 4. retourner z (l) p(z (l) k z \k (l) : tout le vecteur z (l) sans la k e composante { z(l) 1,...,z(l) k 1,z(l) k+1,...,z(l) D ) 41

67 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Équivaut au Metropolis-Hastings, mais dont la loi instrumentale est telle qu on accepte toujours p(z )q(z (l 1) z ) p(z p(z (l 1) )q(z z (l 1) ) = k z \k )p(z \k )p(z (l 1) z k \k ) (l 1) (l 1) (l 1) p(z z )p(z )p(z k \k \k k z(l 1) \k ) 42

68 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Équivaut au Metropolis-Hastings, mais dont la loi instrumentale est telle qu on accepte toujours p(z )q(z (l 1) z ) p(z p(z (l 1) )q(z z (l 1) ) = k z \k )p(z \k )p(z (l 1) z k \k ) (l 1) (l 1) (l 1) p(z z )p(z )p(z k \k \k k z(l 1) \k ) (l 1) z = z \k \k 42

69 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Équivaut au Metropolis-Hastings, mais dont la loi instrumentale est telle qu on accepte toujours p(z )q(z (l 1) z ) p(z p(z (l 1) )q(z z (l 1) ) = k z \k )p(z \k )p(z (l 1) z k \k ) (l 1) (l 1) (l 1) p(z z z )p(z k z )p(z \k \k \k k z \k \k z(l 1) \k ) (l 1) z = z \k \k 42

70 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Équivaut au Metropolis-Hastings, mais dont la loi instrumentale est telle qu on accepte toujours p(z )q(z (l 1) z ) p(z p(z (l 1) )q(z z (l 1) ) = k z \k )p(z \k )p(z (l 1) z k \k ) (l 1) (l 1) (l 1) p(z z z )p(z k z )p(z \k \k \k k z \k \k z(l 1) \k ) (l 1) z = z \k \k = 1 42

71 ÉCHANTILLONNAGE DE GIBBS Metropolis-Hastings, probabilité d acceptation Exemple : z 2 L l z 1 43

72 ÉCHANTILLONNAGE DE GIBBS version cyclique Échantillonnage de Gibbs cyclique 1. assigner z (l) z (l-1) 2. pour k de 1 à D - remplacer z k (l) par un échantillon de p(z (l) k z(l) 1,...,z(l) k 1,z(l) k+1,...,z(l) D ) 3. retourner z (l) Permet de réduire la corrélation entre les z (l) L ordre de remplacement des z k (l) n est pas important 44

73 Apprentissage automatique Méthodes d échantillonnage - résumé

74 ÉCHANTILLONNAGE estimation d espérance, estimation Monte Carlo Pourquoi échantillonner d un modèle? pour estimer une espérance E[f] = f(z)p(z) dz 1 L L f(z (l) ) l=1 RAPPEL z (l) échantillonnés de p(z) Un tel calcul d une espérance ainsi est appelé une estimation Monte Carlo 46

75 ÉCHANTILLONNAGE DE BASE méthodes de base Méthodes de base pour l échantillonnage d une variable aléatoire discrète scalaire d une variable aléatoire continue scalaire d une variable aléatoire gaussienne vectorielle Dans ces cas, on est garanti d obtenir des échantillons de qualité, en un temps bien déterminé 47

76 MÉTHODE DE REJET méthode de rejet Si les méthodes de base ne sont pas applicables à p(z) : Méthode de rejet : doit fournir une loi instrumentale (proposal distribution) q(z) si la loi q(z) n est pas proche de p(z), on peut attendre longtemps avant d avoir un échantillon (particulièrement en haute dimension) 48

77 ÉCHANTILLONNAGE PRÉFÉRENTIEL échantillonnage préférentiel Si les méthodes de base ne sont pas applicables à p(z) : Échantillonnage préférentiel doit fournir une loi instrumentale (proposal distribution) q(z) meilleur que la méthode de rejet pour l estimation Monte Carlo permet seulement d approximer une somme (ne donne pas des échantillons de p(z)) si la loi q(z) n est pas proche de p(z), l approximation peut être très mauvaise (particulièrement en haute dimension) 49

78 METROPOLIS-HASTINGS Metropolis-Hastings Si les méthodes de base ne sont pas applicables à p(z) : Métropolis-Hastings méthode MCMC nécessite seulement une loi instrumentale conditionnelle q(z (l) z (l-1) ) donne une séquence d échantillons qui sont corrélés (ne peut pas les traiter comme des échantillons indépendants) 50

79 ÉCHANTILLONNAGE DE GIBBS Échantillonnage de Gibbs Si les méthodes de base ne sont pas applicables à p(z) : Échantillonnage de Gibbs méthode MCMC ne nécessite pas de loi instrumentale nécessite que les conditionnelles soient calculables p(z (l) k z(l) 1,...,z(l) k 1,z(l) k+1,...,z(l) D ) donne une séquence d échantillons qui sont corrélés (ne peut pas les traiter comme des échantillons indépendants) 51

80 METROPOLIS-HASTINGS Metropolis-Hastings Toutes les méthodes MCMC génèrent des échantillons corrélés pour réduire la corrélation, on collecte seulement tous les M échantillons (p. ex. M=100) on ignore également les premiers échantillons générés (période de burn-in) Pour en savoir plus sur les propriétés que doivent satisfaire les méthodes MCMC : voir section