1 / 44 Package CAPUSHE pour le logiciel R Vincent Brault (1,2) & Jean-Patrick Baudry (3) & Cathy Maugis-Rabusseau (4) & Bertrand Michel (3) 1 Université Paris-Sud 11 2 INRIA Saclay Île de France Projet SELECT 3 LSTA Paris 6 4 Institut de Mathématiques de Toulouse http://www.math.univ-toulouse.fr/ maugis/capushe.html 22 mai 2012
2 / 44 Plan 1 Théorie 2 Heuristique de pente 3 Package CAPUSHE DDSE Djump Capushe
3 / 44 Introduction
4 / 44 Plan 1 Théorie 2 Heuristique de pente 3 Package CAPUSHE DDSE Djump Capushe
5 / 44 n-échantillon X 1,..., X n de R d Paramètre d intérêt s S Fonction de contraste γ : S R d R telle que s argmin t S E X [γ(t, X)]
6 / 44 Contraste empirique t S, γ n (t) = 1 n L estimateur ŝ de s : ŝ argmin t S γ n (t). n γ(t, X i ) i=1
7 / 44 Famille de modèles (S m ) m M de dimension respective D m Modèle oracle : m argmin m M E X [ l ( s, ŝm )] où l (s, t) = E X [γ(t, X)] E X [γ(s, X)]
8 / 44 Famille de modèles (S m ) m M de dimension respective D m Modèle oracle : m argmin m M E X [ l ( s, ŝm )] où l (s, t) = E X [γ(t, X)] E X [γ(s, X)] crit(m) = γ n (ŝ m )
9 / 44 Famille de modèles (S m ) m M de dimension respective D m Modèle oracle : m argmin m M E X [ l ( s, ŝm )] où l (s, t) = E X [γ(t, X)] E X [γ(s, X)] Fonction de pénalité pen : M R + telle que le modèle m minimisant le critère pénalisé associé crit(m) = γ n (ŝ m ) + pen(m) ait un risque E X [ l(s, ŝ m ) ] proche de celui de l oracle.
10 / 44 Exemple : mélange gaussien s est la densité inconnue de l échantillon. S m ensemble des mélanges sphérique avec m composantes. X m p i N (µ i, σ i I 3 ) i=1 4m + (m 1) paramètres D m est le nombre de paramètres libres. La fonction de contraste est γ(θ) = log f (X; θ) ŝ m = θ maximisant θ log f (X 1,..., X n ; θ S m )
11 / 44 Plan 1 Théorie 2 Heuristique de pente 3 Package CAPUSHE DDSE Djump Capushe
12 / 44 Forme de la pénalité pen shape La pénalité à choisir est de la forme pen(m) = κ pen shape (m) Baudry, J.-P., Maugis, C. & Michel, B. (2011) Pour les mélanges gaussiens : pen shape (m) = κd m
13 / 44 Heuristique de pente Birgé et Massart (2006) pen min (m) = κ min pen shape (m) telle que crit κ (m) = γ n (ŝ m ) + κ pen shape (m) sélectionne un modèle avec une complexité déraisonnable si κ < κ min raisonnable si κ > κ min
14 / 44 Pénalité optimale pen opt (m) = scoef pen min (m) = scoef κ min pen shape (m)
15 / 44 Djump C m(κ) la complexité du modèle minimisant le critère crit κ ( ) κ C m(κ) doit faire un saut au voisinage du κ min
16 / 44 DDSE γ n (ŝ m ) γ n (s) E X [l(s, s m )] κ min pen shape (m)
17 / 44 Plan 1 Théorie 2 Heuristique de pente 3 Package CAPUSHE DDSE Djump Capushe
18 / 44 Données
19 / 44 Plot
20 / 44 Plot
21 / 44 Commande
22 / 44 Commande
23 / 44 Commande
24 / 44 Validation
25 / 44 Validation
26 / 44 Validation
27 / 44 Validation
28 / 44 Validation
29 / 44 Plot
30 / 44 Plot
31 / 44 C tresh
32 / 44 C tresh
33 / 44 C AreaJump
34 / 44 C AreaJump
35 / 44 Commande
36 / 44 Commande
37 / 44 Commande
38 / 44 Commande
39 / 44 Commande
40 / 44 Commande
41 / 44 Plot
42 / 44 Plot
43 / 44
44 / 44 Birgé, L. et Massart, P. (2001). Gaussian model selection. Journal of the European Mathematical Society, 3(3) :203-268. Birgé, L. et Massart, P. (2006). Minimal penalties for gaussian model selection. Probability Theory and Related Fields, 138(1-2) :33-73. Lebarbier, E. (2005). Detexting multiple change-points in the mean of gaussian process by model selection. Signal Processing, 85(4) :717-736. Massart, P. (2007). Concentration Inequalities and Model Selection. École d été de Probabilités de SAint-Flour 2003. Lecture Notes in Mathematics. Springer. Maugis, C. et Michel, B. (2009). A non-asymptotic penalized criterion for gaussian mixture model selection. ESAIM : P & S URL http ://hal.inria.fr/docs/00/28/50/31/pdf/rr-6549.pdf Baudry, J.-P., Maugis, C. and Michel, B. (2011) Slope Heuristics : Overview and Implementation. Statistics and Computing, Vol 22(2), 455-470.