INFÉRENCE COMBINATOIRE EN ANALYSE GÉOMÉTRIQUE DES DONNÉES

Transcription

1 INFÉRENCE COMBINATOIRE EN ANALYSE GÉOMÉTRIQUE DES DONNÉES Solène Bienaise 1 & Brigitte Le Roux 2 1 CEREMADE, Place du Maréchal de Lattre de Tassigny PARIS Cedex 16. bienaise@ceremade.dauphine.fr 2 MAP5, Université Paris Descartes 45 rue des Saints Pères Paris Cedex 06. Brigitte.LeRoux@mi.parisdescartes.fr Résumé. Dans ce papier, nous présentons des méthodes d inférence statistique pour l analyse géométrique des données (AGD) basées sur des procédures de permutation qui s inscrivent dans le cadre de l inférence combinatoire. Les tests statistiques multivariés s appuient, la plupart du temps, sur des hypothèses qui, en général, ne sont pas vérifiées, ils sont donc inapplicables en AGD. C est pourquoi, il est nécessaire de concevoir des procédures inductives adaptées aux méthodes d AGD : analyse en composantes principales, analyse des correspondances simples ou multiples. Les méthodes présentées ici concernent la comparaison du point moyen d un groupe d observations à un point de référence (tests de typicalité). Nous étudierons d abord le cas d une population de référence inconnue, puis celui d une population finie connue et enfin celui d une population (infinie) dont on connaît la moyenne et la structure de covariance. Nous présenterons d abord le cas univarié (cas d un nuage unidimensionnel avec en particulier les valeurs-test), puis le cas multivarié (nuage multidimensionnel). Nous mettrons en oeuvre ces tests et les illustrerons pour des nuages uni et bidimensionnel. Pour cela, nous avons écrit des programmes en langage R, qui fournissent les solutions exactes (en utilisant si nécessaire des méthodes de Monte Carlo), mais aussi les solutions approchées et les solutions usuelles basées sur le modèle normal (T 2 de Hotelling). Mots-clés. Tests de permutation, valeurs test, analyse géométrique des données. Abstract. In this paper, we present statistical inference methods for Geometric Data Analysis (GDA) based on permutation procedures that lie within the combinatorial inference framework. Multivariate statistical tests are based, mostly, on assumptions that, usually, are not fulfilled, they are not applicable in GDA. Therefore, it is necessary to devise inductive procedures in the method of GDA : principal component analysis, correspondence analysis or multiple correspondence analysis. The methods presented here deal with the comparison of the mean point of a group of observations to a reference point (typicality tests). Firstly, we will consider the case of an unknown reference population, then the case of a known finite population and finally that of a (infinite) population for which mean and covariance structure are known. We first present the univariate 1

2 case (one-dimensional cloud) including test-values), then the multivariate case (multidimensional cloud). We will implement and illustrate these tests for one and two dimensional clouds. For this, we wrote programs in R language, which provide exact solutions (if necessary using Monte Carlo methods), but also approximate solutions and solutions based on the usual normal model (Hotelling st 2 ). Keywords. Permutation tests, test values, geometric data analysis. 1 Test géométrique de permutation : typicalité d un point moyen par rapport à un point de référence Situation de base. Le test s applique à un nuage euclidien élémentaire(m i ) i=1,...n denpoints, ayant pour point moyen G et pour matrice de covariance V. Considérons un point de référence, notéo. Le test présenté ici répond à la question suivante : les données sont-elles compatibles, ou non, avec l hypothèse que le pointoest le vrai point moyen (H 0 : = O)? En d autres termes, peut-on dire que l écart observé entre le point de référence O et le point moyen observé G est dû au hasard, ou non? Principe du test. L idée de base du test est de situer le nuage par rapport à un ensemble de nuages possibles. La construction de cet ensemble repose, pour ce test, sur le principe de symétrie centrale : sous l hypothèse H 0 le point observé M i pourrait aussi bien être le point symétrique de M i par rapport à O, c est à dire le point N i tel que ON i = OM i. En effectuant toutes les permutations possibles de1,2,...n points observés avec leurs symétriques, on obtient 2 n nuages de n points, que nous appelons espace de permutation et que l on indexe par j (1 j 2 n ), on le note (M Ij ) j=1,...2 n. A chaque nuage M Ij, on associe son point moyen C j, d où le nuage de permutation, noté C J = (C j ) j J. Propriété 1.1. Le point moyen du nuage C J est O. Propriété 1.2. La matrice de covariance du nuage C J, notéev C, est telle quev C = B O n avec, si on noted obs le vecteur colonne associé à OG, B O = V+d obs d obs. Seuil combinatoire observé du test. On définit la statistique, notéet, telle que : T : C j n OC j O = n d B 1 O d (où d est le vecteur colonne associé à OC j ). Le principe du test consiste à situer, par rapport à sa distribution, la valeur observée de la statistique T, notéet obs = n OG O. La proportion des points C j vérifiant (T(C j ) T obs ) définit le seuil combinatoire observé du test, notép obs. 2

3 Si p obs α (seuil α fixé 1 ), l écart observé entre le point G et le point O est significatif au seuilα. Les données sont incompatibles avec l hypothèseh 0. On peut conclure que la position du point G n est pas due au hasard. On dira alors que les points O et G sont incompatibles au seuilα. Si p obs > α, l écart observé entre le point G et le point O est non significatif au seuil α. Les données sont compatibles avec l hypothèse H 0. On peut conclure que la position du point G peut être due au hasard. On dira alors que les points O et G sont compatibles au seuilα. Interprétation géométrique. Considérons la famille des ellipsoïdes d inertie 2 du nuage de permutation et en particulier celui passant par le point G. Le seuil combinatoire observé, s interprète comme la proportion des points C j situés sur ou à l extérieur de cet ellipsoïde. Zone de compatibilité. Un pointpdu plan est dit compatible avec le pointgau seuilα si et seulement si le seuil observé associé au pointp, pris comme point de référence, est supérieur à α. On démontre (aux tracas du discret près) que la zone de compatibilité au seuil1 α (ensemble des points compatibles avec G au seuil α) est définie par un ellipsoïde d inertie du nuage initial. Exemple Considérons un plan sur lequel une cible de centre O est dessinée. Les données consistent en un nuage de 10 points d impacts(m i ) i I avec son point moyen G (voir Table 1 et Figure 1). x i 1 x i 2 i i i i4 6-2 i i6-8 2 i7 2 4 i8 6 4 i i Table 1 : Coordonnées des 10 points d impact. V = ( ) O FIGURE 1 Nuage initial des 10 points M i avec son point moyen G et son ellipse de concentration. Question inductive : les données sont-elles compatibles, ou non, avec l hypothèse que le point O est le vrai point visé? Espace de permutation. 1. On utilise souvent les seuils conventionnels α =.05 et α = Voir Cramér, 1946, p.283 [1] G 3

4 O G V C = 1 10 B O = ( ) FIGURE 2 Nuage de permutation C J et ellipse d inertie passant par G. En rouge, les 86 points sur ou à l extérieur de cette ellipse. Le seuil combinatoire observé estp obs = 86/1024 =.084 (>.05), résultat non significatif. Conclusion : Les données sont compatibles (au seuil.05) avec l hypothèse que le point visé est le point O. 2 Typicalité du point moyen d un groupe d observations par rapport au point moyen d une population de référence Situation de base. On considère une population de référence I de taille N et un groupe d observationsi de taillen, avec n < N (cf. B. Le Roux [4], H. Rouanet et B. Le Roux [5]). Dans notre approche géométrique, on associe ài un nuage M I den points, de centreoet de matrice de covariancev. De même, on associe ài un nuage M I denpoints et de centreg. On se pose la question suivante : le groupe d observations est-il atypique, ou non, de la population selon le point moyen? Principe du test. 1. On définit un échantillon de taillencomme un sous ensemble ànéléments de la populationi. On notei j un échantillon et on considère l ensemblej = {1,... ( N n) } indexant les échantillons. L ensemble des ( N n) échantillons IJ = (I j ) j=1,...( sera noté J et appelé N n) l espace des échantillons. 2. (a) On considère l applicationc qui à chaque échantilloni j associe le point moyen C j du sous nuage M I j. Le nuage C J est appelé nuage d échantillonnage. 4

5 (b) On définit la statistique, notéed, qui à chaque échantilloni j I associe la distance de Mahalanobis du point moyen C j du sous nuage M I j au point O. D : C j OC j = d V 1 d On noted obs la valeur observée de cette statistique :D obs = OG. 3. On définit le seuil observé du test, noté p obs, comme étant la proportion des échantillons dont le point moyen est plus distant de O que le point observé G. Si p obs α (seuil α fixé), l écart observé entre le point G et le point O est significatif au seuil α. Le groupe d observations est atypique de la population de référence selon le point moyen. On dira alors que les points O et G sont incompatibles au seuilα. Sip obs > α, l écart observé entre le point G et le point O est non significatif au seuilα. On ne peut pas dire que le groupe d observations est atypique de la population de référence selon le point moyen. On dira alors que les points O et G sont compatibles au seuil α. Selon la théorie classique d échantillonnage dans une population finie, on a les propriétés suivantes : Propriété 2.1. Le point moyen du nuage C J est le point moyen O du nuage de référence. Propriété 2.2. La matrice de covariance du nuage C J, notéev C, est telle quev C = N n N 1 V n. Interprétation géométrique. Le seuil combinatoire observé s interprète comme la proportion des points C j situés sur ou à l extérieur de l ellipsoïde d inertie du nuage M I, passant par G. Zone de compatibilité. Étant donné un point P, considérons le nuage obtenu par translation de vecteur OP du nuage de référence M I. En prenant ce nuage translaté comme nuage de référence, on détermine la compatibilité du point P avec G. L ensemble des points P compatibles avec G au seuil α définit la zone de compatibilité au seuil 1 α. On démontre que, aux tracas du discret près, cette zone de compatibilité est définie par un ellipsoïde de centreg, translaté d un ellipsoïde d inertie du nuage M I. Conclusion Les tests combinatoires (ou de permutation) présentés ici s inscrivent dans la ligne des tests de permutation développés par Fisher et Pitman, (1937 [6]). Ils peuvent même être considérés comme en étant une généralisation multivariée. L applicabilité des tests de permutation est souvent confinée aux situations impliquant la loi dite "physique" de randomisation (cf. Edgington, 1987 [2]). Cependant dans beaucoup de situations, la randomisation ou l échantillonnage au hasard n est pas assuré (cf. Freedman et Lane 5

6 1983 [3]). Une telle conception restreint donc sévèrement le domaine d application des tests de permutation. Dans les tests développés ici, l échantillonnage au hasard n est pas une condition requise, on détermine la proportion de protocoles possibles plus extrêmes que les données et non la probabilité sous l hypothèse d échantillonnage au hasard d obtenir un échantillon plus extrême que celui que l on a observé (cf. Rouanet, Bernard, Lecoutre, 1986 [7]). A l ère informatique, les tests combinatoires peuvent être effectués facilement, en utilisant, dès que la taille des données le nécessite, les méthodes de Monte Carlo. Références [1] H. Cramér. Mathematical Methods of Statistics. Princeton : Princeton University Press, [2] E.S. Edgington. Randomization Tests. New York : Marcel Dekker Inc, [3] D. Freedman and D. Lane. A nonstochastic interpretation of reported significance levels. Journal of Business & Economic Statistics, pages , [4] B. Le Roux. Inférence combinatoire en analyse géométrique des données. Mathématiques et sciences humaines, 144, [5] B. Le Roux and H. Rouanet. Geometric Data Analysis. From Correspondence Analysis to Structured Data Analysis. Kluwer, [6] E.J.P. Pitman. Significance tests wich may be applied to samples from any populations. Journal of the Royal Statistical Society, pages , [7] H. Rouanet, J.M. Bernard, and B. Lecoutre. Nonprobabilistic statistical inference : A set theoretic approach. The American Statistician, 40 :60 65, Ce travail fait partie intégrante de la thèse de doctorat de Solène Bienaise intitulée : "Développer et prolonger les méthodes statistiques en épidémiologie de terrain en entreprise : analyse de la survenue des événements de santé. Approches exploratoires, stabilité et inférence, analyse de données temporelles, génération d alertes." 6