Analyse de données et classification bayésienne

Transcription

1 Parcours OMIS - 3A - École Centrale Marseille Module Informatique Décisionelle Analyse de données et classification bayésienne Stéphane DERRODE stephane.derrode@centrale-marseille.fr Version.1 - Novembre 013

2 Table des matières 1 Les données Espace de représentation des données Espace engendré par les variables Variables numériques Variables ordinales et nominales Espace des modèles Distances et similitudes dans les espaces de représentation Variables continues Variables booléenne (présence / absence) Variables à 1 ou dimensions 9.1 Description d une variable Distribution Valeurs centrales Paramètres de dispersion Boîte à moustaches Description de deux variables Nuage de points et régression linéaire Corrélation linéaire et axe principal Analyse en composantes principales Exemple avec les mains Principe de la méthode (sans les mains) Reformulation des données Matrice de données

3 3.3. Matrices de description Réduction des données Recherche de sous-espaces optimaux Inertie Description du nuage des individus Décision bayésienne Introduction et motivations Position du problème Stratégie bayésienne Exemple : cas gaussien

4 Chapitre 1 Les données Fortement inspiré du cours de F. Brucker, Analyse des données, Espace de représentation des données Ensemble fini X d objets noté x 1, x,..., x, y, z (taille N). Pour analyser les objets dans X, il faut disposer d informations permettant de les comparer ou de les caractériser à l aide de paramètres ou de descripteurs. On plonge ainsi les objets dans un espace de représentation, engendré par les variables issues des descripteurs. Les variables peuvent être numériques, ordinales ou nominales. On parlera souvent d individu pour caractériser les objets de X et de caractères pour les variables associées. Variable numérique : discrète (crédit sur un compte en centimes) ou continue (poids, taille). ordinale : ne retient que des comparaisons entre des valeurs (Je préfère x à y, x est plus intéressant que y... ). nominale : ensemble de valeurs non comparables (catégorie socio-professionnelle, couleur, appartenance politique). Comme cas particulier : les variables binaires (présen ce/absence d un caractère ou 1/ sexe à la sécurité sociale) 1. Espace engendré par les variables Supposons que nos N objets soient décrits par un ensemble de p variables. L espace de représentation ɛ qui leur sera associé sera le produit cartésien des ensembles engendrés par chaque variable. On a ainsi ɛ = R p lorsque les variables sont continues ; tandis dans dans les autres cas on peut poser ɛ = N p. Les variables booléennes correspondant au cas particulier {0, 1} p. 4

5 1..1 Variables numériques L espace euclidien R p est l espace de représentation de l analyse (géométrique) des données. Chaque objet x i X est ici codé par un p-uplet x i = ( x 1 i, x i,..., ) xp i dans lequel x j i est la valeur que prend la j-ième variable (ou descripteur) sur l objet x i. Le tableau ci-après montre un exemple d objets (les lignes) décrites par des données numériques (les colonnes). En analyse des données, la démarche diffère de celle adoptée en statistique inférentielle où l ensemble des objets est souvent vu comme un échantillon d une population plus vaste et l on cherche à trouver des informations sur cette population à partir de l échantillon considéré. Ici, X est la population et les valeurs prises par chaque variable constituent une distribution observée à partir de laquelle on peut calculer des paramètres (la moyenne, la variance,... ), expliquer les valeurs prises par certaines variables à partir de valeurs prises par d autres (régressions), ou encore structurer les données (analyses factorielles). 1.. Variables ordinales et nominales Nous ne parlerons que très peu de ce genre de données par la suite, et nous nous restreindrons aux variables booléennes, dont le tableau suivant donne un exemple. A : l animal pond-t-il des oeufs? B : présence de plumes? C : présence d écailles? D : présence de dents? E : l animal vole-t-il? F : l animal nage-t-il? G : l animal respire-t-il dans l air (1) ou dans l eau (0)? Table 1.1 tableau booléen A B C D E F G Autruche Canari Canard Requin Saumon Grenouille Crocodile Barracuda Ce genre de données peut être représenté en utilisant une terminologie booléenne. Soit X l ensemble des N objets décrits par un ensemble A = {A, B, C,...} de p attributs ou variables binaires. Chacun, par exemple A, peut prendre les valeurs a (dite forme directe, codée 1) et ā (dite forme indirecte, codée 0). Ceci peut être ramené à un tableau de valeurs 0 ou 1 avec N lignes correspondant aux éléments de X et p colonnes correspondant aux attributs. Le tableau est alors équivalent à la formule Φ ci-après qui est vérifiée par les assignations induites par les lignes : Φ = ab c dē fg ab c de fg ab c defg a b cdēfḡ a bc dēfḡ a b c dēfg a b cdēfg a bcdēfḡ 5

6 La formule Φ est alors vraie si et seulement si les variables binaires correspondent à une ligne du tableau. En effet, chaque ligne du tableau est une suite de variables binaire liée par des ET (la première ligne du tableau est ainsi ab c dē fg qui correspond à l autruche), chaque ligne étant liée aux autres par des OU (le symbole ). En utilisant le calcul dans les algèbres de Boole, on peut simplifier Φ. Par exemple, à chaque fois qu on a deux monômes du type xµ xµ, on peut utiliser la règle xµ xµ = µ. Après simplification, la formule donne Φ = [ b c dg( f ef) b cēf(dḡ g) bcēfḡ ] a Puis en utilisant la règle x xµ = x µ, on obtient finalement Φ = [ b c dg( f e) b cēf(d g) bcēfḡ ] a La simplification de Φ montre que la variable a n est pas pertinente pour décrire les différences entre nos animaux puisqu ils pondent tous des oeufs (la variable a est vraie pour toutes les lignes). Cette formule réduite peut se représenter comme dans la figure suivante, qui permet de caractériser les différences entre les individus. Cette figure montre par exemple que les différences entre un canard et une autruche est alors e et f, une autruche ne volant pas et un canard ne nageant pas. Attention, les animaux peuvent se retrouver dans plusieurs branches, ainsi la différence entre une autruche et un canari étant uniquement la variable e (l autruche se différenciant du canari par le fait qu elle ne vole pas) Espace des modèles Analyser des données revient à les réorganiser selon la méthode choisie. Chaque méthode opère un recodage des données, les plongeant dans un autre espace appelé espace des modèles. Si l espace de représentation correspond à un espace naturel de représentation des données, l espace des modèles correspond à un espace de travail où les données sont itérativement traitées (re-codées) jusqu à la fin de l analyse. On obtiendra ainsi par exemple des classes d objets, ou encore un ensemble de vecteurs sur lesquels on projette les objets. C est de cet espace que l on pourra déduire des connaissances propres aux données, c est à dire de reconnaître des configurations, des structures, des formes, induites par les caractéristiques propres des objets. Analyser des données est ainsi un processus où l on commence par choisir les caractéristiques des objets que nous voulons analyser (les placer dans l espace de représentation), puis une méthode d analyse (une classification non-hiérarchique, ou une analyse en composantes principales par exemple). Les résultats (dans l espace des modèles) pouvant alors être interprétés et nous renseigner sur les objets eux-mêmes (ceux du vrai monde). 1.3 Distances et similitudes dans les espaces de représentation Comme vu dans la partie précédente, le choix de caractères permettant de décrire les objets à analyser permet de les situer dans un espace de représentation ɛ. Reconnaître des structures induites par cette représentation implique une étape préliminaire qui est de se doter d outils métriques permettant de mesurer des distances (ou des ressemblances, des dissemblances,... ) entre lesdits objets. Pour cela, il nous faut associer à chaque paire d objets un nombre positif ou nul, d autant plus petit que les objets sont semblables (ou, si cela à un sens dans ɛ, que les objets sont proches l un de l autre). 6

7 On appelle distance sur un ensemble ɛ une application d : ɛ ɛ R + vérifiant les propriétés suivantes : Nom Propriété symétrie x, y E, d(x, y) = d(y, x) séparation x, y E, d(x, y) = 0 x = y inégalité triangulaire x, y, z E, d(x, z) d(x, y) + d(y, z) Voyons maintenant quelques types particuliers de distances parmi les plus usités, pour des variables continues et des variables booléennes Variables continues Nous nous restreignons ici aux distances issues des normes L q. Les distances de corrélation et la distance du χ seront étudiées plus tard, dans le cadre de l analyse en composantes principales et de l analyse factorielle des correspondances. On rappelle que pour un espace de représentation ɛ = R p, chaque objet xi X est un vecteur à p dimensions x i = ( x 1 i,... xp i ). On peut ainsi définir les distances : L 1 (encore appelée distance de Manhattan, ou city block distance ) : d(x i, x j ) = L (encore appelée distance euclidienne) : et plus généralement L q : d(x i, x j ) = 1 k p 1 k p d(x i, x j ) = 1 k p 1 p xk i x k j 1 p (xk i xk j ) 1 p xk i x k j q et, finalement L (encore appelée distance du sup ou norme uniforme) : d(x i, x j ) = sup x k i x k j 1 k p 1 q 1.3. Variables booléenne (présence / absence) Ici, l espace de représentation est ɛ = {0, 1} p. Une variable positionnée à 1 (respectivement 0) signifie la présence (respectivement l absence) de l attribut. Seule la valeur 1 est ainsi significative. Si l on considère les variables comme des attributs (présents ou absents), chaque objet x i possède un ensemble E i de caractères (E i est donc constitué des variables qui prennent sur x i la valeur 1). En notant E\F l ensemble des éléments de E qui ne sont pas dans F, la différence symétrique entre E i et E j peut s écrire : E i E j = (E i \E j ) (E j \E i ). De là, on peut déduire un grand nombre de distances dont : la distance de la différence symétrique : d(x i, x j ) = E i E j la distance de la différence symétrique normalisée (encore appelée distance de Hamming) : la distance de Jaccard : d(x i, x j ) = E i E j p d(x i, x j ) = 1 E i E j E i E j 7

8 distance de Czekanovski-Dice : distance de Ochiaï : d(x i, x j ) = 1 E i E j E i + E j 1 E i E j Ei. E j distance de Braun-Blanquet : distance de Simpson : 1 1 E i E j max{ E i, E j } E i E j min{ E i, E j }... Toutes ces distances permettent de mesurer des différences entres objets. Il convient de bien choisir sa distance selon les différences que l on veut mesurer. De façon classique, lorsque le choix d une distance à utiliser n est pas évidente, on a coutume d utiliser la distance de Jaccard qui est un bon compromis. Exercice Calculer la distance de Jaccard entre une autruche et un crocodile. E autruche = {a, b, g}, E croco = {a, d, f, g} d (autruche, croco) = 1 5 = 3 5 d (autruche, autruche) = = 0 Travaux pratiques chercher classer les animaux dans l ordre de leur distance à l autruche. Chaque élève choisi une distance, comme cela nous pourrons comparer les résultats. 8

9 Chapitre Variables à 1 ou dimensions Fortement inspiré du cours de F. Brucker, Analyse des données, 007. On s intéresse dans ce chapitre aux espaces de représentation tels que ɛ = R (partie.1) et ɛ = R (partie.). La statistique descriptive permet un pré-traitement efficace des données, en brossant l allure générale des données (moyenne, écart-type,... ) et fournit des représentations graphiques (histogrammes, boîte à moustaches,... ) permettant de synthétiser les résultats. L exemple fil-rouge que nous utiliserons ici est constitué d une population de 6 étudiants passant un contrôle. Pour chaque candidat, on note : le temps mis à effectuer l épreuve (variable x), le nombre d erreurs commises (variable y)..1 Description d une variable L espace représentation associé à os objets est ici l ensemble des nombres réels..1.1 Distribution DÃľfinition 1 On appellera distribution statistique de X la donnée des couples {(c 1, n 1 ),..., (c i, n i ),..., (c k, n k )} tel que les c i forment un partition en k intervalles de l ensemble des valeurs prises par la variable (c 1 = [a 0, a 1 ], c i =]a i 1, a i ], c k =]a k 1, a k ]) et les n i le nombre de valeurs observées dans l intervalle c i. Par convention le centre des intervalles est également noté c i. Table.1 Résultats d examen pour 6 candidats Candidat n o x y Candidat n o x y

10 Le nombre d intervalles dans une distribution statistique est choisi en fonction de n, de manière à représenter le mieux possible la distribution des valeurs et on a n = 1 i k n i. Il n existe pas de choix pertinent du nombre et de l amplitude des intervalles, mais il est plus aisé de prendre des intervalles de même amplitude et, empiriquement, on a coutume d utiliser la règle de Sturges comme choix de k : k = ln (n) 3 ln (10). DÃľfinition Pour une distribution statistique donnée, on appellera fréquence de i le rapport f i = ni n, et sa fréquence cumulée la somme F i = f 1 + f + + f i = 1 j i f j. DÃľfinition 3 On appelle histogramme des fréquences pour une distribution statistique donnée ((]a j 1, a j ], n j ) pour 1 j k), le graphique tel que les intervalles sont reportées en abscisse et au-dessus de chacune d elle un rectangle d aire égale ou proportionnelle à la fréquence de la classe est tracé. Attention, ce sont les aires des rectangles qui sont importantes. Lorsque les bases des rectangles sont identiques, la hauteur est alors proportionnelle à l aire mais dans quelques (rares) cas les bases seront de longueurs différentes et dans ces cas là il faudra faire attention. Remarque 1 Pour le cas d une distribution statistique associée à une variable discrète ((c j, n j ) pour 1 j k), l histogramme des fréquences est le graphique tel que les modalités c j sont reportées en abscisse et au-dessus de chacun des c j un segment de hauteur égale ou proportionnelle à la fréquence de la modalité est tracé. DÃľfinition 4 On appelle graphique des fréquences cumulées pour une distribution statistique donnée ((]a j 1, a j ], n j ) pour 1 j k), le graphique tel que les intervalles sont reportées en abscisse et au-dessus de chacune d elle un rectangle de hauteur égal à F i est tracé..1. Valeurs centrales Aussi appelées paramètres de positions, les valeurs centrales sont des nombres autour desquels se répartissent les valeurs observées de la variable considérée. C est autour d elles que sont calculés les paramètres de dispersion. Il y a essentiellement deux paramètres de positions pour une variable : la moyenne et la médiane. DÃľfinition 5 La moyenne x d un ensemble de valeurs x est définie par l expression : x = 1 x i n 1 i n Pour définir la médiane, il faut tout d abord ranger les éléments de X par ordre croissant. Si l on note x 1, x,..., x n les n valeurs prises par la variable x, on notera x (1), x (),...x (n) ces mêmes éléments rangés par ordre croissant (si, par exemple, x 1 = 1, x = 1 et x 3 = 1 on aura x (1) = 1, x () = 1 et x (3) = 1). Par exemple, la médiane de la variable x de la table de notes est Cette définition implique des résultats différents selon la taille de n. Si n est impair, d = 0 et la médiane est une des valeurs de la variable et si n est pair, la médiane vaut la moyenne des deux valeurs centrales. Enfin, on définit la classe modale, qui est un paramètre de position associé à une distribution statistique. Pour la distribution statistique des notes d étudiants, la classe modale est ]7.5, 1.5] DÃľfinition 6 On appelle classe modale mo(x) d une distribution statistique (]a j 1, a j ], n j ) (pour 1 j k) d une variable x est égal à un intervalle ]a i 1, a i ] tel que n i = max 1 j k {n j } 10

11 .1.3 Paramètres de dispersion Les paramètres de dispersion sont des nombres permettant de mesurer l amplitude des variations autour d une valeur centrale. Les paramètres de dispersion que nous définirons dans cette partie sont essentiellement de deux types, ceux liés (de près ou de loin) à la variance, et ceux liés à la répartition des valeurs (les quartiles). DÃľfinition 7 La variance d un ensemble x est le nombre s (x) défini par l expression : s (x) = 1 n 1 i n La racine carrée de s (x), notée s(x) est appelé écart-type. (x i x). On peut (facilement) démontrer que la variance est également égal à s (x) = ( 1 n plus pratique lorsque l on doit calculer une variance à la main. 1 i n x i ) ( x), formule Remarque Attention : il ne faut pas confondre variance et variance corrigée. La variance corrigée s c(x) définie par l expression : s c(x) = 1 (x i x) = n n 1 n 1 s (x) 1 i n est un estimateur et non un paramètre de dispersion. Lorsque les (x i ) sont un échantillon d une population plus grande on a coutume d utiliser la variance corrigée s c(x) puisqu elle est sans biais. Cependant dans le cas qui nous occupe, les (x i ) représentent la population en son entier, sa variance est donc égale à s (x) et nous n avons pas à nous soucier de la variance corrigée. Autres paramètres de dispersion DÃľfinition 8 Le coefficient de variation cv(x) est défini par l expression : cv(x) = 100 s(x) x Si la population est plus grande que l échantillon considéré, le coefficient de variation utilise s c (x) et non plus s(x), il est alors défini par l expression : cv(x) = 100 sc(x) x. L étendue d une variable qui est le paramètre de dispersion e(x) défini par la différence entre la plus grande et la plus petite valeur de la variable étant très sensible aux valeurs extrêmes, on préférera utiliser les quartiles pour calculer la répartition des valeurs. DÃľfinition 9 On défini les quartiles comme suit. Soient m et d les parties entières et décimales de n+1 4 et m et d les parties entières et décimales de 3(n+1) 4. On notera, comme en.1., x (1), x (),..., x (n) les valeurs de x rangées par ordre croissant. le premier quartile noté q 0,5 (x) est défini par l expression : q 0,5 (x) = x ( m) + d(x (m+1) x (m) ), le deuxième quartile noté q 0,5 (x) est égal à la médiane de x, le troisième quartile noté q 0,75 (x) est défini par l expression : q 0,75 (x) = x ( m )+d (x (m +1) x (m )). L étendue inter-quartile IQR(x) étant défini par IQR(x) = q 0,75 q 0,5. 11

12 Ces paramètres de dispersion permettent de définir des intervalles où se trouvent un pourcentage donné de valeurs. Par exemple, il y a 5% des valeurs en dessous de q 0,5, entre q 0,5 et q 0,5, entre q 0,5 et q 0,75, et au-dessus de q 0,75. De même, il y a 50% des valeurs de la variable au-dessous de q 0,5, au-dessus de q 0,5 et dans IRQ(x). Si l on veut raffiner (d aucun diraient chipoter), on peut de la même manière définir des déciles (on découpe en dixième et non plus en quart) ou des centiles (on découpe en centième)..1.4 Boîte à moustaches La boîte à moustache (encore appelée boxplot) est un graphique permettant d observer globalement les paramètres de position et de dispersion. DÃľfinition 10 Une boîte à moustache est un graphique constitué de deux axes : l axe vertical, muni d une échelle numérique qui correspond aux valeurs la variable observée et l axe horizontal, sans échelle. Un segment horizontal (de longueur arbitraire) est é en regard de la médiane, puis une boîte est reportée avec les côtés supérieur et inférieur en regard de q 0,75 et q 0,5 respectivement. Enfin, deux segments verticaux sont tracés vers l extérieur de la boîte (les moustaches) joignant le milieu du côté supérieur (resp. inférieur) à la plus grande (resp. la plus petite) valeur inférieure ou égale (resp. supérieure ou égale) à q 0, IQR(x) (resp. q 0,5 3 IQR(x)). On peut également rajouter deux points marquant les valeurs les plus extrêmes si elles ne sont pas dans les moustaches, et un autre point en regard de la moyenne. Les extrémités de la boîte à moustache sont appelées valeurs adjacentes, et lorsque qu une valeur se trouve au-delà des valeurs adjacentes, elle peut être considérée comme extrême et peut éventuellement être omise.. Description de deux variables L espace de représentation associé à nos objets est ici l ensemble R, tout x i X est donc un couple de réels x i = (x 1 i, x i ). La table étudiant est un exemple de ce type d espace de représentation. Ceci revient à considérer un ensemble X d objets par deux variables réelles, x et y par exemple...1 Nuage de points et régression linéaire Supposons que l on cherche à décrire l ensemble X d objets décrit par deux variables réelles x et y. On appellera champ du couple (x, y) l ensemble K = {(x i, y i ) 1 i n} que l on peut représenter dans le plan par n points M i d abscisse x i et d ordonnée y i, le centre de gravité du nuage étant bien évidemment le point G = ( x, ȳ). Le nuage de points de la figure montre le graphique associé à la table étudiant du nombre d erreurs commises par rapport au temps mis pour effectuer l examen, le centre gravité du nuage étant représenté par un +. Un simple regard sur le nuage peut informer sur l existence et la forme d une éventuelle liaison entre les deux variables. On peut par exemple chercher à déterminer une éventuelle liaison linéaire entre les deux variables (le nuage a tendance à s étirer le long d une droite), on peut alors tenter d expliquer la variable y (appelée variable expliquée) par la variable x (appelée variable explicative). On cherche ainsi à déterminer s il existe deux réels a et b tels que pour tout 1 i n : y i a + bx i. La manière la plus courante pour arriver à nos fins est d utiliser la méthode des moindres carrés, c est à dire 1

13 trouver deux réels a et b qui réalisent le minimum de : h(a, b) = n i=1 1 n (y i a bx i ). Le nombre h(a, b) est appelé résidu quadratique. Il quantifie l écart de nos données par rapport à la droite sensée les représenter. Trouver le minimum de h(a, b) se fait simplement en utilisant la méthode dite gros bourrin : on dérive par rapport à a et b. A faire en exercice On a alors : h(a, b) a = 1 (y i a bx i ) = y + a + bx n i De là, h(a,b) a = 0 implique que : a = y bx (.1) h(a,b) b = 1 n = [ 1 n i x i(y i a bx i ) i x iy i ax b 1 n i x i ] En remplaçant a par y bx, on obtient alors : h(a,b) b = [ 1 n i x iy i (y bx)x b 1 n = [ i 1 n (x iy i xy) + b(x 1 n = [ 1 n i (x i x)(y i y) + bs (x)] On pose alors cov(x, y) = 1 n conduit à : i x i ] i x i )] 1 i n (x i x)(y i ȳ) (appelée covariance de x et de y), et l équation h(a,b) b = 0 b = cov(x, y) s (x) Remarque 3 La covariance est une généralisation de la variance pour deux variables. Elle permet de voir comment varie une variable par rapport à l autre. Une valeur positive de covariance entre x et y montre que lorsque x augmente (resp. diminue) y à tendance à augmenter (resp. diminue) également et une valeur négative de la covariance montre qu en général si x augmente (resp. diminue) y va diminuer (resp. augmenter). On a de plus que cov(x, x) = s (x) 0. La droite obtenue est appelée droite de régression linéaire de y par x et possède la propriété de passer par le centre de gravité du nuage (i.e. ȳ = a + b x, cf (.1)). Le résidu quadratique vaut alors (A faire en exercice) : ( ) ) cov(x, y) h(a, b) = s(y) (1 s(x)s(y) La qualité de la régression sera d autant meilleure que ce résidu est faible. Pour cela, deux facteurs seront prédominants : un faible écart-type de la variable y, une forte valeur de cov(x,y) s(x)s(y) La figure suivante reprend le nuage de la figure précédente en y ajoutant la droite de régression linéaire. On a a = 0.85 et b =

14 .. Corrélation linéaire et axe principal Figure.1 les deux droites de régression linéaires de la table.1 Dans la partie précédente, on a choisi d expliquer une variable (la variable y de la table étudiant) par une autre (la variable x de la table étudiant). Ce choix peut paraître arbitraire puisque l on aurait pût tout aussi bien tenter d expliquer la variable x par la variable y et obtenir une droite de régression différente, comme le montre la figure?? où les deux droites de régression sont superposées. Comme vue dans la partie..1, les deux droites de régressions linéaires passent par le centre de gravité du nuage, les deux droites sont alors égales si et seulement si leurs pentes le sont. Comme x = a + b y est équivalent à y = a b + 1 b x, les pentes des droites de régression y = a + by et x = a + b y sont égales si et seulement si b = 1 b, c est à dire si et seulement si : ( ) cov(x, y) = 1 s(x)s(y) On note r(x, y) la quantité cov(x,y) s(x)s(y) = r(x, y) et on l appelle (fort justement) coefficient de corrélation linéaire. On peut prouver que r(x, y) 1) quelques soient x et y et que r(x, y) = 1 si et seulement si les points (x i, y i ) (1 i n) sont alignés. Remarque 4 Une valeur de r(x, y) proche de 1 signifie donc que si x augmente, y augmente également de façon linéaire (et que si y augmente, x augmente également) et une valeur de r(x, y) proche de -1 signifie que si x augmente, y décroît (et réciproquement). En fait, plus r (x, y) est proche de 1, plus le nuage de points se concentre autour d une droite passant par 14

15 le centre de gravité du nuage et ayant une pente intermédiaire entre la droite de régression de y par x et la droite de régression de x par y. Cette droite est appelée axe principal. L axe principal peut s obtenir directement en changeant la droite à optimiser. Soit D une droite d équation y = a D + b D x. Chercher la droite de régression de y par x revient à chercher la droite D y qui minimise la somme des carrés des écarts y i a D b D x i (le segment vertical en pointillé sur la figure.). De la même manière chercher la droite de régression de x par y revient à chercher la droite D x qui minimise la somme des carrés des écarts x i + a D bd 1 b D y i (le segment horizontal en pointillé sur la figure.). (xi,yi) droite D Figure. les différentes optimisations par rapport à D On voit bien par là que la régression de y par x et la régression de x par y ne permet d obtenir la même droite que si les points sont déjà alignés. L axe principal est le résultat d une autre forme d optimisation : on cherche la droite D qui minimise la somme des carrés des distances des points (x i, y i ) à la droite (le segment en gras sur la figure.). La figure.3 montre le nuage de points de la table.1, les deux droites de régressions (en traits pleins) et l axe principal (en pointillés). Les quantités que nous venons d introduire s interprètent dans R n muni de la norme euclidienne. cov(x, y) est le produit scalaire de v(x) x i et v(y) ȳ i. r(x, y) est le cosinus de l angle de v(x) x i et v(y) ȳ i. L alignement dans R du nuage correspond à la colinéarité dans R n des vecteurs définis par les variables, la corrélation nulle correspond à l orthogonalité, dans ce dernier cas on dit que les variables sont indépendantes. 15

16 Figure.3 droites de régression linéaires et axe principal de la table.1 16

17 Chapitre 3 Analyse en composantes principales On s intéressera dans ce chapitre aux objets de X décrits par p variables réelles. L espace de représentation associé est ainsi R p. 3.1 Exemple avec les mains Lorsque la population à étudier est décrite par deux variables, la simple lecture de leurs valeurs (du nuage produit) peut éventuellement fournir une idée de la force de la liaison entre les deux variables, comme le montre la figure. L étude visuelle du nuage ne donne cependant que rarement toute l information désirée. L exemple fil rouge du chapitre précédent (base d étudiants) est à cet égard significatif. Le coefficient de corrélation linéaire élevé (r(x, y) = 0.9) conduisant à une explication linéaire des données. Partant de nos données, on est parvenu à dégager deux variables pertinentes pour décrire le comportement de notre population : l attitude et l aptitude. Remarquons que celles-ci décrivent des phénomènes que l on suppose (au moins intuitivement) indépendant : les deux axes déterminés sont orthogonaux. Appelons facteurs nos deux nouvelles variables (elles remplacent les variables temps et erreurs ), ils seront d autant plus pertinents avec nos données que nos variables d origines ont une forte corrélation avec au moins un de nos nouveaux axes (l autre axe étant obtenu par orthogonalité). Reste à extraire les facteurs. On peut pour cela faire une analogie avec la mécanique. Si l on assimile nos objets à des points matériels, la droite la plus proche du nuage de points est celle qui correspond à l axe principal d inertie du nuage. Cet axe est exactement l axe principal définie dans le chapitre précédent. Cet exemple à deux variables montre le but de l analyse en composantes principale : déterminer des axes pertinents pour l explication des corrélations entre variables. 3. Principe de la méthode (sans les mains) Si l analyse visuelle du nuage peut nous permettre, soit de dégager directement la structure, soit de déterminer des axes pertinents, lorsque les objets sont décrits par plus de trois variables (sinon, on peut toujours représenter le nuage dans l espace), la représentation graphique devient impossible. Ainsi, les dix catégories socioprofessionnelles de la table 3.1 sont représentables dans un espace à six dimensions (ce qui graphiquement 17

18 commence à faire mal aux yeux). Si l on veut cependant obtenir une représentation graphique plane de la table 3.1, on peut projeter les points de l espace à p dimensions sur un plan (à deux dimensions). Il faut cependant choisir judicieusement le plan de projection pour que les distorsions par rapport à l espace originel soient minimales. Table 3.1 Patrimoine selon la catégorie socioprofessionnelle Livrets Épargne Placements Actions Pierre Terres logement obligatoires bons,... (assurances) (LIV) (ELB) (POA) (ACT) (PIE) (TER) Anciens indépendants non agricoles (AI) 8,00 6,00 10,00 3,00 44,00 9,00 Professions libérales (PL) 6,00 8,00 17,00 5,00 35,00 9,00 Industriels, artisans commerçants (IAC) 5,00 6,00 13,00 36,00 34,00 6,00 Cadres supérieurs (CS) 9,00 9,00 14,00 40,00 3,00 5,00 Agriculteurs (AG) 11,00 13,00 16,00 7,00 19,00 34,00 Anciens agriculteurs (AA) 14,00 13,00 13,00 6,00 7,00 7,00 Anciens salariés (AS) 16,00 14,00 13,00 5,00 6,00 6,00 Professions intermédiaires (PI) 17,00 15,00 17,00 0,00 6,00 5,00 Employés (EM),00 14,00 18,00 11,00 7,00 8,00 Ouvriers (OU) 4,00 18,00 5,00 8,00 0,00 5,00 Soient x i et x j deux éléments de X et d(x i, x j ) la distance de l un à l autre dans R p. En projetant ces éléments sur un plan, la distance entre les deux projections d(p(x i ), p(x j )) est plus petite que d(x i, x j ), on se fixera donc comme critère de choix de plan, celui qui maximise la moyenne des carrés des distances entre les projections. On peut déterminer un plan par deux droites D 1 et D orthogonales entre elles. De part la relation de Pythagore, la distance au carré entre deux points projetés sur ce plan est égal à la somme des deux distances au carré des projections des points sur les deux droites : d (p(x i ), p(x j )) = d (α i, α j ) + d (β i, β j ) (avec α k et β k les projetés de x k (1 k n) sur D 1 et D respectivement). Le plan minimisant la moyenne des carrés des distances entre les projections, appelé plan principal peut donc être déterminé itérativement. On commence par chercher la droite D 1 maximisant la moyennes des d (α i, α j ), puis une droite D, orthogonale à D 1 maximisant la moyenne des d (β i, β j ). On peut alors continuer le processus et trouver p droites orthogonales entre elles formant une nouvelle base de R p, appelés axe principaux du nuage. La meilleure représentation des données en q < p dimension est alors la projection de l ensemble X sur les q premiers axes principaux. Ceci est la méthode de l analyse en composantes principale : remplacer la base canonique de R p par une base formé des axes principaux, représentant mieux les données (pensez aux axes aptitudes et attitude du début du chapitre), et permettre ainsi de réduire l espace de représentation aux q axes les plus représentatifs. L analyse en composantes principales est une méthode factorielle, car elle réduit le nombre de caractères, non pas en éliminant tel ou tel variable jugée non pertinente, mais en construisant de nouveaux axes, plus pertinents. 18

19 3.3 Reformulation des données Matrice de données Les n individus x i étant décrits par p variables (x i = (x 1 i,..., xp i )), on peut, par abus de notation, noter X la matrice à n lignes et p colonnes telle l élément à la ligne i et colonne j soit x j i. Si X représente l espace des individus, t X (la matrice transposée de X) représente l espace des caractères, chaque caractère étant représenté par les n individus qu il décrit. On note alors x j (1 j p) la ligne j de t X qui décrit le caractère j. Le centre de gravité du nuage g = ( x 1,..., x p ) est un individu, la plupart du temps fictif, décrit par les moyennes respectives des différents caractères. Dans l exemple de la table 3.1, le centre de gravité du nuage vaut par exemple g = (13., 11.6, 15.6, 0.1, 8.1, 11.4) On dit qu une variable est centrée si sa moyenne est nulle. Centrer des variables revient à déplacer le centre du repère vers g et donc à retirer sa moyenne à chaque caractère x i g. On considérera par la suite que toute les variables sont centrées, ce qui simplifie grandement les notations matricielles Matrices de description On appelle matrice de variance la matrice carrée V contenant à la ligne i et la ligne j la covariance entre la variable i et la variable j. Cette matrice est symétrique et sa diagonale contient les variances des différentes variables. Cette matrice peut être calculée par la formule : V = s 1... s 1j... s 1p..... s i s ij s ip.... s p Matrice de corrélation R : matrice carrée telle que r(x i, x j ) soit sur la ligne i et la colonne j : R = 1... r(x i, x j ) La matrice de corrélation possède une diagonale de 1 puisqu il n y a pas plus corrélé qu une variable avec elle-même. La matrice de corrélation de la table 3.1 est présentée dans la table 3.. On peut déjà remarquer que la variable représentant les livrets (LIV) est très fortement corrélée avec la variable représentant l épargne obligatoire, alors que la pierre (PIE) ne l est que très peu avec les placements (POA). 19

20 Table 3. Matrice de corrélation de la table des étudiants. LIV 1 ELB POA ACT PIE TER LIV ELB POA ACT PIE TER Réduction des données Le choix de la distance à utiliser est primordiale dans toute analyse de données, car elle détermine les résultats obtenus. Un mauvais choix de métrique conduit le plus souvent à de mauvais résultats. Lorsque le repère utilisé est orthonormé, on est tenté d utiliser une distance euclidienne classique et dans ce cas la distance (ici entre deux individus) est : d (x i, x j ) = (x k i x k j ). 1 k p Si ce choix est adapté lorsque toutes les variables ont même unité, il peut être préjudiciable dans notre cas, puisque chaque variable se définit par rapport à sont unité propre (un homme pouvant être défini par son âge, son salaire et bien sur la grosseur de sa voiture). Utiliser une métrique euclidienne revient alors à mélanger les torchons et les serviettes. Il est donc indispensable de trouver une métrique qui permette de comparer des individus décrits par des variables hétérogènes. Pour éviter cet écueil, nos données (supposées centrées) sont réduites. C est à dire que chaque variable (les x j ) est divisée par son écart-type. Ceci a pour but qu une fois réduites, l écart-type de chaque variable est égal à 1. Le principal avantage de cette métrique est que la distance entre individus ne dépend plus des unités choisies puisque les nombres xj s j sont sans unités. De plus, elle accorde la même importance à chaque caractère quelque soit sa dispersion. Ne pas l utiliser revient à accorder plus d importance aux caractères de forte dispersion qu à ceux de faible dispersion. Les écarts-types des différentes variables de la table 3.1 sont représentés dans le tableau ci-après : LIV ELB POA ACT PIE TER Remarque 5 Lorsque des données sont centrées et réduites, les matrices V et R sont identiques. Dans tout ce qui suivra, on supposera nos données centrées et réduites. 3.4 Recherche de sous-espaces optimaux L idée de l ACP (aussi appelée transformée de Karhunen-Loeve ou de Hotelling) est de trouver une projection des variables de manière à réduire la redondance de l information, c est à dire en annulant la corrélation entre les composantes. 0

21 Soit R x, la matrice de corrélation des données de l ensemble X. On cherche une transformation linéaire des données c i = E x i où les x i sont centrés et réduits telle que R c, la matrice de corrélation des données transformées C soit diagonale : R c = λ 1 O λ p = E R x t E. Les données ainsi transformées sont centrées. Justifier la dernière ligne du calcul. 1 x i x i 1 c c i i 1 u u x i Figure 3.1 facteurs principaux, composantes principales Sachant que R x, comme toute matrice de covariance, est symétrique et semi-définie positive (ie ses valeurs propres (u 1,, u p ) sont positives ou nulles). Et sachant que les vecteurs propres d une matrice symétrique semi-définie positive forment une base orthonormée, on démontre que la matrice de projection E est constituée des vecteurs propres de R x rangés par ordre décroissant de ses valeurs propres λ 1 λ... λ p. Remarque 6 Puisque E est orthonormale, alors t E = E 1, et la transformation est inversible : x i = t E c i. On appelle i e axe principal, la droite engendrée par le vecteur propre u i. Les u i sont les facteur principaux Pour l axe principal k (1 k p), on note p(x i ) la projection de x i sur cet axe (égal à la i e ligne du vecteur colonne X u k ), alors i p(x i) = λ k. En d autres mots, les valeurs propres représentent les variances des données projetées (puisque les données C sont centrées). 3.5 Inertie On appelle inertie du nuage la moyenne des carrées des distances des points du nuage à son centre de gravité g. Les données étant centrée, l inertie I du nuage est alors : I = x i = λ k. 1 i n k L inertie est un paramètre de dispersion du nuage, puisqu elle mesure l éloignement relatif des points par rapport à son centre de gravité. C est une variance non normée (on ne divise pas par le nombre de points). L inertie par rapport à un point différent du centre de gravité est donc toujours supérieure à l inertie du nuage. De plus, on a que l inertie totale du nuage est égale à la somme des inerties des axes principaux (cf. 1

22 i p(x i) = λ k ), ie l inertie associée à l axe principal j est égale à λ j. De plus, comme la somme des valeurs propres d une matrice est égale à sa trace, on a également que I = trace(v ). Nos données étant réduites, les éléments diagonaux de V sont tous égaux à 1 et donc trace(v ) = p. Chaque axe principal explique donc une part d inertie étant égale à son inertie divisée par l inertie totale : λ i p. La part d inertie expliquée par le plan formé par les facteurs ui et u j est égale à l inertie des projetés sur ce plan divisé par l inertie totale. Les u i formant une base orthogonale de R p, cette inertie expliquée vaut : λ i+λ j p. 3.6 Description du nuage des individus On rappelle que les facteurs principaux u 1, u,..., u p sont les vecteurs propres de la matrice V associés aux valeurs propres λ 1 λ λ p. Comme les u i forment une base orthonormée de R p, ils tiennent lieu de nouveaux axes. Pour cette nouvelle base, les coordonnées des individus sont alors égales aux projections d iceux sur les axes principaux. La projection des points sur l axe principal j étant égal au vecteur colonne Xu j (la projection du ième points sur l axe principal j est égal à la ième coordonnée de Xu j ). On appelle alors composantes principales les vecteurs colonnes c j = Xu j pour tout 1 j p (cf. figure 3.1). La qualité de la représentation de X sur ces axes pourra alors être étudié du point de vue local ou global. Le point de vue global : on évalue la qualité de l approximation du nuage par un plan ou un axe. Cette qualité sera d autant meilleure que l inertie de ce sous-espace est forte (ce qui signifie que les points seront globalement proche de leurs projetés). L inertie totale du nuage valant trace(v ) = p, on introduit les parts d inertie expliquée : par l axe u j qui vaut λj p, par le plan formé par les facteurs u i et u j et qui vaut λi+λj p,. En ne retenant qu un nombre q < p de vecteurs propres (ie on met à 0 les vecteurs propres et donc les valeurs propres comprises entre q + 1 et p), on projette sur un sous-espace, et on réalise ainsi de la réduction de dimensions. Les dimensions retenues sont celles qui maximisent la dispersion des données (puisque ce sont celles qui ont le plus grandes valeurs propres) : x 1 i c q i On montre que l erreur de reconstruction entre x i et ˆx i s écrit x p i c 1 i p x j i ˆxj i = j=1 p j=q+1 Pour expliquer la part relative de l erreur on divise le résultat précédent par p (ie l inertie totale). ˆx 1 i ˆx p i λ j. (3.1) Le point de vue local : plus le point x i est proche du sous-espace H (le plus souvent un axe ou un plan) sur lequel on le projette, plus pertinente est sa représentation. On a donc coutume de mesurer cette proximité par le cosinus de l angle de x i et de H : cos projection de xi sur H θ = (cette formule peut x i

23 être aisément expliquée par la figure 3. et le fait que le cosinus d un angle dans un triangle rectangle est égal au côté adjacent de l angle divisé par l hypoténuse). Le cosinus carré de l angle entre x i et le facteur u j est donc égal à cos θ = cj i x i et le cosinus carré de l angle entre x i et le plan u j u k est égal à cos θ = cj i + c k i x i. x i g q c j c j i Figure 3. Angle de projection. Cercle de corrélation : On peut décrire les composantes principales (les nouvelles variables) par les corrélations qu elles entretiennent avec les anciennes variables. La corrélation entre une composante principale c j et une variable initiale x k est égale à r(x k, c j ) = cov(xk, c j ) s(c j )s(x k ). Après quelques calculs, on obtient r(c j, x k ) = λ j (u j ) k où (u j ) k est la kème composante du vecteur u j. Comme on a toujours r (x j, c k ) + r (x j, c k ) 1. Pour s en convaincre, remarquez que c k et c k sont orthogonaux, et donc une corrélation linéaire de 1 avec un axe entraîne une corrélation linéaire de 0 avec l autre. De façon plus formelle, le résultat vient du fait que r(x j, c k ) est le cosinus entre les axes définis par x j et x k ) en projetant les x j sur le plan principal (c 1, c ) (ou plus généralement sur le plan (c k, c k )), on obtient des points à l intérieur d un cercle de rayon 1 (cf. figure 3.3). c j r(x,c ) x j j r(x,c 1 ) c 1 Figure 3.3 Cercle des corrélations Ce cercle permet de voir d un seul coup d oeil les corrélations linéaires de toutes les variables initiales avec deux composantes principales particulières. 3

24 Chapitre 4 Décision bayésienne 4.1 Introduction et motivations Considérons deux phénomènes «mesurés» par deux réels x et y. Lorsqu on cherche à étudier des liens entre les deux phénomènes il existe, en dehors de la théorie des probabilités, deux possibilités : soit un lien déterministe y = f(x), soit aucun lien. Le calcul des probabilités permet d introduire une infinité de «liens intermédiaires» : les deux phénomènes peuvent être plus au moins liés. Lorsqu on «observe» x, on dispose sur y d une certaine information, sans pour autant pouvoir le calculer explicitement. Cette information est modélisée par une «mesure de probabilité» notée P Y x : pour tout A R, P Y x [A] est un nombre dans [0, 1] donnant la «probabilité» pour que y soit dans A. y est ainsi considéré comme réalisation d une variable aléatoire Y et P Y x est la loi de Y conditionnelle à x. Si on veut faire des raisonnements généraux, valables pour tout x, on est amené à le considérer également comme une réalisation d une variable aléatoire X dont le comportement est décrit par la loi de probabilité P X. On arrive ainsi à la loi de probabilité du couple (X, Y ), donnée par P X et la famille { P Y x }, x R, modélisant les «liens stochastiques» entre les deux phénomènes. D une façon générale X contient l information que l on recherche mais n est pas directement observable (on dit généralement qu elle est «cachée»). On observe, ou mesure, Y = y et on cherche à retrouver, ou à «estimer», la réalisation cachée x. Considérons, à titre d exemple, le problème suivant : on cherche à savoir, à partir d une image satellite, si un certain pixel de l image représente de la forêt ou de l eau. X prend ainsi ses valeurs dans un ensemble de deux éléments Ω = {ω 1 = "eau", ω = "forêt"} et l observation Y = y est donnée par un nombre représentant un niveau de gris. La loi de X, appelée «a priori», est donc une probabilité sur Ω et modélise, de façon générale, la connaissance que l on a sur le phénomène modélisé par X «a priori», i.e. sans aucune mesure. Si on sait, dans notre exemple, que l image a été prise dans une région où il y a trois fois plus d eau que de forêt, on posera P X (ω 1 ) = 0.75 et P X (ω ) = 0.5. Les deux lois conditionnelles P Y ω1 et P Y ω modélisent plusieurs phénomènes différents. Les classes «eau» et «forêt» ne produisent pas une mesure unique (présence de vagues, «variabilité naturelle» de la forêt... ), d où une variation stochastique de la mesure Y = y. À cette variation peuvent s ajouter divers «bruits», dus à la transmission, l acquisition... L étape suivante, après la définition de la loi du couple P X,Y modélisant les interactions stochastiques entre les «mesures» décrivant les phénomènes, est la définition d une règle de calcul de la réalisation cachée X = x à partir de la réalisation observée Y = y. Une fois retenue, la règle, ou «stratégie», y = s(x) est déterministe. Mais, contrairement au cas de lien déterministe entre y et x, on dispose généralement de plusieurs choix possibles. Le choix est opéré à partir d un «critère de qualité», ce dernier étant fonction des résultats que l on attend de s. Si on reprend l exemple ci-dessus on peut considérer comme critère de 4

25 qualité la «probabilité de se tromper» qui peut, pour s donnée, être calculée à partir de P X,Y. La stratégie s qui optimise ce critère est la stratégie bayésienne avec la fonction de perte «0 1». Si pour une raison quelconque on considère que les deux types d erreurs «décider qu il y a de l eau alors qu il y a de la forêt» et «décider qu il y a de la forêt alors qu il y a de l eau» ne sont pas de gravité égale, on modifie la fonction de perte et on arrive à une stratégie s différente de la précédente. Dans la pratique le calcul explicite optimisant un critère donné est parfois impossible, on est alors amené à rechercher une stratégie s «sous-optimale». Finalement, lorsque P X,Y est donnée, on choisit un critère correspondant à la nature du problème que l on veut résoudre et on cherche s optimisant ce critère. En fait, P X,Y est rarement connue avec précision dans la pratique et on doit, dans une phase préalable d «estimation», rechercher des paramètres dont la connaissance est suffisante pour la détermination de s. Lorsqu on n a aucune connaissance sur P X,Y, on est amené à faire de l estimation «non paramétrique». Mais le cas le plus fréquent est celui où on a une idée sur la forme générale de P X,Y et on considère qu elle fait partie d une famille P X,Y,θ, θ Θ. On cherche alors à estimer θ. En reprenant notre exemple, supposons que les lois de Y conditionnelles à ω 1 et ω sont gaussiennes, notons f 1 et f les densités correspondantes. Nous sommes dans le cas «paramétrique», θ a six composantes : les lois «a priori» : π(k) = P X=ωk, k Ω ; les moyennes et écarts-type définissant f 1 et f : θ k = {µ k, σ k }, k Ω. Dans les cas «paramétrique» et «non paramétrique», on distingue deux sous-cas : 1. estimation avec «échantillon d apprentissage» (supervisée) et. estimation «sans échantillon d apprentissage» (non supervisée). Le premier est celui où on dispose d un échantillon x 1, x,..., x M de réalisations de X. Les réalisations de Y étant toujours observables, on estime alors les paramètres nécessaires à la détermination de s à partir de (x 1, y 1),..., (x N, y N ). Dans notre exemple simple le cas «avec échantillon d apprentissage» est celui où on dispose dans l image de M endroits où la nature du terrain ("eau" ou "forêt") est connue. Notons x = {x 1,..., x M } l échantillon «observé», x 1 = {x 1,..., x P } et x = {x 1,..., x Q } les sous-échantillons "eau" et "forêt" (P + Q = M). Les lois a priori π(1) et π() peuvent être estimées par les fréquences P M et Q M, et les paramètres θ k, k Ω des gaussiennes par les moyennes et écarts-type empiriques calculés à partir des deux sous-échantillons x 1 et x. Le deuxième est celui où les paramètres nécessaires à la détermination de s doivent être estimés à partir de l échantillon y de Y, dont la loi est un mélange de lois gaussiennes : on arrive au problème statistique général de reconnaissance de mélange. Le cas le plus général, mais aussi le plus difficile à traiter, est celui de l estimation non paramétrique sans échantillon d apprentissage. Finalement la démarche générale, que l on retrouve dans le traitement de nombreux problèmes (en traitement de signal, économie, médecine,... ) est la suivante : on définit la forme générale de P X,Y ; on définit un critère de qualité de l «estimation» de X = x (caché) à partir de Y = y (observé). on recherche une «stratégie» s optimisant le critère choisi. on estime les paramètres nécessaires à la mise en œuvre de s. La démarche générale présentée ci-dessus conduit à plusieurs modélisations stochastiques qui différent selon les hypothèses de dépendance que l on considère pour modéliser les liens stochastiques entre les données observées et les données cachées. Le cours commence par introduire le principe de la stratégie bayésienne de la décision (chapitre 1). Puis, nous continuons en posant le problème de l estimation d un mélange fini dans le cas aveugle, c est-à-dire celui où les échantillons sont supposés indépendants les uns des autres (variables i.i.d.). Nous détaillons l algorithme itératif EM (Expectation-Maximization) et les formules de ré-estimation dans le cas gaussien (chapitre ). 5

26 4. Position du problème Selon le schéma général, on observe une réalisation d une variable aléatoire Y (une valeur y de R) et on souhaite «estimer» la valeur cachée k du paramètre. L ensemble des paramètres Ω sera supposé fini, Ω = {1,..., K}, ses éléments appelés «classes» et tout estimateur «stratégie de classification» 1. Supposons maintenant que nous nous trouvons devant un problème de classification des données et que nous connaissons la fréquence d apparition des classes. Par exemple, on classe les individus en classe «homme» et «femme», uniquement à partir de leur poids. On sait a priori (ce qui signifie ici «avant l observation») que la population que nous devons classer contient deux tiers d hommes et un tiers de femmes. Une telle connaissance a priori peut être modélisée par une probabilité (dite a priori) sur Ω. Cette probabilité peut alors être considérée comme la loi d une variable aléatoire X et les p (. X = k ) apparaissent comme les lois de Y conditionnelles à X. Finalement, la loi a priori p (X = k) = p (k) = π(k) sur Ω et les lois conditionnelles p (Y = y X = k ) = f k (y) sur R définissent une probabilité p (Y = y, X = k) = π(k) f k (y) sur R Ω, dite loi du couple ou loi conjointe. La loi p (Y = y) est appelée densité mélange ou, plus simplement, mélange K K p (Y = y) = p (Y = y, X = k) = π(k) f k (y). (4.1) La probabilité conditionnelle p (X = k Y = y ) sur Ω, dite loi a posteriori s écrit k=1 p (X = k Y = y ) = p (Y = y, X = k) p (Y = y) k=1 = π(k) f k (y). (4.) K π(i) f i (y) i=1 Intuitivement, la différence entre la probabilité a priori p (X = k) et la probabilité a posteriori p (X = k Y = y ) sur Ω illustre l apport de l information (sur l identité de la classe non observable) contenue dans l observation (a priori signifie «avant» l observation, et a posteriori signifie «après» l observation). On retrouve le fait que si les variables sont indépendantes, l observation de l une d entre elles n apporte aucune connaissance sur le comportement de l autre et donc ces deux probabilités sont égales. 4.3 Stratégie bayésienne Considérons une probabilité sur Ω R qui est une loi d un couple de variables aléatoires (X, Y ). Ainsi (x, y) Ω R étant une réalisation de (X, Y ), le problème de la classification devient celui de l estimation de la réalisation inobservable de la variable X à partir de la variable observable Y. Considérons une stratégie de classification ŝ : R Ω. Pour chaque réalisation (x, y) = (X, Y ), ŝ peut donner la bonne réponse, i.e. ŝ(y) = x, ou se tromper, i.e. ŝ(y) x. Supposons que les différentes erreurs ne sont pas de gravité équivalente. On le modélise en définissant une application L : Ω Ω R + dite fonction de perte : { 0 si i = j, L(i, j) = (4.3) sinon. λ i,j Le nombre réel λ i,j modélise la gravité de l erreur «on a choisi la classe i alors que la vraie classe est j». Insistons sur le fait que la «perte» modélisée par L ne fait pas partie de la modélisation probabiliste 1. Par abus de notation, et lorsque cela ne peut engendrer de confusion, nous écrirons p (x) à la place de p (X = x), x Ω et p (y) à la place de p (Y dy), y R.. par rapport à la mesure δ ν, où δ est la mesure de comptage et ν la mesure de Lebesgue sur R. 6

27 considérée. Par ailleurs, à une erreur donnée, deux utilisateurs peuvent avoir des intérêts différents, et donc les pertes qu ils associent à une même erreur peuvent être différentes. À stratégie ŝ et fonction de perte L données, comment mesurer la qualité de ŝ? Supposons que l on a N observations indépendantes y = {y 1,..., y N }, chacune correspondant à une classe inconnue, à classer. En notant x = {x 1,..., x N } les classes correspondantes, la perte globale est L (ŝ(y 1 ), x 1 ) L (ŝ(y N ), x N ). On cherche à minimiser cette perte globale, ce qui revient à minimiser son quotient par N. Par la loi des grands nombres, ce dernier tend vers : L (ŝ(y 1 ), x 1 ) L (ŝ(y N ), x N ) N E [L (ŝ(y ), X)]. N + On constate qu à «long terme», la qualité d une stratégie ŝ est mesurée par E [L (ŝ(y ), X)], qui est appelée «perte moyenne». La stratégie bayésienne ŝ B est celle parmi toutes les stratégies pour laquelle la perte moyenne est minimale : E [L (ŝ B (Y ), X)] = min E [L (ŝ(y ), X)]. (4.4) ŝ La qualité de ŝ B est ainsi appréhendée via la loi des grands nombres et on ne peut rien dire pour une seule observation (ou même un petit nombre). Montrons que la stratégie bayésienne associée à la fonction de perte définie par l équation (4.3) est [ ] K K [ŝ B (y) = k] j Ω, λ k,i p (X = i y ) λ j,i p (X = i y ), soit encore i=1 ŝ B (y) = arg min j Ω i=1 K λ j,i p (X = i y ). (4.5) Démonstration : En appliquant la formule de Fubini 3 à E [L (ŝ(y ), X)], on peut écrire : Nous obtenons 4 : i=1 E [L (ŝ(y ), X)] = E E [L (ŝ(y ), X) Y ]. } {{ } φ(y) φ(y) = K L (ŝ(y), i) p (X = i y ). i=1 L élément ŝ(y) = k, qui minimise φ(y), minimise la quantité K i=1 λ j,i p (X = i y ), ce qui donne (4.5). Notons en effet que ŝ B ainsi déterminée minimise bien E [L (ŝ(y ), X)] car on a E [φ(y )] = φ(y) p (Y = y) dy, et R donc la minimisation de φ en tout point minimise bien l intégrale (car p(y = y) > 0). Remarque 1 : Pour calculer la perte moyenne ξ (qui est minimale pour la stratégie bayésienne) associée à la stratégie ŝ et à la fonction de perte L, on utilise toujours le résultat de la note 3 (en conditionnant par X) et celui de la note 4 : ξ = E [L (ŝ(y ), X)] = φ(y) p (Y = y) dy = R K π(i)f i (y) L (ŝ(y), i) dy. R Nous disposons ainsi de la stratégie qui assure, à long terme, d avoir une perte minimale et, de plus, il est possible de calculer sa valeur (cf. exemple ci-après). 3. Pour deux variables aléatoires réelles U, V et une fonction quelconque Ψ, la formule de Fubini est E [Ψ(U, V )] = E [E [ Ψ(U, V ) U]] = E [E [ Ψ(U, V ) V ]]. 4. En utilisant la version discrète du résultat classique suivant : E [ h(u) V = v] = 7 i=1 R h(u) p (u v ) du.

28 Remarque : Ainsi la stratégie bayésienne dépend des λ i,j que l on choisit de façon subjective. Si on souhaite détecter une classe donnée avec une précision ɛ, on peut calculer les coefficients λ i,j de façon à ce que la stratégie bayésienne correspondante vérifie cette condition. Ce type de possibilités montre la puissance de la modélisation en question. Exemple : Soit Ω = {1,..., K} et la fonction de perte L 0 1 définie par : L 0 1 (i, j) = { 0 si i = j 1 sinon (4.6) L 0 1 (ŝ(y), k) désigne alors la valeur, au point (k, y), de la fonction indicatrice du sous-ensemble de Ω R sur lequel ŝ se trompe et donc E [L 0 1 (ŝ(y ), X)] représente la probabilité pour que ŝ se trompe. Ainsi dans ce cas la stratégie bayésienne ŝ B définie par ŝ B (y) = i si j Ω\ {i}, p (X = i y ) p (X = j y ), (4.7) qui est un cas particulier de (4.5), est celle pour laquelle la probabilité de se tromper est minimale 5. Sachant qu en vertu de la loi des grands nombres la probabilité d un événement peut être vue comme la fréquence de son apparition lorsque le phénomène se reproduit un grand nombre de fois de façon indépendante, la stratégie définie ci-dessus est celle qui produira, lorsqu on l utilisera dans un grand nombre de cas indépendants, la plus petite proportion d erreurs. Ainsi ŝ B (y) consiste, dans ce cas, à associer à chaque y R l élément de Ω dont la probabilité a posteriori, i.e. conditionnelle à Y = y, est maximale. Cette règle de décision est aussi appelée celle du «maximum de vraisemblance a posteriori». Notons que les probabilités a posteriori de (4.7) peuvent être remplacées par les «fonctions discriminantes» π(i)f i (y), et la stratégie ŝ B (y) s écrire ŝ B (y) = i si j Ω\ {i}, π(i)f i (y) π(j)f j (y) (4.8) Cette dernière écriture est intéressante pour son interprétation graphique (cf. question 1 de la section 4.4). La perte minimale définie dans la remarque précédente s écrit dans le cas de la fonction de perte L 0 1 ξ = Ce résultat sera interprété dans la question de la section 4.4. R min π(i)f i (y) dy. (4.9) i Ω Remarque 3 : Les notions présentées dans le cadre très simple où (X, Y ) est à valeurs dans Ω R, avec Ω fini, sont très générales et restent valables dans le cas où X et Y sont des processus stochastiques complexes. De façon générale, il s agit alors d estimer tout - ou une partie - des variables composant X à partir de toutes -où une partie - des variables composant Y. Le même problème peut alors, pour des raisons généralement historiques, prendre diverses appellations comme «filtrage», «prédiction», «classification», «estimation»,... Remarque 4 : Pour faciliter la lecture, nous avons pour l instant considéré le cas scalaire, c est-à-dire y R (D = 1). Les résultats énoncés s étendent sans difficulté au cas vectoriel où les observations sont vectorielles, c est-à-dire y R D (D > 1). 5. On le démontre en exprimant l eq. (4.5) dans ce cas particulier. Dans le cas de deux classe (K = ), nous sélectionnons la classe 1 si λ 1,1 p (X = 1 y ) + λ 1, p (X = y ) = p (X = y ) est plus petit que λ,1 p (X = 1 y ) + λ, p (X = y ) = p (X = 1 y ), d où le résultat. 8

29 Figure 4.1 Dessin de deux densités gaussiennes de paramètres θ 1 = {100, 6} et θ = {110, 3}. 4.4 Exemple : cas gaussien L expression d un d.d.p. gaussienne θ k = {µ k, σ k } est donnée par : [ 1 f k (y) = exp 1 ( ) ] y µk. (4.10) σ k π σ k À titre d exemple, la figure 4.1 montre deux gaussiennes qui serviront pour les exercices suivants. Questions 1. Considérons le cas de deux gaussiennes de paramètres θ 1 = {0, σ} et θ = {a, σ/} (a réel) et de proportions π(1) = 1/3 et π() = /3. Calculer de manière analytique les seuils de décision bayésienne, c est-à-dire les Υ valeurs {τ 1,..., τ Υ } qui séparent les deux classes sur R. Calculer les valeurs numériques pour les lois dont les valeurs des paramètres sont données dans la figure 4.1. Réponse. [ 1 3 σ π exp 1 ( ) ] y σ [ ( ) ] exp 1 (y a) ( ) y σ σ = = 4 [ 4 3 σ π exp 1 ( ) ] y a σ 3y 8ay + 4a = 4σ ln 3y 8ay + 4a 4σ ln = 0. Le discriminant = 64a 1 (4a 4σ ln ) = 16 ( a + 3σ ln ) est toujours positif et les racines réelles (c est à dire les seuils de décision) sont données par τ 1 = 8a+ 6 et τ = 8a 6. En utilisant les valeurs numériques de la figure 4.1, nous obtenons τ 1 = et τ = 1.1, ce que l on peut vérifier sur le graphe (b) de la figure 4.. Ainsi, les valeurs de y comprises dans ]τ 1; τ [ sont associées à la classe, alors que les valeurs en dehors de cet intervalle sont associées à la classe 1. Nous avons autant de chance de commettre une erreur ou de ne pas en commettre en décidant, au niveau des seuils (y = τ 1 et y = τ ), de classer la donnée dans l une ou l autre classe. La graphe (a) de la figure 4. représente le mélange des deux classes, cf. eq. (4.1). La courbe cyan du graphe (b) représente, en chaque valeur y, la plus forte valeur π(k)f k (y) pour k Ω, alors que la courbe magenta représente le minimum. Questions. Dans le cas de la fonction de perte L 0 1 définie par l éq. (4.6), calculer de manière analytique 9

30 (a) (b) Figure 4. (a) Mélange des deux lois gaussiennes de la figure 4.1 dans des proportions données par π(1) = 1/3 et π() = /3. (b) En couleur cyan (resp. magenta) apparaît la courbe de «π(k) f k (.)» maximum (resp. minimum). la perte moyenne ξ, cf. eq. (4.9), en utilisant les paramètres de la question 1. Calculer les valeurs numériques pour les valeurs des paramètres données dans la figure 4.1. Réponse. La courbe magenta modélise la probabilité de se tromper et la courbe la cyan la probabilité de ne pas commettre d erreur. La perte moyenne est donc représentée par la surface sous la courbe magenta, et est calculée en intégrant cette fonction. Calcul : ξ = τ1 π()f (y) dy + } {{ } A Nous obtenons pour le terme A : A = = 4 3 σ π 3σ τ τ 1 π(1)f 1 (y) dy + } {{ } B τ1 exp τ1 π + τ π()f (y) dy. } {{ } C [ 1 ( y a ) ] dy σ [ ( ) ] (y a) exp dy. σ En posant z = σ (y a) (ainsi dz = σ dy), nous avons A = 1 3 τ1 a σ π exp [ z ] dz. En notant erf(x) = x exp [ z ] dz avec lim x erf(x) = 1, nous avons π 0 A = 1 3 ( 1 + erf ( σ (τ1 a) )). Par un calcul similaire, nous obtenons pour B et C : ( ( τ B = 1 erf 6 σ erf σ ( ( C = 1 )) 1 erf 3 σ (τ a). ) ( τ1 )), 30

31 (a) (b) (c) (d) Figure 4.3 Décision bayésienne sur une image bruitée avec paramètres connus. (a) image originale (π() 0.33 et π(1) 0.67). (b) image bruitée avec les paramètres donnés dans le texte et (c) son histogramme normalisé, à rapprocher du mélange des deux lois gaussiennes de la figure 4.(a). (d) image classée obtenue par décision bayésienne. En utilisant les valeurs numériques, nous obtenons A = 0.03, B = et C = , ce qui donne finalement une perte moyenne de ξ = Pour illustrer ce résultat, nous avons conduit l expérience suivante, cf. figure 4.3. Nous avons ajouté un bruit gaussien à chacune des classes de l image de cible (a) dont la classe noire représente environ /3 des pixels de l image, et la classe blanche 1/3. Nous avons procédé de la manière suivante. Nous avons bruité chacun des pixels noirs avec la loi gaussienne f de paramètres {110, 3}. Les pixels de la classe blanche ont quand à eux été bruités avec la loi f 1 de paramètres {100, 6}. L image bruitée et son histogramme sont présentés dans les figures (b) et (c). Nous avons alors appliqué la décision bayésienne avec l ensemble des paramètres de la simulation, et obtenu l image classée (d). L erreur de classification obtenue en comptant le nombre de pixels différents entre (a) et (d) s élève à 9.76%. Ce résultat est une bonne approximation du calcul théorique (rappel : ξ = 0.098), ce qui est conforme au principe de la loi des grands nombres car l image a pour dimensions = pixels. Il est remarquable de constater que le pourcentage d erreur dans la classe noire est de α 1 = 3.41% (ce qui correspond bien à une erreur de.30% par rapport au total des pixels, à rapprocher de A + C), alors que celui dans la classe blanche est de α =.77% (ce qui correspond bien à une erreur de 7.46% par rapport au total des pixels, à rapprocher de B). Ainsi les erreurs commises entres les deux classes ne sont pas les mêmes : une classe est bien plus erronée que la seconde. 31