Méthodes de la Recherche Opérationnelle pour l analyse de données

Transcription

1 Méthodes de la Recherche Opérationnelle pour l analyse de données Julien Darlay G-SCOP 27 janvier 2011 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

2 Plan Analyse de données Définitions Liens avec l optimisation Principale différence Analyse Combinatoire de Données Définitions et concepts Schéma d apprentissage Modèles d optimisation Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

3 Analyse de données Extraire à partir d un large volume de données, des connaissances originales par des méthodes semi-automatiques. Applications : Identifier des pathologies (sarcoidose, connectivite...) Prédire le temps avant la prochaine panne Partitionner des observations en groupes homogènes Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

4 Analyse de données Un problème d optimisation Données : Un ensemble d observations Ω Des attributs décrivant l observation X X Une valeur à prédire c(x ) C Id class dyspnea surgery pain antec. age 1 neg neg neg neg pos pos pos pos pos Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

5 Analyse de données Un problème d optimisation Objectif : Trouver une fonction h : X C Parmi un ensemble d hypothèses H Minimisant une fonction d erreur l(h, X ) min l(h, X )dx h H X X Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

6 Analyse de données Exemple X = (x 1, x 2 ) C = {+, x} H = {x 1 + ax 2 + b = 0} Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

7 Analyse de données Exemple X = (x 1, x 2 ) C = {+, x} H = {x 1 + ax 2 + b = 0} h(x ) γ si c(x ) = x h(y ) γ si c(y ) = + Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

8 Analyse de données Exemple X = (x 1, x 2 ) C = {+, x} H = {x 1 + ax 2 + b = 0} h(x ) + e X γ si c(x ) = x h(y ) e Y γ si c(y ) = + e 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

9 Analyse de données Exemple X = (x 1, x 2 ) C = {+, x} H = {x 1 + ax 2 + b = 0} min a,b,e i Ω e i s.c. h(x ) + e X γ 0 si c(x ) = x h(y ) e Y + γ 0 si c(y ) = + e 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

10 Analyse de données Surapprentissage Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

11 Analyse de données Surapprentissage 2 solutions : Utiliser des bornes théoriques [Vapnik, 95] Utiliser des données externes Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

12 Analyse de données Surapprentissage Utiliser des données externes Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

13 Analyse de données Surapprentissage Utiliser des données externes Collecter de nouvelles données Couteux Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

14 Analyse de données Surapprentissage Utiliser des données externes Collecter de nouvelles données Couteux N utiliser qu une partie de la base Dépend de la partition Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

15 Analyse de données Surapprentissage Utiliser des données externes Collecter de nouvelles données Couteux N utiliser qu une partie de la base Dépend de la partition Utiliser la validation croisée Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

16 Analyse de données Quelques méthodes classiques Support Vector Machine Réseaux de neurones Probabilité bayesienne Arbre de décision Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

17 Analyse de données Quelques méthodes classiques Support Vector Machine Réseaux de neurones Probabilité bayesienne Arbre de décision Analyse combinatoire de données Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

18 Analyse Combinatoire de Données Logical Analysis of Data [Crama, Hammer, Ibaraki, 88] Repose sur des techniques d optimisation combinatoire Extension de fonctions booléennes partiellement définies Cadre d apprentissage particulier C = {0, 1} X {0, 1} m H : fonctions booléennes Hypothèses facilement interprétables Qualité prouvée sur de nombreuses applications Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

19 Analyse Combinatoire de Données Les différentes étapes 1 Binarisation des attributs 2 Sélection d un support 3 Génération de motifs 4 Construction d un modèle Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

20 Analyse Combinatoire de Données Binarisation Transformer les attributs en attributs binaires Binaires (Homme, Femme) = Homme Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

21 Analyse Combinatoire de Données Binarisation Transformer les attributs en attributs binaires Binaires (Homme, Femme) = Homme Catégories (Rouge, Vert, Bleu) = Rouge, = Vert, = Bleu Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

22 Analyse Combinatoire de Données Binarisation Transformer les attributs en attributs binaires Binaires (Homme, Femme) = Homme Catégories (Rouge, Vert, Bleu) = Rouge, = Vert, = Bleu Ordonnés (Faible, Moyen, Fort) Moyen, Fort Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

23 Analyse Combinatoire de Données Binarisation Transformer les attributs en attributs binaires Binaires (Homme, Femme) = Homme Catégories (Rouge, Vert, Bleu) = Rouge, = Vert, = Bleu Ordonnés (Faible, Moyen, Fort) Moyen, Fort Numériques (1, 2.5, 15, 20) < 1.75, < 8.75, < 17.5 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

24 Analyse Combinatoire de Données Binarisation Transformer les attributs en attributs binaires Binaires (Homme, Femme) = Homme Catégories (Rouge, Vert, Bleu) = Rouge, = Vert, = Bleu Ordonnés (Faible, Moyen, Fort) Moyen, Fort Numériques (1, 2.5, 15, 20) < 1.75, < 8.75, < 17.5 Génération d un grand nombre d attributs binaires Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

25 Analyse Combinatoire de Données Sélection d un support Objectif Trouver un sous ensemble minimal d attributs Séparant les observations de classes différentes Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

26 Analyse Combinatoire de Données Sélection d un support Objectif Trouver un sous ensemble minimal d attributs Séparant les observations de classes différentes Modélisation en problème de set-cover [Hammer et al., 88] min z i z i s.c. i 1 (X i Y i )z i 1 X Ω +, Y Ω z {0, 1} m Résolution en PLNE, ou par approche gloutonne Id class dyspnea surgery pain antec. age > 65 1 neg neg pos pos Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

27 Analyse Combinatoire de Données Sélection d un support Objectif Trouver un sous ensemble minimal d attributs Séparant les observations de classes différentes Modélisation en problème de set-cover [Hammer et al., 88] min z i z i s.c. i 1 (X i Y i )z i 1 X Ω +, Y Ω z {0, 1} m Résolution en PLNE, ou par approche gloutonne Id class dyspnea surgery pain antec. age > 65 1 neg neg pos pos Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

28 Analyse Combinatoire de Données Motifs Un motif est une conjonction de conditions sur les attributs dyspnea = 1 & pain = 1 Associé à une classe pos class dysp. pain neg 0 0 neg 0 0 neg 1 0 neg 1 1 pos 1 1 pos 1 1 pos 1 1 pos 0 1 pos 1 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

29 Analyse Combinatoire de Données Motifs Un motif est une conjonction de conditions sur les attributs dyspnea = 1 & pain = 1 Associé à une classe pos Couverture observations vérifiant le motif class dysp. pain neg 0 0 neg 0 0 neg 1 0 neg 1 1 pos 1 1 pos 1 1 pos 1 1 pos 0 1 pos 1 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

30 Analyse Combinatoire de Données Motifs Un motif est une conjonction de conditions sur les attributs dyspnea = 1 & pain = 1 Associé à une classe pos Couverture observations vérifiant le motif Homogénéité proportion d obs. de la bonne classe dans la couverture h = 3 4 class dysp. pain neg 0 0 neg 0 0 neg 1 0 neg 1 1 pos 1 1 pos 1 1 pos 1 1 pos 0 1 pos 1 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

31 Analyse Combinatoire de Données Motifs Un motif est une conjonction de conditions sur les attributs dyspnea = 1 & pain = 1 Associé à une classe pos Couverture observations vérifiant le motif Homogénéité proportion d obs. de la bonne classe dans la couverture h = 3 4 Prévalence proportion d obs. de la bonne classe couvertes p = 3 5 class dysp. pain neg 0 0 neg 0 0 neg 1 0 neg 1 1 pos 1 1 pos 1 1 pos 1 1 pos 0 1 pos 1 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

32 Analyse Combinatoire de Données Motifs Un motif est une conjonction de conditions sur les attributs dyspnea = 1 & pain = 1 Associé à une classe pos Couverture observations vérifiant le motif Homogénéité proportion d obs. de la bonne classe dans la couverture h = 3 4 Prévalence proportion d obs. de la bonne classe couvertes p = 3 5 Degré nombre de conditions dans le motif d = 2 class dysp. pain neg 0 0 neg 0 0 neg 1 0 neg 1 1 pos 1 1 pos 1 1 pos 1 1 pos 0 1 pos 1 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

33 Analyse Combinatoire de Données Motifs Un motif est une conjonction de conditions sur les attributs dyspnea = 1 & pain = 1 Associé à une classe pos Couverture observations vérifiant le motif Homogénéité proportion d obs. de la bonne classe dans la couverture h = 3 4 Prévalence proportion d obs. de la bonne classe couvertes p = 3 5 Degré nombre de conditions dans le motif d = 2 Générer des motifs en respectant des conditions sur h, p, d class dysp. pain neg 0 0 neg 0 0 neg 1 0 neg 1 1 pos 1 1 pos 1 1 pos 1 1 pos 0 1 pos 1 0 Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

34 Analyse Combinatoire de Données Génération de motifs Différentes approches classiques Exhaustive, en pratique d 3 Glouton [Boros et al., 00] top-down ou bottom-up PLNE successifs [Ryoo et al., 08] [Boros, D. 10] Algorithme aléatoire avec garantie de qualité Fonctions booléennes duales Réduction de la complexité : une sélection aléatoire des observations Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

35 Analyse Combinatoire de Données Sélection d un modèle Modèle Sous ensemble minimal de motifs Permettant d expliquer toutes les observations Modélisation en problème de set-cover [Hammer et al., 88] min z i z i s.c. i cov(m i, X )z i 1 z {0, 1} M X Ω Résolution en PLNE ou par approche gloutonne Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

36 Analyse Combinatoire de Données Discriminant Traiter une nouvelle observation O = cov(p, O) P M + N M cov(n, O) Attribution de la classe en fonction de > 0 classe Pos < 0 classe Neg Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

37 Analyse Combinatoire de Données Discriminant Traiter une nouvelle observation O = cov(p, O) P M + N M cov(n, O) Attribution de la classe en fonction de > 0 classe Pos < 0 classe Neg Approche par génération de colonnes [Hansen, 09] Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

38 Applications médicales Improved screening for growth hormone deficiency using logical analysis of data [Lemaire et al. 09] Final height and gonad function after total body irradiation during childhood [Couto-Silva et al. 06] High-resolution computed tomography to differentiate chronic diffuse interstitial lung diseases with predominant ground-glass pattern using logical analysis of data [Grivaud Martin S. et al. 10] Logical Analysis of Computed Tomography Data to Differentiate Entities of Idiopathic Interstitial Pneumonias [Brauner et al. 07] Logical analysis of survival data : prognostic survival models by detecting high-degree interactions in right-censored data [Kronek et al. 08] Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

39 Conclusion Analyse de données Un problème d optimisation particulier Utilisant des techniques de RO Source de problèmes en RO et en optimisation combinatoire Analyse combinatoire de données Fonctions booléennes Modèles d optimisation classiques Sorties facilement interprétables Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20

40 Perspectives Application médicale Algorithmes de génération de motifs Utiliser les bornes théoriques sur l erreur [Anthony, 11] Utilisation de l analyse de données en RO Julien Darlay (G-SCOP) Méthodes de RO pour l analyse de données 27 janvier / 20