Les grands challenges (KDDCup, Netflix,...), et la fouille de données complexes. Martine Cadot Université de Nancy 1/LORIA

Transcription

1 Les grands challenges (KDDCup, Netflix,...), et la fouille de données complexes Martine Cadot Université de Nancy 1/LORIA

2 Challenge : définitions A challenge, selon Wikipedia : is a general term referring to things that are imbued with a sense of difficulty and victory. Un défi, selon Linternaute : Sens 1 : Provocation, appel à se mesurer. Sens 2 : Fait de refuser de se soumettre. Ex : Il a agi ainsi par défi envers son père. Synonymes : Competition, Contest Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

3 A Good Grand Challenge Problem for Data Mining [Shapiro et al. 2006] 1) The problem is hard -- very difficult to solve given the current state of the art 2) Involves data mining: data mining plays an important role in solving the problem. 3) Based on a large, publicly available data set 4) There is a specific goal: it is clear when the problem is solved 5) Problem is interesting to researchers and understandable to the public, and preferably stated in one sentence. 6) There is significant public benefit if it is solved. The Netflix Prize satisfies the first 5 of our proposed criteria Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

4 La KDD Cup Challenge annuel de la KDD [L2] Student performance evaluation Customer relationship prediction Breast cancer Consumer recommendations Pulmonary embolisms detection from image data Internet user search query categorization Particle physics; plus protein homology prediction Network mining and usage log analysis BioMed document; plus gene role classification Molecular bioactivity; plus protein locale prediction Online retailer website clickstream analysis Computer network intrusion detection Direct marketing for profit optimization Direct marketing for lift curve optimization Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

5 KDD Cup CRM Customer relationship prediction Les données proviennent d Orange, compagnie française de Telecom Le but du challenge est de prédire la propension des consommateurs à Changer de fournisseur (churn), Acheter de nouveaux produits ou services (appetency), Acheter les MAJ ou compléments qui leurs sont proposés (up-selling). Le défi annoncé est de battre le système développé en interne par Orange Labs. La difficulté vient des données : Très grosse base de données Données hétérogènes et bruitées Distributions de probabilité des données déséquilibrées Plusieurs sous-tâches de difficulté croissante 230 (small set) ou variables (large set) En temps réduit (fast) ou non (slow) Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

6 KDD Cup utilisateurs pour les ensembles train et test 3 var. à prédire Appetency, Churn, Upselling var. prédictives quantitatives et qualitatives (230 small set) Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

7 Les challenges les plus appréciés Données authentiques, ensembles d entraînement et de test créés en même temps Règles du jeu claires, permettant une auto-évaluation efficace Leaderboard disponible constamment sur une partie des données avec MAJ régulière Résultats «par défaut» Liens vers les équipes qui le souhaitent FAQ bien gérée Des problèmes variés Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

8 KDD-Cup 2010 Prédiction de la performance d un élève à des problèmes mathématiques à partir de ses logs d interaction avec des tutoriaux. Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

9 KDD Cup 2004 Protein Homology Problem données simples : 74 variables numériques, dont le numéro de séquence (~150), le numéro de protéine (~1000 par séquence/bloc), et il faut prédire si la protéine est ou non homologue à la séquence. 4 mesures d évaluation, calculées sur chaque bloc: top 1 (% blocs dont le rang 1 est homologue), rang moyen de la dernière homologue du bloc, RMSE et précision moyenne Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

10 ECML/PKDD Challenge 2011 [L3] Vcvg Journées FDC-FGG CNAM juin

11 Une FAQ bien gérée Suffisamment ouverte, permet de glaner des informations utiles, de ne pas trébucher sur les mêmes écueils que les premiers joueurs, Mais pas trop, cf Hutter prize, 50,000 [L1] Warning: The average quality of the posts in the discussion groups and mailing lists is very low. Most participants don't know the underlying scientific concepts and some have not even read the rationale behind the contest. For a cleaned summary consult the frequently asked questions. The competition was also announced or discussed in many blogs. Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

12 L aspect financier : NETFLIX Avant Netflix : le prix du gagnant lui permettait tout juste de couvrir ses frais de déplacement à la conférence. Depuis, les sommes mises en jeu vont bien au delà : Netflix : 1 million $ Heritage Health Prize : 3 millions $ Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

13 The Netflix Prize [L5] We re quite curious, really. To the tune of one million dollars. Netflix is all about connecting people to the movies they love. To help customers find those movies, we ve developed our world-class movie recommendation system: CinematchSM. Its job is to predict whether someone will enjoy a movie based on how much they liked or disliked other movies. We use those predictions to make personal movie recommendations based on each customer s unique tastes. And while Cinematch is doing pretty well, it can always be made better. Serious money demands a serious bar. We suspect the 10% improvement is pretty tough, but we also think there is a good chance it can be achieved. It may take months; it might take years. Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

14 The Netflix Prize Contest begins October 2, 2006 and continues through at least October 2, On September 21, 2009 we awarded the $1M Grand Prize to team BellKor s Pragmatic Chaos. There are currently contestants on teams from 186 different countries. We have received valid submissions from 5169 different teams; 0 submissions in the last 24 hours. Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

15 Journées FDC-FGG CNAM juin

16 Heritage Health Prize [L4] Journées FDC-FGG CNAM juin

17 Les méthodes des gagnants KDD Cup 2010: First Place: National Taiwan University Feature engineering and classifier ensembling for KDD CUP 2010 First Runner Up: Zhang and Su Gradient Boosting Machines with Singular Value Decomposition Second Runner Up: KDD Collaborative Filtering Applied to Educational Data Mining Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

18 Les leçons des challenges de fouille de données Une bonne association de méthodes donne de meilleurs résultats que chaque méthode. Une bonne association d équipes donne de meilleurs résultats que chaque équipe. Il y a certainement un challenge fait pour vous. Et il y a de grandes chances qu il nous convienne aussi. Alors contactez-nous! Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

19 Références bibliographiques Les numéros 2 de SIGKDD explorations de chaque année, en particulier [Shapiro et al. 2006] G-P. Shapiro, C. Djeraba, L. Getoor, R. Grossman, R. Feldman and M. Zaki (2006) What Are The Grand Challenges for Data Mining? KDD-2006 Panel Report. SIGKDD explorations, V.8-2, Liens vers des challenges [L1] 50'000 Prize for Compressing Human Knowledge : [L2] Centre de la KDD Cup : [L3] Tunedit, plateforme de compétitions : (organisation du challenge de ECML/PKDD et de Materials Identification Based on Measurements of Passively Emitted Electromagnetic Radiation ) [L4] Kaggle, plateforme de compétitions : (organisation de Heritage Health Prize et de Mapping Dark Matter ) [L5] Netflix : [L6] MediaEval Benchmarking Initiative for Multimedia Evaluation [L7] Clef : [L8] DEFT : [L9] Pascal : [L10]KDnuggets : Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin

20 Heritage Health Prize [L4] More than 71 million individuals in the United States are admitted to hospitals each year, according to the latest survey from the American Hospital Association. Studies have concluded that in 2006 well over $30 billion was spent on unnecessary hospital admissions. Is there a better way? Can we identify earlier those most at risk and ensure they get the treatment they need? The Heritage Provider Network (HPN) believes that the answer is "yes. To achieve its goal of developing a breakthrough algorithm that uses available patient data to predict and prevent unnecessary hospitalizations, HPN is sponsoring the Heritage Health Prize Competition (the Competition ). HPN believes that incentivized competition is the best way to achieve the radical breakthroughs necessary to begin fixing America s health care system. Martine.Cadot@loria.fr Journées FDC-FGG CNAM juin