Les grands challenges (KDDCup, Netflix,...), et la fouille de données complexes Martine Cadot Université de Nancy 1/LORIA
Challenge : définitions A challenge, selon Wikipedia : is a general term referring to things that are imbued with a sense of difficulty and victory. Un défi, selon Linternaute : Sens 1 : Provocation, appel à se mesurer. Sens 2 : Fait de refuser de se soumettre. Ex : Il a agi ainsi par défi envers son père. Synonymes : Competition, Contest Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 2
A Good Grand Challenge Problem for Data Mining [Shapiro et al. 2006] 1) The problem is hard -- very difficult to solve given the current state of the art 2) Involves data mining: data mining plays an important role in solving the problem. 3) Based on a large, publicly available data set 4) There is a specific goal: it is clear when the problem is solved 5) Problem is interesting to researchers and understandable to the public, and preferably stated in one sentence. 6) There is significant public benefit if it is solved. The Netflix Prize satisfies the first 5 of our proposed criteria Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 3
La KDD Cup Challenge annuel de la KDD [L2] 2010 - Student performance evaluation 2009 - Customer relationship prediction 2008 - Breast cancer 2007 - Consumer recommendations 2006 - Pulmonary embolisms detection from image data 2005 - Internet user search query categorization 2004 - Particle physics; plus protein homology prediction 2003 - Network mining and usage log analysis 2002 - BioMed document; plus gene role classification 2001 - Molecular bioactivity; plus protein locale prediction 2000 - Online retailer website clickstream analysis 1999 - Computer network intrusion detection 1998 - Direct marketing for profit optimization 1997 - Direct marketing for lift curve optimization Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 4
KDD Cup 2009 - CRM Customer relationship prediction Les données proviennent d Orange, compagnie française de Telecom Le but du challenge est de prédire la propension des consommateurs à Changer de fournisseur (churn), Acheter de nouveaux produits ou services (appetency), Acheter les MAJ ou compléments qui leurs sont proposés (up-selling). Le défi annoncé est de battre le système développé en interne par Orange Labs. La difficulté vient des données : Très grosse base de données Données hétérogènes et bruitées Distributions de probabilité des données déséquilibrées Plusieurs sous-tâches de difficulté croissante 230 (small set) ou 15000 variables (large set) En temps réduit (fast) ou non (slow) Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 5
KDD Cup 2009 50 000 utilisateurs pour les ensembles train et test 3 var. à prédire Appetency, Churn, Upselling 15000 var. prédictives quantitatives et qualitatives (230 small set) Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 6
Les challenges les plus appréciés Données authentiques, ensembles d entraînement et de test créés en même temps Règles du jeu claires, permettant une auto-évaluation efficace Leaderboard disponible constamment sur une partie des données avec MAJ régulière Résultats «par défaut» Liens vers les équipes qui le souhaitent FAQ bien gérée Des problèmes variés Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 7
KDD-Cup 2010 Prédiction de la performance d un élève à des problèmes mathématiques à partir de ses logs d interaction avec des tutoriaux. Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 8
KDD Cup 2004 Protein Homology Problem données simples : 74 variables numériques, dont le numéro de séquence (~150), le numéro de protéine (~1000 par séquence/bloc), et il faut prédire si la protéine est ou non homologue à la séquence. 4 mesures d évaluation, calculées sur chaque bloc: top 1 (% blocs dont le rang 1 est homologue), rang moyen de la dernière homologue du bloc, RMSE et précision moyenne Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 9
ECML/PKDD Challenge 2011 [L3] Vcvg Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 10
Une FAQ bien gérée Suffisamment ouverte, permet de glaner des informations utiles, de ne pas trébucher sur les mêmes écueils que les premiers joueurs, Mais pas trop, cf Hutter prize, 50,000 [L1] Warning: The average quality of the posts in the discussion groups and mailing lists is very low. Most participants don't know the underlying scientific concepts and some have not even read the rationale behind the contest. For a cleaned summary consult the frequently asked questions. The competition was also announced or discussed in many blogs. Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 11
L aspect financier : NETFLIX Avant Netflix : le prix du gagnant lui permettait tout juste de couvrir ses frais de déplacement à la conférence. Depuis, les sommes mises en jeu vont bien au delà : Netflix : 1 million $ Heritage Health Prize : 3 millions $ Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 12
The Netflix Prize [L5] We re quite curious, really. To the tune of one million dollars. Netflix is all about connecting people to the movies they love. To help customers find those movies, we ve developed our world-class movie recommendation system: CinematchSM. Its job is to predict whether someone will enjoy a movie based on how much they liked or disliked other movies. We use those predictions to make personal movie recommendations based on each customer s unique tastes. And while Cinematch is doing pretty well, it can always be made better. Serious money demands a serious bar. We suspect the 10% improvement is pretty tough, but we also think there is a good chance it can be achieved. It may take months; it might take years. Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 13
The Netflix Prize Contest begins October 2, 2006 and continues through at least October 2, 2011. On September 21, 2009 we awarded the $1M Grand Prize to team BellKor s Pragmatic Chaos. There are currently 51051 contestants on 41305 teams from 186 different countries. We have received 44014 valid submissions from 5169 different teams; 0 submissions in the last 24 hours. Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 14
Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 15
Heritage Health Prize [L4] Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 16
Les méthodes des gagnants KDD Cup 2010: First Place: National Taiwan University Feature engineering and classifier ensembling for KDD CUP 2010 First Runner Up: Zhang and Su Gradient Boosting Machines with Singular Value Decomposition Second Runner Up: BigChaos @ KDD Collaborative Filtering Applied to Educational Data Mining Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 17
Les leçons des challenges de fouille de données Une bonne association de méthodes donne de meilleurs résultats que chaque méthode. Une bonne association d équipes donne de meilleurs résultats que chaque équipe. Il y a certainement un challenge fait pour vous. Et il y a de grandes chances qu il nous convienne aussi. Alors contactez-nous! Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 18
Références bibliographiques Les numéros 2 de SIGKDD explorations de chaque année, en particulier [Shapiro et al. 2006] G-P. Shapiro, C. Djeraba, L. Getoor, R. Grossman, R. Feldman and M. Zaki (2006) What Are The Grand Challenges for Data Mining? KDD-2006 Panel Report. SIGKDD explorations, V.8-2, 70-77. Liens vers des challenges [L1] 50'000 Prize for Compressing Human Knowledge : http://prize.hutter1.net/ [L2] Centre de la KDD Cup : http://www.sigkdd.org/kddcup/index.php [L3] Tunedit, plateforme de compétitions : http://tunedit.org/challenge/ (organisation du challenge de ECML/PKDD et de Materials Identification Based on Measurements of Passively Emitted Electromagnetic Radiation ) [L4] Kaggle, plateforme de compétitions : http://www.kaggle.com/c/mdm/index (organisation de Heritage Health Prize et de Mapping Dark Matter ) [L5] Netflix : http://www.netflixprize.com/ [L6] MediaEval Benchmarking Initiative for Multimedia Evaluation http://www.multimediaeval.org/ [L7] Clef : http://www.clef-campaign.org/2009/working_notes/clef2009wn-contents.html [L8] DEFT : http://deft2011.limsi.fr/ [L9] Pascal : http://pascallin2.ecs.soton.ac.uk/challenges/ [L10]KDnuggets : http://www.kdnuggets.com/competitions/index.html Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 19
Heritage Health Prize [L4] More than 71 million individuals in the United States are admitted to hospitals each year, according to the latest survey from the American Hospital Association. Studies have concluded that in 2006 well over $30 billion was spent on unnecessary hospital admissions. Is there a better way? Can we identify earlier those most at risk and ensure they get the treatment they need? The Heritage Provider Network (HPN) believes that the answer is "yes. To achieve its goal of developing a breakthrough algorithm that uses available patient data to predict and prevent unnecessary hospitalizations, HPN is sponsoring the Heritage Health Prize Competition (the Competition ). HPN believes that incentivized competition is the best way to achieve the radical breakthroughs necessary to begin fixing America s health care system. Martine.Cadot@loria.fr Journées FDC-FGG CNAM 20-21 juin 2011 20