Projet dans le cadre du cours de Machine Learning

Transcription

1 Projet dans le cadre du cours de Machine Learning

2

3 Objectifs Prévoir les vainqueurs des matchs de tennis se déroulant lors d un tournoi du circuit ATP (ici à Dubaï), en se basant sur des prédictions d experts.

4 Introduction 1. Prédiction avec experts (N = 7 experts indicés j {1,..., 7})

5 Introduction Prédiction avec experts (N = 7 experts indicés j {1,..., 7}) matchs (t {1,..., 21})

6 Nos experts Classement technique ATP.

7 Nos experts 1. Classement technique ATP. 2. Classement The Race ATP (année en cours)

8 Nos experts 1. Classement technique ATP. 2. Classement The Race ATP (année en cours) 3. Dernière confrontation

9 Nos experts 1. Classement technique ATP. 2. Classement The Race ATP (année en cours) 3. Dernière confrontation 4. Ensemble des confrontations

10 Nos experts 1. Classement technique ATP. 2. Classement The Race ATP (année en cours) 3. Dernière confrontation 4. Ensemble des confrontations 5. Dernière confrontation sur la surface concernée

11 Nos experts 1. Classement technique ATP. 2. Classement The Race ATP (année en cours) 3. Dernière confrontation 4. Ensemble des confrontations 5. Dernière confrontation sur la surface concernée 6. Site de pari sportif

12 Nos experts 1. Classement technique ATP. 2. Classement The Race ATP (année en cours) 3. Dernière confrontation 4. Ensemble des confrontations 5. Dernière confrontation sur la surface concernée 6. Site de pari sportif 7. Marcel (féru de tennis)

13 Cadre 1. Deux joueurs : Y = {0, 1}

14 Cadre 1. Deux joueurs : Y = {0, 1} 2. Prédictions dans X = [0, 1] (CL convexe d experts) l 1 (x t, y t ) = x t y t (fonction de pertes)

15 Cadre 1. Deux joueurs : Y = {0, 1} 2. Prédictions dans X = [0, 1] (CL convexe d experts) l 1 (x t, y t ) = x t y t (fonction de pertes) 3. Prédictions dans X = {0, 1} (tirage aléatoire) l 2 (x t, y t ) = 1 xt y t (fonction de pertes)

16 L algorithme des poids exponentiels 1. f j,t prévision de l expert j pour le match t (gagnant/perdant)

17 L algorithme des poids exponentiels 1. f j,t prévision de l expert j pour le match t (gagnant/perdant) 2. µ j,t poids de l expert j pour le match t (fiabilité)

18 L algorithme des poids exponentiels 1. f j,t prévision de l expert j pour le match t (gagnant/perdant) 2. µ j,t poids de l expert j pour le match t (fiabilité) 3. Initialement, µ 1 = (µ 1,1,..., µ N,1 ) = ( 1 N,..., 1 ) N

19 L algorithme des poids exponentiels 1. f j,t prévision de l expert j pour le match t (gagnant/perdant) 2. µ j,t poids de l expert j pour le match t (fiabilité) 3. Initialement, µ 1 = (µ 1,1,..., µ N,1 ) = ( 1 N,..., 1 ) N 4. pour t 2, µ j,t = ( exp η ) t 1 s=1 l(f j,s, y s ) N k=1 ( η exp ) t 1 s=1 l(f j,k, y k )

20 Cas X = [0, 1] (doux) 1. Prévision sous la forme ˆp t = N k=1 µ j,tf j,t

21 Cas X = [0, 1] (doux) 1. Prévision sous la forme ˆp t = N k=1 µ j,tf j,t 2. Perte du statisticien (nous) ˆL n = n l 1 (ˆp t, y t ) t=1

22 Cas X = [0, 1] (doux) 1. Prévision sous la forme ˆp t = N k=1 µ j,tf j,t 2. Perte du statisticien (nous) 3. Pertes des experts n ˆL n = l 1 (ˆp t, y t ) t=1 n L j,n = l 1 (f j,t, y t ) t=1

23 Cas X = [0, 1] (doux) 1. Prévision sous la forme ˆp t = N k=1 µ j,tf j,t 2. Perte du statisticien (nous) 3. Pertes des experts 4. Regret ˆL n = L j,n = n l 1 (ˆp t, y t ) t=1 n l 1 (f j,t, y t ) t=1 R n = ˆL n min j {1...N} L j,n

24 Cas X = [0, 1] (doux) 1. Comment minimiser le regret R n?

25 Cas X = [0, 1] (doux) 1. Comment minimiser le regret R n? 2. On a toujours sup R n ln N η + ηn 8

26 Cas X = [0, 1] (doux) 1. Comment minimiser le regret R n? 2. On a toujours sup R n ln N η + ηn 8 3. Ici l 1 1, donc calibrage optimal de η avec : 8 ln N η n = n

27 Cas X = [0, 1] (doux) 1. Comment minimiser le regret R n? 2. On a toujours sup R n ln N η + ηn 8 3. Ici l 1 1, donc calibrage optimal de η avec : 8 ln N η n = n 4. On obtient alors la borne : sup R n n ln N 2

28 Cas X = {0, 1} (dur) 1. Prédictions dans X = {0, 1}

29 Cas X = {0, 1} (dur) 1. Prédictions dans X = {0, 1} 2. = tirage aléatoire en fonction des poids µ j,t et des prévisions f j,t (selon une loi de Bernouilli)

30 Notre perte (douce) contre celles des experts

31 Poids des différents experts

32 Regret (doux) et sa borne supérieur

33 Observations 1. Prépondérance de Marcel (expert humain) : poids de 80% (7 ième prévision)

34 Observations 1. Prépondérance de Marcel (expert humain) : poids de 80% (7 ième prévision) 2. Le regret reste bien inférieur à la borne supérieure ìdéale.

35 Notre perte (dure) contre celles des experts (essai 1)

36 Regret (dur) et borne supérieure du regret (doux) (essai 1)

37 Notre perte (dure) contre celles des experts (essai 2)

38 Regret (dur) et borne supérieure du regret (doux) (essai 2)

39 Observations 1. La borne supérieure du regret n est pas respectée en général (les poids ne sont jamais strictement nuls)

40 Conclusion