Décision dans l Incertain

Transcription

1 Décision dans l Incertain L apprentissage pour les nuls olivier.pietquin@univ-lille1.fr Université Lille 1 - LIFL (SequeL) Master 2 Info - MOCAD

2 Apprentissage : qu est-ce que c est pour vous?

3 Tentatives de définition Arthur Samuel, 1959 Field of study that gives computers the ability to learn without being explicitly programmed Tom Mitchell, 1998 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E

4 Apprentissage et IA? IA Forte Machines reproduisant l intelligence humaine Raisonnement à base de connaissance Prédicats, symboles, inférence logique Raisonnement haut niveau IA Faible Machines reproduisant le comportement humain Apprentissage à base d exemples Hypothèses, calculs numérique Tâches spécifiques Remarque : neurosciences computationnelles

5 Types d apprentissage

6 Types d apprentissage Apprentissage Supervisé Apprendre des relations entre entrées et sorties ; Un oracle donne des exemples exprimant ces relations ;

7 Types d apprentissage Apprentissage Supervisé Apprendre des relations entre entrées et sorties ; Un oracle donne des exemples exprimant ces relations ; Apprentissage Non-Supervisé Apprendre une structure dans un ensemble de données ; Pas d oracle ;

8 Types d apprentissage Apprentissage Supervisé Apprendre des relations entre entrées et sorties ; Un oracle donne des exemples exprimant ces relations ; Apprentissage Non-Supervisé Apprendre une structure dans un ensemble de données ; Pas d oracle ; Apprentissage par Renforcement Apprendre à se comporter! Apprentissage en ligne Décisions séquentielles

9 Classification

10 Régression

11 Apprentissage par renforcement Bandits Contrôle optimal

12 Chaîne de traitement

13 Caractéristiques

14 Représentation

15 Induction I Définition Etant donné un ensemble D de données sous forme de couples {x (i), y (i) = f (x (i) )} (avec souvent x (i) R m et y i R), il s agit de trouver une fonction ˆf (x) H qui permette d expliquer et de prédire la relation entre des entrées quelconques (x) et les sorties (y) correspondantes. a a. H est appelé espace d hypothèses

16 Induction II Méthodes paramétriques Souvent, on se choisit une représentation paramétrique et on cherche les paramètres grâce aux données. Le problème devient : Etant donné une famille de fonctions f θ et des données {x (i), y (i) }, trouver θ tel que f θ (x) y pour tout x. Oracle L oracle connaît la relation, il a donné les couples de la base. Il agit selon une loi de probabilité P(y x)

17 Induction III Distribution naturelle Dans la nature, on rencontre les observations x selon la distribution P(x). Ainsi, la base de données est constituée de paires tirées selon P(x, y) = P(x)P(y x). Fonction de perte L(x, y) : coût de la décision concernant x, sachant que la bonne décision était y. Risque Réel Le risque associé à la fonction de coût est R = X Y L(x, y)dp(x, y)

18 Induction IV Risque empirique En pratique, on ne connaît pas la distribution P(x, y). On doit donc se baser sur les données. On peut essayer de minimiser le risque empirique :. R N = 1 N N L(x (i), y (i) ) i=1

19 Exemple : prédire une position I Vitesse, position et temps Equations du MRU : p = p 0 + v t Disons qu on ne les connaît pas On mesure approximativement des positions et des temps Méthodologie Quelles caractéristiques? Quelle famille de fonctions paramétriques? Quelle principe d induction? Caractéristiques? position = f (temps)

20 Exemple : prédire une position II

21 Exemple : prédire une position III

22 Exemple : prédire une position IV Famille linéaire La relation entre les x et les y est linéaire : position = f θ (temps) = θ 2 temps + θ 1 H = {(θ 1, θ 2 ) : f θ (x) = θ 2 x + θ 1 } Pour plus de facilité, définissons x 2 = temps, x 1 = 1 et x = [x 1, x 2 ] T. On a alors : f θ (x) = m θ j x j = θ T x j=1 où c j est la jème composante du vecteur c et θ = [θ 1,..., θ m ] T

23 Exemple : prédire une position V Induction Fonction de perte : Risque empirique : L l2 (x, y) = (y (i) θ T x (i) ) 2 J l2 (θ) = 1 N N (y (i) θ T x (i) ) 2 i=1

24 Exemple : prédire une position VI Pourquoi? Parce que c est convexe et dérivable! Autre fonction de perte possible L l1 (x, y) = y (i) θ T x (i) Mais non dérivable proxy convexe dérivable

25 Exemple : prédire une position VII Solution On dérive et annule : θ 1 N N (y (i) θ T x (i) ) 2 = 0 i=1 θ = ( i x (i) x (i)t ) 1 i x (i) y (i)

26 Représentation matricielle Definitions X est la matrice dont la i ème colonne est x (i) Y est le vecteur dont la i ème composante est y (i) Solution matricielle J(θ) = 1 N (Y X T θ) T (Y X T θ) θ = (XX T ) 1 (XY )

27 Sur-apprentissage - généralisation Apprendre par cœur Généralisation Il faut apprendre à prédire ce que l on n a pas vu! C est à dire minimiser le risque réel et pas le risque empirique!

28 Compromis Biais-Variance I Décomposition du risque Si R est le meilleur risque qu on puisse obtenir et f o la meilleure fonction de H pour approximer f on a : R N (f ) R = R(f o ) R + R(f }{{} N ) R(f o ) }{{} biais variance Biais On ne connaît pas la forme de la fonction f donc, il est difficile de l estimer Il dépend tout de même de la capacité à généraliser des fonctions de H

29 Compromis Biais-Variance II Variance Elle est fonction du nombre de données Si H est trop complexe, il faut beaucoup de données Si trop de données, on sur-apprend!

30 Validation croisée

31 Questions?