Systèmes intélligents Les arbres de décision. Nadia Abchiche Laboratoire IBISC

Dimension: px

Commencer à balayer dès la page:

Download "Systèmes intélligents Les arbres de décision. Nadia Abchiche Laboratoire IBISC"

Sophie Grégoire
il y a 7 ans
Total affichages :

1 Systèmes intélligents Les arbres de décision Nadia Abchiche Laboratoire IBISC

2 Définition Un arbre de décision est un outil d'aide à la décision qui représente une situation plus ou moins complexe à laquelle on doit faire face sous la forme d'un arbre de façon à faire apparaître l'extrémité de chaque branche les différents résultats possibles en fonction des décisions prises à chaque nœud

3 Exemple Tousse t c > 38 Classe Patient 1 oui oui malade Patient 2 oui non malade Patient 3 non non sain oui t c > 38 non Malade oui Tousse non oui Tousse non Malade Malade Malade Malade Construction à partir de données. La manière de le construire influe sur les performances. Un arbre parfait est un arbre de décision tel que tout les exemples de l ensemble d apprentissage soient bien classés.

4 Généralités Objectifs : Minimiser la taille de l arbre (facilitant la recherche) Établir un compromis entre le taux d erreurs de classification sur l ensemble d apprentissage (données utilisées pour la construction) et sur l ensemble de test (données utilisées pour valider la classification) afin de pouvoir de procéder à une généralisation. On intervient à 2 niveaux : 1. On sélectionne les attributs qui minimisent la taille de l arbre tout en classant correctement les exemples de l ensemble d apprentissage. 2. On élague certaines branches de manière à garder un pouvoir de généralisation (au prix de faire augmenter l erreur sur l ensemble d apprentissage) (pendant la construction ou bien après la construction de l arbre)

5 Utilisation des ArbDec Classification : données de toutes sortes Apprentissage Diagnostic : médical, de pannes, Supervision : réseau, matériel, applications, industrielles, Conception : produits, applications, territoriale, Prédiction : météo, trajectoire,

6 Utilisation des ArbDec Classification Les arbres de décision sont une représentation commode de fonctions de classification, moins puissants que les règles de production mais plus facile à utiliser. Un arbre de décision permet de classer un objet à l aide de questions : chaque nœud de l arbre représente une question, chaque lien est une réponse à la question, et chaque feuille est une classe.

7 Utilisation des ArbDec Classification Exemple 1: la ballade du chien Les attributs: Quel temps fait-il?{pluvieux, ensoleillé, couvert} Température extérieure : attribut numérique Voisin parti avec son chat : attribut booléen La décision à prendre : vais-je sortir mon chien? Temps? couvert pluvieux soleil Température? tv Voisin abs? >10 <=10 non oui ballade Tv tv ballade Cet arbre est équivalent à un système déductif. Lequel?

8 Avantage des arbres de décision 1. Faciles à comprendre et à utiliser. 2. Nombre de tests limité par le nombre d attributs (de questions). 3. Construction efficace (mais technique)

9 Construction d un arbre de décision À l aide d apprentissage par optimisation (pour obtenir un arbre petit et correct"). On dispose d un ensemble d exemples E=(x,c). Chaque exemple est constitué: 1. D un ensemble x de réponses aux questions (possibles) de l arbre. On appelle ces réponses (avec les questions qui y sont associé) des attributs. 2. De la classe c de l exemple, qui appartient à l ensemble des classes possibles C

10 Construction d un arbre de décision (suite) Principe Construction récursive, en découpant successivement l ensemble d exemples E. 1. Si tous les exemples sont dans une seule classe, on place une feuille de cette classe. 2. Sinon, on choisit une question (la plus discriminante possible), on découpe l ensemble d exemples suivant cette question. Pour chaque nouvel ensemble, on construit un sous-arbre de décision. Note : il est classique d élaguer l arbre ensuite à l aide d un ensemble d exemples supplémentaires.

11 Construction d un arbre de décision (suite) Algorithme (cas binaire) On suppose que toutes les questions ont comme réponse oui ou non. X un ensemble de données Procedure Construit_arbre(X) debut Si tous les points de X sont dans la même classe finsi Fin alors Créer une feuille de cette classe sinon choisir le meilleur sélecteur (la meilleure question) pour créer un noeud. Séparer X suivant ce sélecteur en Xd et Xg. Construit_arbre(Xd ) Construit_arbre(Xg )

12 Construction d un arbre de décision (suite) Exemple 2 Un écolier peut-il aller jouer dehors? Voilà ce qu il a observé : Devoir fini? Mère de bonne humeur? Fait beau? Goûter pris? oui non oui non oui non oui non oui oui oui oui oui non oui oui non oui oui oui Réponse non oui oui oui non non oui non non non oui non non oui non oui oui non non non

13 Construction d un arbre de décision (suite) Exemple 2 Choix de la question : On dispose de 4 questions (DF, MBH, FB, GP). Chaque question sépare les réponses positives (4 en tout) et négatives (4 en tout) en deux ensembles. Par exemple, avec la question «Devoirs finis?», on trouve trois réponses positives et deux réponses négatives pour OUI, et une réponse négative et deux réponses positives pour NON. L idée est de maximiser la séparation globale. Les formules utilisées dérivent de la théorie de l information : on cherche à maximiser le gain d information.

14 Construction d un arbre de décision (suite) Information : éléments techniques (1) Les calculs dérivent des probabilités. L entropie d une variable ω pouvant prendre les valeurs {ωi }i avec des probabilités p(ωi ) est définie comme : H(ω)= p(ωi) log(p(ωi )) L entropie note l incertitude sur la valeur de la variable. Par exemple, initialement l entropie de "Je peux aller jouer" est (en considérant le logarithme à base 2), H(c) = 1. Si on sait que les devoirs ne sont pas finis, elle devient H (c) = 0,8. La décroissance de l entropie note une diminution de l incertitude, donc un augmentation de l information.

15 Construction d un arbre de décision (suite) Information : éléments techniques (suite) Dans le cas de deux variables, ω pouvant prendre les valeurs {ωi }, et a pouvant prendre les valeurs {aj }, on définit l entropie de ω conditionnée par a comme : H(ω a)=-,j p(ωi aj ) log p(ωi aj ) (note : lorsque p(ωi aj ) = 0, p(ωi aj) = 0 donc le terme doit être considérée comme nul). Cette entropie représente une incertitude sur ω indépendamment de a. Elle est d autant plus faible que a permet de différencier les valeurs de ω. Ainsi pour a = ω, elle vaut 0 : connaître ω lève l incertitude sur ω.

16 Calcul des entropies conditionnées pour chaque question : 1. Pour DF H = -3/ 8 log 3/5-2/8 log 2/5-1/8 log 1/3-2/8 log 2/3=0, Pour FB H = -2 3/8 log 3/4 2 1/8 log 1/4 = 0, Pour MBH H = -2/8 log log log log 14 = 0, Pour GP H = 1. On choisit alors le test qui minimise l entropie, soit FB, et on recommence.

17 On obtient l arbre suivant Temps = beau? Faux Vrai Goûter pris? Devoirs finis? Non Maman de bonne humeur? Non Oui Oui Non

18 Adaptations possibles: Pour des attributs à plusieurs réponses (couleurs...), on peut soit traiter toutes les réponses à la fois, soit revenir à des questions oui/non. Pour les attributs continus (numériques), on peut tester d éventuels "seuils" dans les valeurs (exemple pour un poids : moins de 50 g, plus de 500 g, etc.). Peut être étendu pour traiter des données bruitées ou contradictoires. Inconvénient majeur : difficile à maintenir (modification)

19 Quelques références L. Breiman, J. H. Friedman, R. A. Olshen, and C. J. Stone. Classification and regression trees. Technical report, Wadsworth International, Monterey, CA, 1984 Algorithme de base (ID3) : J.R. Quinlan, "Discovering rules by induction from large collections of examples", D. Michie ed., Expert Systems in the Microelectronic age, pp , Algorithme amélioré (ID3-IV) - J.R. Quinlan, "Induction of Decision Trees", Machine Learning, vol. 1, pp , Ajouter article.

Documents pareils

Arbres binaires de décision

1 Arbres binaires de décision Résumé Arbres binaires de décision Méthodes de construction d arbres binaires de décision, modélisant une discrimination (classification trees) ou une régression (regression