1 / 20 Polytech Paris-Sud Département informatique Formation par Apprentissage, 3ème année Cours : Jérôme Azé Université Paris-Sud LRI 2009-2010
2 / 20 Outline 1 Présentation de A q Algorithme Défauts de la méthode
3 / 20 Présentation de A q Proposé par R. Michalski (1969) Problème : un ensemble d attributs discrèts 2 classes (POS, NEG) Objectif : Apprendre une description correcte et complète de la classe POS Correction et complétude Correction : Couvrir uniquement les exemples POS Complétude : Couvrir tous les exemples POS
4 / 20 Présentation de A q Applications Quelques applications Apprentissage de règles permettant de caractériser une classe par rapport à une autre Modéliser le comportement d utilisateurs Caractériser une maladie... Apprentissage incrémental
5 / 20 Ensemble d apprentissage Présentation de A q POS NEG Exemples A 1 A 2 A 3 Classe E 1 Y N R + E 2 X M R + E 3 Y N S + E 4 X N T + F 1 X M S F 2 Y M T F 3 Y N T F 4 Z N T F 5 Z N R F 6 X N S
6 / 20 Algorithme L algorithme Principe Diviser les exemples en deux sous ensembles (POS, NEG) Choisir un exemple dans POS (le noyau) Trouver un ensemble de règles générales caractérisant le noyau (l étoile) Choisir la meilleure règle dans l étoile Itérer s il reste des exemples non couverts dans POS
7 / 20 Ensemble d apprentissage Changement de représentation POS NEG Ex A 1 A 2 A 3 C E 1 Y N R + E 2 X M R + E 3 Y N S + E 4 X N T + F 1 X M S F 2 Y M T F 3 Y N T F 4 Z N T F 5 Z N R F 6 X N S N : M : X Y Z T E 4 F 3 F 4 S F 6 E 3 R E 1 F 5 X Y Z T F 2 S F 1 R E 2
8 / 20 Ensemble d apprentissage Changement de représentation N : M : X Y Z T E 4 F 3 F 4 S F 6 E 3 R E 1 F 5 X Y Z T F 2 S F 1 R E 2 A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
9 / 20 Ensemble d apprentissage Changement de représentation N : M : X Y Z T E 4 F 3 F 4 S F 6 E 3 R E 1 F 5 X Y Z T F 2 S F 1 R E 2 A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T A 1 X + + Y + + Z A 2 M N M N M N A 3 R S T
10 / 20 Apprentissage Choix du noyau : E 1 Génération de l étoile de E 1 tel que F 1 ne soit pas couvert Puis étoile de E 1 mais pas F 2... Fonction qui reconnaît E 1 et qui rejette F 1 G(E 1 /F 1 ) = (A 1 X) (A 2 M) (A 3 S) A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
11 / 20 Apprentissage... Fonction qui reconnaît E 1 et qui rejette F i, 1 i 6 G(E 1 /F 1 ) = (A 1 X) (A 2 M) (A 3 S) G(E 1 /F 2 ) = (A 2 M) (A 3 T) G(E 1 /F 3 ) = (A 3 T) G(E 1 /F 4 ) = (A 1 Z) (A 3 T) G(E 1 /F 5 ) = (A 1 Z) G(E 1 /F 6 ) = (A 1 X) (A 3 S) Étoile de E 1 Étoile de E 1 = 1 i 6 G(E 1 /F i )
12 / 20 Apprentissage... Simplification de l étoile Conservez les règles les plus spécifiques G(E 1 /F 3 ) = (A 3 T) plus spécifique que G(E 1 /F 2 ) = (A 2 M) (A 3 T) Étoile de E 1 (A 3 T) (A 1 Z) ((A 1 X) (A 3 S)) Après réécriture : ((A 1 = Y) (A 3 T)) ((A 1 Z) (A 3 = R))
13 / 20 Apprentissage... Étoile de E 1 R 1 : (A 1 = Y) (A 3 T) R 2 : (A 1 Z) (A 3 = R) A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
14 / 20 Apprentissage... Critères de sélection des règles dans l étoile Maximiser le nombre d éléments couverts par la règle retenue Minimiser le nombre d attributs de la règle retenue Maximiser la capacité à généraliser de la règle retenue Utilisation d un ensemble de validation...
15 / 20 Apprentissage... Choix d une règle dans l étoile de E 1 Choix de R 2 : (A 1 Z) (A 3 = R) Exemples POS couverts : E 1 et E 2 Exemples POS non couverts : E 3 et E 4 A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
16 / 20 Apprentissage... Itération de l algorithme : Étoile de E 3 G(E 3 /F 1 ) = (A 1 X) (A 2 M) G(E 3 /F 2 ) = (A 2 M) (A 3 T) G(E 3 /F 3 ) = (A 3 T) G(E 3 /F 4 ) = (A 1 X) (A 3 T) G(E 3 /F 5 ) = (A 1 Z) (A 3 R) G(E 3 /F 6 ) = (A 1 X) Après simplification ((A 1 = Y) (A 3 T)) ((A 1 X) (A 3 = S))
17 / 20 Apprentissage... Étoile de E 3 : (A 1 X) (A 3 = S) Critère retenu : capacité à généraliser Exemples POS couverts : E 1, E 2 et E 3 A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
18 / 20 Apprentissage... Itération de l algorithme L exemple E 4 n est pas couvert Étoile de E 4 : (A 1 = X) (A 3 S) A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
19 / 20 Apprentissage... Résultat final (A 1 Z) (A 3 = R) (A 1 X) (A 3 = S) (A 1 = X) (A 3 S) A 1 X E 2 F 1 F 6 E 4 Y E 1 E 3 F 2 F 3 Z F 5 F 4 A 2 M N M N M N A 3 R S T
20 / 20 Défauts de la méthode Défauts de A q Défauts Sensibilité au bruit dans les classes Sensibilité liée à l imprécision du contexte Solution proposée par R. Michalski (1990) Approche à deux niveaux (two-tiered approach)