LOG770 Systèmes Intelligents

Transcription

1 1 Calendrier de la session Été 2013 LOG770 Systèmes Intelligents INTRODUCTION TO Machine Learning Chargé de cours : Patrick Cardinal Local: A Téléphone: (514) #7810 Courriel: cc- pcardinal@etsmtl.ca Responsable de cours : Pierre Dumouchel, ing., Ph.D., Local: A Téléphone: (514) Courriel: pierre.dumouchel@etsmtl.ca Légende: Cours #1 à 13 Labo #1 à 12 Examens finaux Date à retenir: Examen Intra: 12 juin 2013 Abandon: 8 juillet 2013 Cours: Mercredi 13h30 17h0; 13 périodes au total Labo : Vendredi 8h45-10h45; 12 périodes au total ETHEM ALPAYDIN The MIT Press, 2004 alpaydin@boun.edu.tr 2

2 2 Apprentissage naturel vs apprentissage artificiel Pourquoi apprendre? CHAPITRE 1: Introduction Dark star movie. [Doolittle convinces the bomb not to explode] Doolittle: Hello, Bomb? Are you with me? Bomb #20: Of course. Doolittle: Are you willing to entertain a few concepts? Bomb #20: I am always receptive to suggestions. Doolittle: Fine. Think about this then. How do you know you exist? Bomb #20: Well, of course I exist. Doolittle: But how do you know you exist? Bomb #20: It is intuitively obvious. Doolittle: Intuition is no proof. What concrete evidence do you have that you exist? Bomb #20: Hmmmm... well... I think, therefore I am. Doolittle: That's good. That's very good. But how do you know that anything else exists? Bomb #20: My sensory apparatus reveals it to me. This is fun. Les machines d apprentissage sont des programmes d ordinateurs qui performent une tâche suite à un apprentissage à partir de données et d expériences du passé. Ce n est pas utile d apprendre à faire des chèques de paie. L apprentissage est utile quand: L expertise humaine n existe pas (naviguer sur Mars), L humain n arrive pas à expliquer comment il arrive à accomplir une tâche (reconnaissance automatique de la parole) Large quantité de données à traiter. La solution change en court de route (routage sur un réseau Internet) La solution doit s adapter à son utilisateur (biométrie, filtrage: e- mail). 5 6

3 3 Qu assumons-nous lorsque nous parlons d apprentissage Apprentissage de modèles génériques à partir de données d exemples particuliers (apprentissage par des exemples). Les données sont de faibles coûts et abondantes (data warehouses, data marts); les connaissances coûtent chers et sont rares. Exemple dans le milieu du commerce: les transactions commerciales versus les comportements des consommateurs: People who bought Da Vinci Code also bought The Five People You Meet in Heaven ( Développer un modèle qui a une bonne et utile approximation des données. 7 Forage de données (Data Mining) Vente: Analyse du panier du marché, Customer relationship management (CRM) Finance: analyse du crédit, détection de fraudes Fabrication manufacturière: Optimisation, détection de problèmes Médecine: diagnostic médical Télécommunications: Qualité de service, optimisation Bioinformatique: Motifs, alignement Forage de l Internet (Web mining): Engins de recherche... 8 Qu est-ce que l apprentissange machine? Optimiser un critère de performance à partir de données ou d expériences passées. Minimiser Probabilité des sorties erronées produites par le système. Moyenne des coûts produits par des décisions erronées Rôle des statistiques: inférence à partir de données Rôle de la science informatique : algorithmes efficients pour : Solutionner le problème d optimisation Représenter et évaluer le modèle d inférence 9

4 4 un système d apprentissage et de reconnaissance des formes Exemple d un système d apprentissage Applications Codage Représentation d une forme La modélisation Choisir un modèle approprié pour modéliser les échantillons La mesure de performance Trouver une bonne métrique pour mesurer les erreurs produites par ce système. Parole / Ecriture Données : (entrée : signal + sortie : transcription) But : reconnaître signal mesure : nombre de mots correctement reconnus Association Apprentissage supervisé Classification Régression Apprentissage non-supervisé: Données non étiqutées Apprentissage semi-supervisé Apprentissage par renforcement

5 5 Apprentissage par association Apprentissage par association Classification Type Cheveux Tenue Analyse du panier du marché: P (Y X ) est la probabilité qu une personne qui achète X achète aussi Y où X et Y sont des produits ou services. Exemples: P ( chips bière ) = 0.7 P ( lait bière ) = 0.01 Problème: Un vendeur d automobile a étudié ses 20 dernières ventes d auto. Que valent les probabilités suivantes: Pr( Mazda 3 blonde) Pr( Mazda 3 blonde, sport) Pr( MX-5 blonde) Madza 3 châtaine jeans Madza 3 brune habit Madza 3 blonde sport Madza 3 noire jeans Madza 5 rousse habit Madza 5 grise sport Madza 5 châtaine jeans Madza 5 brune habit Madza 5 blonde sport Madza 6 rousse jeans Madza 6 blonde habit Madza 6 noire sport Madza 6 noire jeans MX-5 blonde habit MX-5 blonde sport Tribute gris jeans Tribute noire habit Tribute blanc sport Exemple: obtention de crédit Différenciation entre les clients à bas-risque (lowrisk) et à haut-risque (high-risk) en fonction de leurs revenus (income) and leurs épargnes (savings) Discriminant: SI income > 1 ET savings > 2 ALORS low-risk SINON high-risk RX-8 rousse jeans 13 RX-8 noire habit 14 15

6 6 Classification: Applications Régression Applications de la régression Sous-problèmes de la Reconnaissance de formes Reconnaissance des visages: Pose, luminance, occlusion (verres, barbe), maquillage, coiffure Reconnaissance de l écrit: différentes calligraphies. Reconnaissance de la parole: dépendance temporelle. Utilisation d un dictionnaire de prononciation, de modèles de langage. Fusion de données: Combiner plusieurs modalités i.e. visuelle (lecture labiale) et données acoustiques Diagnostic médicaux: du symptôme jusqu à la maladie... Exemple: prix d une automobile usagée x : attributs d une auto y : prix y = g (x ) g ( ) modèle, paramètres y = wx+w 0 Navigation d une automobile de façon automatique: angle du volant de conduite (CMU NavLab) Cinématique d un bras de robot (x,y) = g 1 (x,y) 2 = g 2 (x,y) Réponse de la surface de conception

7 7 Apprentissage supervisé: cas Apprentissage non supervisé Apprentissage non supervisé Prédiction de situations futures: Utilisation d une règle de prédiction de la sortie pour des données d entrée futures Extraction de connaissances: La règle est facile à comprendre Compression: La règle est plus facile à comprendre que les données brutes Détection de valeurs aberrantes: Détection d exceptions qui ne sont expliquées par les règles normales c.à.d fraude Apprendre ce qui se passe normalement Sans sortie Groupage: formation de groupe d éléments similaires Exemples d applications Segmentation des clients dans un CRM Compression de l image : quantification de la couleur Bioinformatique: apprentissage de motifs Exemples d applications Segmentation des clients dans un CRM Essaie de regrouper des clients ayant un profil similaire afin de développer une stratégie de vente Essaie de trouver les clients hors de l ordinaire (valeur aberrante) afin de développer une stratégie spécifique à ce type

8 8 Apprentissage non supervisé Apprentissage par renforcement Reconnaissance de faces Exemples d applications Bioinformatique: apprentissage de motifs DNA: séquences de bases, A, G, C, T Un des problèmes en biologie moléculaire est d aligner une séquences de bases avec une autre séquences. C est un problème complexe car les séquences peuvent être longues et qu il peut y avoir des substitutions, des insertions et des élisions. Pour quelques applications, la sortie du système est une séquence d actions. Apprendre une politique: une séquence de sorties. Une sortie particulière n est pas intéressante, c est la séquence qui importe. Exemples d application; Problème d assignation de crédit Jeux Robot navigant dans un labyrinthe Agents multiples, observation partielle, etc. Ensemble de données d entraînement Ensemble de données de test AT&T Laboratories, Cambridge UK

9 9 Reconnaissance de visages Suivi de la bouche Suivi de la bouche

10 10 Suivi de piéton et d automobile Requête audio de mots Requête audio-visuelle

11 11 Inspection industrielle Reconnaissance de la voix Post-synchronisation

12 12 Lecture labiale Ressources: Banque de données Ressources: Journaux scientifiques UCI Repository: UCI KDD Archive: Statlib: Delve: Linguistic Data Consortium: ELDA: Journal of Machine Learning Research Machine Learning Neural Computation Neural Networks IEEE Transactions on Neural Networks IEEE Transactions on Pattern Analysis and Machine Intelligence Annals of Statistics Journal of the American Statistical Association

13 13 Ressources: Conférences International Conference on Machine Learning (ICML) ICML05: European Conference on Machine Learning (ECML) ECML05: Neural Information Processing Systems (NIPS) NIPS05: Uncertainty in Artificial Intelligence (UAI) UAI05: Computational Learning Theory (COLT) COLT05: International Joint Conference on Artificial Intelligence (IJCAI) IJCAI05: International Conference on Neural Networks (Europe) ICANN05: 37