Module Mixmod pour OpenTURNS

Transcription

1 Module Mixmod pour OpenTURNS Régis LEBRUN EADS Innovation Works 23 septembre 2013 EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

2 Outline Plan 1 OpenTURNS et propagation d incertitudes 2 Mixmod et OpenTURNS 3 Le module OTMixmod 4 Applications : classification, mélange d experts 5 Retour d expérience sur l utilisation de la librairie Mixmod EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

3 OpenTURNS et propagation d incertitudes Contexte : propagation probabiliste d incertitudes On se donne : Un modèle numérique g : R n R p Un vecteur aléatoire X à valeurs dans R n : les incertitudes On cherche des informations sur la loi de Y = g(x ) : Des moments E [h(y )] La probabilité de certains événements P (Y B) Une situation typique : p = 1, calculer P (Y s) pour un seuil s donné. EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

4 OpenTURNS et propagation d incertitudes OpenTURNS ( Résulte d un effort de développement initié par EDF R&D en 2005 en partenariat avec EADS Innovation Works et Phimeca Librairie Open Source (LGPL) de modélisation probabiliste écrite en C++, utilisée principalement via son interface python ; estimation statistique, modélisation probabiliste multivariée, propagation d incertitudes, apprentissage statistique, analyse de sensibilité Disponible sous linux et windows Muni d un mécanisme de modules permettant un enrichissement par contributions externes EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

5 Mixmod et OpenTURNS Pourquoi interfacer Mixmod à OpenTURNS? Mixmod fournit des algorithmes efficaces et robustes pour estimer des mélanges Gaussiens, service qui manque à OpenTURNS OpenTURNS propose également des algorithmes d apprentissage statistique pour construire des modèles fonctionnels à partir de données multivariées adaptés aux modèles réguliers Les capacités de classification de Mixmod qui, couplées avec les algorithmes d openturns, permettent de construire des mélanges d experts efficaces pour approcher des modèles réguliers par morceaux EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

6 Mixmod et OpenTURNS Pourquoi développer un module? Mixmod sous licence GPL, OpenTURNS sous licence LGPL : pas de liaison statique possible Limiter les dépendances d OpenTURNS La modularité est une bonne pratique logicielle! EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

7 Le module OTMixmod Description du module Une librairie C++ et un package python Fait le lien entre le modèle de données OpenTURNS et le modèle de données Mixmod Embarque les sources de Mixmod version (le passage à la version est en cours) Disponible sous linux et windows EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

8 Le module OTMixmod Services proposés par le module 2 classes : MixtureFactory pour l estimation de mélanges Gaussiens : part d un NumericalSample d OpenTURNS et crée une Mixture. MixtureClassifierFactory produit un MixtureClassifier d OpenTURNS. En python :» from openturns import *» from otmixmod import *» sample = NumericalSample.ImportFromCSVFile("data.csv")» mixture = MixtureFactory(5).build(sample)» Show(mixture.drawPDF()) EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

9 Applications : classification, mélange d experts e e e e e e e e Exemple 1 : identification de mixture et classification 2 clusters 3 clusters 4 clusters Y Mixture iso PDF Cluster 0 Cluster e e e e e 07 Y Mixture iso PDF Cluster 0 Cluster 1 Cluster X X e e e e e e e e 09 Y Mixture iso PDF Cluster 0 Cluster 1 Cluster 2 Cluster e e e e e e e X log-like= log-like= log-like= e 09 EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

10 Applications : classification, mélange d experts Exemple 2 : mélange d experts et apprentissage I On dispose d une base de données (x k, y k = g(x k )) k=1,...,m On dispose d un algorithme de projection sur une base fonctionnelle orthonormée par rapport à une mesure de probabilité donnée La convergence de cet algorithme est exponentielle si le modèle projeté g est lisse On souhaite utiliser ces éléments pour projecter de manière efficace des modèles g réguliers par morceau La stratégie de mélanges d experts s écrit : 1 On itère sur le nombre q de clusters EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

11 Applications : classification, mélange d experts Exemple 2 : mélange d experts et apprentissage II 2 Pour chaque valeur de q, on identifie une mixture M de q Gaussiennes sur la base de données (x k, y k = g(x k )) k=1,...,m et on en déduit un partitionnement en q classes de la base de données : q 1 M = w j φ µj,σ j j=0 (x k, y k = g(x k )) k=1,...,n = q 1 j=0 (x k, y k = g(x k )) k=kj 1,...,k j (2) avec k 0 = 0 et k q 1 = m. 3 On sépare chaque classe en une partie pour la projection et une partie pour la validation (typiquement τ = 10% de points pour la validation) 4 Pour chaque classe, on utilise l algorithme de projection pour construire une approximation locale g q j de g (l expert local) (1) EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

12 Applications : classification, mélange d experts Exemple 2 : mélange d experts et apprentissage III 5 A partir des experts locaux, on construit un expert global g q par mélange. Plusieurs variantes sont possibles, ici : avec : x R n, g q (x) = g p j (x) (3) j = argmax w j φ µj,σ j (x, g p j (x)) (4) j=0,...,q 1 On retient l expert global minimisant l erreur d apprentissage g g q 2, estimée à l aide de la base de validation On applique cette stratégie à g : [ 1, 1] R définie par : { sin(2x) si x 0 x [ 1, 1], g(x) = cos(x) sinon (5) EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

13 Applications : classification, mélange d experts Exemple 2 : mélange d experts et apprentissage IV Mixture of experts meta modeling Mixture of experts meta modeling Y expert(s) Model Y expert(s) Model X expert de degré 24 5 experts locaux de degré 2 Erreur L 2 = Erreur L 2 = X EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

14 Applications : classification, mélange d experts Exemple 2 : mélange d experts et apprentissage V Mixture of experts meta modeling Mixture of experts meta modeling Y Mixture iso PDF 1 expert(s) Model e e 05 Y Mixture iso PDF 5 expert(s) Model e e e e e e e e e e e e e X expert de degré 24 5 experts locaux de degré 2 Erreur L 2 = Erreur L 2 = X EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

15 Retour d expérience sur l utilisation de la librairie Mixmod Historique du module I Version 0.1&0.2 : Basées sur le binaire Mixmod (2.1.1 puis 2.2.1), communication par fichiers. Avantages : pas de compilation de la librairie Mixmod, prise en main rapide de Mixmod via les formats de fichier, pas de fuite mémoire. Inconvénients : recopie de fichiers, nécessité de redéfinir les concepts de Mixmod, pas de contrôle du générateur aléatoire de Mixmod, interaction rigide. Version 0.3&0.3.1 : Basées sur la librairie Mixmod 2.2.1, utilisation des classes de Mixmod. Avantages : plus de flexibilité dans l utilisation de Mixmod, distribution windows aisée. Inconvénients : il faut digérer l API de Mixmod, problème de fuite mémoire. EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

16 Retour d expérience sur l utilisation de la librairie Mixmod Historique du module II Version 0.4 : Basées sur la librairie Mixmod 2.2.1, création d un driver binaire dédié au module. Avantages : le driver est adapté aux usages du module, contrôle du générateur aléatoire, plus de fuite mémoire, distribution windows aisée. Inconvénients : recopie de fichiers. Version de développement : Basée sur la librairie Mixmod 2.3.0, espérant que les problèmes de fuite mémoire auront été résolus. EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

17 Retour d expérience sur l utilisation de la librairie Mixmod Le point de vue du numéricien... La librairie offre de nombreux services Les algorithmes sont efficaces même sur des jeux de données conséquents Leur paramétrage est très versatile EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

18 Retour d expérience sur l utilisation de la librairie Mixmod... et celui du développeur I Les choix faits par les développeurs de Mixmod : Le choix d un langage objet permet une séparation claire des concepts Le choix du C++ impose de définir une politique claire de gestion du cycle de vie des objets : leur création, leur initialisation, leur destruction La notion de contrat est primordiale : la signature des méthodes doit être la plus porteuse de sens possible EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

19 Retour d expérience sur l utilisation de la librairie Mixmod... et celui du développeur II Le retour utilisateur (basé sur Mixmod 2.2.1) : La gestion de la mémoire n est pas uniforme : faut-il allouer la mémoire dynamique avant l appel aux méthodes? Doit-on libérer cette mémoire après l appel à la méthode? Problèmes de fuite mémoire dans certains services, cf. le diagnostic de valgrind. Le contrat n est pas toujours clair : modification des paramètres par effet de bord? Modification de l objet? Quelques fonctions sans valeur de retour, cf. le diagnostique de clang Difficultés à naviguer dans les sources du fait des nombreux styles de codage qui se côtoient. Ce diagnostique doit être révisé pour Mixmod EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

20 Retour d expérience sur l utilisation de la librairie Mixmod... et celui du développeur III Quelques suggestions : Pourquoi ne pas adopter le paradigme "Resource acquisition is initialisation", qui rend la gestion du cycle de vie des objets (et l allocation mémoire) explicite? L utilisation systématique du qualificateur const pour les arguments des méthodes et pour la qualification des méthodes renforcerait la sémantique des interfaces La définition d un socle minimal de règles de développement faciliterait la contribution extérieure, fût-elle limitée à du debug. EADS IW 2013 (EADS Innovation Work) 23 septembre / 21

21 Retour d expérience sur l utilisation de la librairie Mixmod Conclusion Mixmod fournit des services incontournables pour de nombreuses études de propagation d incertitude, de manière efficace Les développeurs OpenTURNS peuvent aider à réaliser certains des chantiers informatiques identifiés Le module OpenTURNS-Mixmod est désormais un module essentiel d OpenTURNS : les évolutions d OpenTURNS sont conditionnées au bon fonctionnement de ce module. EADS IW 2013 (EADS Innovation Work) 23 septembre / 21