Projet TITAN. optimisation mathématique apprentissage statistique (applications en radio-astronomie)

Transcription

1 Projet TITAN optimisation mathématique apprentissage statistique (applications en radio-astronomie) Équipe de 36 chercheurs sur 8 labos (Grenoble, Lille, Paris, Nice) Coordinateur: Jérôme MALICK (CNRS, LJK, Grenoble) Colloque Mastodons jeudi 10 décembre 2015

2 Plan de la présentation Titan 1 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) 2 (Quelques) contributions de 2015 Optimisation pour problèmes inverses structurés Apprentissage et optimisation non-convexes Application à la reconstruction et calibration en radio-astronomie 3 Réalisations de 2015 (grâce au soutien du projet) 4 Perspectives pour 2016

3 Plan de la présentation Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) 1 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) 2 (Quelques) contributions de 2015 Optimisation pour problèmes inverses structurés Apprentissage et optimisation non-convexes Application à la reconstruction et calibration en radio-astronomie 3 Réalisations de 2015 (grâce au soutien du projet) 4 Perspectives pour 2016

4 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) Contexte: data science, maths applis, pbs inverses Nouveau domaine scientifique : science des données transverse à l informatique, les maths, traitement du signal... extraire de l information de masses de données complexes Nouveaux défis en maths applis, notamment: optimisation mathématique (les maths du mieux-faire ) apprentissage statistique (comprendre/modéliser par les données) Coeur de Titan : modéliser, analyser et résoudre des problèmes inverses de très grande taille : min x F (x) + λ Ω(x) minimiser : un terme d attache aux données + un terme de structure

5 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) Exemple 1 : classification supervisée en vision automatique Régularisation par norme-trace solutions de faible rang min W R d k n f i (W ) + λ σ(w ) 1 i=1 Grande taille dans les trois dimensions: # examples = n 1 # features = d 1 # classes = k 1

6 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) Exemple : reconstruction d images en radio-astronomie technologie du passé technologie du futur!! Téléscope-logiciel grands réseaux, flexibles et pas chers gros de flux de données et énorme traitement numérique notamment: problèmes inverses de grande taille min X R d k + L i d l H l x l 2 + λ S W S X 1 + λ ν XW ν 1 l=1

7 Deux projets Mastodons en 2014 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) Projet Mastodons Gargantua apprentissage et optimisation pour les données gigantesques coordinateur : Zaid Harchaoui (Inria/LJK) Projet Mastodons Display traitement de données pour les grandes grilles en radio-astronomie coordinateur : André Ferrari (Université de Nice, Observatoire de la Côte d Azur)

8 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) Fusion en 2015 : Titan (36 chercheurs & 8 labos) LIG (Grenoble): apprentissage et fouille de données M. Amini, E. Gaussier LJK (Grenoble): optimisation, apprentissage et applications Z. Harchaoui, F. Iutzeler, A. Juditsky, J. Malick, J. Mairal LIENS (ENS Ulm): apprentissage automatique A. d Aspremont, S. Arlot, F. Bach, S. Lacoste-Julien LPP (Lille): apprentissage, statistique C. Beckermann, C. Biernacki, A. Celisse, J. Jacques Lagrange (Nice): image, radioastronomie, optimisation A. Ferrari, C. Ferrari, C. Fevotte, R. Flamary, T. Lanz, D. Mary, C. Richard, M. Vannier SATIE (ENS Cachan et al): traitement dantennes, auto-calibration N. El Korso, P. Forster, P. Larzabal, T. Rodet LTCI (Telecom ParisTech) : optimisation stochastique er distribuée P. Bianchi, J.F. Cardoso, G. Fort, W. Hachem, E. Moulines L2S (Gif sur Yvette) : traitement du signal et images R. Boyer, N. Gac

9 Titan : fusion réussie Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) Intérêt commun: maths et algorithmes pour les problèmes inverses en grande dimension (optimisation mathématique et applications) Titan est un succès au-delà de nos attentes! Gargantua Display projets communs + nouvelles perspectives Highlight: reconstruction d image utilise un algorithme développé par LJK (ex-gargantua) + LTCI (ex-display) P. Bianchi, W. Hachem, and F. Iutzeler A Stochastic Coordinate Descent Primal-Dual Algorithm and Applications to Large-Scale Composite Optimization ArXiv preprint Consortium Titan: Toute la chaine: production, analyse et exploitations de données Recherche multidisplinaire (sections 06,07,41...) Coeur: maths applis pour les problèmes big data Contributions méthodologiques, analyse algorithmique (convergence, garanties statistiques, accélérations...)

10 Plan de la présentation (Quelques) contributions de Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) 2 (Quelques) contributions de 2015 Optimisation pour problèmes inverses structurés Apprentissage et optimisation non-convexes Application à la reconstruction et calibration en radio-astronomie 3 Réalisations de 2015 (grâce au soutien du projet) 4 Perspectives pour 2016

11 (Quelques) contributions de 2015 (Quelques) contributions de 2015 Publications dans journaux Publications dans conférences : apprentissage et traitement du signal (Données et) codes disponibles (ex: github) Équipe très active... (publications ) Pour cette présentation : insister sur les différences vs Optimisation convexe pour problèmes inverses structurés 2 Apprentissage et optimisation non-convexe 3 Application à la reconstruction et calibration en radio-astronomie

12 (Quelques) contributions de 2015 Optimisation convexe pour problèmes inverses structurés Participants A. Ferrari (Lagrange), G. Fort (LTCI), Z. Harchaoui (LJK), A. Juditsky (LJK), J. Malick (LJK), E. Moulines (LTCI), C. Richard (Lagrange) Liste de contributions de 2015 sur ce thème Récupération des signaux par optimization convexe (COLT15) Accelération universelle d algorithmes du premier ordre (NIPS15) Stabilisation de la méthode de décomposition de Benders (soumis) Méthodes de gradients proximals stochastisques (soumis) Algorithmes distribués de type diffusion sur un cluster (plusieurs conférences en traitement du signal) Algorithmes semi-proximaux...

13 Accuracy 1. Matrix completion: `2-fit + nuclear norm Ex: algorithmes semi-proximaux Problèmes convexes 0 10 Semi MP(fixed=12) avec double Semi SPG(fixed=12) régularisation Semi MP(fixed=24) Semi MP(fixed=48) Semi MP(eps=1/t) Semi MP(eps=5/t) Semi MP(eps=10/t) min X R d k Semi SPG(eps=5/t) Semi SPG(eps=25/t) 10 F (X) + 1 Ω 1 (X) + Ω 2 (X) où Ω 1 est proximable et Ω 2 ne l est pas Number of LMO calls Number of LMO calls Algorithmes Number of LMO calls semi-proximaux : (a)semi-mp Accuracy Semi SPG(fixed=24) Semi SPG(fixed=48) Semi SPG(eps=1/t) (b)semi-spg (Quelques) contributions de 2015 Algorithme mélange les opérateurs proximaux et les oracles linéaires Figure: Analyse mathématique de la vitesse de convergence 2. Robust Avantages collaborative pour les filtering: applications `1-loss en + grandes nuclear dimensions norm Accuracy 10 2 Smooth CG(γ=1e 1) Smooth CG(γ=1e 2) Smooth CG(γ=1e 3) (c)smooth-cg Synthetic dataset( ): optimality gap vs the LMO calls. Accuracy Semi MP Semi SPG Smooth CG Number of LMO calls (d)best of three Objective valule Exemple 1 : matrix completion Ω 1 (X) = X 1 Ω 2 (X) = σ(x) Semi MP(eps=10/t) Semi MP(fixed=96) Smooth CG(γ=0.01) Semi SPG(eps=5/t) Semi SPG(fixed=96) Objective valule Semi MP(eps=5/t) Semi MP(fixed=24) Smooth CG(γ=1) Semi SPG(eps=10/t) Semi SPG(fixed=24) Elapsed time (sec) (a) MovieLens 100K( ) Elapsed time (sec) (b) MovieLens 1M( )

14 Apprentissage et optimisation non-convexes (Quelques) contributions de 2015 Participants Alex d Aspremont (LIENS), Francis Bach (LIENS), Rémy Flamary (Lagrange), Julien Mairal (LJK), Jérôme Malick (LJK) Contributions de 2015 Unit-Commitment stochastique (accepté dans Annals of Operation Research ) Étude des fonctions-probabilité (accepté dans Optimization Letters ) Régularizations non-convexes pour la classification (IGARSS2015) Algorithmes pour l optimization sous-modulaire (preprint) Descente par coordonées dans le cas non-convexe (CAMSAP) Méthode Majorization-Minimization incrémentale... (accepté dans SIAM Journal on Optimization ) + enveloppe convexe lisse de top-k (utilisée dans projet Aersos)

15 (Quelques) contributions de 2015 Ex: algorithmes majorization-minimization incrémentaux et stochastiques Reǵulariseurs non-convexes pour plus de parcimonie par exemple Minorer un majorant itrativement : simple et utile Contribution : passer a l échelle du problèmes big data Version stochastique à les bonnes propriétés de convergence Tests : factorisation de matrices structurée + estimation parcimonieuse

16 Reconstruction et calibration en radio-astronomie (Quelques) contributions de 2015 Participants R. Boyer (L2S), A. Ferrari (Lagrange), C. Ferrari (Lagrange), N. El Korso (SATIE), P. Larzabal (SATIE), D. Mary (Lagrange), Contributions de 2015 Traitement de séries temporelles massives bruitées (GRETSI) Algorithmes distribuée de déconvolution spatio-spectral (chapitre d un livre) Estimation des intensités lumineuses par un algorithme ADMM distributé (presque fini) Calibration et traitement d antennes pour les grands réseaux interférométriques (articles dans ICASSP-2016, CAMSAP15) (Exemple 2 du début)

17 Plan de la présentation Réalisations de 2015 (grâce au soutien du projet) 1 Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) 2 (Quelques) contributions de 2015 Optimisation pour problèmes inverses structurés Apprentissage et optimisation non-convexes Application à la reconstruction et calibration en radio-astronomie 3 Réalisations de 2015 (grâce au soutien du projet) 4 Perspectives pour 2016

18 Grâce au soutien financier de Titan... Réalisations de 2015 (grâce au soutien du projet) Deux utilisations principales : financer des missions et (co-)financer des évènements Déplacements entre Nice, Grenoble et Paris Déplacements à des conférences notamment des jeunes (présentations ou membres de comités scientifiques) Organisation de workshops, écoles dété, sessions spéciales à des conférences, invitations...

19 Grâce au soutien financier : workshops Réalisations de 2015 (grâce au soutien du projet) Workshop OSL Optimization and Statistical Learning (Fév. 2015) une semaine organisée par LJK et LIENS très haut niveau international réunit les grands noms pendant une semaine aux Houches Large-scale Learning Spring School (Avril 2015) deux journées de cours, juste avant StatLearn orateurs prestigieux: Stephane Canu (LITIS, INSA Rouen) et Yann LeCun (NYU and Facebook) 70 participants... Workshop Titan Large-scale learning and optimization (Nov. 2015) une journée organisée à Grenoble par LJK et OCA une quarantaine de participants multiples conséquences (scientifiques et locales) (ex: connection avec le Gipsa et d autres equipes du LJK...) Workshop on Optim. for Image and Signal Processing (Déc. 2015) ces trois derniers jours! une quarantaine de participants, nombreux étrangers

20 Grâce au soutien intellectuel de Titan... Réalisations de 2015 (grâce au soutien du projet) Notre groupe gagne en visibilité en France et à l international ex : workshop OSL + ICML2015! Rapprochement des communautés apprentissage et optimisation Repositionnement des GdR GdR RO (évènements), GdR MOA (+ thème apprentissage et optimisation stochastique), GdR MIA (+ optimisation) Positionnement au sein du GdR Madics: Action ATLAS (LIG + LJK) apprentissage, optimisation à large-échelle et calcul distribué Et à Grenoble... : Nouvelle équipe DAO (optimization and learning for data science) dans le département proba-stats du LJK Séminaire OGre (100 personnes inscrites!) (LJK, LIG, Gipsa-lab, G-Scop, CEA, G2e-lab, Inria) Titan nous aide a structurer notre recherche

21 Plan de la présentation Perspectives pour Contexte scientifique: apprentissage, optimisation et applications (en radio-astronomie) 2 (Quelques) contributions de 2015 Optimisation pour problèmes inverses structurés Apprentissage et optimisation non-convexes Application à la reconstruction et calibration en radio-astronomie 3 Réalisations de 2015 (grâce au soutien du projet) 4 Perspectives pour 2016

22 Perspectives scientifiques Perspectives pour 2016 Sur notre lancée 1 Suivre la dynamique entre des sous-groupes du projet Ex : optimisation stochastique (algorithme d optimisation avec garanties, LJK + LTCI) Ex : étudiants en thèse (une débutée en septembre LJK + LIENS) 2 Écart les propriétés théoriques des algorithmes et leur propriétés observées en pratique sur des données réelles 3 Pour l application en radio-astronomie : on arrive au coeur du sujet... Nouvelles questions 1 Optimisation distribuée au-delà de l algorithmique, vers le calcul haute performance 2 Optimisation avec des données de mauvaise qualité optim. robuste, ou avec contraintes en probabilité

23 Perspectives pour 2016 Perspectives pour 2016 Nouveaux membres Laurent Condat (Gipsa-lab) méthodes de décomposition Jalal Fadili (Univ. Caen) problèmes inverses en image et peut-être: Pierre Genevès (LIG) langages, calculs Évènements déjà prévus pour 2016 workshop Optimization with Borders (Fév. 2016) rassemblera tous les grands noms de l école russe d optimisation autour de Yurii Nesterov organisation de sessions à la conférence Piconf (Juin 2016) sensibilisation dans la communauté maths des problèmes inverses préparation d une winter school optimisation et big data dans le cadre des mini-cours du GdR MOA Mathématiques de l optimisation et applications (Mai ou Nov. 2016?)