Problèmes inverses en statistique

Transcription

1 UNIVERSITE AIX-MARSEILLE 1 Spécialité : Mathématiques appliquées Mémoire présenté par Laurent CAVALIER pour obtenir l HABILITATION A DIRIGER DES RECHERCHES Sujet : Problèmes inverses en statistique Soutenue le 02 décembre 2003 devant le jury composé de : David Donoho Rapporteur Yuri Goloubev Oleg Lepski Pascal Massart Rapporteur Rapporteur Bruno Torrésani Alexandre Tsybakov Sara van de Geer

2 2

3 3 Remerciements Merci à Oleg Lepski et Pascal Massart d avoir bien voulu être rapporteurs de cette habilitation. Je voudrais, aussi leur dire toute ma gratitude pour les nombreuses discussions et échanges que nous avons eus. Je suis très honoré que David Donoho ait accepté lui-aussi d être rapporteur. Je sais que sa notoriété rend son emploi du temps très chargé, et j ai apprécié réellement qu il puisse se consacrer à la lecture de mon mémoire. Je souhaite aussi remercier vivement Sara van de Geer, Yuri Goloubev, Bruno Torrésani et Alexandre Tsybakov, d avoir accepté de participer au jury. En particulier, merci pour votre disponibilité. Cette habilitation est aussi pour moi l occasion d exprimer toute ma gratitude à mes collègues, et très souvent amis. Les conditions de travail à Marseille sont, grâce à vous, vraiment très agréables. Merci donc aux membres du CMI, LATP et particulièrement à ceux de l équipe de Probabilités et Statistique. Les travaux composant cette habilitation sont le fruit de nombreuses collaborations. Merci donc à mes co-auteurs, Dominique, Ja-Yong, Nicolas, Oleg, Sacha et Yuri, pour toutes les idées et discussions, passées et à venir... A ma famille, Elsa, Romain et Gaël, pour le tout le bonheur que nous partageons. Aux absents, Axel le plus récent, et ma mère il y a plus longtemps...

4 4

5 Table des matières 1 Introduction Présentation des travaux Problèmes inverses Problèmes mal-posés Problèmes inverses avec bruit aléatoire Décomposition en valeurs singulières Estimation minimax, adaptation et oracles Estimation minimax Estimation adaptative Inégalités oracles Résultats Ensembles de niveau Tomographie Problèmes inverses généraux Problèmes inverses particuliers

6 6 TABLE DES MATIÈRES

7 Chapitre 1 Introduction 1.1 Présentation des travaux Ce mémoire d habilitation à diriger les recherches a pour but de résumer notre activité de recherche dans le domaine des statistiques non-paramétriques, et en particulier du traitement statistique des problèmes inverses. L un des intérêts d un tel travail réside dans la possibilité de présenter ses propres résultats dans un cadre global. Une description plus générale de ses travaux apportant souvent un éclairage intéressant. Ceci n est habituellement pas le cas lorsque l on rédige des articles pour des journaux scientifiques, le cadre et les résultats se trouvant alors, un peu éparpillés dans diverses revues. Une des conséquences importantes est ainsi de pouvoir commenter, de façon un peu plus conséquente, le contenu et la signification des résultats. On peut, en particulier, s attarder plus longuement sur leur validité et leurs défauts. Pour cette raison, la préparation de ce mémoire est un travail intéressant, permettant de faire le point sur les recherches effectuées. Ce type de travail s apparente ainsi, et pourrait servir, à l écriture d un livre. Cette synthèse correspond à seize articles (dix publications et six preprints) dont les références sont présentées en annexe. Le choix d une étude intensive des problèmes inverses a été dicté par la richesse du sujet, et par notre goût pour la théorie des opérateurs. En effet, et le fort développement actuel du thème le confirme, les problèmes inverses sont réellement présents dans de nombreux domaines. Les mathématiques, bien sûr, avec la base fondamentale que forme la théorie des opérateurs, mais aussi, les équations aux dérivées partielles qui sont à l origine du premier problème mal-posé (Hadamard (1932)). La physique, où naturellement les chercheurs se sont trouvés confrontés à des observations indirectes, les amenant à résoudre des problèmes inverses. En particulier, en optique et en géophysique où apparaissent de nombreux modèles de stéréologie et autres. L imagerie médicale est aussi l un des domaines les plus impliqués dans ce type de problème. La tomographie, notamment, est un sujet récurrent en radiologie, 7

8 8 CHAPITRE 1. INTRODUCTION scanner, IRM. Les problèmes inverses constituent donc l un des sujets où le lien entre la théorie mathématique et la pratique est le plus fort. De nombreux prototypes de scanners sont testés dans des universités ou des instituts de recherche à travers le monde (notamment au Japon et aux USA). Cette proximité est, bien entendu, particulièrement stimulante. D un point de vue statistique, l un des avantages majeurs est que l étude des problèmes inverses nous donne un cadre cohérent dans lequel évoluer. On se pose ainsi des questions qui apparaissent logiquement pour ce sujet. Les divers travaux à accomplir et objectifs à atteindre se manifestent alors assez naturellement. Malgré tout, et ceci est essentiel, ce cadre ne limite pas les possibilités. En effet, les différents grands thèmes statistiques habituels sont présents. On peut s intéresser à la construction de tests statistiques, ou d estimateurs, minimax, adaptatifs... Les problèmes inverses fournissent donc un cadre, plus difficile, pour faire des statistiques, avec toutes les questions usuelles, plus de nouveaux problèmes directement issus du sujet (opérateurs bruités, bases inadéquates). Ainsi, malgré le cadre cohérent que forment les articles présentés [1-16], les résultats sont variés. En témoignent les classes de fonctions étudiées (Hölder, Sobolev, Besov, analytiques, anisotropes), les risques considérés (risque L 2, risque ponctuel, distance de Haussdorff), les méthodes utilisées (estimateurs à noyau, ondelettes, polynômes locaux, algorithme de Lepski, sélection de modèle, estimateurs par blocs, estimateur de Stein, splines) et les résultats obtenus (vitesses de convergence, constantes exactes, vitesses adaptatives, adaptation exacte, inégalités oracles). Le Chapitre 1 de ce mémoire est consacré à la présentation du cadre général dans lequel ont été obtenus une grande partie des résultats. Les définitions et modèles pour les problèmes inverses figurent dans la Section 1.2. Etant donné que les problèmes inverses avec bruit aléatoire occupent une place centrale dans nos travaux, et afin de faciliter la présentation, nous donnons une définition rapide ici (qui sera détaillée et commentée en Section 1.2) : Soit A un opérateur linéaire continu entre deux espaces de Hilbert H et G. On a le modèle suivant, Y = Af + εξ, (1.1) où ξ est une variable aléatoire généralisée (de type bruit blanc) à valeurs dans G, 0 < ε < 1 est un paramètre qui caractérise le niveau de bruit, et Y G est l observation. Le problème est d estimer (de recontruire) l élément (la fonction) f H à partir de l observation Y. On se retrouve ainsi devant un problème inverse (linéaire). Il s agit d inverser (en un certain sens) l opérateur A. On veut recontruire f à partir d une observation bruitée de Af. Le bruit étant aléatoire, ce modèle est appelé problème inverse avec bruit aléatoire. Ce problème se complique si A n est pas inversible (en tant qu opérateur continu). Dans ce cas-là, Hadamard (1932) parle de problème inverse mal-posé. Les problèmes mal-posés sont évidemment les plus stimulants pour les mathématiciens. Il s agit alors d inverser (en un certain sens) l observation bruitée afin de rester proche de la vraie solution.

9 1.1. PRÉSENTATION DES TRAVAUX 9 L une des méthodes les plus utilisées pour résoudre ce type de problèmes est la décomposition en valeurs singulières (SVD). La définition de la SVD et son intérêt ici seront également discutés. Par projection à l aide de la SVD on obtient : y k = b k θ k + εξ k, k = 1,2,..., (1.2) où ξ k sont des variables aléatoires gaussiennes standard i.i.d. et θ k sont les coefficients de f. Les b k sont les valeurs singulières de A, et tendent vers 0 (comme valeurs propres d un opérateur compact). Ce modèle, équivalent à (1.1), est appelé modèle de suite gaussienne. Il sera détaillé par la suite. La Section 1.3 traitera des différents critères statistiques permettant de juger de la qualité d un estimateur. Dans le modèle (1.1), on appelle estimateur ˆf ε toute fonction mesurable de Y. On définit alors le risque de l estimateur (un critère permettant de mesurer l erreur commise). Par exemple, le risque quadratique est ici E f ˆf ε f 2, où est une norme sur l espace de Hilbert H et E f est l espérance mathématique par rapport à la loi de Y. Le but, d un point de vue statistique, est de construire des estimateurs de f ayant un risque le plus petit possible. En particulier, on peut s intéresser aux propriétés du risque lorsque ε 0. On parle alors de résultats asymptotiques. L un des critères les plus utilisés en statistique mathématique est de considérer le risque minimax sur une classe de fonctions F. C est en fait le pire risque parmi toutes les fonctions de F. Ce risque est en général difficile à calculer, et on se contente parfois de l ordre de grandeur en terme de ε (v ε appelée vitesse de convergence). Un estimateur atteignant la meilleure vitesse de convergence possible parmi tous les estimateurs sera dit optimal. Un raffinement de ce type de résultats est de construire parmi les estimateurs optimaux un estimateur atteignant la meilleure constante possible pour le risque. Un tel estimateur est appelé estimateur minimax. Un autre domaine de l estimation minimax s est fortement développé durant les années 90 (voir par exemple Lepskii (1990), Donoho et al (1995), Birgé et Massart (1997)). Il s agit de l estimation adaptative. La raison de cet engouement provient d un défaut assez fondamental concernant les estimateurs optimaux (ou minimax). Ces estimateurs dépendent très fortement de la définition de la classe F. En général, F est indexée par un paramètre α > 0, qui correspond en fait à la régularité des fonctions considérées. Ainsi, un estimateur optimal sera lié à la valeur de α. Ceci signifie que pour le construire, et atteindre ainsi la vitesse optimale, il faudrait connaître la régularité de la fonction inconnue f. Cette hypothèse se révèle en fait irréaliste. L estimation adaptative consiste alors à s affranchir de cette connaissance. On veut construire les meilleurs estimateurs possibles sans connaître α.

10 10 CHAPITRE 1. INTRODUCTION Un autre critère ayant connu un énorme développement parallèle est le concept des inégalités oracles (voir par exemple Donoho et Johnstone (1994), Kneip (1994), et Barron, Birgé et Massart (1999)). Le principe ici n est plus d obtenir le meilleur estimateur pour une classe de fonctions F, mais de montrer qu un certain estimateur est aussi bon (ou presque) que tous les estimateurs parmi une certaine famille d estimateurs donnée. Un aspect intéressant des inégalités oracles est qu il est possible de construire des inégalités non-asymptotiques. Des résultats de ce type sont, en règle générale, plus faciles à appliquer. Une fois présentées ces différentes définitions et le cadre des problèmes inverses, nous passons au Chapitre 2. Ce chapitre consiste en une description chronologique (mais aussi logique) des divers travaux de recherche. Cette description se fait suivant quatre sections qui correspondent à des périodes (plus ou moins) distinctes. La Section 2.1 concerne notre premier problème statistique. Elle correspond à l article [1]. On étudie ici le modèle de régression non-paramétrique multidimensionnel. On observe la fonction multidimensionnelle f (plus un bruit gaussien). Ici on ne désire pas estimer f mais ses ensembles de niveau G f (λ) = {x : f(x) λ} où λ > 0. On cherche ici à reconstruire le bord de G f (λ). Ce modèle n est pas à proprement parler un problème inverse, en tout cas il ne correspond pas au modèle (1.1). Pourtant, l idée sous-jacente est similaire; on ne veut pas estimer directement ce que l on observe mais plutôt une certaine fonctionnelle. Ainsi, même si le terme problème inverse n apparaît pas, le type de sujet est analogue. Dans ce cadre, on suppose que le bord de l ensemble de niveau est régulier. Alors, on contruit un estimateur optimal du bord, basé sur des polynômes par morceaux et sur le critère d excès de masse. Le sujet de la Section 2.2 sera la tomographie. Le principe de la tomographie est de recontruire une fonction multidimensionnelle à partir des observations de ses intégrales sur des hyperplans. C est un sujet qui apparaît dans de nombreux domaines, en particulier pour la radiologie et l imagerie médicale en général. La tomographie est un problème inverse mal-posé où l opérateur à inverser est la transformation de Radon définie par Rf(s,u) = f(w)dw, w: w,s =u où u IR, s S d 1, S d 1 est la sphère unité, et, est le produit scalaire sur IR d. Ainsi, Rf(s, u) est l intégrale sur l hyperplan défini par (s, u). La thèse [11] a pour sujet essentiel la tomographie. La Section 2.2 concerne les articles [2-5]. L article [9] postérieur, bien que traitant aussi de tomographie, sera présenté dans la Section 2.4.

11 1.1. PRÉSENTATION DES TRAVAUX 11 Différents modèles sont considérés dans ces travaux. Aucun ne correspond au modèle (1.1). En particulier, la norme utilisée n est en général pas la norme L 2 et la décomposition en valeurs singulières n est pas utilisée. Dans [2] et [3] le modèle étudié est un modèle de type bruit blanc gaussien, proche de (1.1). C est-à-dire que l on observe la transformée de Radon plus un bruit gaussien (comme pour la radiologie). Cependant, le risque étudié est le risque en un point fixé. Les classes considérées contiennent des fonctions dont la transformée de Fourier est exponentiellement décroissante. Ces fonctions sont la généralisation multidimensionnelle des fonctions analytiques, i.e. admettant un prolongement analytique dans une bande du plan complexe. En particulier, elles sont très régulières et permettent ici de construire des estimateurs minimax, i.e. atteignant la constante exacte du risque asymptotique. Le cadre considéré dans [4] est assez proche, et les classes de fonctions sont identiques. La différence essentielle est que le modèle ici n est pas de type bruit blanc gaussien mais de type densité. Ce genre de modèle pour la tomographie s apparente à des problèmes de tomographie par émission (par exemple la tomographie par émission de positron (PET)). Ici la transformée de Radon n est pas observée avec un bruit, comme pour les rayons-x, mais elle est la densité de probabilité d une variable aléatoire modélisant l apparition de positrons. On peut alors construire des estimateurs minimax. Dans [5] le modèle est de type régression non-paramétrique pour la tomographie. Il modélise donc (comme [2-3]) un problème de type rayons-x. La différence est que le modèle est plus réaliste et n est pas idéalisé comme le modèle de bruit blanc gaussien. Le but ici est de contruire un estimateur adaptatif. On peut alors montrer, en utilisant une approche proche de Lepski, Mammen et Spokoiny (1997), que l estimateur construit atteint pratiquement la vitesse de convergence optimale sur toute classe de Sobolev H(β, L) pour le risque en un point fixé. Le prix à payer pour l adaptation est un terme logarithmique en n supplémentaire dans la vitesse de convergence. Dans ces divers articles l outil utilisé pour inverser l opérateur est en fait le théorème de projection qui relie la transformée de Fourier de la transformée de Radon Rf à celle de la fonction f. Ainsi l approche utilisée est-elle propre à la tomographie. Elle peut bien entendu être étendue à tout opérateur pour lequel il existe une relation de ce type (par exemple la convolution). Par contre, elle ne permet pas de traiter des opérateurs généraux. Le sens de la Section 2.3 est de présenter les travaux ultérieurs [6-8,10], et de construire une théorie concernant la résolution de problèmes inverses généraux, basée sur la SVD. Les quatre articles qui sont décrits dans cette section ont tous pour cadre le modèle (1.1) et l utilisation du risque L 2. L avantage de la distance L 2 est qu elle permet d obtenir des résultats en général plus forts, et en particulier des constantes exactes pour le risque asymptotique. De même, comme l a montré Lepskii (1991) pour le cas direct, il est possible de contruire des estimateurs

12 12 CHAPITRE 1. INTRODUCTION adaptatifs optimaux. Ces estimateurs atteignent la vitesse optimale, sans avoir à perdre un logarithme. Ceci n est par exemple pas le cas pour le risque ponctuel. Dans le même esprit, les articles [6-8,10] présentent de nombreuses inégalités oracles qui seront asymptotiquement exactes. Dans [6-7], la construction des estimateurs est basée sur le principe de l estimation par blocs (voir Nemirovski (2000)). Les coefficients permettant de définir l estimateur sont constants au sein de blocs d indices. Dans un bloc donné, on calcule la valeur à l aide de l estimateur de Stein pénalisé. On obtient ainsi un estimateur de Stein pénalisé par blocs. Les articles [6-7] utilisent ces estimateurs pour obtenir des inégalités oracles asymptotiquement exactes. On peut ainsi montrer que cette méthode d estimation est asymptotiquement aussi bonne que tous les estimateurs linéaires monotones. Ainsi, cette méthode universelle peut faire aussi bien que les estimateurs par projection, splines, méthode de Tikhonov et filtres de Pinsker, qui sont tous monotones. D autre part, on montre que ces estimateurs sont adaptatifs minimax, au sens qu ils atteignent non seulement la vitesse de convergence optimale, mais aussi la constante asymptotique exacte. Ceci est démontré pour des classes de coefficients θ k qui correspondent à des classes de Sobolev ou des classes de fonctions analytiques. L article [6] ne concerne en fait pas réellement les problèmes inverses, puisque ici le modèle est direct, i.e. b k 1. Les résultats sont en partie des raffinements de ceux [7]. En particulier, le terme résiduel de l inégalité oracle est plus petit. D autre part, une étude beaucoup plus complète est menée concernant les divers choix de tailles de blocs, de pénalisations et de classes de coefficients. Un dernier résultat original consiste à montrer que l estimateur par blocs atteint pratiquement la vitesse de convergence optimale sur des espaces de Besov B(s, p, q) pour lesquels p < 2. Donoho et Johnstone (1994) ont montré que, sur ces classes, les estimateurs linéaires n étaient pas optimaux. Ce résultat est important car il montre que, parfois (pour certaines classes de fonctions), la méthode universelle est réellement meilleure que tous les estimateurs linéaires (et en particulier monotones). Le cadre étudié dans [8] est le même que celui de [7]. La différence ici concerne la méthode d estimation utilisée. On ne veut pas ici contruire une méthode d estimation universelle mais faire de la sélection de modèle. La sélection de modèle a été très étudiée en statistique (voir notamment Barron, Birgé et Massart (1999)). Le principe est que l on désire choisir, à l aide des données, parmi une famille d estimateurs, le meilleur possible. On utilise ici le principe de l estimation sans biais du risque afin de définir un critère permettant d effectuer ce choix. L estimateur construit par minimisation du critère obtenu se révèle intéressant. On peut obtenir, ici aussi, des inégalités oracles asymptotiquement exactes pour les estimateurs par projection, méthode de Tikhonov, filtre de Pinsker. Un résultat supplémentaire concerne le cas des fonctions multidimensionnelles anistropes, i.e. de régularités différentes suivant les directions. En effet, la méthode utilisée ne réclame pas de relation d ordre, contrairement à celle par blocs. Ainsi on peut donner

13 1.1. PRÉSENTATION DES TRAVAUX 13 comme exemple le cas des classes de Sobolev anisotropes pour lesquelles l estimateur est adaptatif minimax. Malgré l aspect assez général de ces résultats, une condition d une extrême importance n a pas été mentionnée. Une hypothèse fondamentale est que les valeurs singulières de l opérateur A décroissent comme des polynômes. Ceci signifie que le problème est mal-posé mais pas trop. C est un problème légèrement mal-posé. Dans le cas où cette décroissance est plus rapide, exponentielle, alors l estimation est beaucoup plus difficile et le problème est dit très mal-posé. L article [10] traite des problèmes inverses très mal-posés. Ce type de modèles apparaît notamment dans certains problèmes d équations aux dérivées partielles, mais aussi pour des modèles de convolution avec des super-filtres. La difficulté ici est que dans le modèle (1.2) le signal θ k est très dégradé par les valeurs b k. L estimation est ainsi délicate. Par exemple, pour la convolution, Efromovich (1997) a montré que la vitesse optimale sur des classes de Sobolev était logarithmique (donc très faible). Afin d éviter ce phénomène, une idée naturelle est de considérer des fonctions très régulières, de type analytique. On définit ici un estimateur de seuillage par bloc. Cet estimateur atteint une vitesse de convergence polynômiale avec un terme logarithmique. On montre alors, pour une classe donnée, qu aucun autre estimateur ne peut être meilleur (même au niveau de la constante), sans perdre beaucoup plus ailleurs. Cet estimateur est ainsi adaptatif exact. Un phénomène remarquable est la perte d un log pour l adaptation. Ce n est habituellement pas le cas pour la norme L 2. Ceci laisse penser que l aspect très mal-posé du problème modifie réellement la structure du modèle. L approche de la Section 2.3 a permis de développer une théorie globale pour les problèmes inverses. Il suffit d appliquer la SVD et le modèle (1.1) de départ se ramène à un problème plus statistique (1.2). Malheureusement, il existe une opinion communément répandue, spécialement en physique, qui dit que chaque problème inverse est un cas particulier. Ceci est dû à diverses raisons, la SVD n est en général pas bien connue, l opérateur lui-même peut être bruité, les bruits sont non gaussiens... Il existe par exemple un grand nombre de livres et de conférences spécifiquement dédiés à la seule tomographie. En fait, (1.1) est d une certaine manière un modèle bien posé pour des problèmes mal-posés. Sans pour autant utiliser les modèles de plus en plus raffinés qui apparaissent lorsque l on effectue une étude plus pratique des problèmes inverses, il est alors naturel de s intéresser à ce qui arrive lorsque l on perturbe le modèle de départ. La Section 2.4 présente en fait quelques exemples de problèmes différents. Une étude de cas plus spécifiques est ainsi une démarche normale après le développement d un cadre global.

14 14 CHAPITRE 1. INTRODUCTION Le modèle considéré dans [9] est assez proche de celui de [4] et correspond à une modélisation de la PET. C est donc un problème de tomographie qui pourrait figurer dans la Section 2.2. Cependant, la méthode utilisée (très différente de celles de [2-5]) ainsi que des raisons chronologiques justifient de placer [9] dans cette section. La différence fondamentale concernant le modèle vient du fait que contrairement à [4] où l on avait n observations, le nombre d observations est ici aléatoire. Ceci permet de traiter un modèle plus réaliste où le nombre d émissions suit une loi de Poisson de moyenne n. La loi de Poisson est en effet très fréquemment utilisée pour modéliser le nombre de particules émises. L estimateur construit est basé sur la décomposition en Ondelettes-Vaguelettes (WVD) définie par Donoho (1995). L idée est d avoir une décomposition basée sur des bases d ondelettes et non sur la SVD. Dans ce cadre on peut alors construire un estimateur adaptatif qui atteint une vitesse presque optimale sur tous les espaces de Besov B(s,p,q). La perte pour cette adaptation est un terme logarithmique en n par rapport à la vitesse optimale. Dans [12] on étudie un problème très particulier. On observe ici un mélange de Poisson, i.e. que les observations suivent une loi de Poisson de paramètre aléatoire ayant comme fonction de répartition F. Ce modèle correspond en fait à une déconvolution très mal-posée. Les vitesses de convergence sont ainsi logarithmiques (voir Hengartner (1997)). Dans ce cadre on s intéresse à l estimation de fonctions extrêmement régulières (à transformée de Fourier à support compact). Un problème analogue est de ne pas estimer F mais certaines fonctionnelles, sous des conditions assez fortes. Dans les deux cas on obtient alors des vitesses de convergence polynômiales. L article [13] est au sens propre une perturbation du cadre utilisé dans [8]. Le principe ici est que l opérateur A est mal-connu (ceci est fréquent en pratique). On suppose que les valeurs singulières sont elles-même observées avec un bruit. La conséquence principale est assez remarquable. Si le bruit sur les b k n est pas plus grand que ε, celui sur le modèle, alors on obtient à peu près les mêmes résultats (inégalités oracles, adaptation) que dans [8]. L estimateur construit consiste essentiellement à utiliser les valeurs singulières bruitées à la place des vraies. Dans [14], le modèle de départ est encore perturbé. En effet, on désire s intéresser à l intégrale fractionnaire. Si la définition utilisée est la définition pour les fonctions périodiques, alors le cadre et les résultats de [7-8] peuvent s appliquer directement. Par contre, si l on veut voir l influence d un éventuel effet de bord, et que l on considère des fonctions périodiques, on utilise une autre définition. Le modèle correspond alors à un modèle de bruit avec un brownien fractionnaire. Le problème vient du fait que la base utilisée pour les fonctions (base de splines), n est pas exactement la bonne base pour l opérateur. Il est alors difficile de construire un estimateur minimax ici. Seule une borne supérieure est obtenue pour l instant. L article [15] est une rapide étude permettant de comparer le modèle de problème inverse avec bruit aléatoire au cas du bruit déterministe. Contrairement à ce que l on

15 1.2. PROBLÈMES INVERSES 15 pourrait penser, ce n est pas réellement la nature (déterministe ou aléatoire) du bruit qui différencie ces modèles, mais plutôt le niveau de bruit. Or, il se trouve que le bruit est nettement plus fort dans le cas aléatoire que dans le cas détermniste. Dans [16], on étudie le cas où l opérateur considéré A, n est pas compact. On ne peut pas alors utiliser la SVD, et ainsi obtenir le modèle de suite gaussienne. Pourtant, à l aide du Théorème spectral, il est possible de généraliser l étude à tout opérateur linéaire, en remplaçant les valeurs propres par un spectre continu. On peut alors obtenir des résultats analogues aux articles précédents. 1.2 Problèmes inverses Problèmes mal-posés Les problèmes inverses apparaissent dans de très nombreux domaines, imagerie médicale, géologie, satellites, mais aussi traitement du signal ou théorie du radar. L idée principale est que l on veut recontruire un élément (par exemple une fonction) qui n est pas directement observé. On dispose donc d observations indirectes. De nombreux exemples peuvent être présentés, convolution et différentiation en mathématique, tomographie et images brouillées du télescope Hubble en imagerie, géodésie et équation de la chaleur en physique (voir Engl et al (1996)). Le premier problème inverse date en fait de 1932 et d un fameux article de Hadamard (1932). Il s agissait de recontruire la solution du problème de Cauchy à partir de la condition initiale. Une petite perturbation sur la condition initiale entrainant une forte erreur finale. D un point vue mathématique, le problème se pose comme l inversion d un certain opérateur. En particulier on peut poser le cadre des problèmes inverses linéaires. Soient H et G deux espaces de Hilbert et A : H G un opérateur linéaire continu. Le problème est alors le suivant, sachant g G, trouver f H telle que Af = g. (1.3) Le problème (1.3) est appelé bien-posé par Hadamard (1932) si et seulement si il existe une solution unique pour chaque g G, et que cette solution dépend continûment de g. Sinon, (1.3) est dit problème inverse mal-posé. Ceci signifie que A 1 n existe pas en tant qu opérateur linéaire continu sur G. Dans beaucoup de cas intéressants, les problèmes sont mal-posés. Si l on observe g avec une certaine erreur, même g ε proche de g, ne permet pas de garantir que l on peut controler (A 1 g A 1 g ε ). Le but est donc de définir des méthodes d inversion approximées qui garantissent que l inverse soit proche de la vraie solution, et qui soient assez stables. On peut remarquer ici que l idée d erreur est fondamentale dans le cadre des problèmes mal-posés. Sans erreur, une recontruction, même non continue, serait acceptable.

16 16 CHAPITRE 1. INTRODUCTION Problèmes inverses avec bruit aléatoire Il existe en fait trois approches pour considérer l erreur sur les observations : Dans le premier cas, on néglige l erreur et elle n est pas prise en compte. Il faut alors imposer une certaine stabilité sur les méthodes de reconstruction afin d obtenir des techniques utilisables en pratique. Malgré tout, cette optique n est guère satisfaisante sur le plan mathématique. La deuxième approche, la plus populaire dans l étude des problèmes inverses, est de supposer que l erreur est un élément inconnue d une boule de l espace de Hilbert G. On observe alors g δ avec g δ g δ, où g = Af. Le paramètre δ > 0 mesure l erreur commise. On considère en fait ici une erreur e G, e δ. Cette approche a été développée notamment dans Tikhonov et Arsenin (1977). On s intéresse alors à l obtention de résultats dans le pire des cas, i.e. sup e δ. La dernière approche, et qui sera la nôtre, est de considérer que l erreur est une variable aléatoire. Cette optique a été notamment développée dans Sudakov et Khalfin (1964) et Bakushinskii (1969). Cette approche connaît actuellement un réel essor en statistique. On arrive ainsi naturellement à l écriture symbolique suivante : soit A un opérateur linéaire continu défini de D H dans Im(A) G. On a ainsi l observation Y G, Y = Af + εξ, (1.4) où ξ est une variable aléatoire généralisée à valeurs dans G, 0 < ε < 1 est un paramètre qui caractérise le niveau de bruit. Plus précisement, notons, le produit scalaire (sur H ou G) et les normes associées. On définit ξ de façon à ce que pour tout u G, ξ,u suit une variable gaussienne sur un espace de probabilités (Ω, A,P), de moyenne 0 et de variance u 2. On suppose de plus que E{ ξ,u ξ,v } = u,v, pour tout u,v G, où E est l espérance mathématique par rapport à P. Ainsi, ξ peut être, par exemple, un bruit blanc (voir Hida (1980)). En particulier, ξ =, le bruit aléatoire étant ainsi très fort. Cette remarque est assez importante, et on verra à la Section 2.4, qu elle constitue en fait l une des différences fondamentales par rapport au cas du bruit déterministe. Le problème est d estimer l élément f H à partir de l observation Y. Le modèle (1.4) correspond à un problème inverse avec bruit aléatoire. Un exemple classique d un tel modèle en statistique est dy (v) = Af(v) + ε dw(v), v V, (1.5) où A est un opérateur de L 2 (V ) dans L 2 (V ), avec V IR d, d 1. On voit ici que ξ correspond à dw. Le modèle (1.5) est une version adaptée aux problèmes inverses, du modèle de bruit blanc gaussien (cas direct A = I). Il est bien connu que le bruit blanc gaussien classique, i.e. dans le cas direct, est, sous des conditions assez faibles, équivalent à d autres modèles statistiques usuels quand ε = n 1/2, modèle de densité, régression non-paramétrique (voir Brown et Low (1996) et Nussbaum (1996)). Cependant, il faudrait

17 1.2. PROBLÈMES INVERSES 17 étendre ces résultats au cas par cas, et en particulier pour les problèmes inverses. Ainsi, le bruit blanc gaussien doit être vu comme un modèle idéalisé, permettant de comprendre l essentiel des phénomènes statistiques se produisant dans un cadre donné. C est exactement le sens du modèle de problème inverse avec bruit aléatoire (1.4). Il évite les difficultés techniques et permet de travailler dans un cadre agréable Décomposition en valeurs singulières Une façon naturelle d étudier le problème est de s intéresser à la décomposition en valeurs singulières (SVD) de A. Soit A l adjoint de A. Supposons que A A soit un opérateur compact sur H avec comme valeurs propres {b 2 k }, b k > 0,k = 1,2,..., et soit {ϕ k } une base orthonormée sur H de fonctions propres. Remarquons que Aϕ k = b k. Soit La base {ψ k } est orthonormée. De plus, On a alors pour tout f dans D, ψ k = Aϕ k Aϕ k = b 1 k Aϕ k. Aϕ k = b k ψ k, A ψ k = b k ϕ k. (1.6) Af = k b 1 k Af,ψ k Aϕ k = k b k f,ϕ k ψ k, (1.7) f = k b 1 k Af,ψ k ϕ k + u, (1.8) où u kera et la série converge pour. Les relations (1.6) - (1.8) donnent la SVD de A. En fait nous ne considèrerons que le cas où u = 0. On s intéresse seulement à reconstruire la part de f qui n est pas dans le noyau. Les problèmes causés par une image Im(A) strictement plus petite que G et un noyau non-nul ne seront pas traités ici. En effet, il est alors possible de définir l inverse de Moore-Penrose (généralisé) de l opérateur A. Ceci consiste à restreindre le domaine de définition et l image de A de façon à rendre l opérateur inversible et à l étendre ensuite à son domaine maximal (voir Groetsch (1977)). On peut projeter Y sur {ψ k }, on obtient alors et donc d après (1.6) Y,ψ k = Af,ψ k + ε ξ,ψ k = f,a ψ k + ε ξ,ψ k, y k = b k θ k + εξ k, k = 1,2,..., (1.9) où les ξ k = ξ,ψ k sont des variables aléatoires i.i.d. gaussiennes standard et θ k = f,ϕ k. Le problème dans (1.9) est d estimer θ = {θ k } à partir de l observation y = {y k }. Les b k

18 18 CHAPITRE 1. INTRODUCTION sont, en général, connues et caractérisent le problème inverse. En particulier, étant valeurs propres d un opérateur compact, b k 0. En fait, (1.9) revient à raisonner sur l espace des coefficients. On appellera suite gaussienne le modèle défini par (1.9). Ce modèle apparaît notamment dans Belitser et Levit (1995), Johnstone (1998) et Birgé et Massart (2001). Si l on considère le risque quadratique afin de mesurer l erreur commise par un estimateur on a alors E f ˆf f 2 = E θ (ˆθ k θ k ) 2 = E θ ˆθ θ 2, (1.10) k où ˆθ = {ˆθ k } est un estimateur de θ, et ˆf = ˆθk ϕ k l estimateur de f associé. La notation correspond aux normes L 2 ou l 2. Ainsi avec ce risque, les modèles (1.4) et (1.9) sont équivalents. Par la suite, nous travaillerons dans l espace des coefficients en utilisant le modèle (1.9). Ce modèle, bien que correspondant comme nous l avons vu à un problème inverse malposé, peut être lié à d autres cas. En particulier, si b k 1 alors ceci est la suite gaussienne associée à un problème direct (A = I). Johnstone (1999) a montré que (1.9) apparaît dans le cas d observations avec bruit corrélé. De plus, le cas b k peut aussi être considéré, car cela se produit pour les problèmes inverses bien-posés. Si l on oppose le cas direct au cas mal-posé, la remarque essentielle est que les b k détériorent le signal θ k. La présence des valeurs singulières rend ainsi l estimation plus délicate. Il est en particulier naturel de penser que la vitesse à laquelle les b k tendent vers 0 permettra de caractériser la difficulté du problème. Nous verrons cela plus précisement dans la Section 2.3. Une remarque importante est que si l on désire obtenir une estimation raisonnable de θ, il est nécessaire que les termes θ k décroissent assez vite. Or les θ k sont les coefficients de f dans la base {ϕ k } associée à l opérateur A. Ainsi, la base {ϕ k } doit permettre une bonne représentation de f. Le problème majeur est qu elle dépend seulement de l opérateur. Il est donc naturel de se demander si cette base sera appropriée. Cette constatation est l une des critiques les plus importantes (et les plus fondées) que l on puisse faire au sujet de l utilisation de la SVD. Ceci a en particulier était noté dans Donoho (1995). D. Donoho a alors proposé une approche intermédiaire, appelée décomposition en ondelettes-vaguelettes (WVD). Elle consiste à utiliser comme système de départ sur l espace H une base appropriée, afin de bien représenter f. La base considérée est ainsi une base d ondelettes. On projette les observations sur la base image par l opérateur A de ce système d ondelettes. On obtient alors une base de vaguelettes dans G. On peut ainsi construire des estimateurs atteignant la vitesse optimale de convergence sur les espaces de Besov. Cette WVD est maintenant très populaire en statistique des problèmes inverses (voir par exemple Kolaczyk (1996), Abramovich et Silverman (1997) et Johnstone (1999)). Cette méthode est notamment utilisée dans l article [9] sur le problème de tomographie par émission de positrons.

19 1.2. PROBLÈMES INVERSES 19 Malgré tout, pour certains opérateurs, parmi les plus classiques, pour lesquels la SVD est disponible, cette critique peut être effacée, ou du moins atténuée. Le meilleur exemple est bien sûr la déconvolution où la base naturelle est la base de Fourier. Dans ce cas-là, les hypothèses de décroissance des coefficients θ k de la fonction f correspondent exactement aux hypothèses usuelles en statistique. Suivant les conditions posées sur les θ k, les fonctions appartiennent à des classes de Sobolev ou analytiques. Cette remarque sera vraie pour tout opérateur pour lequel la base associée est celle de Fourier. Notamment ceci sera vérifié pour les différents cas de problèmes inverses très mal-posés apparaissant dans les équations aux dérivées partielles (voir [10]). Un autre cas où la SVD paraît raisonnable est la tomographie. Dans ce cadre, la SVD est connue, mais d une grande complexité (voir Deans (1983)). Pourtant, Johnstone et Silverman (1990) ont montré que, admettre une décroissance polynômiale sur les coefficients θ k revient à considérer des fonctions appartenant (approximativement) à une classe de Sobolev. De plus, malgré l aspect difficile de cette base, elle semble présenter un intérêt réel. Récemment, lors d une invitation au Los Alamos National Laboratory (USA), nous avons rencontré des chercheurs utilisant la SVD en traitement d images issues de la tomographie. Un autre reproche conséquent sur l utilisation de la SVD est que la base {ψ k } et les valeurs singulières b k sont supposées explicitement connues. Cette hypothèse paraît trop restrictive en pratique, où l on ne disposera, au mieux, que d approximations numériques de ces termes. Un début de réponse est considéré dans [13]. On s intéresse au cas où la base {ϕ k } est connue mais les valeurs singulières observées avec un bruit. Si ce bruit est de même ordre que ε, celui dans les observations, alors l utilisation des valeurs singulières bruitées à la place de celles d origine permet d obtenir essentiellement les mêmes résultats. Ainsi on peut conjecturer que des approximations numériques, sur la base {ϕ k } ou sur les b k, petites par rapport au bruit de départ ne modifieraient pas les résultats. Une dernière remarque concerne le modèle de problème inverse (1.4). En général, on peut définir A 1 ponctuellement, entre autre à l aide de l inverse généralisé. De plus, pour une majorité d opérateurs, A 1 est explicitement connu et linéaire (par exemple en tomographie, convolution,...). Ainsi le problème principal demeure que A 1 n est pas continu (par exemple pour les opérateurs compacts). Il est alors tout à fait possible d appliquer directement A 1 au modèle (1.4). On obtient On dispose ainsi d une nouvelle observation A 1 Y = A 1 Af + A 1 εξ. Z = f + εa 1 ξ. Cette constatation est intéressante. Elle aide en effet à comprendre que la difficulté majeure pour les problèmes inverses mal-posés est en fait le contrôle du bruit A 1 ξ. Ce bruit explose par exemple pour les opérateurs compacts. L utilisation de bases, celle de la SVD ou de la

20 20 CHAPITRE 1. INTRODUCTION WVD, permet de se ramener à des variables aléatoires que l on puisse traiter. On s intéresse alors aux variables A 1 ξ,ψ k = ξ,(a 1 ) ψ k, qui sont des variables gaussiennes centrées de variance (A 1 ) ψ k Estimation minimax, adaptation et oracles Le but essentiel de la théorie de l estimation est le contrôle du risque. On désire construire un estimateur commettant la plus petite erreur possible. Malgré tout, il est impossible de comparer directement le risque de tous les estimateurs, afin de choisir le minimum. Pour cette raison, il existe un certain nombre de critères permettant de juger de la qualité d un estimateur. On peut utiliser le risque minimax afin de contôler le risque uniformément sur une classe de fonctions donnée. Une étude asymptotique, quand le nombre d observations n, de ce risque permet d apprécier la qualité d un estimateur. Il est aussi possible d obtenir des résultats adaptatifs, i.e. pas sur une classe de fonctions donnée mais pour toute une gamme de classes. Une autre approche consiste à comparer le risque de l estimateur à celui de certaines classes d estimateurs classiques, et ainsi obtenir des inégalités oracles. Obtenir des résultats minimax ou des inégalités oracles permet de se convaincre, et de convaincre les autres, que l estimateur obtenu est bon. On peut en effet alors affirmer qu il est optimal pour des fonctions classiques ou qu il est (presque) aussi bon que certaines classes d estimateurs usuels. Cependant, ces critères restent seulement des repères permettant d apprécier la précision de l estimateur. L objet principal demeure le contrôle du risque de l estimateur Estimation minimax On considère une expérience statistique (Ω, A,P f,f F α ), où Ω est l espace d échantillonnage, A une tribu de parties de Ω, P f une famille de lois de probabilité indexée par une fonction f : IR d IR, d 1, telle que f F α, où F α est un ensemble de fonctions indexé par α > 0. Ce paramètre caractérise, en général, la régularité des fonctions considérées. Soient n observations X 1,...,X n, indépendantes et identiquement distribuées (i.i.d.), l expérience statistique s écrit alors (Ω n, A n,p n f,f F α ). Tout ce qui sera défini par la suite reste valable pour une expérience statistique du type (Ω ε, A ε,p (ε) f,f F α ), où ε est un paramètre réel caractérisant la puissance du bruit contenu dans les observations, par exemple les modèles (1.4), (1.5) et (1.9). Le problème consiste, en général, à estimer la fonction f. On parle d estimation nonparamétrique car on ne désire pas estimer un paramètre mais la fonction f elle-même. On définit alors un risque pour tout estimateur (toute fonction des observations). Soit w une

21 1.3. ESTIMATION MINIMAX, ADAPTATION ET ORACLES 21 fonction de perte pour des fonctions. On peut définir le risque de l estimateur ˆf n par E f [w( ˆf ] n,f), (1.11) où E f est l espérance mathématique qui correspond à P n f. Ce risque permet d évaluer l erreur commise dans l estimation de f par ˆf n. Deux risques principaux seront étudiés dans ce mémoire. Le premier est le risque quadratique, dans le modèle (1.4) E f ˆf ε f 2, (1.12) où est la norme sur l espace de Hilbert, et qui correspond à [ ] E f ( ˆf ε (v) f(v)) 2 dv, (1.13) V dans le modèle (1.5). Le deuxième cas est le risque ponctuel, ou risque en un point fixé, dans le modèle (1.5), où x V est un point fixé. E f [( ˆf ε (x) f(x)) 2], (1.14) Le risque quadratique, dans le cadre des problèmes inverses, est certainement la distance naturelle, ou du moins la plus utilisée. La raison essentielle est que la théorie classique traite des opérateurs entre deux espaces de Hilbert. Il paraît donc logique d utiliser la norme associée, et ainsi de privilégier le risque quadratique. Cependant, des résultats pour des risques différents (risque ponctuel ou risque L p, p 2) sont bien entendu intéressants. Les articles [2-5] traitent notamment du risque ponctuel pour le problème de tomographie. On appelle risque maximal le pire risque sur la classe F α, [ sup E f w( ˆf ] n,f), f F α et risque minimax, inf ˆf n [ sup E f w( ˆf ] n,f), f F α où inf ˆfn désigne l infimum sur tous les estimateurs. Le risque minimax est appelé ainsi car il correspond au minimum pour tous les estimateurs du risque maximal sur la classe F α. Soit fn un estimateur de f vérifiant lim n sup sup f F α E f [ v 1 n w(f n,f)] C 1 < +, (1.15) avec {v n } telle que lim n inf inf ˆf n [ sup E f vn 1 w( ˆf ] n,f) C 2 > 0, (1.16) f F α

22 22 CHAPITRE 1. INTRODUCTION où C 1 et C 2 sont des constantes positives, inf ˆfn désignant l infimum sur tous les estimateurs de f. On dit, lorsque (1.15) est vérifiée, que fn converge vers f avec la vitesse de convergence v n. L équation (1.16) signifie qu aucun estimateur ne converge avec une vitesse plus rapide que v n. Soit fn un estimateur de f vérifiant (1.15) et (1.16). On dit alors d un tel estimateur qu il est optimal, ou qu il atteint la vitesse optimale de convergence {v n } sur la classe F α. Cette théorie est la base des statistiques non-paramétriques et a notamment été développée dans Bretagnolle et Huber (1979), Stone (1980,1982) et Ibragimov et Hasminskii (1981). Si de plus, C 1 = C 2, alors l estimateur fn est dit asymptotiquement minimax ou minimax. Dans le cadre des statistiques non-paramétriques, la construction d estimateurs minimax est un problème difficile. Le premier cas de ce type est apparu dans Pinsker (1980). Ce fameux résultat concerne la distance L 2 et des fonctions dont les coefficients appartiennent à des ellipsoïdes (par exemple des classes de Sobolev). Le filtre de Pinsker a depuis été utilisé à de nombreuses reprises afin d obtenir des résultats similaires dans d autres modèles (Efroimovich et Pinsker (1982), Nussbaum (1985), Golubev (1990) et Belitser et Levit (1995)). Un autre cas de constantes exactes connu est du à Korostelev (1993) et Donoho (1994) pour la distance L et les classes de Hölder. Le dernier résultat connu apparaît pour les fonctions très régulières, appelées analytiques (voir Golubev et Levit (1996) et Golubev, Levit et Tsybakov (1996)). Ce type de résultats a depuis été étendu à divers modèles, voir notamment Guerre et Tsybakov (1998) et les articles [2-4] Estimation adaptative L un des défauts fondamentaux des estimateurs optimaux (ou minimax) est qu ils sont en général fortement dépendant du paramètre α de la classe F α. Ce paramètre contrôle la régularité de la fonction f. Ainsi, pour construire un estimateur optimal (ou minimax), il faut connaître α avec précision. Cette connaissance a priori de α n est pas réaliste, particulièrement en pratique. Il s est donc révélé intéressant de définir des estimateurs ayant la meilleure vitesse de convergence possible (parfois optimale), mais ne dépendant que des observations et pas de α. Ces méthodes permettent de construire des estimateurs appelés adaptatifs, i.e. qui s adaptent à α inconnu. On peut alors parfois obtenir des estimateurs adaptatifs optimaux (voire minimax), i.e. qui atteignent la vitesse optimale (voire la constante exacte) pour tout α. Lepskii (1992) a montré que pour certains modèles, aucun estimateur n avait cette propriété. La vitesse de convergence des estimateurs adaptatifs est alors moins rapide que la vitesse optimale (généralement d un terme logarithmique). Il y

23 1.3. ESTIMATION MINIMAX, ADAPTATION ET ORACLES 23 ainsi un prix, une perte de précision, pour l adaptation. Ceci est par exemple le cas pour le risque ponctuel. La littérature concernant l adaptation est énorme et il n est possible de n en citer qu une part réduite (voir Efromovich et Pinsker (1984), Golubev (1987), Lepskii (1990,1991,1992), Donoho et Johnstone (1994), Donoho et al (1995), Birgé et Massart (1997)). Les articles [5,9], notamment, donnent des estimateurs adaptatifs presques optimaux. Parmi les résultats adaptatifs, certains sont plus particulièrement difficiles à obtenir. Il s agit des résultats adaptatifs avec la constante exacte. Dans certains cas, cela signifie que l on arrive à contruire des estimateurs adaptatifs minimax. On peut citer, entre autres, Efroimovich et Pinsker (1984) et [6-8]. Pour les modèles dans lesquels les estimateurs adaptatifs ne peuvent être optimaux, par exemple pour le risque ponctuel, il faut alors définir ce que l on entend par constantes exactes. On peut ainsi définir, bien que cela reste problématique, la meilleure constante adaptative et contruire des estimateurs adaptatifs exacts (voir Tsybakov (1998), et [10]) Inégalités oracles Comme nous l avons vu dans les Sections et 1.3.2, le principe général de l estimation minimax est de montrer que, uniformément sur certaines classes de fonctions, on ne peut pas, asymptotiquement, estimer plus précisement. La première des critiques du critère minimax, et l une des plus importantes, concerne cette uniformité, et le fait que l on considère le pire risque sur une classe donnée. Ce principe paraît assez pessimiste. En effet, toute fonction de la classe aura un risque plus petit, voire négligeable par rapport à la vitesse de convergence optimale. De plus, il semble souvent difficile, en particulier en pratique, de supposer que la fonction considérée appartienne à tel ou tel espace fonctionnel. Le deuxième reproche standard que l on peut faire, concerne la nature des résultats. On obtient des vitesses de convergence (ou même des constantes exactes), mais tout ceci est asymptotique en n. Que peut-on en conclure pour n fixé, et ces résultats sont-ils alors applicables? Cette volonté de ne plus faire d hypothèses de classes de fonctions et d obtenir des résultats non-asymptotiques a conduit à définir un autre critère permettant de juger de la qualité d un estimateur. L idée principale n est plus de vouloir montrer que l estimateur est optimal si la fonction est dans une certaine classe, mais au contraire de prouver que cet estimateur est aussi bon que certaines classes d estimateurs (pour à peu près toute fonction). C est un changement de point de vue essentiel. L apparition des inégalités oracles est en fait très liée au principe de l estimation adaptative. Au cours des vingt dernières années, il est apparu qu en utilisant différents estimateurs (ondelettes, estimateurs par projection, splines ou estimateurs à noyau), il était, en général, possible d atteindre la vitesse optimale de convergence. Le problème principal dans