Problèmes inverses en statistique

Transcription

1 UNIVERSITE AIX-MARSEILLE 1 Spécialité : Mathématiques appliquées Mémoire présenté par Laurent CAVALIER pour obtenir l HABILITATION A DIRIGER DES RECHERCHES Sujet : Problèmes inverses en statistique Soutenue le 02 décembre 2003 devant le jury composé de : David Donoho Rapporteur Yuri Goloubev Oleg Lepski Pascal Massart Rapporteur Rapporteur Bruno Torrésani Alexandre Tsybakov Sara van de Geer

2 2

3 3 Remerciements Merci à Oleg Lepski et Pascal Massart d avoir bien voulu être rapporteurs de cette habilitation. Je voudrais, aussi leur dire toute ma gratitude pour les nombreuses discussions et échanges que nous avons eus. Je suis très honoré que David Donoho ait accepté lui-aussi d être rapporteur. Je sais que sa notoriété rend son emploi du temps très chargé, et j ai apprécié réellement qu il puisse se consacrer à la lecture de mon mémoire. Je souhaite aussi remercier vivement Sara van de Geer, Yuri Goloubev, Bruno Torrésani et Alexandre Tsybakov, d avoir accepté de participer au jury. En particulier, merci pour votre disponibilité. Cette habilitation est aussi pour moi l occasion d exprimer toute ma gratitude à mes collègues, et très souvent amis. Les conditions de travail à Marseille sont, grâce à vous, vraiment très agréables. Merci donc aux membres du CMI, LATP et particulièrement à ceux de l équipe de Probabilités et Statistique. Les travaux composant cette habilitation sont le fruit de nombreuses collaborations. Merci donc à mes co-auteurs, Dominique, Ja-Yong, Nicolas, Oleg, Sacha et Yuri, pour toutes les idées et discussions, passées et à venir... A ma famille, Elsa, Romain et Gaël, pour le tout le bonheur que nous partageons. Aux absents, Axel le plus récent, et ma mère il y a plus longtemps...

4 4

5 Table des matières 1 Introduction Présentation des travaux Problèmes inverses Problèmes mal-posés Problèmes inverses avec bruit aléatoire Décomposition en valeurs singulières Estimation minimax, adaptation et oracles Estimation minimax Estimation adaptative Inégalités oracles Résultats Ensembles de niveau Tomographie Problèmes inverses généraux Problèmes inverses particuliers

6 6 TABLE DES MATIÈRES

7 Chapitre 1 Introduction 1.1 Présentation des travaux Ce mémoire d habilitation à diriger les recherches a pour but de résumer notre activité de recherche dans le domaine des statistiques non-paramétriques, et en particulier du traitement statistique des problèmes inverses. L un des intérêts d un tel travail réside dans la possibilité de présenter ses propres résultats dans un cadre global. Une description plus générale de ses travaux apportant souvent un éclairage intéressant. Ceci n est habituellement pas le cas lorsque l on rédige des articles pour des journaux scientifiques, le cadre et les résultats se trouvant alors, un peu éparpillés dans diverses revues. Une des conséquences importantes est ainsi de pouvoir commenter, de façon un peu plus conséquente, le contenu et la signification des résultats. On peut, en particulier, s attarder plus longuement sur leur validité et leurs défauts. Pour cette raison, la préparation de ce mémoire est un travail intéressant, permettant de faire le point sur les recherches effectuées. Ce type de travail s apparente ainsi, et pourrait servir, à l écriture d un livre. Cette synthèse correspond à seize articles (dix publications et six preprints) dont les références sont présentées en annexe. Le choix d une étude intensive des problèmes inverses a été dicté par la richesse du sujet, et par notre goût pour la théorie des opérateurs. En effet, et le fort développement actuel du thème le confirme, les problèmes inverses sont réellement présents dans de nombreux domaines. Les mathématiques, bien sûr, avec la base fondamentale que forme la théorie des opérateurs, mais aussi, les équations aux dérivées partielles qui sont à l origine du premier problème mal-posé (Hadamard (1932)). La physique, où naturellement les chercheurs se sont trouvés confrontés à des observations indirectes, les amenant à résoudre des problèmes inverses. En particulier, en optique et en géophysique où apparaissent de nombreux modèles de stéréologie et autres. L imagerie médicale est aussi l un des domaines les plus impliqués dans ce type de problème. La tomographie, notamment, est un sujet récurrent en radiologie, 7

8 8 CHAPITRE 1. INTRODUCTION scanner, IRM. Les problèmes inverses constituent donc l un des sujets où le lien entre la théorie mathématique et la pratique est le plus fort. De nombreux prototypes de scanners sont testés dans des universités ou des instituts de recherche à travers le monde (notamment au Japon et aux USA). Cette proximité est, bien entendu, particulièrement stimulante. D un point de vue statistique, l un des avantages majeurs est que l étude des problèmes inverses nous donne un cadre cohérent dans lequel évoluer. On se pose ainsi des questions qui apparaissent logiquement pour ce sujet. Les divers travaux à accomplir et objectifs à atteindre se manifestent alors assez naturellement. Malgré tout, et ceci est essentiel, ce cadre ne limite pas les possibilités. En effet, les différents grands thèmes statistiques habituels sont présents. On peut s intéresser à la construction de tests statistiques, ou d estimateurs, minimax, adaptatifs... Les problèmes inverses fournissent donc un cadre, plus difficile, pour faire des statistiques, avec toutes les questions usuelles, plus de nouveaux problèmes directement issus du sujet (opérateurs bruités, bases inadéquates). Ainsi, malgré le cadre cohérent que forment les articles présentés [1-16], les résultats sont variés. En témoignent les classes de fonctions étudiées (Hölder, Sobolev, Besov, analytiques, anisotropes), les risques considérés (risque L 2, risque ponctuel, distance de Haussdorff), les méthodes utilisées (estimateurs à noyau, ondelettes, polynômes locaux, algorithme de Lepski, sélection de modèle, estimateurs par blocs, estimateur de Stein, splines) et les résultats obtenus (vitesses de convergence, constantes exactes, vitesses adaptatives, adaptation exacte, inégalités oracles). Le Chapitre 1 de ce mémoire est consacré à la présentation du cadre général dans lequel ont été obtenus une grande partie des résultats. Les définitions et modèles pour les problèmes inverses figurent dans la Section 1.2. Etant donné que les problèmes inverses avec bruit aléatoire occupent une place centrale dans nos travaux, et afin de faciliter la présentation, nous donnons une définition rapide ici (qui sera détaillée et commentée en Section 1.2) : Soit A un opérateur linéaire continu entre deux espaces de Hilbert H et G. On a le modèle suivant, Y = Af + εξ, (1.1) où ξ est une variable aléatoire généralisée (de type bruit blanc) à valeurs dans G, 0 < ε < 1 est un paramètre qui caractérise le niveau de bruit, et Y G est l observation. Le problème est d estimer (de recontruire) l élément (la fonction) f H à partir de l observation Y. On se retrouve ainsi devant un problème inverse (linéaire). Il s agit d inverser (en un certain sens) l opérateur A. On veut recontruire f à partir d une observation bruitée de Af. Le bruit étant aléatoire, ce modèle est appelé problème inverse avec bruit aléatoire. Ce problème se complique si A n est pas inversible (en tant qu opérateur continu). Dans ce cas-là, Hadamard (1932) parle de problème inverse mal-posé. Les problèmes mal-posés sont évidemment les plus stimulants pour les mathématiciens. Il s agit alors d inverser (en un certain sens) l observation bruitée afin de rester proche de la vraie solution.

9 1.1. PRÉSENTATION DES TRAVAUX 9 L une des méthodes les plus utilisées pour résoudre ce type de problèmes est la décomposition en valeurs singulières (SVD). La définition de la SVD et son intérêt ici seront également discutés. Par projection à l aide de la SVD on obtient : y k = b k θ k + εξ k, k = 1,2,..., (1.2) où ξ k sont des variables aléatoires gaussiennes standard i.i.d. et θ k sont les coefficients de f. Les b k sont les valeurs singulières de A, et tendent vers 0 (comme valeurs propres d un opérateur compact). Ce modèle, équivalent à (1.1), est appelé modèle de suite gaussienne. Il sera détaillé par la suite. La Section 1.3 traitera des différents critères statistiques permettant de juger de la qualité d un estimateur. Dans le modèle (1.1), on appelle estimateur ˆf ε toute fonction mesurable de Y. On définit alors le risque de l estimateur (un critère permettant de mesurer l erreur commise). Par exemple, le risque quadratique est ici E f ˆf ε f 2, où est une norme sur l espace de Hilbert H et E f est l espérance mathématique par rapport à la loi de Y. Le but, d un point de vue statistique, est de construire des estimateurs de f ayant un risque le plus petit possible. En particulier, on peut s intéresser aux propriétés du risque lorsque ε 0. On parle alors de résultats asymptotiques. L un des critères les plus utilisés en statistique mathématique est de considérer le risque minimax sur une classe de fonctions F. C est en fait le pire risque parmi toutes les fonctions de F. Ce risque est en général difficile à calculer, et on se contente parfois de l ordre de grandeur en terme de ε (v ε appelée vitesse de convergence). Un estimateur atteignant la meilleure vitesse de convergence possible parmi tous les estimateurs sera dit optimal. Un raffinement de ce type de résultats est de construire parmi les estimateurs optimaux un estimateur atteignant la meilleure constante possible pour le risque. Un tel estimateur est appelé estimateur minimax. Un autre domaine de l estimation minimax s est fortement développé durant les années 90 (voir par exemple Lepskii (1990), Donoho et al (1995), Birgé et Massart (1997)). Il s agit de l estimation adaptative. La raison de cet engouement provient d un défaut assez fondamental concernant les estimateurs optimaux (ou minimax). Ces estimateurs dépendent très fortement de la définition de la classe F. En général, F est indexée par un paramètre α > 0, qui correspond en fait à la régularité des fonctions considérées. Ainsi, un estimateur optimal sera lié à la valeur de α. Ceci signifie que pour le construire, et atteindre ainsi la vitesse optimale, il faudrait connaître la régularité de la fonction inconnue f. Cette hypothèse se révèle en fait irréaliste. L estimation adaptative consiste alors à s affranchir de cette connaissance. On veut construire les meilleurs estimateurs possibles sans connaître α.

10 10 CHAPITRE 1. INTRODUCTION Un autre critère ayant connu un énorme développement parallèle est le concept des inégalités oracles (voir par exemple Donoho et Johnstone (1994), Kneip (1994), et Barron, Birgé et Massart (1999)). Le principe ici n est plus d obtenir le meilleur estimateur pour une classe de fonctions F, mais de montrer qu un certain estimateur est aussi bon (ou presque) que tous les estimateurs parmi une certaine famille d estimateurs donnée. Un aspect intéressant des inégalités oracles est qu il est possible de construire des inégalités non-asymptotiques. Des résultats de ce type sont, en règle générale, plus faciles à appliquer. Une fois présentées ces différentes définitions et le cadre des problèmes inverses, nous passons au Chapitre 2. Ce chapitre consiste en une description chronologique (mais aussi logique) des divers travaux de recherche. Cette description se fait suivant quatre sections qui correspondent à des périodes (plus ou moins) distinctes. La Section 2.1 concerne notre premier problème statistique. Elle correspond à l article [1]. On étudie ici le modèle de régression non-paramétrique multidimensionnel. On observe la fonction multidimensionnelle f (plus un bruit gaussien). Ici on ne désire pas estimer f mais ses ensembles de niveau G f (λ) = {x : f(x) λ} où λ > 0. On cherche ici à reconstruire le bord de G f (λ). Ce modèle n est pas à proprement parler un problème inverse, en tout cas il ne correspond pas au modèle (1.1). Pourtant, l idée sous-jacente est similaire; on ne veut pas estimer directement ce que l on observe mais plutôt une certaine fonctionnelle. Ainsi, même si le terme problème inverse n apparaît pas, le type de sujet est analogue. Dans ce cadre, on suppose que le bord de l ensemble de niveau est régulier. Alors, on contruit un estimateur optimal du bord, basé sur des polynômes par morceaux et sur le critère d excès de masse. Le sujet de la Section 2.2 sera la tomographie. Le principe de la tomographie est de recontruire une fonction multidimensionnelle à partir des observations de ses intégrales sur des hyperplans. C est un sujet qui apparaît dans de nombreux domaines, en particulier pour la radiologie et l imagerie médicale en général. La tomographie est un problème inverse mal-posé où l opérateur à inverser est la transformation de Radon définie par Rf(s,u) = f(w)dw, w: w,s =u où u IR, s S d 1, S d 1 est la sphère unité, et, est le produit scalaire sur IR d. Ainsi, Rf(s, u) est l intégrale sur l hyperplan défini par (s, u). La thèse [11] a pour sujet essentiel la tomographie. La Section 2.2 concerne les articles [2-5]. L article [9] postérieur, bien que traitant aussi de tomographie, sera présenté dans la Section 2.4.

11 1.1. PRÉSENTATION DES TRAVAUX 11 Différents modèles sont considérés dans ces travaux. Aucun ne correspond au modèle (1.1). En particulier, la norme utilisée n est en général pas la norme L 2 et la décomposition en valeurs singulières n est pas utilisée. Dans [2] et [3] le modèle étudié est un modèle de type bruit blanc gaussien, proche de (1.1). C est-à-dire que l on observe la transformée de Radon plus un bruit gaussien (comme pour la radiologie). Cependant, le risque étudié est le risque en un point fixé. Les classes considérées contiennent des fonctions dont la transformée de Fourier est exponentiellement décroissante. Ces fonctions sont la généralisation multidimensionnelle des fonctions analytiques, i.e. admettant un prolongement analytique dans une bande du plan complexe. En particulier, elles sont très régulières et permettent ici de construire des estimateurs minimax, i.e. atteignant la constante exacte du risque asymptotique. Le cadre considéré dans [4] est assez proche, et les classes de fonctions sont identiques. La différence essentielle est que le modèle ici n est pas de type bruit blanc gaussien mais de type densité. Ce genre de modèle pour la tomographie s apparente à des problèmes de tomographie par émission (par exemple la tomographie par émission de positron (PET)). Ici la transformée de Radon n est pas observée avec un bruit, comme pour les rayons-x, mais elle est la densité de probabilité d une variable aléatoire modélisant l apparition de positrons. On peut alors construire des estimateurs minimax. Dans [5] le modèle est de type régression non-paramétrique pour la tomographie. Il modélise donc (comme [2-3]) un problème de type rayons-x. La différence est que le modèle est plus réaliste et n est pas idéalisé comme le modèle de bruit blanc gaussien. Le but ici est de contruire un estimateur adaptatif. On peut alors montrer, en utilisant une approche proche de Lepski, Mammen et Spokoiny (1997), que l estimateur construit atteint pratiquement la vitesse de convergence optimale sur toute classe de Sobolev H(β, L) pour le risque en un point fixé. Le prix à payer pour l adaptation est un terme logarithmique en n supplémentaire dans la vitesse de convergence. Dans ces divers articles l outil utilisé pour inverser l opérateur est en fait le théorème de projection qui relie la transformée de Fourier de la transformée de Radon Rf à celle de la fonction f. Ainsi l approche utilisée est-elle propre à la tomographie. Elle peut bien entendu être étendue à tout opérateur pour lequel il existe une relation de ce type (par exemple la convolution). Par contre, elle ne permet pas de traiter des opérateurs généraux. Le sens de la Section 2.3 est de présenter les travaux ultérieurs [6-8,10], et de construire une théorie concernant la résolution de problèmes inverses généraux, basée sur la SVD. Les quatre articles qui sont décrits dans cette section ont tous pour cadre le modèle (1.1) et l utilisation du risque L 2. L avantage de la distance L 2 est qu elle permet d obtenir des résultats en général plus forts, et en particulier des constantes exactes pour le risque asymptotique. De même, comme l a montré Lepskii (1991) pour le cas direct, il est possible de contruire des estimateurs

12 12 CHAPITRE 1. INTRODUCTION adaptatifs optimaux. Ces estimateurs atteignent la vitesse optimale, sans avoir à perdre un logarithme. Ceci n est par exemple pas le cas pour le risque ponctuel. Dans le même esprit, les articles [6-8,10] présentent de nombreuses inégalités oracles qui seront asymptotiquement exactes. Dans [6-7], la construction des estimateurs est basée sur le principe de l estimation par blocs (voir Nemirovski (2000)). Les coefficients permettant de définir l estimateur sont constants au sein de blocs d indices. Dans un bloc donné, on calcule la valeur à l aide de l estimateur de Stein pénalisé. On obtient ainsi un estimateur de Stein pénalisé par blocs. Les articles [6-7] utilisent ces estimateurs pour obtenir des inégalités oracles asymptotiquement exactes. On peut ainsi montrer que cette méthode d estimation est asymptotiquement aussi bonne que tous les estimateurs linéaires monotones. Ainsi, cette méthode universelle peut faire aussi bien que les estimateurs par projection, splines, méthode de Tikhonov et filtres de Pinsker, qui sont tous monotones. D autre part, on montre que ces estimateurs sont adaptatifs minimax, au sens qu ils atteignent non seulement la vitesse de convergence optimale, mais aussi la constante asymptotique exacte. Ceci est démontré pour des classes de coefficients θ k qui correspondent à des classes de Sobolev ou des classes de fonctions analytiques. L article [6] ne concerne en fait pas réellement les problèmes inverses, puisque ici le modèle est direct, i.e. b k 1. Les résultats sont en partie des raffinements de ceux [7]. En particulier, le terme résiduel de l inégalité oracle est plus petit. D autre part, une étude beaucoup plus complète est menée concernant les divers choix de tailles de blocs, de pénalisations et de classes de coefficients. Un dernier résultat original consiste à montrer que l estimateur par blocs atteint pratiquement la vitesse de convergence optimale sur des espaces de Besov B(s, p, q) pour lesquels p < 2. Donoho et Johnstone (1994) ont montré que, sur ces classes, les estimateurs linéaires n étaient pas optimaux. Ce résultat est important car il montre que, parfois (pour certaines classes de fonctions), la méthode universelle est réellement meilleure que tous les estimateurs linéaires (et en particulier monotones). Le cadre étudié dans [8] est le même que celui de [7]. La différence ici concerne la méthode d estimation utilisée. On ne veut pas ici contruire une méthode d estimation universelle mais faire de la sélection de modèle. La sélection de modèle a été très étudiée en statistique (voir notamment Barron, Birgé et Massart (1999)). Le principe est que l on désire choisir, à l aide des données, parmi une famille d estimateurs, le meilleur possible. On utilise ici le principe de l estimation sans biais du risque afin de définir un critère permettant d effectuer ce choix. L estimateur construit par minimisation du critère obtenu se révèle intéressant. On peut obtenir, ici aussi, des inégalités oracles asymptotiquement exactes pour les estimateurs par projection, méthode de Tikhonov, filtre de Pinsker. Un résultat supplémentaire concerne le cas des fonctions multidimensionnelles anistropes, i.e. de régularités différentes suivant les directions. En effet, la méthode utilisée ne réclame pas de relation d ordre, contrairement à celle par blocs. Ainsi on peut donner

13 1.1. PRÉSENTATION DES TRAVAUX 13 comme exemple le cas des classes de Sobolev anisotropes pour lesquelles l estimateur est adaptatif minimax. Malgré l aspect assez général de ces résultats, une condition d une extrême importance n a pas été mentionnée. Une hypothèse fondamentale est que les valeurs singulières de l opérateur A décroissent comme des polynômes. Ceci signifie que le problème est mal-posé mais pas trop. C est un problème légèrement mal-posé. Dans le cas où cette décroissance est plus rapide, exponentielle, alors l estimation est beaucoup plus difficile et le problème est dit très mal-posé. L article [10] traite des problèmes inverses très mal-posés. Ce type de modèles apparaît notamment dans certains problèmes d équations aux dérivées partielles, mais aussi pour des modèles de convolution avec des super-filtres. La difficulté ici est que dans le modèle (1.2) le signal θ k est très dégradé par les valeurs b k. L estimation est ainsi délicate. Par exemple, pour la convolution, Efromovich (1997) a montré que la vitesse optimale sur des classes de Sobolev était logarithmique (donc très faible). Afin d éviter ce phénomène, une idée naturelle est de considérer des fonctions très régulières, de type analytique. On définit ici un estimateur de seuillage par bloc. Cet estimateur atteint une vitesse de convergence polynômiale avec un terme logarithmique. On montre alors, pour une classe donnée, qu aucun autre estimateur ne peut être meilleur (même au niveau de la constante), sans perdre beaucoup plus ailleurs. Cet estimateur est ainsi adaptatif exact. Un phénomène remarquable est la perte d un log pour l adaptation. Ce n est habituellement pas le cas pour la norme L 2. Ceci laisse penser que l aspect très mal-posé du problème modifie réellement la structure du modèle. L approche de la Section 2.3 a permis de développer une théorie globale pour les problèmes inverses. Il suffit d appliquer la SVD et le modèle (1.1) de départ se ramène à un problème plus statistique (1.2). Malheureusement, il existe une opinion communément répandue, spécialement en physique, qui dit que chaque problème inverse est un cas particulier. Ceci est dû à diverses raisons, la SVD n est en général pas bien connue, l opérateur lui-même peut être bruité, les bruits sont non gaussiens... Il existe par exemple un grand nombre de livres et de conférences spécifiquement dédiés à la seule tomographie. En fait, (1.1) est d une certaine manière un modèle bien posé pour des problèmes mal-posés. Sans pour autant utiliser les modèles de plus en plus raffinés qui apparaissent lorsque l on effectue une étude plus pratique des problèmes inverses, il est alors naturel de s intéresser à ce qui arrive lorsque l on perturbe le modèle de départ. La Section 2.4 présente en fait quelques exemples de problèmes différents. Une étude de cas plus spécifiques est ainsi une démarche normale après le développement d un cadre global.

14 14 CHAPITRE 1. INTRODUCTION Le modèle considéré dans [9] est assez proche de celui de [4] et correspond à une modélisation de la PET. C est donc un problème de tomographie qui pourrait figurer dans la Section 2.2. Cependant, la méthode utilisée (très différente de celles de [2-5]) ainsi que des raisons chronologiques justifient de placer [9] dans cette section. La différence fondamentale concernant le modèle vient du fait que contrairement à [4] où l on avait n observations, le nombre d observations est ici aléatoire. Ceci permet de traiter un modèle plus réaliste où le nombre d émissions suit une loi de Poisson de moyenne n. La loi de Poisson est en effet très fréquemment utilisée pour modéliser le nombre de particules émises. L estimateur construit est basé sur la décomposition en Ondelettes-Vaguelettes (WVD) définie par Donoho (1995). L idée est d avoir une décomposition basée sur des bases d ondelettes et non sur la SVD. Dans ce cadre on peut alors construire un estimateur adaptatif qui atteint une vitesse presque optimale sur tous les espaces de Besov B(s,p,q). La perte pour cette adaptation est un terme logarithmique en n par rapport à la vitesse optimale. Dans [12] on étudie un problème très particulier. On observe ici un mélange de Poisson, i.e. que les observations suivent une loi de Poisson de paramètre aléatoire ayant comme fonction de répartition F. Ce modèle correspond en fait à une déconvolution très mal-posée. Les vitesses de convergence sont ainsi logarithmiques (voir Hengartner (1997)). Dans ce cadre on s intéresse à l estimation de fonctions extrêmement régulières (à transformée de Fourier à support compact). Un problème analogue est de ne pas estimer F mais certaines fonctionnelles, sous des conditions assez fortes. Dans les deux cas on obtient alors des vitesses de convergence polynômiales. L article [13] est au sens propre une perturbation du cadre utilisé dans [8]. Le principe ici est que l opérateur A est mal-connu (ceci est fréquent en pratique). On suppose que les valeurs singulières sont elles-même observées avec un bruit. La conséquence principale est assez remarquable. Si le bruit sur les b k n est pas plus grand que ε, celui sur le modèle, alors on obtient à peu près les mêmes résultats (inégalités oracles, adaptation) que dans [8]. L estimateur construit consiste essentiellement à utiliser les valeurs singulières bruitées à la place des vraies. Dans [14], le modèle de départ est encore perturbé. En effet, on désire s intéresser à l intégrale fractionnaire. Si la définition utilisée est la définition pour les fonctions périodiques, alors le cadre et les résultats de [7-8] peuvent s appliquer directement. Par contre, si l on veut voir l influence d un éventuel effet de bord, et que l on considère des fonctions périodiques, on utilise une autre définition. Le modèle correspond alors à un modèle de bruit avec un brownien fractionnaire. Le problème vient du fait que la base utilisée pour les fonctions (base de splines), n est pas exactement la bonne base pour l opérateur. Il est alors difficile de construire un estimateur minimax ici. Seule une borne supérieure est obtenue pour l instant. L article [15] est une rapide étude permettant de comparer le modèle de problème inverse avec bruit aléatoire au cas du bruit déterministe. Contrairement à ce que l on

15 1.2. PROBLÈMES INVERSES 15 pourrait penser, ce n est pas réellement la nature (déterministe ou aléatoire) du bruit qui différencie ces modèles, mais plutôt le niveau de bruit. Or, il se trouve que le bruit est nettement plus fort dans le cas aléatoire que dans le cas détermniste. Dans [16], on étudie le cas où l opérateur considéré A, n est pas compact. On ne peut pas alors utiliser la SVD, et ainsi obtenir le modèle de suite gaussienne. Pourtant, à l aide du Théorème spectral, il est possible de généraliser l étude à tout opérateur linéaire, en remplaçant les valeurs propres par un spectre continu. On peut alors obtenir des résultats analogues aux articles précédents. 1.2 Problèmes inverses Problèmes mal-posés Les problèmes inverses apparaissent dans de très nombreux domaines, imagerie médicale, géologie, satellites, mais aussi traitement du signal ou théorie du radar. L idée principale est que l on veut recontruire un élément (par exemple une fonction) qui n est pas directement observé. On dispose donc d observations indirectes. De nombreux exemples peuvent être présentés, convolution et différentiation en mathématique, tomographie et images brouillées du télescope Hubble en imagerie, géodésie et équation de la chaleur en physique (voir Engl et al (1996)). Le premier problème inverse date en fait de 1932 et d un fameux article de Hadamard (1932). Il s agissait de recontruire la solution du problème de Cauchy à partir de la condition initiale. Une petite perturbation sur la condition initiale entrainant une forte erreur finale. D un point vue mathématique, le problème se pose comme l inversion d un certain opérateur. En particulier on peut poser le cadre des problèmes inverses linéaires. Soient H et G deux espaces de Hilbert et A : H G un opérateur linéaire continu. Le problème est alors le suivant, sachant g G, trouver f H telle que Af = g. (1.3) Le problème (1.3) est appelé bien-posé par Hadamard (1932) si et seulement si il existe une solution unique pour chaque g G, et que cette solution dépend continûment de g. Sinon, (1.3) est dit problème inverse mal-posé. Ceci signifie que A 1 n existe pas en tant qu opérateur linéaire continu sur G. Dans beaucoup de cas intéressants, les problèmes sont mal-posés. Si l on observe g avec une certaine erreur, même g ε proche de g, ne permet pas de garantir que l on peut controler (A 1 g A 1 g ε ). Le but est donc de définir des méthodes d inversion approximées qui garantissent que l inverse soit proche de la vraie solution, et qui soient assez stables. On peut remarquer ici que l idée d erreur est fondamentale dans le cadre des problèmes mal-posés. Sans erreur, une recontruction, même non continue, serait acceptable.

16 16 CHAPITRE 1. INTRODUCTION Problèmes inverses avec bruit aléatoire Il existe en fait trois approches pour considérer l erreur sur les observations : Dans le premier cas, on néglige l erreur et elle n est pas prise en compte. Il faut alors imposer une certaine stabilité sur les méthodes de reconstruction afin d obtenir des techniques utilisables en pratique. Malgré tout, cette optique n est guère satisfaisante sur le plan mathématique. La deuxième approche, la plus populaire dans l étude des problèmes inverses, est de supposer que l erreur est un élément inconnue d une boule de l espace de Hilbert G. On observe alors g δ avec g δ g δ, où g = Af. Le paramètre δ > 0 mesure l erreur commise. On considère en fait ici une erreur e G, e δ. Cette approche a été développée notamment dans Tikhonov et Arsenin (1977). On s intéresse alors à l obtention de résultats dans le pire des cas, i.e. sup e δ. La dernière approche, et qui sera la nôtre, est de considérer que l erreur est une variable aléatoire. Cette optique a été notamment développée dans Sudakov et Khalfin (1964) et Bakushinskii (1969). Cette approche connaît actuellement un réel essor en statistique. On arrive ainsi naturellement à l écriture symbolique suivante : soit A un opérateur linéaire continu défini de D H dans Im(A) G. On a ainsi l observation Y G, Y = Af + εξ, (1.4) où ξ est une variable aléatoire généralisée à valeurs dans G, 0 < ε < 1 est un paramètre qui caractérise le niveau de bruit. Plus précisement, notons, le produit scalaire (sur H ou G) et les normes associées. On définit ξ de façon à ce que pour tout u G, ξ,u suit une variable gaussienne sur un espace de probabilités (Ω, A,P), de moyenne 0 et de variance u 2. On suppose de plus que E{ ξ,u ξ,v } = u,v, pour tout u,v G, où E est l espérance mathématique par rapport à P. Ainsi, ξ peut être, par exemple, un bruit blanc (voir Hida (1980)). En particulier, ξ =, le bruit aléatoire étant ainsi très fort. Cette remarque est assez importante, et on verra à la Section 2.4, qu elle constitue en fait l une des différences fondamentales par rapport au cas du bruit déterministe. Le problème est d estimer l élément f H à partir de l observation Y. Le modèle (1.4) correspond à un problème inverse avec bruit aléatoire. Un exemple classique d un tel modèle en statistique est dy (v) = Af(v) + ε dw(v), v V, (1.5) où A est un opérateur de L 2 (V ) dans L 2 (V ), avec V IR d, d 1. On voit ici que ξ correspond à dw. Le modèle (1.5) est une version adaptée aux problèmes inverses, du modèle de bruit blanc gaussien (cas direct A = I). Il est bien connu que le bruit blanc gaussien classique, i.e. dans le cas direct, est, sous des conditions assez faibles, équivalent à d autres modèles statistiques usuels quand ε = n 1/2, modèle de densité, régression non-paramétrique (voir Brown et Low (1996) et Nussbaum (1996)). Cependant, il faudrait

17 1.2. PROBLÈMES INVERSES 17 étendre ces résultats au cas par cas, et en particulier pour les problèmes inverses. Ainsi, le bruit blanc gaussien doit être vu comme un modèle idéalisé, permettant de comprendre l essentiel des phénomènes statistiques se produisant dans un cadre donné. C est exactement le sens du modèle de problème inverse avec bruit aléatoire (1.4). Il évite les difficultés techniques et permet de travailler dans un cadre agréable Décomposition en valeurs singulières Une façon naturelle d étudier le problème est de s intéresser à la décomposition en valeurs singulières (SVD) de A. Soit A l adjoint de A. Supposons que A A soit un opérateur compact sur H avec comme valeurs propres {b 2 k }, b k > 0,k = 1,2,..., et soit {ϕ k } une base orthonormée sur H de fonctions propres. Remarquons que Aϕ k = b k. Soit La base {ψ k } est orthonormée. De plus, On a alors pour tout f dans D, ψ k = Aϕ k Aϕ k = b 1 k Aϕ k. Aϕ k = b k ψ k, A ψ k = b k ϕ k. (1.6) Af = k b 1 k Af,ψ k Aϕ k = k b k f,ϕ k ψ k, (1.7) f = k b 1 k Af,ψ k ϕ k + u, (1.8) où u kera et la série converge pour. Les relations (1.6) - (1.8) donnent la SVD de A. En fait nous ne considèrerons que le cas où u = 0. On s intéresse seulement à reconstruire la part de f qui n est pas dans le noyau. Les problèmes causés par une image Im(A) strictement plus petite que G et un noyau non-nul ne seront pas traités ici. En effet, il est alors possible de définir l inverse de Moore-Penrose (généralisé) de l opérateur A. Ceci consiste à restreindre le domaine de définition et l image de A de façon à rendre l opérateur inversible et à l étendre ensuite à son domaine maximal (voir Groetsch (1977)). On peut projeter Y sur {ψ k }, on obtient alors et donc d après (1.6) Y,ψ k = Af,ψ k + ε ξ,ψ k = f,a ψ k + ε ξ,ψ k, y k = b k θ k + εξ k, k = 1,2,..., (1.9) où les ξ k = ξ,ψ k sont des variables aléatoires i.i.d. gaussiennes standard et θ k = f,ϕ k. Le problème dans (1.9) est d estimer θ = {θ k } à partir de l observation y = {y k }. Les b k

18 18 CHAPITRE 1. INTRODUCTION sont, en général, connues et caractérisent le problème inverse. En particulier, étant valeurs propres d un opérateur compact, b k 0. En fait, (1.9) revient à raisonner sur l espace des coefficients. On appellera suite gaussienne le modèle défini par (1.9). Ce modèle apparaît notamment dans Belitser et Levit (1995), Johnstone (1998) et Birgé et Massart (2001). Si l on considère le risque quadratique afin de mesurer l erreur commise par un estimateur on a alors E f ˆf f 2 = E θ (ˆθ k θ k ) 2 = E θ ˆθ θ 2, (1.10) k où ˆθ = {ˆθ k } est un estimateur de θ, et ˆf = ˆθk ϕ k l estimateur de f associé. La notation correspond aux normes L 2 ou l 2. Ainsi avec ce risque, les modèles (1.4) et (1.9) sont équivalents. Par la suite, nous travaillerons dans l espace des coefficients en utilisant le modèle (1.9). Ce modèle, bien que correspondant comme nous l avons vu à un problème inverse malposé, peut être lié à d autres cas. En particulier, si b k 1 alors ceci est la suite gaussienne associée à un problème direct (A = I). Johnstone (1999) a montré que (1.9) apparaît dans le cas d observations avec bruit corrélé. De plus, le cas b k peut aussi être considéré, car cela se produit pour les problèmes inverses bien-posés. Si l on oppose le cas direct au cas mal-posé, la remarque essentielle est que les b k détériorent le signal θ k. La présence des valeurs singulières rend ainsi l estimation plus délicate. Il est en particulier naturel de penser que la vitesse à laquelle les b k tendent vers 0 permettra de caractériser la difficulté du problème. Nous verrons cela plus précisement dans la Section 2.3. Une remarque importante est que si l on désire obtenir une estimation raisonnable de θ, il est nécessaire que les termes θ k décroissent assez vite. Or les θ k sont les coefficients de f dans la base {ϕ k } associée à l opérateur A. Ainsi, la base {ϕ k } doit permettre une bonne représentation de f. Le problème majeur est qu elle dépend seulement de l opérateur. Il est donc naturel de se demander si cette base sera appropriée. Cette constatation est l une des critiques les plus importantes (et les plus fondées) que l on puisse faire au sujet de l utilisation de la SVD. Ceci a en particulier était noté dans Donoho (1995). D. Donoho a alors proposé une approche intermédiaire, appelée décomposition en ondelettes-vaguelettes (WVD). Elle consiste à utiliser comme système de départ sur l espace H une base appropriée, afin de bien représenter f. La base considérée est ainsi une base d ondelettes. On projette les observations sur la base image par l opérateur A de ce système d ondelettes. On obtient alors une base de vaguelettes dans G. On peut ainsi construire des estimateurs atteignant la vitesse optimale de convergence sur les espaces de Besov. Cette WVD est maintenant très populaire en statistique des problèmes inverses (voir par exemple Kolaczyk (1996), Abramovich et Silverman (1997) et Johnstone (1999)). Cette méthode est notamment utilisée dans l article [9] sur le problème de tomographie par émission de positrons.

19 1.2. PROBLÈMES INVERSES 19 Malgré tout, pour certains opérateurs, parmi les plus classiques, pour lesquels la SVD est disponible, cette critique peut être effacée, ou du moins atténuée. Le meilleur exemple est bien sûr la déconvolution où la base naturelle est la base de Fourier. Dans ce cas-là, les hypothèses de décroissance des coefficients θ k de la fonction f correspondent exactement aux hypothèses usuelles en statistique. Suivant les conditions posées sur les θ k, les fonctions appartiennent à des classes de Sobolev ou analytiques. Cette remarque sera vraie pour tout opérateur pour lequel la base associée est celle de Fourier. Notamment ceci sera vérifié pour les différents cas de problèmes inverses très mal-posés apparaissant dans les équations aux dérivées partielles (voir [10]). Un autre cas où la SVD paraît raisonnable est la tomographie. Dans ce cadre, la SVD est connue, mais d une grande complexité (voir Deans (1983)). Pourtant, Johnstone et Silverman (1990) ont montré que, admettre une décroissance polynômiale sur les coefficients θ k revient à considérer des fonctions appartenant (approximativement) à une classe de Sobolev. De plus, malgré l aspect difficile de cette base, elle semble présenter un intérêt réel. Récemment, lors d une invitation au Los Alamos National Laboratory (USA), nous avons rencontré des chercheurs utilisant la SVD en traitement d images issues de la tomographie. Un autre reproche conséquent sur l utilisation de la SVD est que la base {ψ k } et les valeurs singulières b k sont supposées explicitement connues. Cette hypothèse paraît trop restrictive en pratique, où l on ne disposera, au mieux, que d approximations numériques de ces termes. Un début de réponse est considéré dans [13]. On s intéresse au cas où la base {ϕ k } est connue mais les valeurs singulières observées avec un bruit. Si ce bruit est de même ordre que ε, celui dans les observations, alors l utilisation des valeurs singulières bruitées à la place de celles d origine permet d obtenir essentiellement les mêmes résultats. Ainsi on peut conjecturer que des approximations numériques, sur la base {ϕ k } ou sur les b k, petites par rapport au bruit de départ ne modifieraient pas les résultats. Une dernière remarque concerne le modèle de problème inverse (1.4). En général, on peut définir A 1 ponctuellement, entre autre à l aide de l inverse généralisé. De plus, pour une majorité d opérateurs, A 1 est explicitement connu et linéaire (par exemple en tomographie, convolution,...). Ainsi le problème principal demeure que A 1 n est pas continu (par exemple pour les opérateurs compacts). Il est alors tout à fait possible d appliquer directement A 1 au modèle (1.4). On obtient On dispose ainsi d une nouvelle observation A 1 Y = A 1 Af + A 1 εξ. Z = f + εa 1 ξ. Cette constatation est intéressante. Elle aide en effet à comprendre que la difficulté majeure pour les problèmes inverses mal-posés est en fait le contrôle du bruit A 1 ξ. Ce bruit explose par exemple pour les opérateurs compacts. L utilisation de bases, celle de la SVD ou de la

20 20 CHAPITRE 1. INTRODUCTION WVD, permet de se ramener à des variables aléatoires que l on puisse traiter. On s intéresse alors aux variables A 1 ξ,ψ k = ξ,(a 1 ) ψ k, qui sont des variables gaussiennes centrées de variance (A 1 ) ψ k Estimation minimax, adaptation et oracles Le but essentiel de la théorie de l estimation est le contrôle du risque. On désire construire un estimateur commettant la plus petite erreur possible. Malgré tout, il est impossible de comparer directement le risque de tous les estimateurs, afin de choisir le minimum. Pour cette raison, il existe un certain nombre de critères permettant de juger de la qualité d un estimateur. On peut utiliser le risque minimax afin de contôler le risque uniformément sur une classe de fonctions donnée. Une étude asymptotique, quand le nombre d observations n, de ce risque permet d apprécier la qualité d un estimateur. Il est aussi possible d obtenir des résultats adaptatifs, i.e. pas sur une classe de fonctions donnée mais pour toute une gamme de classes. Une autre approche consiste à comparer le risque de l estimateur à celui de certaines classes d estimateurs classiques, et ainsi obtenir des inégalités oracles. Obtenir des résultats minimax ou des inégalités oracles permet de se convaincre, et de convaincre les autres, que l estimateur obtenu est bon. On peut en effet alors affirmer qu il est optimal pour des fonctions classiques ou qu il est (presque) aussi bon que certaines classes d estimateurs usuels. Cependant, ces critères restent seulement des repères permettant d apprécier la précision de l estimateur. L objet principal demeure le contrôle du risque de l estimateur Estimation minimax On considère une expérience statistique (Ω, A,P f,f F α ), où Ω est l espace d échantillonnage, A une tribu de parties de Ω, P f une famille de lois de probabilité indexée par une fonction f : IR d IR, d 1, telle que f F α, où F α est un ensemble de fonctions indexé par α > 0. Ce paramètre caractérise, en général, la régularité des fonctions considérées. Soient n observations X 1,...,X n, indépendantes et identiquement distribuées (i.i.d.), l expérience statistique s écrit alors (Ω n, A n,p n f,f F α ). Tout ce qui sera défini par la suite reste valable pour une expérience statistique du type (Ω ε, A ε,p (ε) f,f F α ), où ε est un paramètre réel caractérisant la puissance du bruit contenu dans les observations, par exemple les modèles (1.4), (1.5) et (1.9). Le problème consiste, en général, à estimer la fonction f. On parle d estimation nonparamétrique car on ne désire pas estimer un paramètre mais la fonction f elle-même. On définit alors un risque pour tout estimateur (toute fonction des observations). Soit w une

21 1.3. ESTIMATION MINIMAX, ADAPTATION ET ORACLES 21 fonction de perte pour des fonctions. On peut définir le risque de l estimateur ˆf n par E f [w( ˆf ] n,f), (1.11) où E f est l espérance mathématique qui correspond à P n f. Ce risque permet d évaluer l erreur commise dans l estimation de f par ˆf n. Deux risques principaux seront étudiés dans ce mémoire. Le premier est le risque quadratique, dans le modèle (1.4) E f ˆf ε f 2, (1.12) où est la norme sur l espace de Hilbert, et qui correspond à [ ] E f ( ˆf ε (v) f(v)) 2 dv, (1.13) V dans le modèle (1.5). Le deuxième cas est le risque ponctuel, ou risque en un point fixé, dans le modèle (1.5), où x V est un point fixé. E f [( ˆf ε (x) f(x)) 2], (1.14) Le risque quadratique, dans le cadre des problèmes inverses, est certainement la distance naturelle, ou du moins la plus utilisée. La raison essentielle est que la théorie classique traite des opérateurs entre deux espaces de Hilbert. Il paraît donc logique d utiliser la norme associée, et ainsi de privilégier le risque quadratique. Cependant, des résultats pour des risques différents (risque ponctuel ou risque L p, p 2) sont bien entendu intéressants. Les articles [2-5] traitent notamment du risque ponctuel pour le problème de tomographie. On appelle risque maximal le pire risque sur la classe F α, [ sup E f w( ˆf ] n,f), f F α et risque minimax, inf ˆf n [ sup E f w( ˆf ] n,f), f F α où inf ˆfn désigne l infimum sur tous les estimateurs. Le risque minimax est appelé ainsi car il correspond au minimum pour tous les estimateurs du risque maximal sur la classe F α. Soit fn un estimateur de f vérifiant lim n sup sup f F α E f [ v 1 n w(f n,f)] C 1 < +, (1.15) avec {v n } telle que lim n inf inf ˆf n [ sup E f vn 1 w( ˆf ] n,f) C 2 > 0, (1.16) f F α

22 22 CHAPITRE 1. INTRODUCTION où C 1 et C 2 sont des constantes positives, inf ˆfn désignant l infimum sur tous les estimateurs de f. On dit, lorsque (1.15) est vérifiée, que fn converge vers f avec la vitesse de convergence v n. L équation (1.16) signifie qu aucun estimateur ne converge avec une vitesse plus rapide que v n. Soit fn un estimateur de f vérifiant (1.15) et (1.16). On dit alors d un tel estimateur qu il est optimal, ou qu il atteint la vitesse optimale de convergence {v n } sur la classe F α. Cette théorie est la base des statistiques non-paramétriques et a notamment été développée dans Bretagnolle et Huber (1979), Stone (1980,1982) et Ibragimov et Hasminskii (1981). Si de plus, C 1 = C 2, alors l estimateur fn est dit asymptotiquement minimax ou minimax. Dans le cadre des statistiques non-paramétriques, la construction d estimateurs minimax est un problème difficile. Le premier cas de ce type est apparu dans Pinsker (1980). Ce fameux résultat concerne la distance L 2 et des fonctions dont les coefficients appartiennent à des ellipsoïdes (par exemple des classes de Sobolev). Le filtre de Pinsker a depuis été utilisé à de nombreuses reprises afin d obtenir des résultats similaires dans d autres modèles (Efroimovich et Pinsker (1982), Nussbaum (1985), Golubev (1990) et Belitser et Levit (1995)). Un autre cas de constantes exactes connu est du à Korostelev (1993) et Donoho (1994) pour la distance L et les classes de Hölder. Le dernier résultat connu apparaît pour les fonctions très régulières, appelées analytiques (voir Golubev et Levit (1996) et Golubev, Levit et Tsybakov (1996)). Ce type de résultats a depuis été étendu à divers modèles, voir notamment Guerre et Tsybakov (1998) et les articles [2-4] Estimation adaptative L un des défauts fondamentaux des estimateurs optimaux (ou minimax) est qu ils sont en général fortement dépendant du paramètre α de la classe F α. Ce paramètre contrôle la régularité de la fonction f. Ainsi, pour construire un estimateur optimal (ou minimax), il faut connaître α avec précision. Cette connaissance a priori de α n est pas réaliste, particulièrement en pratique. Il s est donc révélé intéressant de définir des estimateurs ayant la meilleure vitesse de convergence possible (parfois optimale), mais ne dépendant que des observations et pas de α. Ces méthodes permettent de construire des estimateurs appelés adaptatifs, i.e. qui s adaptent à α inconnu. On peut alors parfois obtenir des estimateurs adaptatifs optimaux (voire minimax), i.e. qui atteignent la vitesse optimale (voire la constante exacte) pour tout α. Lepskii (1992) a montré que pour certains modèles, aucun estimateur n avait cette propriété. La vitesse de convergence des estimateurs adaptatifs est alors moins rapide que la vitesse optimale (généralement d un terme logarithmique). Il y

23 1.3. ESTIMATION MINIMAX, ADAPTATION ET ORACLES 23 ainsi un prix, une perte de précision, pour l adaptation. Ceci est par exemple le cas pour le risque ponctuel. La littérature concernant l adaptation est énorme et il n est possible de n en citer qu une part réduite (voir Efromovich et Pinsker (1984), Golubev (1987), Lepskii (1990,1991,1992), Donoho et Johnstone (1994), Donoho et al (1995), Birgé et Massart (1997)). Les articles [5,9], notamment, donnent des estimateurs adaptatifs presques optimaux. Parmi les résultats adaptatifs, certains sont plus particulièrement difficiles à obtenir. Il s agit des résultats adaptatifs avec la constante exacte. Dans certains cas, cela signifie que l on arrive à contruire des estimateurs adaptatifs minimax. On peut citer, entre autres, Efroimovich et Pinsker (1984) et [6-8]. Pour les modèles dans lesquels les estimateurs adaptatifs ne peuvent être optimaux, par exemple pour le risque ponctuel, il faut alors définir ce que l on entend par constantes exactes. On peut ainsi définir, bien que cela reste problématique, la meilleure constante adaptative et contruire des estimateurs adaptatifs exacts (voir Tsybakov (1998), et [10]) Inégalités oracles Comme nous l avons vu dans les Sections et 1.3.2, le principe général de l estimation minimax est de montrer que, uniformément sur certaines classes de fonctions, on ne peut pas, asymptotiquement, estimer plus précisement. La première des critiques du critère minimax, et l une des plus importantes, concerne cette uniformité, et le fait que l on considère le pire risque sur une classe donnée. Ce principe paraît assez pessimiste. En effet, toute fonction de la classe aura un risque plus petit, voire négligeable par rapport à la vitesse de convergence optimale. De plus, il semble souvent difficile, en particulier en pratique, de supposer que la fonction considérée appartienne à tel ou tel espace fonctionnel. Le deuxième reproche standard que l on peut faire, concerne la nature des résultats. On obtient des vitesses de convergence (ou même des constantes exactes), mais tout ceci est asymptotique en n. Que peut-on en conclure pour n fixé, et ces résultats sont-ils alors applicables? Cette volonté de ne plus faire d hypothèses de classes de fonctions et d obtenir des résultats non-asymptotiques a conduit à définir un autre critère permettant de juger de la qualité d un estimateur. L idée principale n est plus de vouloir montrer que l estimateur est optimal si la fonction est dans une certaine classe, mais au contraire de prouver que cet estimateur est aussi bon que certaines classes d estimateurs (pour à peu près toute fonction). C est un changement de point de vue essentiel. L apparition des inégalités oracles est en fait très liée au principe de l estimation adaptative. Au cours des vingt dernières années, il est apparu qu en utilisant différents estimateurs (ondelettes, estimateurs par projection, splines ou estimateurs à noyau), il était, en général, possible d atteindre la vitesse optimale de convergence. Le problème principal dans

24 24 CHAPITRE 1. INTRODUCTION l estimation étant alors le choix d un paramètre de régularisation lié à chaque méthode (la fenêtre h pour le noyau, le niveau de résolution j 1 et le seuil pour les ondelettes et le nombre de coefficients N pour les estimateurs par projection). Le choix optimal était connu dans chaque cas mais dépendait de la régularité de la fonction à estimer. L estimation adaptative est ainsi apparue, en développant des méthodes de choix à partir des observations (Lepski (1990,1991,1992), Donoho et al (1995), Birgé et Massart (1997)). Naturellement, l idée de montrer que l on pouvait construire une méthode de choix à partir des données permettant de faire (presque) aussi bien que le meilleur choix possible du paramètre de régularisation s est imposée. Le principe des oracles était né. La question fondamentale posée était, peut-on faire aussi bien que le choix optimal du paramètre qui serait fait en connaissant exactement f, la fonction à estimer? Donoho et Johnstone (1994) ont ainsi appelé oracle ( celui qui sait la vérité ) le meilleur choix possible (sachant f) dans une classe donnée. Bien entendu, cet oracle n est pas lui-même un estimateur car il dépend de f. Une évidence, notamment s est imposée, on ne pouvait pas définir un oracle général, sur tous les estimateurs, car cet oracle serait alors la fonction f elle-même. Il est donc nécessaire de restreindre la classe considérée. Nous allons introduire ici les notations. La présentation sera faite pour la distance L 2 et dans le cadre du modèle (1.9) afin de mieux correspondre au problème considéré. Bien sûr, il serait possible d avoir des notations plus générales. Soit le modèle (1.9). Soit H une famille fixée d estimateurs de θ (avec la remarque qu ici certains peuvent dépendre de θ). Soit θ un estimateur de θ. On appelle inégalité oracle pour θ un résultat du type, pour tous 0 < ε < 1 et θ l 2 E θ θ θ 2 (1 + τ ε ) inf E θ ˆθ θ 2 + ε, (1.17) ˆθ H où ε est appelé terme résiduel (souvent ε = O(ε 2 )), et τ ε 0 dépendant de ε mais en général pas de θ. Les résultats de ce type sont non-asymptotiques. La signification essentielle est en fait que l on affirme avoir un estimateur qui est (presque) aussi bon que le meilleur choix dans la famille donnée H (avec à l esprit l idée que le terme résiduel est petit ). Les familles H considérées correspondent aux estimateurs classiques, estimateurs monotones, estimateurs à noyau, splines, ondelettes (voir Donoho et Johnstone (1994), Kneip (1994), [6-8,13]). Pendant un certain temps, les inégalités oracles sont apparues comme un outil afin de prouver l optimalité d un estimateur. Si l on pouvait avoir une méthode qui fasse aussi bien qu une classe d estimateurs donnée, il était alors possible de construire un estimateur adaptatif optimal. Un autre point de vue était celui venant de la théorie du minimum de contraste et de la sélection de modèles (Van de Geer (1995) et Barron, Birgé et Massart (1999)). Le principe ici était de sélectionner parmi une collection de modèles (une famille d estimateurs) donnée

25 1.3. ESTIMATION MINIMAX, ADAPTATION ET ORACLES 25 le meilleur possible. Bien entendu, ce choix devait se faire à partir des observations. Dans ce cadre, la collection de modèles n avait pas une importance majeure, et le but essentiel était l obtention d une inégalité oracle (dans une version légèrement différente). Sous l impulsion de ce courant important des statistiques modernes, obtenir des inégalités oracles est devenu un but en soi. Cette philosophie a en fait un réel sens pratique. Elle permet d apporter une réponse à la question que se pose beaucoup de personnes utilisant les statistiques : comment choisir dans une famille d estimateurs donnée, que l on désire utiliser, le meilleur. Malgré tout, il semble assez raisonnable de se dire que les inégalités oracles, comme l estimation minimax, ne sont, de façon générale, que des critères permettant d apprécier la qualité d un estimateur. Un point essentiel avant d utiliser des inégalités oracles est dans un premier temps de bien comprendre leur signification. Les commentaires les plus importants concernent les termes τ ε et ε. Il paraît clair que τ ε doit être le plus proche possible de 0, et en particulier borné pour tout ε. On pourra alors obtenir une borne du type C inf ˆθ H E θ ˆθ θ 2 où C est une constante absolue la plus proche possible de 1. Le contrôle de ε est fondamental. En effet, l affirmation même de faire aussi bien que l oracle repose sur l hypothèse implicite que le terme résiduel est petit par rapport à (1 + τ ε )inf ˆθ H E θ ˆθ θ 2 (ou au moins comparable). Les inégalités oracles n ont de sens que si ε est réellement un terme résiduel, i.e. petit. C est la raison pour laquelle ε est fréquemment d ordre ε 2. Cependant, les inégalités oracles sont non-asymptotiques, et ainsi un terme en ε 2 n a pas de raison d être petit. Ici apparaît l un des paradoxes majeurs. Les inégalités oracles non-asymptotiques n ont réellement de justification que si l on considère l asymptotique en ε 0. On peut en fait définir la classe de coefficients pour lesquels l oracle a un sens Θ = { θ : lim sup ε 0 ε inf ˆθ H E θ ˆθ θ 2 C 0 où C 0 0. Pour tout θ Θ on obtient quand ε 0, E θ θ θ 2 (1 + τ ε + C 0 ) inf E θ ˆθ θ 2. ˆθ H }, (1.18) La remarque que le terme résiduel doit être petit est vraiment fondamentale. Par exemple, une inégalité du type (1.17) apparaît dans [8] avec des hypothèses très générales. Pourtant, l une des conditions masquées est que les valeurs singulières b k sont à décroissance polynômiale. Si les b k tendent vers 0 à vitesse exponentielle, i.e. pour un problème très mal-posé, alors le terme résiduel ne tend pas vers 0 avec ε. Ainsi cette inégalité reste valable, mais n a pas réellement de sens. Une inégalité encore plus absurde peut apparaître si l on considère un risque basé sur une distance bornée, par exemple la distance de Hellinger ou la distance L 1 entre densités. Dans ces cas-là, un terme ε 2 implique que l inégalité oracle n a

26 26 CHAPITRE 1. INTRODUCTION plus aucune signification! En particulier, il convient d être très prudent avec les constantes lorsque l on travaille avec des risques bornés. On peut noter que l un des cas naturels où le terme résiduel est petit apparaît lorsque l on considère des θ appartenant à une certaine classe Θ α telle que la fonction f associée soit dans une classe de Sobolev, Besov, ou autres, mais de paramètre α inconnu. Dans ce cadre là, si la famille H est bien choisie, l oracle atteindra la vitesse de convergence optimale sur Θ α pour tout α. Dans le cas non-paramétrique, cette vitesse est en général moins rapide que ε 2. C est la raison intuitive qui impose l idée que O(ε 2 ) est petit. L un des intérêts majeurs des inégalités oracles est de permettre d obtenir des estimateurs adaptatifs optimaux. On peut ainsi définir Θ 0 = { θ : lim sup ε 0 ε inf ˆθ H E θ ˆθ θ 2 = 0 }. (1.19) Si θ Θ 0 alors, le terme résiduel est négligeable. Il est alors naturel de s intéresser à l obtention d une inégalité oracle avec l asymptotique la plus précise possible. On dit ainsi (voir [6]) que l estimateur θ vérifie une inégalité oracle exacte si pour tout θ Θ 0 E θ θ θ 2 (1 + o(1)) inf E θ ˆθ θ 2, (1.20) ˆθ H lorsque ε 0. Le premier article contenant une inégalité oracle exacte de façon explicite semble être Kneip (1994). D autres résultats plus anciens en contiennent aussi mais implicitement, voir Shibata (1981), Li (1987), Golubev (1990), Polyak et Tsybakov (1990) et Golubev et Nussbaum (1992) (voir aussi [6-8,13]). Les inégalités oracles exactes sont d une extrême importance. L obtention de la constante exacte pour l oracle, i.e. avoir un terme en 1 + o(1) comme dans (1.20), est un but primordial. Les constantes exactes pour le risque minimax, i.e. la construction d estimateurs minimax, bien que représentant un défi mathématique stimulant, peuvent sembler parfois d un intérêt contestable. En effet, il n est pas clair, qu un estimateur atteignant la meilleure constante pour la pire fonction d une classe donnée soit nécessairement le meilleur. On peut parfaitement imaginer qu un autre estimateur lui soit préférable, notamment en pratique, s il est meilleur pour la plupart des fonctions de la classe. Par contre, il paraît difficile de contester l idée que meilleure est la constante oracle ((1+o(1)) dans (1.20)), meilleur est l estimateur. On peut ainsi affirmer que pour ε petit, l estimateur θ est (quasiment) aussi bon que l oracle (avec une constante proche de 1), et non pas presque aussi bon avec une constante 10 ou 100 devant.

27 Chapitre 2 Résultats Dans ce chapitre nous allons présenter, de manière concise, les résultats contenus dans les différents articles [1-16]. Les travaux ont été regroupés par thèmes afin de faciliter la compréhension. La présentation en quatre sections a le mérite (souhaité!) de correspondre à l approche que nous avions lors de l étude des divers problèmes. La Section 2.1 représente le premier contact avec un problème indirect. Puis, a suivi, Section 2.2, une orientation vers un sujet très stimulant, le difficile principe de tomographie. Un vrai problème inverse mal-posé, avec un opérateur assez délicat à étudier. La Section 2.3 est le coeur du projet. Elle représente une approche globale, et donc plus satisfaisante d un point de vue mathématique, de la théorie des problèmes inverses linéaires avec bruit aléatoire. Bien sûr, le prolongement naturel de cette étude est de s intéresser aux cas où les résultats de la Section 2.3 ne peuvent s appliquer. En fait, il y a de fortes chances qu ils soient la règle générale! En tout cas, si l on se rapproche d un cadre réel. La Section 2.4 présente donc quelques cas différents. Ils peuvent correspondre à des modèles perturbés, à des cadres plus réalistes ou des problèmes délicats. La compréhension de l influence des perturbations est en fait probablement plus importante pour bien appréhender la théorie générale, que les résultats de la Section 2.3 eux-mêmes. 2.1 Ensembles de niveau Le premier sujet considéré fût l estimation des ensembles de niveau d une fonction de régression, présenté dans [1]. Le but de ce premier travail était d étendre les résultats de Tsybakov (1997), obtenus dans un modèle de densité, à un modèle de régression nonparamétrique. Le cadre considéré est un modèle de régression non-paramétrique bi-dimensionnelle, Y i = f(x i ) + ξ i, i = 1,...,n, où f est une fonction de régression inconnue, (ξ 1,...,ξ n ) sont des variables aléatoires i.i.d. gaussiennes centrées de variance σ 2 indépendantes de (X 1,...,X n ). On suppose que les 27

28 28 CHAPITRE 2. RÉSULTATS effets (ou design) X i appartiennent à K = [ 1 2, 1 2 ]2. Le design {X i } peut être aléatoire ou déterministe. Soit λ > 0 fixé, le λ ensemble de niveau de f est G f (λ) = {x K,f(x) λ}. Le problème consite à estimer G f (λ) en se basant sur (X 1,Y 1 ),...,(X n,y n ). Ainsi, bien que non posé en ces termes, on se heurte déjà à un problème indirect. On désire reconstruire une fonction, ici un ensemble, qui n est pas directement observée. Un autre principe dans la méthode utilisée, est que l on veut reconstruire les ensembles sans estimer au préalable la fonction f. Deux distances seront utilisées ici afin de mesurer l erreur commise. La mesure de la différence symétrique d 1 (G 1,G 2 ) = mes(g 1 G 2 ), et la distance de Hausdorff d (G 1,G 2 ) = max { } max ρ(x,g 2 ); max ρ(x,g 1 ), x G 1 x G 2 où ρ(x,g) = min y G x y est la distance euclidienne entre le point x et l ensemble G. Définissons l excès de masse d un ensemble mesurable G dans K, M(G) = f(x)dx λ mes(g), G où mes(g) est la mesure de Lebesgue de G. On peut remarquer que l ensemble de niveau G f (λ) maximise l excès de masse. On pose des hypothèses directement sur les ensembles de niveau de f. Les G f (λ) seront supposés étoilés par rapport à l origine, à bord régulier. Soit Σ(γ,L), γ > 0,L > 0 la classe de Hölder contenant des fonctions 2π périodiques g(t), t IR, telles que les dérivées jusqu à l ordre k existent et g (k) vérifie g (k) (t) g (k) (t ) L t t γ k, t,t IR, où k = γ est le plus grand entier strictement plus petit que γ. L ensemble G K est dit étoilé par rapport à l origine si en coordonnées polaires on a G = {x = (r,ϕ), 0 r < g(ϕ),0 ϕ < 2π}, où g est une fonction 2π-périodique. Soit G(γ,L) la classe de tous les ensembles étoilés par rapport à l origine à bord dans Σ(γ,L).

29 2.2. TOMOGRAPHIE 29 On pose de plus quelques conditions sur le comportement de f autour du niveau λ. On dit que f est α régulière autour du niveau λ si il existe des constantes b 2 > b 1 > 0,0 < δ 0 telles que f(x) λ b 1 r g λ (ϕ) α b 2, pour tout x = (r,ϕ) tel que f(x) λ δ 0. On étudiera la classe de fonctions F α,γ telle que f est α-régulière et G f (λ) G(α,L). La méthode d estimation considérée est basée sur l usage de polynômes par morceaux pour estimer le bord g et d un critère d excès de masse empirique (voir Hartigan (1975), Müller et Sawitzki (1991) et Polonik (1995)). Une remarque importante est que l on s intéresse ici à l estimation de l ensemble de niveau lui-même, sans estimateur préliminaire de f. On peut prouver alors que l estimateur atteint la vitesse de convergence optimale sur la classe F α,γ avec les risques associés à la distance de Haussdorff et à la mesure de la différence symétrique. Une étude complète est menée afin de présenter les différents cas de design possible, déterministe, aléatoire, avec densité de probabilité connue ou inconnue. En particulier, lorsque la densité p du design est inconnue, il faut alors utiliser un estimateur de p. 2.2 Tomographie La Section 2.2 va traiter d un problème inverse spécifique, la tomographie, qui est notamment le thème principal de la thèse [11]. La tomographie est étudiée dans [2-5,9]. Les résultats des articles [7-8] peuvent aussi être reliés. Le but de la tomographie est de reconstruire une fonction d-dimensionnelle f à partir des observations de ses intégrales sur des hyperplans. Ce problème de reconstruction apparaît dans de nombreux domaines, de l imagerie médicale à la théorie du radar, en passant par la géophysique. L un des premiers cas où ce principe est apparu est la radiologie par utilisation de rayons-x. Le principal outil mathématique utilisé pour la tomographie est la transformation de Radon, qui à une fonction f fait correspondre les intégrales sur des hyperplans. La transformée de Radon d une fonction f L 1 (IR d ) L 2 (IR d ) est définie par Rf(s,u) = w: w,s =u f(w)dw, où u IR, s S d 1, S d 1 est la sphère unité, et, est le produit scalaire sur IR d. Ainsi, Rf(s, u) est l intégrale sur l hyperplan défini par (s, u). Pour une description plus détaillée de cet opérateur voir Deans (1983) et Natterer (1986). La tomographie est un problème inverse mal-posé où l opérateur à inverser est la transformation de Radon. Malgré tout, ce problème ne peut se réduire de manière si simple. Il

30 30 CHAPITRE 2. RÉSULTATS existe de très nombreux modèles différents, qui dépendent du domaine considéré et de la complexité désirée dans la modélisation. Dans les articles [2-5], la principale propriété de la transformée de Radon utilisée est le Théorème de projection (voir Natterer (1986)) : soit f L 1 (IR d ) L 2 (IR d ) on a Rf(s,t) = ˆf(ts), s S d 1,t IR, où Rf est la transformée de Fourier de Rf par rapport à la deuxième variable t, et ˆf est la transformée de Fourier usuelle dans IR d. Nous allons présenter ici les divers résultats des articles [2-5]. Le premier modèle considéré apparaît dans [2-3]. Il correspond à un bruit blanc gaussien pour des problèmes inverses. On a dy (s,u) = Rf(s,u) duds + ε dw(s,u), s S d 1, u IR, (2.1) où Y est le processus observé, W est un champ gaussien centré et 0 < ε < 1 est le niveau de bruit. Le modèle (2.1) est apparu dans Korostelev and Tsybakov (1989) et est utilisé en particulier dans Donoho (1995). Ce modèle signifie que l on observe une transformée de Radon bruitée. En pratique, c est une version idéalisée d un problème de type rayons-x, où l on observe les intégrales suivant chaque rayon-x émis. Dans ce cadre on va s intéresser à l estimation de fonctions appartenant à la classe A d γ(l), γ,l > 0 : on a f L 1 (IR d ) L 2 (IR d ) avec ( ) 1 d 2π ˆf(ω) 2 exp(2γ ω )dω L, IR d où ˆf est la transformée de Fourier de f, ˆf(ω) = f(v)e i v,ω dv. IR d Cette définition est une généralisation naturelle à d dimensions de la classe A γ. En dimension 1, cette classe est appelée classe analytique car les fonctions considérées admettent alors un prolongement analytique dans une bande {(x + iy) : y γ} du plan complexe (voir Timan (1963) et Ibragimov et Hasminskii (1983)). Ces fonctions sont très régulières et ont de très bonnes qualités d estimation. En particulier, Golubev et Levit (1996), Golubev, Levit et Tsybakov (1996) et Guerre et Tsybakov (1998) ont montré que l on pouvait contruire des estimateurs minimax pour divers modèles et risques. Ainsi le but des articles [2-3] est de montrer que l on peut obtenir la constante exacte du risque asymptotique et définir un estimateur minimax pour le problème de tomographie. Ces résultats sont obtenus pour le risque ponctuel.

31 2.2. TOMOGRAPHIE 31 La méthode d estimation utilisée est un estimateur à noyau, avec un noyau spécial K δ dont la transformée de Fourier est à support compact. On a ˆK δ (t) = (2π)1 d t d 1 I( t 1/δ), (2.2) 2 où t IR et I( ) est l indicatrice et la fenêtre est 1/δ = 1 γ log 1 ε. Ce type d estimateur a été introduit par Natterer (1980) et utilisé dans Korostelev et Tsybakov (1991). En traitement du signal ceci est appelé un filtre à limitation de bande. D un point de vue statistique, la raison pour laquelle on peut contruire des estimateurs minimax pour les fonctions analytiques est que le biais de l estimateur va être négligeable par rapport à la variance. Un phénomène intéressant est que la vitesse de convergence optimale est ε 2 (log 1/ε) 2d 1 pour la tomographie. De plus, la thèse [11] présente le cas multidimensionnel direct où l on estime une fonction f A d γ (L), directement, i.e. sans tomographie. Dans ce cas-là, la vitesse est ε 2 (log 1/ε) d. La vitesse de convergence dans Golubev, Levit et Tsybakov (1996) était ε 2 (log 1/ε). On peut donc remarquer que la difficulté supplémentaire due au problème inverse ou au caractère multidimensionnel, n influence que le terme logarithmique. Ceci est contraire à ce qui se produit habituellement, où cette perte de qualité est polynômiale (voir Johnstone et Silverman (1990) pour la tomographie). De même, il est bien connu que la perte de vitesse pour estimer une fonction multidimensionnelle est polynômiale, ce phénomène étant appelé malédiction de la dimension. Ainsi, le caractère très régulier des fonctions considérées implique que la perte due au problème inverse ou à la dimension n a pas une influence majeure. On peut donc penser qu un moyen de contourner ces problèmes mal-posés (ou plus difficile) est de supposer avoir des fonctions très régulières. Cette idée apparaîtra à nouveau dans l article [10]. Le deuxième modèle est un modèle de type densité pour la tomographie. Il est utilisé dans [4] puis sous une forme différente dans [9]. On a n observations i.i.d. (S i,u i ) sur S d 1 IR, avec une densité de probabilité proportionnelle à Rf. Ce modèle correspond à un cadre de tomographie par émission, par exemple la tomographie par émission de positrons (PET) (voir Shepp et Vardi (1982) et Johnstone et Silverman (1990)). La densité f correspond à la densité d émission de certaines particules. L article [4] présente des résultats similaires à ceux de [3] mais pour ce modèle de tomographie par émission. Les résultats deviennent en fait plus techniques pour plusieurs raisons. La première est que le risque ponctuel minimax dépend alors de la valeur du dual de R en un point fixé. Ceci implique que pour obtenir un théorème uniforme, il faut légèrement modifier la classe A d γ (L). Une autre difficulté concerne la borne inférieure, qui consiste à montrer qu aucun estimateur ne peut faire mieux. Comme fréquemment en statistique non-paramétrique, on

32 32 CHAPITRE 2. RÉSULTATS utilise une sous-famille paramétrique afin de démontrer la borne inférieure. Ici on raisonne dans l espace image de R et les conditions sur cette famille sont ainsi délicates à vérifier. Le troisième modèle apparaît dans [5]. Il s agit en fait d un modèle de type régression non-paramétrique. Supposons que l on ait Y i = Rf(s i,u i ) + ε i, i = 1,...,n, (2.3) où (s i,u i ) sont des variables aléatoires observées indépendantes et uniformes sur S d 1 [ 1,1], ε i sont des variables gaussiennes i.i.d, indépendantes de ((s 1,u 1 ),...,(s n,u n )). Ce modèle appelé problème de tomographie stochastique a été défini dans Korostelev et Tsybakov (1991). Ce cadre est une version plus réaliste du modèle de bruit blanc (2.1). Dans [5] le problème considéré est celui de l estimation adaptative. On désire estimer une fonction sans connaître explicitement sa régularité. On utilise alors la famille d estimateurs avec le noyau (2.2) déjà utilisés dans [3-4]. Le problème ici concerne le choix de la fenêtre δ à partir des données sans a priori sur f. On utilise une modification de l algorithme de Lepski (Lepskii (1990)) définie dans Lepski, Mammen et Spokoiny (1997). On peut alors montrer que l estimateur ainsi construit atteint une vitesse presque optimale sur toutes les classes de Sobolev. La perte par rapport à la vitesse optimale, obtenue dans Korostelev et Tsybakov (1993), est d un terme logarithmique. Ceci correspond à ce que l on attend pour le risque ponctuel. Les résultats obtenus dans [2-5] utilisent principalement le Théorème de projection comme propriété de la transformée de Radon. De cette façon, on arrive à inverser l opérateur R. Ainsi les théorèmes obtenus pourraient être généralisés à des opérateurs pour lesquels une relation similaire existe, appelés homogènes par Donoho (1995). C est le cas, par exemple de la convolution ou de l intégration. En fait l idée sous-jacente est celle-là. On étudie la tomographie qui est un problème inverse difficile, en espérant que les résultats puissent s étendre à d autres opérateurs. En effet, les conditions contenus dans [2-4], sont difficilement envisageables en pratique, fonctions à support non-borné, très régulières... Les résultats de [5] sont en ce sens bien plus réalistes. Dans [5], le support est borné, les observations discrètes, les fonctions de régularité inconnue. Bien entendu, le design reste aléatoire, mais on pourrait penser résoudre ce problème. Pourtant, on ne peut pas espérer étendre les résultats à des opérateurs généraux. C est en fait le sens de la Section 2.3. On désire développer une théorie plus générale qui permettra de traiter les problèmes inverses en fonction des propriétés de l opérateur considéré. 2.3 Problèmes inverses généraux La Section 2.3 représente une tentative de construction d une théorie plus générale des problèmes inverses avec bruit aléatoire. A la suite des travaux sur la tomographie, où les

33 2.3. PROBLÈMES INVERSES GÉNÉRAUX 33 modèles étaient variés, et le problème assez particulier, l idée naturelle était d essayer d obtenir des résultats dans un cadre plus global. Bien entendu cette volonté de généralisation ne pouvait s accomplir qu avec la définition d un cadre simple, où les difficultés purement techniques devaient disparaitre. C est le principe du modèle général de problème inverse avec bruit aléatoire défini en (1.4). On a vu dans la Section que l utilisation de la décomposition en valeurs singulières permettait d obtenir le modèle équivalent suivant dans l espace des coefficients y k = b k θ k + εξ k, k = 1,2,..., (2.4) où les ξ k sont des variables aléatoires i.i.d. gaussiennes standard. Le risque utilisé ici est le risque quadratique, défini en (1.12), qui est le plus naturel et le plus accessible dans ce cadre. On rappelle que dans ce modèle, d après (1.10), le risque sur l espace H est le même que celui sur l espace des coefficients. Le problème dans le modèle de suite gaussienne (2.4) est d estimer la suite θ = {θ k } à l aide de l observation y = {y k }. Les valeurs singulières b k caractérisent l opérateur A que l on désire inverser. Les b k tendent vers 0, et ainsi le problème est mal-posé. En effet, les b k déteriorent alors le signal θ k et rendent l estimation plus difficile. Un point essentiel permettant d évaluer la difficulté d un problème inverse donné, est alors la vitesse à laquelle la suite {b k } tend vers 0. C est le sens des articles [6-8,10] qui permettent de classer et de comprendre les problèmes inverses en fonction des propriétés globales des opérateurs. Il existe deux grands types de problèmes inverses. Les premiers sont appelés légèrement mal-posés lorsque les b k tendent vers 0 comme un polynôme en k (c est le cas de la tomographie). Les deuxièmes sont appelés très mal-posés et ils correspondent à des valeurs singulières exponentiellement décroissantes. Une autre caractéristique essentielle du problème est la régularité des fonctions f considérées, i.e. la vitesse de décroissance de ses coefficients θ k. Ceci est bien entendu l une des hypothèses fondamentales en statistiques non-paramétriques, que la fonction f ait de bonnes propriétés et soit assez régulière. Il faut donc que la base {ϕ k }, associée à l opérateur A, soit une bonne base pour f, en ce sens que les coefficients doivent être petits. Cette condition peut être parfois l un des défauts de la SVD (voir Section 1.2.3). De la même manière que pour les b k, on considère alors deux vitesses de décroissances naturelles. Dans le premier cas, les coefficients θ k décroissent à vitesse polynômiale. Il est bien connu que ce genre de conditions, si la base est la base de Fourier, correspond à une fonction dans une classe de Sobolev. Le deuxième cas est celui des fonctions dont les coefficients tendent vers 0 à vitesse exponentielle. Cette hypothèse s apparente à des fonctions très régulières, de type analytique (voir Section 2.2). Dans le modèle (2.4), une classe d estimateurs particulière va être étudiée. La classe des estimateurs linéaires, ˆθ = ˆθ(λ) = (ˆθ 1, ˆθ 2,... ), ˆθk = λ k b 1 k y k, k = 1,2,...

34 34 CHAPITRE 2. RÉSULTATS où λ = (λ 1,λ 2,... ) est une suite arbitraire. L article [7] concerne le modèle (2.4) pour le cas des problèmes inverses légèrement mal-posés. On développe une méthode d estimation appelée estimateur de Stein pénalisé par blocs. Elle est basée sur plusieurs principes. Le premier est l utilisation d estimateurs contruits en faisant des blocs de coefficients k. Cette idée apparaît notamment dans Efroimovich et Pinsker (1984), Donoho et Johnstone (1994), Hall et al (1998) et Nemirovski (2000). Les estimateurs par blocs sont des estimateurs linéaires pour lesquels λ appartient à la classe suivante Λ = {λ l 2 : 0 λ k 1,λ k = λ κj, k [κ j,κ j+1 1],j = 0,...,J 1,λ k = 0,k > N}, où J, N, κ j, j = 0,...,J, sont des entiers. L intérêt de cette classe d estimateurs est qu elle permet une bonne approximation de la classe des estimateurs monotones tels que λ est dans Λ mon = {λ = {λ k } l 2 : 1 λ 1 λ k 0}. La classe des estimateurs monotones est particulièrement intéressante car elle contient de nombreuses méthodes d estimation classiques. Par exemple, les estimateurs par projection, la méthode de régularisation de Tikhonov ou les filtres de Pinsker, sont monotones. Le deuxième point important est que l on désire contruire un estimateur adaptatif, i.e. sans information a priori sur θ. Il faut ainsi développer une méthode de choix, à partir des données seulement, des coefficients λ k dans chaque bloc. Ce choix sera basé sur l utilisation de l estimateur de Stein (voir Stein (1981)). Afin que cette méthode d estimation puisse fonctionner dans les problèmes inverses, il faut modifier légèrement cet estimateur. On obtient alors comme estimateur θ k = ( ) b 1 k y k 1 σ2 j (1+ϕ j) ȳ 2 (j) 0, k > N,, k I j, j = 1,...,J, + où σ 2 j = ε2 k I j b 2 k, ȳ 2 (j) = k I j b 2 k y2 k, et ϕ j 0 est une pénalisation. Cette idée de pénaliser est un thème récurrent des statistiques modernes et elle apparaît notamment en sélection de modèles (voir Birgé et Massart (2001)). Plusieurs inégalités oracles sont démontrées pour l estimateur θ. On obtient des inégalités non-asymptotiques de type (1.17) et des inégalités asymptotiques exactes du type (1.18). Ces résultats sont obtenus pour les classes d estimateurs par blocs ainsi que pour les estimateurs monotones.

35 2.3. PROBLÈMES INVERSES GÉNÉRAUX 35 Les autres théorèmes sont des résultats d adaptation. On s intéresse à des classes, très importantes en statistique, les ellipsoïdes dans l espace des coefficients. On définit { } Θ = Θ(a,Q) = θ : a 2 k θ2 k Q, (2.5) où a = {a k } est une suite positive qui tend vers l infini et Q > 0. Lorsque les coefficients θ k sont ceux associés à la base de Fourier, on se ramène à des classes de fonctions classiques. Si les valeurs {a k } sont d ordre k α ceci correspond à une classe de Sobolev W α, où α est la régularité de la fonction f. Si cette suite est d ordre e γk ceci est la classe analytique A γ. Le fameux résultat de Pinsker (1980) montre que le filtre de Pinsker est un estimateur minimax sur la classe Θ(a,Q). Or, nous avons remarqué que le filtre de Pinsker était un estimateur monotone. Ainsi en utilisant l inégalité oracle obtenue on peut montrer que l estimateur θ est un estimateur adaptatif minimax pour une gamme de suites a k allant d un polynôme à l exponentielle d un polynôme. Deux exemples de problèmes inverses illustrent [7], la déconvolution et la tomographie. L article [6] ne traite pas de problèmes inverses. En effet, le cadre étudié est le même que celui de [7] mais pour le cas direct A = I, i.e. b k 1. Ce cas direct est connu et l estimateur de Stein classique (non-pénalisé) est présenté entre autre dans Johnstone (1998). L idée de l écriture de [6] est apparu suite à une interrogation concernant la pénalisation. Cette pénalisation était nécessaire dans le cas des problèmes inverses, mais que se passeraitil si on l utilisait tout de même dans le cas direct? L effet a été important, en ce sens que les inégalités oracles obtenus ont un terme résiduel plus petit que ceux contenues dans Johnstone (1998) ou Cai (1999). De plus, dans [6] figure une étude assez conséquente des différents choix possible concernant la taille des blocs utilisés, les diverses pénalités, ainsi que les différentes classes de coefficients envisageables. En particulier, on peut montrer que l estimateur par blocs atteint une vitesse presque optimale (perte d un log) sur les classes de Besov B(s,p,q) lorsque p < 2. Ceci est intéressant car Donoho et Johnstone (1994) ont montré que sur ces classes de fonctions peu régulières, les estimateurs linéaires ne pouvaient pas être optimaux (d un terme polynômial). On a ainsi un phénomène étonnant qui montre que parfois les estimateurs construits sont réellement meilleurs que la classe dont on les croit issus. En effet, l estimateur de Stein par blocs n appartient en fait pas à la classe des estimateurs par blocs définie par Λ car ses coefficients dépendent des observations. Dans ce cas-là, les inégalités oracles ne sont plus alors d aucune utilité car la classe d estimateurs n est pas bonne pour des fonctions de ce type. Le cadre présenté dans [8] est le même que celui de [7]. Par contre la méthode et le principe d estimation sont différents. On désire ici faire de la sélection de modèle, i.e. k=1

36 36 CHAPITRE 2. RÉSULTATS parmi une famille d estimateurs proposés on veut effectuer une choix à l aide des données. La sélection de modèle est actuellement un domaine très dynamique en statistique (voir Birgé et Massart (1997) ou Barron, Birgé et Massart (1999)). L optique est en fait différente de celle proposée dans [6-7]. Dans ces articles, on a développé une méthode universelle, dont on montre qu elle est aussi bonne que telle ou telle famille d estimateurs. On n a pas effectué un choix parmi une famille proposée. Ainsi, même si la forme des résultats est proche, l approche est vraiment différente. La méthode de sélection de modèle utilisée est basée sur le critère bien connu de Akaike (1973) et Mallows (1973). On définit l estimateur en minimisant le critère U sur une famille d estimateurs donnée Λ, U[λ;y] = (λ 2 k 2λ k) y2 k ε2 k=1 b 2 k + ε 2λ2 k b 2. (2.6) k Les familles d estimateurs linéaires considérées sont assez variées, par exemple filtre de Pinsker, estimateurs par projection et méthode de Tikhonov. On peut alors obtenir des inégalités oracles non-asymptotiques et d autres exactes. Un dernier point méritant d être signalé est l utilisation de cette méthode pour un problème de mesure de la température terrestre dans le cas de fonctions dans une classe de Sobolev anisotrope. On peut alors prouver que l estimateur est adaptatif minimax. Ce type de résultat est difficilement envisageable avec la méthode universelle de [6-7] car la notion même de bloc nécessite une relation d ordre qui n existe pas dans le cas anisotrope. Les différents résultats contenus dans [7-8] montrent que dans le cas des problèmes légèrement mal-posés (b k polynômial), on arrive à des conclusions très proches du cas direct. Bien sûr, les vitesses de convergence sont moins rapides, mais on peut construire des estimateurs adaptatifs minimax et des inégalités oracles. D une certaine manière, même si le cadre est plus difficile, les problèmes inverses légèrement mal-posés ne modifient pas totalement le problème. On désire maintenant, dans l article [10], s intéresser aux problèmes inverses très malposés. Evidemment, ces problèmes sont les plus délicats concernant l estimation et la qualité des estimateurs n est, en général, pas bonne. Par exemple, les problèmes inverses apparaissant dans les équations aux dérivées partielles sont très mal-posés (voir Golubev et Khasminskii (1999,2001)). Un autre exemple classique de problème très mal-posés est la convolution par un filtre dont la transformée de Fourier est exponentiellement décroissante, souvent appelé supersmooth (voir Fan (1991)). On peut penser à un filtre gaussien, mais dans ce cas-là le problème est encore pire car c est l exponentielle d un carré qui apparaît. Malgré tout, d un point de vue mathématique, ces problèmes ne sont pas nécessairement les plus difficiles à résoudre, au moins dans une première approche. En effet, si l on considère le cas de fonctions f dont les coefficients θ k sont polynômialement décroissants alors on arrive à un phénomène opposé à celui caractérisant l estimation

37 2.3. PROBLÈMES INVERSES GÉNÉRAUX 37 de fonctions analytiques. Ici la variance devient négligeable par rapport au biais. C est donc un cas dégénéré. Il est alors possible d obtenir des estimateurs assez simples, ayant de bonnes propriétés. Par exemple, Efromovich (1997) montre qu un estimateur par projection sera adaptatif minimax. Hengartner (1997) décrivait dans un problème analogue un estimateur adaptatif et Golubev et Khasminskii (1999) un estimateur minimax. Cependant, le défaut fondamental est que les vitesses optimales obtenues sont alors logarithmiques en n, donc très mauvaises. La raison est que le problème est très mal-posé pour des fonctions pas assez régulières. En fait, le problème est trop mal-posé par rapport aux fonctions considérées. On peut donc se demander si la résolution de tels problèmes sous de telles hypothèses est raisonnable. La remarque suivante est issue de Engl et al (1996). Dans le problème de l équation de la chaleur, on cherche à estimer la condition initiale à partir de la solution observée. C est un problème inverse très mal-posé, ici b k e k2. Alors, une erreur de 10 8 dans le cinquième coefficient de Fourier entraîne une erreur de 1000 degrés sur la température! Ainsi, si l on désire résoudre ce problème, il est clair que la fonction de départ doit être très régulière de façon à n utiliser que très peu de coefficients de Fourier. Il est ainsi naturel de s intéresser à l estimation de fonction très régulières dans un problème très mal-posé. D ailleurs, il est assez habituel en théorie des problèmes inverses de relier la régularité des fonctions à l opérateur (voir Natterer (1984), Mair et Ruymgaart (1996), Mathé et Pereverzev (1999)). Le but de l article [10] est l étude du cadre des 2-exponentielles, i.e. des valeurs singulières et des coefficients θ k exponentiellement décroissants. Certains résultats figurent dans d autres articles pour obtenir la vitesse optimale (Pensky et Vidacovic (1999)), la constante exacte (Golubev et Khasminskii (2001)), ou l adaptation (Tsybakov (2000)). Dans [10] on veut construire un estimateur adaptatif qui atteigne la constante exacte. Les méthodes décrites dans [7-8] ne peuvent fonctionner dans ce cadre. On utilise ici un estimateur à seuil par blocs mobiles. Soit { } θk = b 1 k y ki y 2 k 2ε2 ρ k, k = 1,2,... où ρ > ρ et y 2 k = s N: k s N y 2 s avec N 1 entier et b 2 k e ρk, ρ > 0 quand k. On s intéresse alors aux classes Θ α définies dans (2.5), avec a k e αk pour un certain α > 0, lorsque k. On calcule alors explicitement le risque asymptotique de cet estimateur pour tout α > 0. En particulier, la vitesse est (ε 2 log 1/ε) α/(α+ρ). Cette vitesse est supérieure (d un terme logarithmique) à la vitesse optimale, non-adaptative, obtenue dans Golubev et Khasminskii (2001).

38 38 CHAPITRE 2. RÉSULTATS Le deuxième résultat consiste à prouver la borne inférieure. En fait, on montre qu aucun estimateur ne peut améliorer ce risque (même au niveau de la constante) sur une certaine classe Θ α, sans perdre beaucoup plus pour un nombre infini d autres classes. En ce sens, θ est un estimateur adaptatif exact. Plusieurs remarques sont intéressantes. Tout d abord, la vitesse de convergence redevient ici polynômiale et non logarithmique. On peut ainsi penser que ce problème est plus naturel que le cas dégénéré décrit dans Efromovich (1997). Un deuxième commentaire concerne la perte d un logarithme comme prix à payer pour l adaptation. Comme l a montré Lepskii (1991), pour la distance L 2, on peut construire des estimateurs adaptatifs optimaux. Ceci est d ailleurs le cas pour les problèmes inverses légèrement mal-posés, voir [7-8] où des estimateurs minimax sont même obtenus. Ceci confirme que le cadre des problèmes inverses très mal-posés modifie en profondeur le modèle considéré. A notre connaissance, c est d ailleurs le premier exemple de perte de vitesse dans l adaptation pour L Problèmes inverses particuliers Après la tentative de présentation générale des problèmes inverses avec bruit aléatoire de la Section 2.3, on se tourne naturellement vers des cas plus particuliers ou aux limites de la théorie. En fait, une opinion communément répandue, notamment en physique, est que chaque problème inverse est un cas particulier. Cette idée, bien qu un peu exagérée, rend bien compte des difficultés pratiques et théoriques liées aux modèles qui seront réellement utilisés. L opérateur initial pourra être mal-connu, le bruit non-gaussien ou non-additif, le problème trop mal-posé... Le cadre de la Section 2.3 est en fait un cadre idéal pour modéliser les problèmes inverses afin de bien comprendre les phénomènes les plus importants. Le modèle (1.4) est ainsi un modèle bien-posé pour des problèmes mal-posés. Le premier problème traité est la conséquence d une rencontre (par d ailleurs au départ) avec Ja-Yong Koo chercheur à la Inha University en Corée. Il travaillait sur la tomographie et nous sommes rentrés en contact. Le problème présenté dans [9] concerne la tomographie par émission de positrons. Pourtant, le modèle étudié et les fonctions considérées sont bien plus réalistes que dans [4]. La différence importante ici est que le nombre d observations n est pas fixé égal à n, mais une variable aléatoire suivant une loi de Poisson. La loi de Poisson est assez prisée pour modéliser les apparitions de particules. Plus précisément on a ici : soient τ une variable de Poisson de moyenne n, (X 1,Y 1 ),(X 2,Y 2 ),...,(X τ,y τ ) i.i.d. sachant τ, de densité f dans le carré unité. Une émission en (X, Y ) crée deux photons qui partent en sens opposés dans une direction d angle aléatoire uniforme Ω [0, π). Ainsi, Z = X cos Ω + Y sin Ω [ 2, 2].

39 2.4. PROBLÈMES INVERSES PARTICULIERS 39 Ainsi, on voit le problème de tomographie apparaître dans ce modèle. On a des observations (Z 1,Ω 1 ),(Z 2,Ω 2 ),... ayant une densité Rf où R est la transformation de Radon. On souhaite estimer la densité f de (X,Y ). Le problème statistique est, étant donné le processus de Poisson G n g = τ δ (Zi,Ω i ), i=1 où δ est la mesure de Dirac, on veut estimer la densité f. Dans [9] on utilise alors la méthode de WVD de Donoho (1995) et une règle de seuillage dur (hard thresholding) sur les coefficients de vaguelettes empiriques. Cette méthode a, en particulier, motivé l écriture de nombreux articles sur la tomographie (voir Kolaczyk (1996), Abramovich et Silverman (1997), Fan et Koo (2002)). On montre alors, dans [9], que l estimateur adaptatif ainsi obtenu atteint (à un log près) la vitesse optimale de convergence sur chaque espace de Besov B(s,p,q). La cadre considéré dans [12] est différent. On s intéresse au modèle de mélange de Poisson, et en particulier à l estimation de fonctionnelles. Suite à diverses rencontres (à Oberwolfach en 1999 et à Marseille en 2000), avec Nicolas Hengartner, chercheur au Los Alamos National Laboratory (USA), nous avons décidé de collaborer. N. Hengartner travaillait sur les mélanges de Poisson, thème proche des problèmes inverses et qu il nous a semblé intéressant d étudier ensemble. On dispose de n observations i.i.d. X 1,...,X n qui ont pour probabilités ponctuelles P F [X 1 = k] = π k (F) = 0 s k k! e s F(ds), for k = 0,1,2,.... où F est une fonction de répartition. Ce modèle s appelle mélange de Poisson, et apparaît notamment lorsque l on désire modéliser le nombre de particules détectées provenant d une source d intensité variable (Mandel (1959) et Hengartner et al (1994)). Ce cadre est en fait proche d un modèle de convolution pour un problème inverse très mal-posé. Bien sûr, le modèle est plus délicat car il est de type densité (comme dans [4,9]) et non pas bruit blanc gaussien comme (1.4). Dans Loh et Zhang (1996) et Hengartner (1997), apparaissent les vitesses de convergence lorsque la densité f appartient à une classe de Sobolev ou de Hölder. Ces vitesses sont logarithmiques, ainsi le problème est difficile. Le problème étant trop délicat on cherche à se poser des questions auxquelles on peut répondre de manière satisfaisante. C est une autre façon d aborder le problème, en se disant que le problème posé est trop difficile, et en cherchant à comprendre ce que l on peut estimer raisonnablement. On cherche en fait des questions bien-posées dans des problèmes mal-posés (voir Sabatier (2000)).

40 40 CHAPITRE 2. RÉSULTATS Pour cette raison nous nous sommes intéressés à l estimation de fonctionnelles linéaires de F, IL[F] = ψ(s)f(ds). On considère, en fait, l estimation de fonctionnelles très régulières. Par exemple, certaines des fonctionnelles considérées sont ψ(s) = Ψ(t) 1 2πσ e (t s)2 /2σ 2 dt où Ψ(t) est bornée. Avec des conditions sur F, on peut alors construire un estimateur qui converge à une vitesse presque paramétrique afin d estimer IL[F]. Une autre façon d essayer d obtenir un problème plus raisonnable à résoudre est de considérer des fonctions f très régulières. L approche de la seconde partie de [12] est ainsi proche de [10]. On cherche à estimer des fonctions très régulières pour un problème très mal-posé. Les hypothèses ici seront en fait encore plus fortes que dans [10], puisque les fonctions considérées sont celles dont la transformée de Fourier est à support compact. On obtient alors des vitesses de convergences paramétriques pour estimer F. L article [13] est une extension des résultats de [8] pour un cadre un peu différent. L une des hypothèses fondamentales dans tous les travaux présentés, et dans la littérature statistique en général, est que l opérateur à inverser est connu (pour le cas A inconnu voir Efromovich et Kolchinskii (2001)). Or cette condition, n est pas tout le temps raisonnable en pratique. En particulier, la base de la SVD si elle existe est calculée de manière numérique et ne correspond pas à sa forme analytique. Un problème encore plus gênant se manifeste dans le cas de la déconvolution. dy (t) = g f(t)dt + ε dw(t), t [0,1], où {Y (t),t [0,1]} est observée, g est un filtre périodique, f un signal périodique dans L 2 ([0,1]), 0 < ε < 1 le niveau de bruit et W un processus de Wiener. Il n y a en général pas de raison de supposer que le filtre (le noyau g) à travers lequel passe le signal (la fonction f) est connu. Dans le cas de la convolution, la base est connue, c est celle de Fourier, mais les valeurs singulières non. On a ainsi le modèle (2.4) avec b k inconnues. Cependant, il est clair que sans information supplémentaire, le problème d estimation n est même pas identifiable (on ne peut faire la différence entre les θ k et les b k même avec un bruit nul). Avec quelques hypothèses, Matias (2002), dans le modèle proche d erreur sur les variables, a montré que si le noyau était gaussien de variance inconnue alors la vitesse de convergence était logarithmique, même pour des fonctions analytiques. Ce résultat donne l impression qu il est absolument essentiel de bien connaître le noyau. Ceci est vrai si l on désire estimer le noyau g et la fonction f à partir des mêmes observations. Cependant si l on admet disposer d un jeu de données propre pour estimer g alors le problème est radicalement différent.

41 2.4. PROBLÈMES INVERSES PARTICULIERS 41 Dans [13] on dispose du modèle (2.4) ainsi que de l observation de {b k } x k = b k + ση k, i = 1,2,..., (2.7) où {η k } sont des gaussiennes standard indépendantes de {ξ k }, et 0 < σ < 1 le niveau de bruit. Ce modèle apparaît notamment en convolution. On suppose pouvoir faire passer la base de Fourier à travers le filtre, on teste chaque élément de cette base. Ainsi, on obtient exactement l observation (2.7) avec σ = ε. Cette méthode est l idée usuelle dans les applications, où l on estime au préalable le filtre g inconnu, avant de s intéresser à l estimation de f. Dans ce cadre, on essaie d étendre les résultats de [8]. On va utiliser les valeurs singulières bruitées x k à la place des b k. Pourtant, lorsque k est grand le niveau de bruit est trop fort et x k n est pas un bon estimateur de b k. Ainsi, on va tronquer la série à M = min { k σ 2 : x k σ log 1/σ } 1, et utiliser une version tronquée du critère sans bais donné en (2.6), Ū[λ;x,y] = M (λ 2 k 2λ k) y2 k ε2 k=1 x 2 k + ε 2λ2 k x 2. k L estimateur est alors où θ = { λ k y k x k i M, 0 i > M, λ = arg min Ū[λ;x,y], λ Λ pour une famille donnée Λ. On obtient alors une inégalité oracle non-asymptotique proche de celle contenue dans [8]. De plus, si l on suppose que la suite {θ k } appartient à un ellipsoïde Θ, défini en (2.5) avec coefficients polynômiaux ou exponentiels, alors θ est un estimateur adaptatif minimax. Une remarque importante ici est que si l on suppose que la suite {θ k } a une certaine décroissance, alors la coupure dans la série au rang M n a pas réellement d influence. En effet, pour des fonctions suffisamment régulières, i.e. θ Θ, le choix optimal du paramètre N où stopper la série est nécessairement plus petit que M. Ainsi, bien qu importante d un point de vue technique, la coupure à M n a pas d influence dans les résultats. La conclusion correspond donc exactement à ce que l on fait en pratique. On utilise les valeurs singulières bruitées comme si elles étaient les vraies. Il n y a pas de prix à payer pour ne pas connaître les valeurs b k exactes.

42 42 CHAPITRE 2. RÉSULTATS Ce résultat laisse penser que de petites erreurs numériques (plus petite que ε) dans la base {ψ k } ou dans les valeurs singulières n auraient aucune influence sur les résultats. Bien entendu, ceci n est qu une conjecture car une modification de la base entrainerait des calculs techniquement plus délicats. Dans [14] on va s intéresser à une perturbation du modèle de [7-8]. L idée est d étudier l influence d une petite modification des hypothèses et en particulier ici d un effet de bord. On considère le modèle dz(t) = D α f(t)dt + εdw(t), t [0,1], (2.8) où f est une fonction inconnue dans L 2 (0,1), W un mouvement brownien, ε le niveau de bruit et D α correspond à l intégrale fractionnaire. Dans ce modèle, si la fonction f est périodique, alors l intégrale fractionnaire considérée est la version périodique (voir Zygmund (1959)). On alors par définition D α e 2πik = e2πik (2πik) α. On peut alors appliquer les résultats de [7-8] et construire un estimateur adaptatif minimax sur les classes de Sobolev. Pourtant, si l on s intéresse à un éventuel effet de bord, on peut considérer que la fonction f n est pas périodique. Dans ce cas-là il est naturel de s intéresser à l intégrale fractionnaire non-périodique définie par (voir Zygmund (1959)) D α f(x) = x 0 (x t) α 1 f(t)dt. Γ(α) Dans le cas de fonctions non-périodiques, afin d obtenir la constante exacte du risque, il ne faut pas utiliser la base de Fourier mais une base de splines (voir Nussbaum (1985)). D un point de vue mathématique, la difficulté vient alors du fait que la base associée aux fonctions n est pas la même que celle associée à l opérateur. Le problème est ainsi beaucoup plus difficile et l obtention d un estimateur minimax devient un problème délicat. Pour l instant seule la borne supérieure est disponible. On peut montrer que le modèle (2.8) est équivalent à observer une fonction avec un bruit brownien fractionnaire dy (t) = f(t)dt + εdw α (t), t [0,1], où f L 2 (0,1), 0 < ε < 1 et W α est un mouvement brownien fractionnaire défini par W α (x) = x 0 (x t) α Γ(1 α) dw(t),

43 2.4. PROBLÈMES INVERSES PARTICULIERS 43 où 0 < α < 1/2. L intérêt de cette étude est de montrer qu une légère modification du cadre de départ peut amener de grandes difficultés. On se rend compte que si la base associée à l opérateur et celle associée aux fonctions coïncident alors le problème peut se résoudre de manière globale. Dès qu il existe une différence, il faut alors être beaucoup plus prudent et la théorie générale ne peut s appliquer directement. Chaque problème inverse devient ainsi, plus ou moins, un cas particulier. L article [15] concerne la comparaison entre le cas des problèmes inverses déterministes et aléatoires. Il semble en effet important de bien comprendre les différences entre ces deux cas afin de bien saisir le problème. Si l on exprime le modèle avec bruit déterministe d une façon proche du cas aléatoire, on obtient Y = Af + εe, (2.9) où l on a e G, e 1. Ainsi, la première idée est de penser que la seule différence est que dans ce cas e est un élément fixé de G, alors que dans le modèle (1.4), ξ est aléatoire. Or, ceci n est pas du tout le point crucial. La différence vient en fait de ce que e 1 alors que ξ =. Le terme ξ n est pas réellement dans G mais est une distribution sur G. En effet, ξ est défini par ses projections sur des éléments u G, on a ξ,u suit une variable N(0, u 2 ). Le bruit aléatoire est ainsi plus fort que son correspondant déterministe. La différence entre les modèles ne provenant pas de la nature (déterministe ou aléatoire) mais du niveau du bruit. Cette remarque est fondamentale. Un moyen naturel pour comparer ces deux modèles est de voir comment se comportent les vitesses de convergence. Nous allons nous placer dans le cadre du modèle et des classes de coefficients considérés dans la Section 2.3. Les discussions sur les divers types de problèmes inverses et de classes figurent dans la Section 2.3. On s intéresse au cas où {θ k } appartient à un ellipsoïde de l espace des coefficients, Θ = Θ(a,Q) = { θ : } a 2 k θ2 k Q, où l on considèrera les cas les plus standard a k = k α ou a k = e αk, α > 0. Dans ce cadre, il est naturel de considérer des problèmes inverses de type b k = k β et b k = e βk, β > 0, respectivement. Alors, par exemple, [7-8], Golubev et Khasminskii (2001) et Engl et al (1996) nous donnent les vitesses de convergences optimales pour les différents cas possibles. Ces vitesses sont d ordre ε 2ν, où les diverses valeurs de ν sont résumées dans le tableau suivant : k=1

44 44 CHAPITRE 2. RÉSULTATS Polynôme Exponentiel Déterministe 2α 2α+2β 2α 2α+2β Aléatoire 2α 2α+2β+1 2α 2α+2β On peut ainsi remarquer que les vitesses sont identiques lorsque le problème est très mal-posé, i.e. dans le cas exponentiel. Par contre, les vitesses ne sont pas les mêmes dans le cas polynômial, qui est le plus classique. La légère différence entre 4α/(2α + 2β) et 4α/(2α + 2β + 1) peut sembler assez peu importante. Elle est en fait fondamentale. Afin de bien comprendre l effet qui se produit, il faut s intéresser à ce qui se passe lorsque β 0. Dans ce cas-là, le problème est de moins en moins mal-posé, et on se rapproche du cas β = 0, i.e. le cas direct A = I. Pour le cas déterministe, la vitesse va atteindre dans le cas direct ε 2. Dans le cas aléatoire, cette vitesse sera ε 4α/(2α+1). Ici apparaît la différence essentielle. Dans le cas aléatoire direct, la vitesse va dépendre de la régularité de la fonction f. Or, dans le cas déterministe direct, ce n est pas le cas. Dans le cas aléatoire, afin d estimer la fonction f, il faudra faire le compromis, habituel en statistiques non-paramétriques, entre l erreur d approximation et l erreur stochastique, entre le biais et la variance. Pour cela, il faudra par exemple stopper la série à un certain niveau N afin d obtenir la vitesse non-paramétrique de convergence, à l aide d un estimateur par projection. Dans le cas déterministe, tout se passe autrement. On estimera f directement avec Y afin d atteindre la vitesse paramétrique ε 2. Il n y a pas de compromis, on prend toute la série {y k }. Les deux modèles, dans le cas direct, sont ainsi totalement différents. L explication de cette divergence est que dans le cas déterministe l erreur est beaucoup plus petite car bornée. Dans l espace des coefficients, l erreur devient plus petite quand k augmente. Pour le cas aléatoire, l erreur est de même ordre sur chaque coefficient {y k }. D un point de vue statistique une erreur diminuant avec k n aurait que peu de sens. Cependant, dans une approche numérique, cela peut être raisonnable. Les erreurs numériques sont ainsi très petites et on peut, dans un problème simple, ou direct, ne pas s en soucier. Par contre, lorsque le problème est mal-posé, le bruit commence à avoir une influence plus forte, mais toujours moindre comparée au cas aléatoire. L influence augmente avec la difficulté du problème inverse, i.e. avec β. Dans le cas très mal-posé, les deux cas se rejoignent. On a vu que la différence entre aléatoire et déterministe tient plus au niveau du bruit qu à sa nature. On pourrait donc ainsi tout à fait considérer un modèle avec bruit aléatoire mais petit. Le modèle serait alors y k = b k θ k + εe k ξ k, k = 1,2,..., où {ξ k } gaussiennes standard et {e k } l 2, e 1.

45 2.4. PROBLÈMES INVERSES PARTICULIERS 45 Il faut que ce bruit soit dans l 2 mais au bord, car dans le cas déterministe on considère le pire bruit, i.e. sup e 1. Par exemple, on pourrait étudier e k = ( k log(k + 1)) 1 qui est de carré sommable. Il est clair alors (à un terme logarithmique près) que ceci revient à considérer non pas b k = k β mais b k = k (β 1/2). Si l on regarde le tableau précédent pour le cas aléatoire, avec β 1/2, on retrouve alors la vitesse correspondant au cadre déterministe. Dans cette étude rapide, on a remarqué que la différence essentielle provient du niveau du bruit et pas tant de sa nature. Cependant, ceci est vrai si l on compare les modèles à l aide des vitesses de convergence. Une approche plus précise afin d obtenir les constantes exactes amènerait des conclusions plus ambiguës. Dans ce cas, les modèles ne seraient pas identiques. Un autre cadre, où les différences seraient encore plus marquées, concerne la construction d estimateurs adaptatifs. Ici la nature du bruit aurait une influence importante. Ainsi, l objet de cette courte étude n est pas d affirmer que les modèles déterministes et aléatoires sont identiques, ce qui est faux. On cherche plutôt à faire ressortir les points communs et les rapprochements que l on peut faire, afin de bien comprendre où se situent réellement les différences. Dans [16], on considère le cas où l opérateur étudié A n est pas compact. Cet opérateur n admet alors pas de vecteurs propres et valeurs propres dénombrables. On ne peut ainsi utiliser la SVD et obtenir le modèle équivalent de suite gaussienne. Pourtant, si l on considère un opérateur A auto-adjoint, on dispose alors du Théorème spectral (voir Halmos (1963)) et A se décompose comme A = U 1 M b U, (2.10) où (S, F,µ) est un espace mesurable, b L (S, F,µ) réelle positive, U : H L 2 (S, F,µ) un opérateur unitaire, et M b la multiplication par b( ). A l aide de celui-ci, il est alors aisé de faire notre étude, en remplaçant le spectre dénombrable de la SVD par son équivalent continu b. On obtient alors le modèle équivalent suivant : Z = b θ + ε η, où Z = UY, θ = Uf et η = Uξ. On peut ainsi généraliser les résultats obtenus précédemment. A titre d exemples sont démontrés dans cet article des résultats analogues à ceux de [8]. Par ailleurs, l hypothèse A auto-adjoint peut aussi être supprimée en faisant l étude sur A A au lieu de A. On peut ainsi conclure que les résultats obtenus restent valables pour tout opérateur linéaire. La SVD et le modèle équivalent de suite gaussienne ne sont en fait que des outils

46 46 CHAPITRE 2. RÉSULTATS agréables pour décrire le modèle. Il est tout à fait possible de voir ce cadre d une manière plus globale. Cependant, en pratique, la notion d opérateur compact et de spectre dénombrable, est bien sûr préférable.

47 2.4. PROBLÈMES INVERSES PARTICULIERS 47

48 48 CHAPITRE 2. RÉSULTATS

49 Bibliographie [1] Cavalier L. (1997). Nonparametric estimation of regression level sets. Statistics 29, [2] Cavalier L. (1997). Sur l efficacité asymptotique dans un problème de tomographie. C.R. Acad. Sci. Paris, Série I, 325, [3] Cavalier L. (1998). Asymptotically efficient estimation in a problem related to tomography. Math. Methods of Stat. 7, [4] Cavalier L. (2000). Efficient estimation of a density in a problem of tomography. Annals of Statist. 28, [5] Cavalier L. (2001). On the problem of local adaptive estimation in tomography. Bernoulli 7, [6] Cavalier L. et Tsybakov A.B. (2001). Penalized blockwise Stein s method, monotone oracles and sharp adaptive estimation. Math. Methods of Stat. 10, [7] Cavalier L. et Tsybakov A.B. (2002). Sharp adaptation for inverse problems with random noise. Proba. Theory and Rela. Fields 123, [8] Cavalier L., Golubev G.K., Picard D. et Tsybakov A.B. (2002). Oracle inequalities in inverse problems. Annals of Statist. 30, [9] Cavalier L. et Koo J.Y-. (2002) Poisson intensity estimation for tomographic data using wavelet shrinkage approach. IEEE Trans. on Info. Theory 48, [10] Cavalier L., Golubev G.K., Lepski O. et Tsybakov A.B. (2003). Block thresholding and sharp adaptive estimation in severely ill-posed inverse problems. Theory Prob. Appl. 48. [11] Cavalier L. (1998). Estimation non paramétrique pour deux problèmes liés à l image : ensembles de niveau et tomographie. Thèse de l Université Paris VI. [12] Cavalier L. et Hengartner N.W. (2003). Estimating linear functionals in Poisson mixture models. En révision. [13] Cavalier L. et Hengartner N.W. (2003). Adaptive estimation for inverse problems with noisy operators. Soumis. [14] Cavalier L. (2003). Efficient estimation with fractional Brownian noise (2003). Soumis. [15] Cavalier L. (2003). A short comparison between inverse problems with deterministic and stochastic noise. Soumis. [16] Cavalier L. (2003). Inverse problems with non-compact operators. Soumis. 49

50 50 BIBLIOGRAPHIE

51 Bibliographie [1] Abramovich F. et Silverman B. W. (1997). The vaguelette-wavelet decomposition approach to statistical inverse problems. Biometrika [2] Akaike H. (1973). Information theory and an extension of the maximum likelihood principle. Proc. 2nd Intern. Symp. Inf. Theory, Petrov P.N. and Csaki F. eds. Budapest, [3] Bakushinskii A.B. (1969) On the construction of regularizing algorithms under random noise. Soviet Math. Doklady 189, [4] Barron A., Birgé L. et Massart P. (1999). Risk bounds for model selection via penalization. Proba. Theory Rela. Fields 113, [5] Belitser E.N. et Levit B. Ya.(1995) On minimax filtering on ellipsoids. Math. Meth. Statist. 4, [6] Birgé L. et Massart P. (1997). From model selection to adaptive estimation. Festchrift for Lucien Le Cam, D. Pollard et al. eds, Springer, N.Y [7] Birgé L. et Massart, P. (2001). Gaussian model selection. J. Eur. Math. Soc. 3, [8] Bretagnolle J. et Huber C. (1979). Estimation des densités : Risque minimax. Z. Wahrsch. verw. Geb. 47, [9] Brown L.D. et Low M.G. (1996). Asymptotic equivalence of nonparametric regression and white noise. Ann. Statist. 24, [10] Cai, T. (1999). Adaptive wavelet estimation : a block thresholding and oracle inequality approach. Ann. Statist. 27, [11] Deans S.R. (1983). The Radon Transform and Some of its Applications. Wiley, N.Y. [12] Donoho D.L. (1994). Asymptotic minimax risk for sup-norm loss : Solution via optimal recovery. Proba. Theory Related Fields 99, [13] Donoho D.L. (1995). Nonlinear solution of linear inverse problems by waveletvaguelette decomposition. Applied and Computational Harmonic Analysis 2, [14] Donoho D.L. et Johnstone I.M. (1994). Ideal spatial adaptation by wavelet shrinkage. Biometrika 81,

52 52 BIBLIOGRAPHIE [15] Donoho D.L. et Johnstone, I.M. (1995) Adapting to unknown smoothness via wavelet shrinkage. J.Amer. Statist. Assoc. 90, [16] Donoho D.L., Johnstone I.M., Kerkyacharian G. et Picard D. (1995). Wavelet shrinkage : Asymptopia? J. Royal Statist. Soc. Ser. B 57, [17] Efromovich S. (1997). Robust and efficient recovery of a signal passed through a filter and then contaminated by non-gaussian noise. IEEE Trans. Info. Theory 43, [18] Efromovich S. et Koltchinskii V. (2001). On inverse problems with unknown operators. IEEE Trans. Info. Theory 47, [19] Efroimovich S.Yu. et Pinsker M.S. (1984). Learning algorithm for nonparametric filtering. Automation and Remote Control 11, [20] Engl H.W., Hanke M. et Neubauer A. (1996). Regularization of Inverse Problems. Kluwer Academic Publishers. [21] Ermakov M.S. (1989). Minimax estimation of the solution of an ill-posed convolution type problem. Problems of Info. Trans. 25, [22] Fan J. (1991). On the optimal rates of convergence for nonparametric deconvolution problems. Ann. Statist. 19, [23] Fan J. et Koo J.-Y. (2002). Wavelet deconvolution. IEEE Trans. Inform. Theory 48, [24] Golubev Y.K. (1987). Adaptive asymptotically minimax estimates of smooth signals. Problems of Info. Trans. 23, [25] Golubev G.K. (1990). Quasi-linear estimates of signals in L 2. Problems of Information Transmission [26] Golubev G.K. et Khasminskii R.Z. (1999) Statistical approach to some inverse boundary problems for partial differential equations. Problems of Information Transmission 35, [27] Golubev G.K. et Khasminskii R.Z. (2001) Statistical approach to Cauchy problem for Laplace equation. In : State of the Art in Probability and Statistics, Festschrift for W.R. van Zwet (M. de Gunst, C. Klaassen, A. van der Vaart, eds), IMS Lecture Notes Monograph Series 36, [28] Golubev G.K. et Levit B.Y. (1996). Asymptotically efficient estimation for analytical distributions. Math. Methods of Stat. 5, [29] Golubev G.K., Levit B.Y. et Tsybakov A.B. (1996). Asymptotically efficient estimation of analytic functions in Gaussian noise. Bernoulli 2, [30] Golubev G.K. et Nussbaum M. (1992). Adaptive spline estimates for nonparametric regression models. Theory Prob. Appl. 37, [31] Groetsch C.W. (1977). Generalized Inverses of Linear Operators : Representation and Approximation. Dekker, New York.

53 BIBLIOGRAPHIE 53 [32] Guerre E. et Tsybakov A.B. (1998). Exact asymptotic constants for estimation of analytical functions in L p. Prob. Theory Rela. Fields 112, [33] Hadamard J. (1932). Le problème de Cauchy et les équations aux dérivées partielles linéaires hyperboliques. Herman, Paris. [34] Hall, P., Kerkyacharian, G., and Picard, D. (1998). Block threshold rules for curve estimation using kernel and wavelet methods. Annals of Statistics 26, [35] Halmos P.R. (1963). What does the spectral theorem say? Amer. Math. Monthly 70, [36] Hartigan J.A. (1975). Clustering algorithms. J.Wiley, N.Y.e.a. [37] Hengartner N.W. (1997). Adaptive Demixing in Poisson Mixture Models. Annals of Statistics 25, [38] Hengartner N.W., Talbot L., Shepard I. et Bickel P.J. (1994). Estimating the probability density of the scattering cross section from Rayleigh scattering experiments. Jour. of Optical Soc. Amer. A 12, [39] Hida T. (1980). Brownian Motion. Springer-Verlag, New York-Berlin. [40] Ibragimov I.A. et Hasminskii R.Z. (1981). Statistical Estimation : Asymptotic Theory. Springer, N.Y. e.a. [41] Ibragimov I.A. et Hasminskii R.Z. (1983). Estimation of a distribution density. J. Soviet Math. 25, [42] Johnstone I. M. (1998). Function Estimation in Gaussian Noise : Sequence Models. Draft of a monograph. http ://www-stat.stanford.edu/ [43] Johnstone I.M. (1999). Wavelet shrinkage for correlated data and inverse problems : adaptivity results. Statistica Sinica 9, [44] Johnstone I.M. et Silverman B.W. (1990). Speed of estimation in positron emission tomography and related inverse problems. Ann. Statist. 18, [45] Kneip A. (1994). Ordered linear smoothers. Annals of Statistics 22, [46] Kolaczyk E. D. (1996). A wavelet shrinkage approach to tomographic image reconstruction. J. Amer. Statist. Assoc. 91, [47] Korostelev A.P. (1993). An asymptotical minimax regression estimator in the uniform norm up to exact constant. Theory Prob. Appl. 38, [48] Korostelev A.P. et Tsybakov A.B. (1989). The minimax accuracy of image reconstruction in the problem of tomography. Fifth Internat. Vilnius Conf. Probab. Theory and Statist. Abstracts, v.1, [49] Korostelev A.P. et Tsybakov A.B. (1991). Optimal rates of convergence of estimators in a probabilistic setup of tomography problem. Problems of Info. Trans. 27, [50] Korostelev A.P. et Tsybakov A.B. (1993). Minimax Theory of Image Reconstruction. Lecture Notes in Statistics, v82, Springer, N.Y.e.a.

54 54 BIBLIOGRAPHIE [51] Lepskii O.V. (1990). One problem of adaptive estimation in Gaussian white noise. Theory Prob. Appl. 35, [52] Lepskii O.V. (1991). Asymptotic minimax adaptive estimation. 1. Upper bounds. Theory Prob. Appl. 36, [53] Lepskii O.V. (1992). Asymptotic minimax adaptive estimation. 2. Statistical model without optimal adaptation. Adaptive estimators. Theory Prob. Appl. 37, [54] Lepski O.V., Mammen E. et Spokoiny V.G. (1997). Optimal spatial adaptation to inhomogeneous smoothness : An approach based on kernel estimates with variable bandwith selectors. Ann. Statist. 25, [55] Li K.-C. (1987). Asymptotic optimality of C P, C L, cross-validation and generalized cross-validation : Discrete index set. Ann. Statist. 15, [56] Loh W-L. et Zhang C-H., (1996). Global properties of kernel estimators for mixing densities in discrete exponential family models. Statistica Sinica 6, [57] Mair B. et Ruymgaart F.H. (1996). Statistical estimation in Hilbert scale. SIAM J. Appl. Math. 56, [58] Mallows C.L. (1973) Some comments on C p. Technometrics 15, [59] Mandel (1959). Fluctuations of photon beams : the distribution of photo-electron. Proc. Phys. Soc. 74, [60] Mathé P. et Pereverzev S.V. (1999). Optimal discretization and degrees of ill-posedness for inverse estimation in Hilbert scales in the presence of random noise. Preprint 469, WIAS - Berlin. [61] Matias C. (2002). Semiparametric deconvolution with unknwon noise variance. Europ. Series Appli. Ind. Math. Proba & Stat 6, [62] Müller D.W. et Sawitzki G. (1991). Excess mass estimates and tests of multimodality. J.A.S.A. 86, [63] Natterer F. (1980). A Sobolev space analysis of picture recognition. SIAM J. Appl. Math. 39, [64] Natterer F. (1984). Error bounds for Tikhonov regularization in Hilbert scales. Applicable Anal. 18, [65] Natterer F. (1986). The Mathematics of Computerized Tomography. Teubner, Stuttgart, J. Wiley, Chichester. [66] Nemirovski A. (2000). Topics in Non-Parametric Statistics. In : Lectures on Probability Theory and Statistics. Ecole d Eté de Probabilités de St. Flour XXVIII Lecture Notes in Mathematics, v.1738, Springer, N.Y. e.a. [67] Nussbaum M. (1985). Spline smoothing and asymptotic efficiency in L 2. Ann. Statist. 13, [68] Nussbaum M. (1996). Asymptotic equivalence of density estimation and Gaussian white noise. Ann. Statist. 24,

55 BIBLIOGRAPHIE 55 [69] Pinsker M.S. (1980). Optimal filtering of square integrable signals in Gaussian white noise. Problems of Info. Trans. 16, [70] Polonik W. (1995). Measuring mass concentration and estimating density contour clusters - an excess mass approach. Ann. Statist. 23, [71] Polyak B.T. et Tsybakov A.B. (1990). Asymptotic optimality of the c p -test for the orthogonal series estimation of regression. Theory Prob. Appl. 35, [72] Sabatier P.C. (2000). Past and future of inverse problems. Journal Math. Physics 41, [73] Shepp L.A. et Vardi Y. (1982). Maximum likelihood reconstruction in positron emission tomography. IEEE Trans. Med. Imaging 1, [74] Shibata R. (1981). An optimal selection of regression variables. Biometrika 68, [75] Stein C.M. (1981). Estimation of the mean of a multivariate normal distribution. Ann. Statist. 9, [76] Stone C.J. (1980). Optimal rates of convergence for nonparametric estimators. Ann. Statist. 8, [77] Stone C.J. (1982). Optimal global rates of convergence for nonparametric regression. Ann. Statist. 10, [78] Sudakov V.N. et Khalfin L.A. (1964). Statistical approach to ill-posed problems in mathematical physics. Soviet Math. Doklady 157, [79] Tikhonov A.V. et Arsenin V.Y. (1977). Solution of Ill-posed Problems. Winston & sons. [80] Timan A.F. (1963). Theory of Approximation of Functions of a Real Variable. Pergamon Press, Oxford. [81] Tsybakov A.B. (1997). On nonparametric estimation of density level sets. Ann. Statist. 25, [82] Tsybakov A.B. (1998). Pointwise and sup-norm adaptive estimation on the Sobolev classes. Ann. Statist. 26, [83] Tsybakov A.B. (2000). On the best rate of adaptive estimation in some inverse problems. C.R. Acad. Sci. Paris 330, Série I, [84] Van de Geer S. (1995). The method of sieves and minimum contrast estimators. Math. Methods of Stat. 4, [85] Zygmund A. (1959). Trigonometric Series. Cambridge University Press, New York.