Réseaux d ondelettes et réseaux de neurones pour la modélisation statique et dynamique de processus.

Transcription

1 THÈSE de DOCTORAT de l UNIVERSITÉ PIERRE ET MARIE CURIE Spécialité : ROBOTIQUE présetée par Yacie OUSSAR pour obteir le titre de DOCTEUR de l UNIVERSITÉ PARIS VI Sujet de la thèse : Réseaux d odelettes et réseaux de euroes pour la modélisatio statique et dyamique de processus. Souteue le 06 Juillet 1998 devat le jury suivat : Mme S. THIRIA Rapporteur M. S. CANU Rapporteur M. G. DREYFUS Examiateur M. P. GALLINARI Examiateur M. S. KNERR Examiateur M. L. PERSONNAZ Examiateur

2 A mo Père, ma Mère et Zia.

3 Me teat comme je suis, u pied das u pays et l autre e u autre, je trouve ma coditio très heureuse, e ce qu elle est libre. Reé Descartes (Lettre à la pricesse Elisabeth de Bohême, Paris 1648).

4 Avat d itégrer le laboratoire d Électroique de l ESPCI, je coaissais Mosieur le Professeur Gérard DREYFUS de réputatio. Je e savais pas alors que j aurais u jour la chace de meer mo travail de thèse au sei de so équipe. Mes plus vifs remerciemets sot doc adressés au Professeur Gérard DREYFUS qui m a témoigé de sa cofiace e m accueillat das so laboratoire. Au cours de ces aées de thèse, sa dispoibilité sas faille, so suivi, so souci de la valorisatio des travaux accomplis, so calme iébralable devat les difficultés, ot beaucoup cotribué à l aboutissemet de ce travail de thèse. Qu il trouve ici toute ma recoaissace. Mosieur Léo PERSONNAZ, Maître de Coféreces, a guidé mes premiers pas das la recherche e ecadrat mes deux premières aées de thèse. Je resterai toujours impressioé par sa rigueur et so ses de la critique. Je ties à lui exprimer mes remerciemets pour ses relectures de mo mémoire et ses remarques. Pedat ces aées de thèse, Mademoiselle Isabelle RIVALS, Maître de Coféreces, et moi avos partagé le même bureau, ce qui m a permis à plusieurs reprises de bééficier de ses coaissaces. Je dois la remercier pour sa grade dispoibilité. J adresse de vifs remerciemets à Madame le Professeur Sylvie THIRIA, qui a accepté d examier mo mémoire de thèse, et qui a maifesté so itérêt pour mo travail. Je ties à exprimer ma recoaissace à Mosieur le Professeur Stéphae CANU pour avoir examié mo mauscrit avec beaucoup d attetio. Ses remarques costructives m ot permis d améliorer la versio fiale de mo mémoire. Je suis très hooré que Mosieur le Professeur Patrick GALLINARI ait accepté de cosacrer u peu de so temps, e cette période chargée de l'aée, pour faire partie de mo jury. Je ties à remercier égalemet Mosieur Stefa KNERR d avoir égalemet accepté d être membre de mo jury, effectuat aisi u "retour aux sources" e dépit de ses ombreuses activités. Au cours de ces aées de thèse au laboratoire d Électroique, j ai eu la chace de côtoyer Brigitte QUENET, Maître de Coféreces, dot l amitié et le

5 soutie m ot beaucoup apporté. Mo travail a bééficié de ses coseils et de ses ecouragemets. Commet aurais-je pu m iitier aux systèmes iformatiques e réseau sas la précieuse aide de Pierre ROUSSEL, Maître de Coféreces, qui grâce à so admiistratio rigoureuse des ressources iformatiques du laboratoire, ous assure ue boe dispoibilité des statios de travail? J ai beaucoup apprécié so ses de l humour et sa covivialité. Au travers de ombreuses discussios avec Hervé STOPPIGLIA, j ai beaucoup appris sur les techiques de sélectio utilisées das ce mémoire. Je l e remercie vivemet. Je voudrais adresser ici ma profode recoaissace à u acie membre du laboratoire d électroique qui par sa sympathie, so aide et ses ecouragemets a suscité e moi u véritable setimet fraterel. C est de Domiique URBANI que je veux parler... Merci Doumé! J adresse efi ma plus vive recoaissace à Moique et Fraçois Zwobada qui sot deveus ma famille fraçaise.

6 TABLE DES MATIÈRES Itroductio 1 CHAPITRE I. Modélisatio de processus et estimatio des paramètres d u modèle 5 CHAPITRE II. Réseaux de foctios dorsales 27 CHAPITRE III. Réseaux d odelettes (approche fodée sur la trasformée cotiue) 46 CHAPITRE IV. Réseaux d odelettes (approche fodée sur la trasformée discrète) 88 CHAPITRE V. Étude de quelques exemples 115 Coclusio 137 Bibliographie 141 Aexe A 151 Aexe B 166

7 TABLE DES MATIÈRES DÉTAILLÉE Itroductio 1 CHAPITRE I. Modélisatio de processus et estimatio des paramètres d u modèle 5 I. INTRODUCTION. 6 II. DÉFINITION D UN PROCESSUS ET D UN MODÈLE. 6 II.1 Processus. 6 II.2 Modèles. 6 II.2.1 Qu est ce qu u modèle? 6 II.2.2 Buts d ue modélisatio. 6 II.2.3 Classificatio des modèles. 7 II Classificatio selo le mode de coceptio. 7 II Classificatio selo l utilisatio. 8 III. LES ÉTAPES DE LA CONCEPTION D UN MODÈLE. 9 III.1 Choix d u modèle-hypothèse. 9 III.2 Du modèle-hypothèse au prédicteur ou au simulateur. 11 III.3 Présetatio de quelques modèles-hypothèses et de leurs prédicteurs associés. 11 III.3.1 Modèle-hypothèse détermiiste. 12 III.3.2 Modèles-hypothèses o détermiistes. 12 III L hypothèse Bruit de sortie. 13 III L hypothèse Bruit d état. 13 IV. FONCTIONS PARAMÉTRÉES POUR LA MODÉLISATION "BOÎTE NOIRE". 14 IV.1 Les foctios paramétrées liéaires par rapport aux paramètres. 14 IV.2 Les foctios paramétrées o liéaires par rapport aux paramètres. 15 IV.2.1 Les réseaux de euroes. 15 IV.2.2 Les réseaux de foctios radiales (RBF pour Radial Basis Fuctios). 16 IV.2.3 Les réseaux d odelettes. 17 V. ESTIMATION DES PARAMÈTRES D UN MODÈLE. 17

8 V.1 Positio du problème et otatios. 17 V.2 Les algorithmes de miimisatio de la foctio de coût. 18 V.2.1 Méthode des moidres carrés ordiaires. 18 V.2.2 Pricipe des algorithmes de gradiet. 19 V.2.3 La méthode du gradiet simple. 21 V Présetatio de la méthode. 21 V Techiques de réglage du pas. 21 V.2.4 Les méthodes de gradiet du secod ordre. 21 V L algorithme de BFGS. 22 V L algorithme de Leveberg Marquardt. 23 V.3 Commetaire. 26 VI. CONCLUSION 26 CHAPITRE II. Réseaux de foctios dorsales 27 I. INTRODUCTION. 28 II. NEURONES FORMELS À FONCTIONS DORSALES ET RÉSEAUX. 28 II.1 Qu est ce qu u euroe formel? 28 II.2 Qu'est-ce qu'u euroe formel à foctio dorsale? 28 II.3 Qu est ce qu u réseau de euroes? 29 II.4 Réseaux o bouclés et réseaux bouclés. 30 II.4.1 Les réseaux o bouclés. 30 II.4.2 Les réseaux bouclés. 30 II.5 Réseaux o bouclés complètemet coectés et réseaux à couches. 31 II.5.1 Les réseaux o bouclés complètemet coectés. 31 II.5.2 Les réseaux o bouclés à couches. 31 II.5.3 Les réseaux mis e œuvre das ce travail. 35 III. CHOIX DE LA FONCTION D ACTIVATION ET PROPRIÉTÉ D APPROXIMATION UNIVERSELLE. 33 III.1 La foctio sigmoïde. 34 III.2 La foctio gaussiee. 34 IV. APPRENTISSAGE DES RÉSEAUX DE FONCTIONS DORSALES. 35

9 IV.1 Appretissage de réseaux o bouclés. 35 IV.2 Appretissage de réseaux bouclés. 36 IV.3 Iitialisatio du réseau et miima locaux. 36 IV.4 Autres schémas d appretissage pour les réseaux de foctios dorsales. 37 V. ANALYSE D UN RÉSEAU DE FONCTIONS DORSALES. 37 V.1 Pricipe. 37 V.2 Élagage de poids syaptiques. 37 V.3 Ue procédure pour la détectio de euroes à foctios gaussiees mal utilisés. 38 V.4 Étude d u exemple. 41 VI. MODÉLISATION DYNAMIQUE DE PROCESSUS À L AIDE DE RÉSEAUX DE FONCTIONS DORSALES. 43 VI.1 Modélisatio etrée sortie. 43 VI.1.1 Prédicteurs o bouclé. 43 VI.1.2 Prédicteur bouclé. 44 VI.2 Modélisatio d état. 44 VII. CONCLUSION. 45 CHAPITRE III. Réseaux d odelettes (approche fodée sur la trasformée cotiue) 46 I. INTRODUCTION. 47 II. RÉSEAUX ISSUS DE LA TRANSFORMÉE EN ONDELETTES CONTINUE. 48 II.1 La trasformée e odelettes cotiue. 48 II.2 De la trasformée iverse aux réseaux d odelettes. 50 III. DÉFINITION DES ONDELETTES MULTIDIMENSIONNELLES ET DES RÉSEAUX D'ONDELETTES. 51 III.1 Odelettes multidimesioelles. 51 III.2 Réseaux d'odelettes. 51 III.3 Réseaux d'odelettes et réseaux de euroes. 54

10 IV. APPRENTISSAGE DES RÉSEAUX D ONDELETTES NON BOUCLÉS. 55 IV.1 Calcul du gradiet de la foctio de coût. 55 IV.2 Iitialisatio des paramètres du réseau. 57 IV.3 Exemple de modélisatio statique. 59 IV.3.1 Présetatio du processus simulé. 59 IV.3.2 Modélisatio avec 100 exemples. 59 IV.3.3 Modélisatio avec 300 exemples. 61 IV.3.4 Ifluece des termes directs 62 IV.3.5 Quelques figures. 63 V. MODÉLISATION DYNAMIQUE ENTRÉE SORTIE ET RÉSEAUX D ONDELETTES. 64 V.1 Appretissage de réseaux de type etrée-sortie. 65 V.1.1 Appretissage de prédicteurs o bouclés. 65 V.1.2 Appretissage de prédicteurs bouclés. 65 V.1.3 Calcul du gradiet par rétropropagatio. 67 V.1.4 Calcul du gradiet das le ses direct. 68 V.2 Exemple. 70 V.2.1 Présetatio du processus. 70 V.2.2 Étude du gai statique. 70 V.2.3 Modélisatio du processus. 71 VI. MODÉLISATION D ÉTAT ET RÉSEAUX D ONDELETTES. 72 VI.1 Modèles d'état sas bruit, avec états o mesurables. 73 VI.2 Appretissage de réseaux d état bouclés. 73 VI.2.1 Structure du réseau d état. 73 VI.2.2 Calcul du gradiet par rétropropagatio. 76 VI Calcul du gradiet de J par rapport à la sortie et aux variables d état. 76 VI Calcul du gradiet de J par rapport aux paramètres du réseau. 77 VI Commetaire sur le choix des variables d état. 79 VI.2.3 Calcul du gradiet das le ses direct. 79 VI.2.4 Iitialisatio des paramètres du réseau. 81 VII. LE PROBLÈME MAÎTRE ÉLÈVE ET LES RÉSEAUX D'ONDELETTES. 82 VII.1 Miima locaux de la foctio de coût. 83 VII.2 Choix de la séquece d appretissage. 84

11 VII.3 Choix du domaie des etrées et des paramètres du réseau maître. 84 VII.4 Choix de l algorithme et de l iitialisatio du réseau. 85 VII.5 Approche adoptée pour l étude du problème. 85 VII.6 Résultats et commetaires. 85 VIII. CONCLUSION. 86 CHAPITRE IV. Réseaux d odelettes (approche fodée sur la trasformée discrète) 88 I. INTRODUCTION. 89 II. RÉSEAUX ISSUS SUR LA TRANSFORMÉE EN ONDELETTES DISCRÈTE. 89 II.1 Structures obliques et bases d odelettes orthoormales. 90 II.1.1 Odelettes à variables cotiues. 90 II.1.2 Odelettes à variables discrètes. 92 II.1.3 Choix de l'odelette mère. 93 II.2 Réseaux fodés sur la trasformée discrète. 94 III. TECHNIQUES DE CONSTRUCTION DE RÉSEAUX D ONDELETTES. 95 III.1 Impossibilité d utiliser les techiques de gradiet. 95 III.2 Différetes approches pour costruire u réseau d odelettes fodé sur la trasformée discrète. 95 III.2.1 Approches utilisat pas de procédure de sélectio. 95 III Techique fodée sur l aalyse fréquetielle. 95 III Techique fodée sur la théorie des odelettes orthogoales. 96 III Réseaux d odelettes pour u système adaptatif. 96 III.2.2 Approches utilisat ue procédure de sélectio. 97 III Techique fodée sur la costructio de structures obliques étroites. 97 IV. PROPOSITION D UNE PROCÉDURE DE CONSTRUCTION DE RÉSEAUX ET D'INITIALISATION DE L'APPRENTISSAGE. 97 IV.1 Descriptio de la procédure de costructio de la bibliothèque. 98 IV.1.1 Famille egedrat la bibliothèque pour u modèle à ue etrée. 98 IV.1.2 Cas des bibliothèques pour modèles à plusieurs etrées. 100 IV.2 La méthode de sélectio. 100

12 IV.2.1 Pricipe de la méthode de sélectio par orthogoalisatio. 100 IV.2.2 Cas des termes directs. 102 IV.3 La procédure de costructio du réseau. 102 IV.3.1 Présetatio de la procédure de costructio. 102 IV.3.2 Avatages et icovéiets de cette approche. 103 IV.4 Autre applicatio de la procédure : iitialisatio des traslatios et dilatatios pour l appretissage de réseaux d'odelettes à paramètres cotius. 104 IV.4.1 Pricipe de la procédure d iitialisatio. 104 IV.4.2 Avatages et icovéiets de cette méthode d iitialisatio. 105 V. ÉTUDE D EXEMPLES. 105 V.1 Exemple de costructio de réseaux à l'aide de la procédure de sélectio. 105 V.1.1 Présetatio du processus. 105 V.1.2 Costructio d u modèle dyamique à l aide de la procédure. 106 V Modélisatio dyamique sas bruit du processus simulé. 107 V Modélisatio dyamique avec bruit du processus simulé. 107 V Coclusio. 108 V.2 Exemple d'iitialisatio des traslatios et des dilatatios de réseaux à l'aide de la procédure de sélectio. 108 V.2.1 Processus V Présetatio du processus. 108 V Iitialisatio de réseaux à l aide de la procédure de sélectio. 109 V.2.2 Processus VI. CONCLUSION. 113 CHAPITRE V. Étude de quelques exemples 115 I. INTRODUCTION. 116 II. MODÉLISATION DE PROCESSUS SIMULÉS. 117 II.1 Présetatio du processus simulé sas bruit. 117 II.2 Modélisatio du processus simulé o bruité. 118 II.2.1 Réseau prédicteur à foctios odelettes. 119 II Appretissage avec l algorithme de BFGS. 119 II Appretissage avec l algorithme de Leveberg Marquardt. 120

13 II.2.2 Réseau prédicteur à foctios dorsales. 120 II Appretissage avec l algorithme de BFGS. 121 II Appretissage avec l algorithme de Leveberg Marquardt. 121 II.3 Modélisatio du processus simulé avec bruit. 122 II.3.1 Modélisatio du processus simulé avec bruit additif de sortie. 123 II.3.2 Modélisatio du processus simulé avec bruit d état additif. 124 II.4 Coclusio. 124 III. MODÉLISATION D UN PROCESSUS RÉEL. 124 III.1 Présetatio du processus. 125 III.2 Modélisatio etrée sortie. 126 III.2.1 Réseau prédicteur à foctios odelettes. 126 III Appretissage avec l algorithme de BFGS. 126 III Appretissage avec l algorithme de Leveberg Marquardt. 127 III Fréquece d'occurrece du meilleur résultat. 128 III.2.2 Réseau prédicteur à foctios dorsales. 129 III Appretissage avec l algorithme de BFGS. 129 III Appretissage avec l algorithme de Leveberg Marquardt. 130 III Fréquece d'occurrece du meilleur résultat. 130 III.2.3 Coclusio de la modélisatio etrée sortie. 131 III.3 Modélisatio d état. 132 III.3.1 Réseau prédicteur d'état à foctios d odelettes. 133 III.3.2 Réseau prédicteur d'état à foctios dorsales. 134 III.3.3 Réseau prédicteur d état à foctios dorsales dot la sortie est l u des états. 134 III.3.4 Coclusio de la modélisatio d état. 135 IV. CONCLUSION. 136 Coclusio 137 Bibliographie 141 Aexe A 151 Aexe B 166

14 Itroductio

15 Itroductio Grâce aux résultats théoriques et pratiques obteus au cours des derières aées, les réseaux de euroes sot deveus u outil de plus e plus utilisé das divers domaies (idustrie, baque, services). Ils demeuret toutefois u sujet d u grad itérêt pour les chercheurs qui désiret améliorer les performaces de ces réseaux et étedre leur champ d applicatios. La propriété fodametale des réseaux de euroes, l approximatio uiverselle parcimoieuse, fait de ceux-ci ue représetatio mathématique très avatageuse pour la modélisatio statique et dyamique o liéaire de processus. L'utilisatio de euroes sigmoïdaux était iitialemet justifiée par ue aalogie biologique ; mais celle-ci est deveue caduque pour la coceptio de systèmes de traitemet de sigaux ou de modélisatio de processus. Il est doc légitime d'explorer les possibilités d'utilisatio d'autres types de euroes [Sotag93]. Cet effort de recherche d ue alterative aux réseaux de euroes "classiques" s est tout d abord dirigé vers les réseaux de foctios radiales, e particulier gaussiees. Ils ot otammet été mis e œuvre e Automatique o liéaire : modélisatio de processus et commade. Les techiques de costructio de ces réseaux aboutisset gééralemet à des modèles peu parcimoieux. E revache, ils possèdet des propriétés plus itéressates que les réseaux de euroes pour la sythèse de lois de commades stables [Saer92]. Récemmet, des familles de foctios, issues du traitemet du sigal et de l image, appelées odelettes ot été utilisées pour résoudre des problèmes d approximatio de foctios [Pati93, Zhag92]. Ces odelettes sot plus compliquées que les foctios utilisées pour les réseaux de euroes classiques. E revache, elles possèdet quelques propriétés prometteuses pour la modélisatio de processus. L objectif pricipal de ce travail était doc l étude de la mise e œuvre des foctios odelettes pour la modélisatio statique (qui avait déjà été abordée par d'autres auteurs), et pour la modélisatio dyamique de processus (qui, à otre coaissace, 'avait jamais été étudiée). Nous avos cosidéré deux approches issues de la trasformée e odelettes : L approche fodée sur la trasformée cotiue, très proche de celle des réseaux de euroes classiques, dot ous ous ispiros pour mettre au poit ue méthodologie de costructio de réseaux 2

16 Itroductio d odelettes. Elle permet d evisager des réseaux bouclés (que ous proposos das ce mémoire) et o bouclés. L approche fodée sur la trasformée discrète, propre aux foctios odelettes, qui permet de tirer parti des propriétés et des spécificités de ces foctios pour la mise au poit de procédures origiales pour l appretissage de réseaux d odelettes. Parmi les résultats théoriques cocerat les bases de foctios odelettes, il a été prouvé que cette famille de foctios possède la propriété d approximatio uiverselle. E revache, il existe pas de résultat équivalet à celui des réseaux de euroes cocerat la propriété de parcimoie. De ce fait, et sur la base des exemples que ous étudios cojoitemet avec des réseaux d odelettes et de euroes sigmoïdaux, ous ous proposos de faire ue évaluatio de la parcimoie des réseaux d odelettes. De plus, ous avos systématiquemet utilisé, pour l'estimatio des paramètres des réseaux que ous avos mis e œuvre, deux algorithmes d optimisatio du secod ordre : l algorithme de BFGS et celui de Leveberg Marquardt. Le premier a été largemet utilisé pour l appretissage de réseaux bouclés et o bouclés. E revache, des résultats sur l utilisatio du secod pour l appretissage de réseaux bouclés sot, à otre coaissace, totalemet absets de la littérature cosacrée aux réseaux de euroes. Nous avos doc systématiquemet cherché à comparer les résultats obteus à l'aide de ces algorithmes, sous divers poits de vue. Le chapitre I du préset mémoire est cosacré à des défiitios et rappels cocerat la modélisatio, statique et dyamique de processus ; ous présetos otammet des cosidératios méthodologiques pour la costructio de modèles "boîte oire", que ous avos mises e œuvre tout au log de ce travail. Cette approche s'iscrit das la cotiuité de travaux atérieurs effectués au sei du laboratoire [Nerrad92, Rivals95a, Urbai95]. Nous décrivos esuite les algorithmes d optimisatio employés pour l estimatio des paramètres des réseaux de foctios, qu'il s'agisse de euroes à foctios dorsales ou d odelettes fodées sur la trasformée cotiue. Le chapitre II présete les réseaux de euroes classiques que ous avos mis e œuvre pour la modélisatio statique et dyamique de processus. Nous cosidéros deux types de foctios dorsales : la foctio tagete hyperbolique, exemple de sigmoïde (qui est la brique des réseaux classiques), et la foctio gaussiee. 3

17 Itroductio Pour cette derière, ous proposos ue procédure agissat e cours d appretissage, qui permet d améliorer l utilisatio de chacu des euroes. Ces cosidératios sot illustrées par u exemple. Le chapitre III est cosacré aux réseaux d odelettes fodés sur la trasformée cotiue. Après ue brève présetatio des foctios odelettes, ous proposos des algorithmes d appretissage de réseaux d odelettes bouclés pour ue modélisatio etrée sortie et d état. Les résultats présetés das ce chapitre ot été publiés partiellemet das u article accepté pour publicatio das la revue Neurocomputig [Oussar98], reproduit e aexe de ce mémoire. Le chapitre IV aborde la modélisatio de processus par des réseaux d odelettes fodés sur la trasformée discrète. La particularité des bases d odelettes utilisées das ce cotexte e permet pas d appretissage fodé sur ue techique de gradiet. De ce fait, la costructio de ces réseaux est effectuée à l aide de méthodes de sélectio das ue bibliothèque d odelettes. Nous proposos das ce chapitre ue procédure qui met e œuvre ces bases d odelettes pour iitialiser les coefficiets de réseaux fodés sur la trasformée cotiue, avat l'appretissage de ceux-ci. Les cosidératios développées das les chapitres précédets sot appliquées, das le chapitre V, à la modélisatio d u processus simulé, et d u processus réel. Nous présetos d abord les résultats obteus avec des réseaux bouclés de foctios dorsales et d odelettes. Esuite, ous cofrotos les performaces réalisées par deux algorithmes du secod ordre sur les deux types de réseaux. 4

18 CHAPITRE I Modélisatio de processus et estimatio des paramètres d u modèle

19 Modélisatio de processus et estimatio des paramètres d u modèle I. INTRODUCTION. Das la première partie de ce chapitre, ous rappelos les otios de processus et de modèle, aisi que divers termes utilisés fréquemmet das le cadre de la modélisatio. Das la secode partie, ous aborderos le problème de l estimatio des paramètres d u modèle et ous préseteros les algorithmes qui ot été utilisés das otre travail. II. DÉFINITION D UN PROCESSUS ET D UN MODÈLE. II.1 Processus. U processus est caractérisé par : ue ou plusieurs gradeurs de sortie, mesurables, qui costituet le résultat du processus, ue ou plusieurs gradeurs d'etrée (ou facteurs), qui peuvet être de deux types : - des etrées sur lesquelles il est possible d'agir (etrées de commade), - des etrées sur lesquelles il 'est pas possible d'agir (perturbatios) ; ces derières peuvet être aléatoires ou détermiistes, mesurables ou o mesurables. Les processus peuvet être de toutes atures : physique, chimique, biologique, écologique, fiacier, sociologique, etc. II.2 Modèles. II.2.1 Qu est ce qu u modèle? Nous ous itéressos ici aux modèles mathématiques, qui représetet les relatios etre les etrées et les sorties du processus par des équatios. Si ces équatios sot algébriques, le modèle est dit statique. Si ces équatios sot des équatios différetielles ou des équatios aux différeces récurretes, le modèle est dit dyamique, respectivemet à temps cotiu ou à temps discret. U modèle est caractérisé par so domaie de validité, c'est-à-dire par le domaie de l'espace des etrées das lequel l'accord etre les valeurs des sorties du processus calculées par le modèle, et leurs valeurs mesurées, est cosidéré comme satisfaisat compte teu de l'utilisatio que l'o fait du modèle. II.2.2 Buts d ue modélisatio. U modèle peut être utilisé soit 6

20 Modélisatio de processus et estimatio des paramètres d u modèle pour simuler u processus : à des fis pédagogiques, de détectio d'aomalies de foctioemet, de diagostic de paes, de coceptio assistée par ordiateur, etc., pour effectuer la sythèse d'ue loi de commade, ou pour être icorporé das u dispositif de commade. II.2.3 Classificatio des modèles. II Classificatio selo le mode de coceptio. O distigue trois sortes de modèles e foctio des iformatios mises e jeu pour leur coceptio : Les modèles de coaissace : les modèles de coaissace sot costruits à partir d ue aalyse physique, chimique, biologique (ou autre suivat le type du processus), e appliquat soit les lois géérales, fodées sur des pricipes (lois de la mécaique, de l'électromagétisme, de la thermodyamique, de la physique quatique, etc.), soit les lois empiriques (fiace, écoomie), qui régisset les phéomèes iterveat au sei des processus étudiés. Ces modèles e comportet gééralemet pas de paramètres ajustables, ou des paramètres ajustables e très petit ombre. Das la pratique, il est toujours souhaitable d'établir u modèle de coaissace des processus que l'o étudie. Néamois, il arrive fréquemmet que le processus soit trop complexe, ou que les phéomèes qui le régisset soiet trop mal cous, pour qu'il soit possible d'établir u modèle de coaissace suffisammet précis pour l'applicatio cosidérée. O est alors ameé à cocevoir des modèles puremet empiriques, fodés exclusivemet sur les résultats de mesures effectuées sur le processus. Les modèles boîte oire : les modèles boîte oire sot costruits essetiellemet sur la base de mesures effectuées sur les etrées et les sorties du processus à modéliser. La modélisatio cosiste alors à utiliser, pour représeter les relatios etre les etrées et les sorties, des équatios (algébriques, différetielles, ou récurretes) paramétrées, et à estimer les paramètres, à partir des mesures dispoibles, de maière à obteir la meilleure précisio possible avec le plus petit ombre possible de paramètres ajustables. Das ce mémoire, ous désigeros fréquemmet l'estimatio des paramètres sous le terme d'appretissage. 7

21 Modélisatio de processus et estimatio des paramètres d u modèle Le domaie de validité d'u tel modèle e peut pas s'étedre au-delà du domaie des etrées qui est représeté das les mesures utilisées pour l'appretissage. Les modèles boîte grise : lorsque des coaissaces, exprimables sous forme d'équatios, sot dispoibles, mais isuffisates pour cocevoir u modèle de coaissace satisfaisat, o peut avoir recours à ue modélisatio "boîte grise" (ou modélisatio semi-physique) qui pred e cosidératio à la fois les coaissaces et les mesures. Ue telle démarche peut cocilier les avatages de l'itelligibilité d'u modèle de coaissace avec la souplesse d'u modèle comportat des paramètres ajustables. II Classificatio selo l utilisatio. Idépedammet de la classificatio précédete, o peut distiguer deux types de modèles e foctio de l'utilisatio qui e est faite. Les modèles de simulatio (ou simulateurs) : u modèle de simulatio est utilisé de maière idépedate du processus qu il représete. Il doit doc posséder u comportemet aussi semblable que possible à celui du processus. De tels modèles sot utilisés pour valider la coceptio d'u système avat sa fabricatio (coceptio assistée par ordiateur e mécaique, e microélectroique,...), pour la formatio de persoels (simulateurs de vols), pour la prévisio à log terme, etc. Du poit de vue de la structure du modèle, les sorties passées, mesurées sur le processus à modéliser, e peuvet costituer des etrées du modèle. L'estimatio des paramètres et l'utilisatio du modèle costituet deux phases successives et distictes (appretissage o adaptatif). Les modèles de prédictio (ou prédicteurs) : u modèle de prédictio est utilisé e parallèle avec le processus dot il est le modèle. Il prédit la sortie du processus à ue échelle de temps courte devat les costates de temps du processus. Les prédicteurs sot utilisés pour la sythèse de lois de commade, ou das le système de commade lui-même (commade avec modèle itere). Du poit de vue de la structure du modèle, les sorties passées, mesurées sur le processus, peuvet costituer des etrées du modèle. L'estimatio des paramètres et l'utilisatio du modèle peuvet être effectuées simultaémet si écessaire (appretissage adaptatif, utile otammet si les caractéristiques du processus dérivet das le temps). 8

22 Modélisatio de processus et estimatio des paramètres d u modèle Ce mémoire présete la mise e oeuvre de plusieurs types de réseaux de foctios paramétrées pour la modélisatio dyamique de processus, et la comparaiso de leurs performaces respectives. Il s'agira doc exclusivemet de modèles de type boîte oire qui peuvet être utilisés idifféremmet comme simulateurs ou comme prédicteurs. III. LES ÉTAPES DE LA CONCEPTION D UN MODÈLE. Lors de la coceptio d u modèle de coaissace, la relatio etre les etrées et la (ou les) sortie(s) du modèle découlet directemet de la mise e équatio des phéomèes physiques (chimiques, ou autres) qui régisset le foctioemet du processus. Ue fois le modèle obteu sous forme aalytique, des approximatios peuvet être faites pour simplifier so expressio (par exemple "liéariser" le modèle pour passer d'u modèle o liéaire à u modèle liéaire) si ue telle approximatio est justifiée. Das le cas d ue modélisatio de type boîte oire, la costructio du modèle écessite les trois élemets suivats : Ue hypothèse sur l existece d ue relatio détermiiste liat les etrées à la (ou aux) sortie(s). Cette relatio est caractérisée par ue foctio appelée foctio de régressio (ou plus simplemet régressio). L'expressio formelle supposée adéquate pour représeter cette relatio est appelée modèlehypothèse. Ue séquece de mesures des etrées et de la sortie du processus. U algorithme d appretissage. Das la suite de ce paragraphe, ous présetos les différets aspects qui doivet être pris e cosidératio lors du choix d u modèle-hypothèse. III.1 Choix d u modèle-hypothèse. Les coaissaces dot o dispose a priori sur le processus doivet guider le cocepteur das le choix de la modélisatio la plus appropriée (statique ou dyamique, liéaire ou o liéaire,...). L élaboratio du modèle-hypothèse écessite d'effectuer les choix suivats : Modèle statique ou dyamique : lorsque l'o cherche à modéliser u processus physico-chimique ou biologique, il est gééralemet facile de savoir si l'applicatio evisagée écessite de modéliser la dyamique du processus (c'est-àdire si l'o doit cosidérer ue échelle de temps petite devat les costates de temps du processus) ou si ue modélisatio statique suffit. 9

23 Modélisatio de processus et estimatio des paramètres d u modèle Modèle liéaire ou o liéaire : il 'est pas douteux que la plupart des processus que l'o peut recotrer écessiteraiet des modèles o liéaires s'il fallait les décrire de maière précise das la totalité de leur domaie de foctioemet : la plupart des modèles liéaires costituet des approximatios valables das u domaie plus ou mois restreit. Il est doc importat de pouvoir élaborer u modèle o liéaire pour redre compte du comportemet d'u processus, o seulemet autour de ses poits de foctioemet "habituels", mais égalemet lors des passages d'u poit de foctioemet à u autre. Modèle etrée-sortie ou modèle d'état : das le cas où l'o opte pour ue modélisatio dyamique, deux représetatios sot possibles pour le modèle : il s agit de la représetatio d état ou de la représetatio etrée sortie. L état d u processus est défiit comme la quatité d iformatio miimale écessaire pour prédire so comportemet, état doées les etrées présetes et à veir. Il s agit gééralemet d u vecteur de gradeur égale à l ordre du modèle. La représetatio etrée sortie est u cas particulier de la représetatio d état où le vecteur des états est costitué par la sortie et ses valeurs retardées das le temps. Si le but de la modélisatio est de prédire le comportemet etrée sortie du processus, il existe gééralemet ue ifiité de représetatios d état (au ses d états ayat des trajectoires différetes) solutios du problèmes. E revache, la représetatio etrée sortie est uique. Présece de perturbatios détermiistes : lorsque l'o cherche à réaliser u modèle dyamique, les perturbatios détermiistes peuvet être modélisées par ue etrée supplémetaire (échelo, sigal carré, siusoïde). E particulier, si le modèle est costruit pour la sythèse d ue loi de commade, la prise e cosidératio de l existece d ue perturbatio pedat la phase de modélisatio peut améliorer les performaces de la commade pour le rejet de cette perturbatio. Par exemple, il est proposé das [Mukhopa93] ue approche qui cosiste à cosidérer la perturbatio comme la sortie d u processus. La modélisatio de ce processus a pour effet d'itroduire de ouvelles variables d'état, doc d'augmeter l'ordre du modèle. Présece d u bruit : lorsque l'o cherche à réaliser u modèle dyamique, ue perturbatio de type bruit est modélisée par ue séquece de variables aléatoires. U bruit peut agir de différetes maières sur u processus. O distigue otammet le bruit de sortie (bruit additif qui affecte la mesure de la sortie du processus), et le bruit d état (bruit additif qui affecte l'état du processus). Comme, e gééral, o e coaît pas avec précisio la ature du bruit qui 10

24 Modélisatio de processus et estimatio des paramètres d u modèle affecte le processus, o doit effectuer des hypothèses sur celle-ci ; o déduit de celles-ci la structure du modèle-hypothèse, et l'algorithme utilisé pour l'ajustemet des paramètres. Ue hypothèse erroée peut dégrader cosidérablemet les performaces du modèle. Ces problèmes ot été très largemet étudiés das le cas de la modélisatio liéaire [Ljug87]. Das le cadre de la modélisatio o liéaire par réseaux de euroes, ces cosidératios sot développées das [Nerrad94]. III.2 Du modèle-hypothèse au prédicteur ou au simulateur. U modèle-hypothèse ayat été choisi, l étape suivate cosiste à établir l'expressio du prédicteur théorique, c'est-à-dire l'expressio de la prédictio de la sortie du processus à l'istat +d e foctio des doées dispoibles à l'istat (etrées et sorties du processus et/ou du prédicteur à l'istat et aux istats atérieurs). Efi, la derière étape cosiste à établir l'expressio du prédicteur (ou du simulateur) propremet dit : das le cas d'ue modélisatio "boîte oire", ce prédicteur utilise ue foctio paramétrée, dot o estime les paramètres, à partir de mesures effectuées préalablemet sur le processus, de telle maière qu'il costitue la meilleure approximatio possible du prédicteur théorique. A l'issue de la procédure d estimatio des paramètres (appretissage), il faut évaluer la performace du prédicteur (ou du simulateur). Das le cadre de ce mémoire ous ous itéressos plus particulièremet à l étape d appretissage et doc aux caractéristiques du prédicteur (complexité, cotraites de mise e oeuvre) et aussi à l algorithme d appretissage (efficacité, robustesse). La plupart des exemples étudiées état des processus simulés, le problème du choix du modèle-hypothèse e se pose pas. E revache, la modélisatio d u processus réel (das le derier chapitre) sera l occasio d'examier ce problème. III.3 Présetatio de quelques modèles-hypothèses et de leurs prédicteurs associés. Nous présetos das ce paragraphe quelques exemples de modèleshypothèses aisi que les prédicteurs qui leurs sot associés, pour l'élaboratio d'u modèle dyamique etrée-sortie. L u des pricipaux paramètres qui itervieet das le choix d u modèle-hypothèse est la présece d u bruit et la maière dot il agit sur le processus. Pour ceci, ous allos cosidérer deux classes de modèles-hypothèses : le modèle-hypothèse détermiiste et des modèles-hypothèses o détermiiste (faisat iterveir u bruit das la modélisatio du processus). 11

25 Modélisatio de processus et estimatio des paramètres d u modèle III.3.1 Modèle-hypothèse détermiiste. O cosidère qu aucu bruit 'agit sur le processus. O propose u modèle-hypothèse détermiiste ayat l expressio suivate : y p = fy p ±1,..., y p ±N s, u±1,..., u±n e (1) où y p () est la sortie mesurée du processus à l istat, N s est l ordre du modèle et N e la mémoire sur l etrée extere u. f est ue foctio o liéaire dot o suppose qu'elle existe, et qu'elle costitue ue représetatio mathématique du comportemet du processus. La forme prédicteur théorique associée à ce modèle-hypothèse est la suivate : y = fy p ±1,..., y p ±N s, u±1,..., u±n e (2) où y(t) est la prédictio de la sortie du processus calculée par la forme prédicteur théorique. État doé que ous cosidéros que le processus est soumis à aucu bruit, la forme prédicteur théorique doit calculer à tout istat y(t) = y p (t). Le prédicteur dot o effectuera l appretissage aura pour expressio : y t = ψ y p t±1,..., y p t±n s, ut±1,..., ut±n e (3) où ψ est ue foctio paramétrée, dot les paramètres doivet être estimés pour qu'elle approche au mieux la foctio f das le domaie de foctioemet cosidéré. Cette optimisatio s eted au ses de la miimisatio de la foctio de coût empirique, que l o appellera doréavat foctio de coût et que l o otera par J. Cette miimisatio est réalisée à l'aide d'u algorithme d appretissage. Si l o est itéressé par la costructio d u modèle de simulatio, u autre prédicteur peut être cosidéré : y = ψ y±1,..., y±n s, u±1,..., u±n e (4) La seule différece avec la forme prédicteur de la relatio (3) réside das le fait que les etrées d état du modèle sot les sorties retardées du modèle, o celles du processus. III.3.2 Modèles-hypothèses o détermiistes. O désige par modèles-hypothèses o détermiistes des modèleshypothèses qui supposet l existece d u bruit agissat sur le processus à modéliser. O peut evisager plusieurs hypothèses cocerat la maière dot le bruit agit sur le processus. Nous e présetos deux, que ous cosidéreros lors de l étude d exemples das ce mémoire. 12

26 Modélisatio de processus et estimatio des paramètres d u modèle III L hypothèse Bruit de sortie. L hypothèse Bruit de sortie (Output Error e aglais) cosiste à cosidérer qu u bruit agit sur la sortie du processus. L expressio du modèlehypothèse est : x()=f(x(±1),..., x(±n s ), u(±1),..., u(±n e )) (5) y p ()=x()+w() où {w()} est ue séquece de variables aléatoires idépedates de moyee ulle et de variace σ 2. La forme prédicteur théorique associée à ce modèlehypothèse est doée par l expressio suivate : y() = fy±1, y±2,..., y±n s, u±1,..., u±n e (6) Le prédicteur réel associé a pour expressio : y()=ψ y±1, y±2,..., y±n s, u±1,..., u±n e (7) où ψ est ue foctio réalisée à l'aide d'ue foctio paramétrée, par exemple u réseau de euroes. C est doc u modèle dot les etrées d état sot ses propres sorties retardées, et o pas les sorties du processus. Si, après appretissage, la foctio ψ était idetique à la foctio f, l'erreur de prédictio commise par ce prédicteur serait ue séquece aléatoire de mêmes caractéristiques que w. Lorsque la foctio parmétrée ψ est réalisée par u réseau de euroes, celui-ci est u réseau bouclé, que ous décriros au paragraphe II.4.2 du chapitre suivat. III L hypothèse Bruit d état. L hypothèse Bruit d état (Equatio Error e aglais) cosiste à cosidérer qu u bruit agit sur l'état du processus. Ce modèle-hypothèse a la forme suivate : y p () = fy p ±1, y p ±2,..., y p ±N s, u±1,..., u±n e + w() (8) où {w()} est ue séquece de variables aléatoires idépedates de moyee ulle et de variace σ 2. La forme prédicteur théorique associée à ce modèlehypothèse est doée par l expressio suivate : y() = fy p ±1, y p ±2,..., y p ±N s, u±1,..., u±n e (9) Le prédicteur réel associé est de la forme : y()=ψ y p ±1, y p ±2,..., y p ±N s, u±1,..., u±n e (10) où ψ est ue foctio paramétrée. Si ψ était idetique à f, l'erreur de prédictio effectuée par ce prédicteur serait ue séquece de variables aléatoires de mêmes caractéristiques que le bruit w. Lorsque la foctio parmétrée ψ est réalisée par u réseau de euroes, celui-ci est u réseau o bouclé, que ous décriros au paragraphe II.4.1 du chapitre suivat. 13

27 Modélisatio de processus et estimatio des paramètres d u modèle IV. FONCTIONS PARAMÉTRÉES POUR LA MODÉLISATION "BOÎTE NOIRE". Comme idiqué ci dessus, ue modélisatio de type boîte oire est mise e œuvre das le cas où l'o dispose de peu de coaissace sur le processus étudié, ou si le modèle de coaissace établi est trop compliqué pour être exploité. Das les deux cas (et particulièremet das le secod) o a besoi d u outil fourissat u modèle précis, aussi simple que possible e termes de ombre de paramètres ajustables et de ombre de calculs à effectuer, pour prédire la sortie du processus. E gééral, u modèle boîte oire statique est ue combiaiso paramétrée de foctios, qui peuvet être elles-mêmes paramétrées. U modèle "boîte oire" dyamique est, comme ous l'avos vu ci-dessus, u esemble d'équatios différetielles (ou d'équatios aux différeces pour u modèle à temps discret) o liéaires, où la o-liéarité est réalisée, comme das le cas d'u modèle statique, par ue combiaiso paramétrées de foctios évetuellemet paramétrées. Des foctios paramétrées costituet ue famille d'approximateurs uiversels s'il est possible (sous certaies coditios de régularité) d approcher toute foctio cotiue, avec la précisio voulue, das u domaie de l'espace des etrées, par ue somme podérée d'u ombre fii de ces foctios. Cette coditio 'est éamois pas suffisate pour qu'ue famille de foctios soit utilisable de maière efficace pour la modélisatio "boîte oire" efficace. E effet, parmi tous les modèles possibles, o recherche toujours celui qui possède le plus petit ombre de coefficiets ajustables : c'est la propriété de parcimoie, dot ous verros qu'elle 'est pas partagée par tous les types de foctios paramétrées. A cet égard, il est importat de distiguer les modèles liéaires par rapport aux paramètres des modèles o liéaires par rapport aux paramètres. IV.1 Les foctios paramétrées liéaires par rapport aux paramètres. Ue foctio paramétrée est liéaire par rapport aux paramètres si elle est de la forme : ψ X = N Σ i =1 θ i Φ i X (11) où les Φ i (X) sot des foctios o paramétrées d'ue ou plusieurs variables groupées das le vecteur X, et où les θ i sot des paramètres. Les foctios Φ i (X) peuvet être quelcoques ; traditioellemet o utilise des moômes ; mais o peut égalemet utiliser d autres types de foctios : foctios splies, foctios gaussiees dot les cetres et les écarts types sot fixés, 14

28 Modélisatio de processus et estimatio des paramètres d u modèle foctios odelettes dot les traslatios et dilatatios sot fixées (ces derières serot présetées au chapitre IV de ce mémoire). IV.2 Les foctios paramétrées o liéaires par rapport aux paramètres. Das le préset travail, ous utiliseros essetiellemet des foctios o liéaires par rapport aux paramètres, qui sot de la forme ψ X = N Σ i =1 θ i Φ i X, Θ i (12) où Θ i est u vecteur de paramètres de la foctio Φ i. Aisi, la foctio réalisée est liéaire par rapport aux θ i, mais o liéaire par rapport aux paramètres costituat le vecteur Θ i : c'est ue combiaiso liéaire de foctios paramétrées. Les réseaux de euroes à ue couche cachée (présetés au chapitre II), les réseaux de foctios gaussiees radiales dot les cetres et les écarts-types sot ajustables, les réseaux d'odelettes (qui sot l'objet essetiel de ce travail) etret das cette catégorie de foctios. Toutes ces foctios sot des approximateurs uiversels [Horik89] mais leur itérêt, par rapport aux foctios liéaires par rapport aux paramètres, réside das le caractère parcimoieux des modèles qu ils permettet de réaliser [Horik94]. Comme ous le verros au paragraphe V.2, le prix à payer pour cela réside das le fait que les méthodes habituelles d'estimatio de paramètres (méthodes de moidres carrés) sot iutilisables, et que l'o doit avoir recours à des méthodes itératives (méthodes de gradiet) dot la mise e œuvre est plus lourde. Nous présetos brièvemet ci-dessous ces trois types de réseaux, dot deux serot repris e détail das les chapitres suivats. IV.2.1 Les réseaux de euroes. Das ce travail, ous réserveros le terme de réseau de euroes aux réseaux de la forme (12), où au mois ue des foctios Φ i (X) est ue foctio croissate borée, otammet sigmoïde (tagete hyperbolique), d'ue combiaiso liéaire des etrées ; certaies de ces foctios peuvet être l'idetité. L expressio de ces réseaux est : ψ(x)= N i=1 θ i Φ i Θ i T X Issus de travaux à cootatio biologique das les aées 1940, ces réseaux sot maiteat cosidérés comme des outils mathématiques, idépedammet de toute référece à la biologie. Ils sot utilisés pour la modélisatio et la commade (13) 15

29 Modélisatio de processus et estimatio des paramètres d u modèle de processus o liéaires, aisi que comme outils de classificatio, otammet pour la recoaissace de formes. Les pricipales étapes das l évolutio de la théorie et de la pratique des réseaux de euroes ot été la mise au poit d u algorithme, écoomique e temps de calcul, pour l'évaluatio du gradiet de la foctio de coût (défiie au paragraphe V), appelé algorithme de rétropropagatio [Rumelhart86], et la preuve de ses propriétés d approximateur uiversel [Horik89] et de parcimoie [Barro93, Horik94]. L ue des premières applicatios das le domaie de la modélisatio o liéaire de processus est présetée das [Naredra90]. IV.2.2 Les réseaux de foctios radiales (RBF pour Radial Basis Fuctios). Les foctios radiales ot été itroduites par [Powell85] das le cadre de l'iterpolatio, c'est-à-dire de la recherche de foctios passat exactemet par u ombre fii de poits (dits poits de collocatio). Das ce cotexte, la foctio recherchée est ue combiaiso liéaire de foctios de base, e ombre égal au ombre de poits de collocatio ; ue foctio de base Φ (x), relative au poit de collocatio x, est dite radiale si elle e déped que de la distace du poit courat x au poit de collocatio x. O peut utiliser diverses foctios radiales, otammet des foctios localisées (qui tedet vers zéro das toutes les directios de l'espace des variables) telles que des gaussiees cetrées aux poits de collocatio. Bie etedu, la recherche d'ue foctio passat exactemet par les poits 'a de ses que si ces poits e sot pas etachés de bruit. La référece [Broom88] semble être parmi les premières à proposer l idée d'utiliser des réseaux de RBF pour l'approximatio de foctios o liéaires. La foctio recherchée est toujours ue combiaiso liéaire de foctios radiales, mais leur ombre est beaucoup plus petit que le ombre de poits, et elles e sot doc pas forcémet cetrées e ces poits. So expressio est de la forme : N i=1 ψ(x)= θ i Φ i X ± M i, σ i 2 2 où M ι est le vecteur des cetres et σ i u scalaire (appelé variace das le cas d ue RBF gaussiee). La propriété d approximateurs uiversels pour ces réseaux a été que récemmet prouvée pour des gaussiees radiales [Hartma90] et plus gééralemet pour des RBF [Park91]. Ces réseaux ot été utilisés comme outil de modélisatio boîte oire das le domaie de l automatique. O les trouve à la base de modèles etrée sortie [Che90] et aussi de modèles d état [Elaayar94]. Certaies spécificités de ces réseaux permettet de les utiliser pour la sythèse de lois de commade adaptatives stables [Behera95, Saer92, Saer95]. Le fait que ces réseaux (14) 16

30 Modélisatio de processus et estimatio des paramètres d u modèle permettet de garatir la stabilité des correcteurs qu ils réaliset les red plus itéressats que les réseaux de euroes pour la résolutio des problèmes de commade o liéaire. E revache, cette propriété se fait au détrimet de la parcimoie du réseau. IV.2.3 Les réseaux d odelettes. Les foctios odelettes trouvet leur origie das des travaux de mathématicies dès les aées L idée de départ était de costruire ue trasformatio, pour l étude des sigaux, plus commode que la trasformatio de Fourier, otammet pour des sigaux de durée fiie. Les foctios odelettes ot subi ue évolutio au cours des aées : celles dot ous disposos aujourd hui sot plus complexes que leurs aîées, et possèdet des propriétés itéressates pour l approximatio de foctios. E particulier, elles possèdet la propriété d approximateurs uiversels, ce qui suggère leur utilisatio pour la costructio de modèles boîte oire. La otio de réseaux d odelettes existe depuis peu [Pati 93] et l étude de la propriété de parcimoie a pas été abordée. L u des objectifs de ce mémoire est l étude de la mise e oeuvre de cette classe de réseaux pour la modélisatio etrée sortie et d état de processus, aisi que la comparaiso, sur des exemples, de la parcimoie et des performaces de cette classe de réseaux par rapport à celle des réseaux de euroes (voir les chapitres III, IV et V). V. ESTIMATION DES PARAMÈTRES D UN MODÈLE. V.1 Positio du problème et otatios. État doées les iformatios dot o dispose sur le processus (c est à dire la séquece d appretissage) o détermie, das ue famille doée de foctios paramétrées ψ(x, θ) (où x est le vecteur regroupat toutes les etrées du modèle et θ le vecteur des paramètres icous de ψ) celle qui miimise ue foctio de coût qui, le plus souvet, est la foctio de coût des moidres carrés. Soit y p la sortie du processus à l istat (das le cas d ue modélisatio dyamique), ou la valeur mesurée pour le ème exemple de l'esemble d appretissage (das le cas d ue modélisatio statique). De même, y est la sortie calculée par le modèle à l'istat, ou pour le ème exemple de l'esemble d'appretissage. O défiit la foctio de coût des moidres carrés J(θ) par : J θ = 1 2 N y p ± y 2 =1 (15) 17

31 Modélisatio de processus et estimatio des paramètres d u modèle où N est le ombre de mesures (taille de la séquece). J(θ)déped du vecteur des paramètres, aisi que de la séquece d appretissage. Pour alléger les otatios, ous 'idiqueros pas explicitemet cette derière dépedace das la suite. O défiit l erreur quadratique moyee d appretissage (EQMA) comme ue la moyee de la foctio de coût calculée sur la séquece d appretissage. Elle est doée par : 2 J θ N. Lors de so exploitatio, le modèle reçoit des etrées différetes de celles de la séquece d appretissage. O peut estimer ses performaces e calculat diverses foctios ; celle que l'o utilise le plus fréquemmet est l'erreur quadratique moyee de performace EQMP dot la valeur est calculée sur ue séquece différete de celle utilisée pour l'appretissage. V.2 Les algorithmes de miimisatio de la foctio de coût. Das le cas où le modèle est liéaire par rapport aux paramètres à ajuster, la miimisatio de la foctio de coût, et doc l estimatio du vecteur des paramètres θ, peut se faire à l aide la méthode des moides carrés, qui ramèe le problème à la résolutio d u système d équatios liéaires. Nous présetos cette techique das ce qui suit. V.2.1 Méthode des moidres carrés ordiaires. Cette méthode est applicable pour l appretissage de modèles statiques ou de prédicteurs o bouclés dot la sortie est liéaire par rapport aux paramètres icous. Si cette sortie est liéaire par rapport aux etrées, le prédicteur associé a pour expressio : N i y = θ i x i (16) Σ i=1 Ce modèle prédictif peut se être mis sous forme d ue équatio matricielle. E effet, o peut l écrire Y = X θ avec : Y = y 1 y 2, X = x 1 1 x 2 1 x Ni 1, θ = θ 1 θ 2 (17) yn x 1 N x N N θ Ni L estimatio des paramètres est fodée sur la miimisatio de la foctio de coût des moidres carrés (relatio (15)). E utilisat la otatio matricielle présetée ci dessus, l expressio de la foctiode coût J θ deviet : 18

32 Modélisatio de processus et estimatio des paramètres d u modèle J θ = 1 2 Y P T Y P ±2θ T X T Y p + θ T X T Xθ (18) La foctio de coût état quadratique (par rapport au vecteur des paramètres à estimer), il atteit so miimum pour la valeur du vecteur des paramètres aulat sa dérivée. Soit θ mc cette valeur du vecteur des paramètres. Elle vérifie : J θ θmc =0 (19) Cette derière équatio fourit l équatio ormale : X T X θ mc = X T Y p (20) dot la solutio θ mc doée par : θ mc = X T X ±1 X T Y p (21) est l estimatio des moidres carrés du vecteur des paramètres θ p. Cette solutio existe à coditio que la matrice X T X soit iversible. Cette coditio est gééralemet vérifiée lorsque N (le ombres d exemples) est très grad devat N i (le ombre d etrées du modèle). La méthode des moidres carrés peut être utilisée plus gééralemet pour l estimatio des paramètres de tout modèle dot la sortie est liéaire par rapport aux paramètres à estimer ; c'est le cas, par exemple, pour l estimatio des paramètres du modèle suivat : y = N i θ i Φ i X (22) Σ i=1 où les Φ i sot des foctios o paramétrées du vecteur des etrées X. Plusieurs choix sot possibles pour les foctios Φ i (voir paragraphe IV.1). Les sorties des modèles boîte oire que ous utilisos das ce mémoire e sot pas liéaires par rapport aux paramètres à ajuster. Ue résolutio directe du problème comme das le cas de la solutio des moidres carrés est doc pas possible : o a doc recours à des algorithmes d appretissage qui recherchet ue solutio suivat ue procédure itérative. Ces algorithmes sot gééralemet applicables sauf das le cas où des restrictios sur les valeurs possibles pour les paramètres du modèle sot imposées par la ature des foctios paramétrées utilisées (voir le paragraphe III.1 du chapitre IV). Das ce qui suit, ous allos préseter les algorithmes que ous utilisos das ce mémoire pour la miimisatio de la foctio de coût. V.2.2 Pricipe des algorithmes de gradiet. Les algorithmes d appretissage fodés sur l'évaluatio du gradiet de la foctio de coût J(θ) par rapport aux paramètres procèdet à la miimisatio de 19