Réseaux d ondelettes et réseaux de neurones pour la modélisation statique et dynamique de processus

Transcription

1 Réseaux d odelettes et réseaux de euroes pour la modélisatio statique et dyamique de processus Yacie Oussar To cite this versio: Yacie Oussar. Réseaux d odelettes et réseaux de euroes pour la modélisatio statique et dyamique de processus. domai other. Uiversité Pierre et Marie Curie - Paris VI, Frech. <pastel > HAL Id: pastel Submitted o 23 Apr 2004 HAL is a multi-discipliary ope access archive for the deposit ad dissemiatio of scietific research documets, whether they are published or ot. The documets may come from teachig ad research istitutios i Frace or abroad, or from public or private research ceters. L archive ouverte pluridiscipliaire HAL, est destiée au dépôt et à la diffusio de documets scietifiques de iveau recherche, publiés ou o, émaat des établissemets d eseigemet et de recherche fraçais ou étragers, des laboratoires publics ou privés.

2 THÈSE de DOCTORAT de l UNIVERSITÉ PIERRE ET MARIE CURIE Spécialité : ROBOTIQUE présetée par Yacie OUSSAR pour obteir le titre de DOCTEUR de l UNIVERSITÉ PARIS VI Sujet de la thèse : Réseaux d odelettes et réseaux de euroes pour la modélisatio statique et dyamique de processus. Souteue le 06 Juillet 1998 devat le jury suivat : Mme S. THIRIA Rapporteur M. S. CANU Rapporteur M. G. DREYFUS Examiateur M. P. GALLINARI Examiateur M. S. KNERR Examiateur M. L. PERSONNAZ Examiateur

3 A mo Père, ma Mère et Zia.

4 Me teat comme je suis, u pied das u pays et l autre e u autre, je trouve ma coditio très heureuse, e ce qu elle est libre. Reé Descartes (Lettre à la pricesse Elisabeth de Bohême, Paris 1648).

5 Avat d itégrer le laboratoire d Électroique de l ESPCI, je coaissais Mosieur le Professeur Gérard DREYFUS de réputatio. Je e savais pas alors que j aurais u jour la chace de meer mo travail de thèse au sei de so équipe. Mes plus vifs remerciemets sot doc adressés au Professeur Gérard DREYFUS qui m a témoigé de sa cofiace e m accueillat das so laboratoire. Au cours de ces aées de thèse, sa dispoibilité sas faille, so suivi, so souci de la valorisatio des travaux accomplis, so calme iébralable devat les difficultés, ot beaucoup cotribué à l aboutissemet de ce travail de thèse. Qu il trouve ici toute ma recoaissace. Mosieur Léo PERSONNAZ, Maître de Coféreces, a guidé mes premiers pas das la recherche e ecadrat mes deux premières aées de thèse. Je resterai toujours impressioé par sa rigueur et so ses de la critique. Je ties à lui exprimer mes remerciemets pour ses relectures de mo mémoire et ses remarques. Pedat ces aées de thèse, Mademoiselle Isabelle RIVALS, Maître de Coféreces, et moi avos partagé le même bureau, ce qui m a permis à plusieurs reprises de bééficier de ses coaissaces. Je dois la remercier pour sa grade dispoibilité. J adresse de vifs remerciemets à Madame le Professeur Sylvie THIRIA, qui a accepté d examier mo mémoire de thèse, et qui a maifesté so itérêt pour mo travail. Je ties à exprimer ma recoaissace à Mosieur le Professeur Stéphae CANU pour avoir examié mo mauscrit avec beaucoup d attetio. Ses remarques costructives m ot permis d améliorer la versio fiale de mo mémoire. Je suis très hooré que Mosieur le Professeur Patrick GALLINARI ait accepté de cosacrer u peu de so temps, e cette période chargée de l'aée, pour faire partie de mo jury. Je ties à remercier égalemet Mosieur Stefa KNERR d avoir égalemet accepté d être membre de mo jury, effectuat aisi u "retour aux sources" e dépit de ses ombreuses activités. Au cours de ces aées de thèse au laboratoire d Électroique, j ai eu la chace de côtoyer Brigitte QUENET, Maître de Coféreces, dot l amitié et le

6 soutie m ot beaucoup apporté. Mo travail a bééficié de ses coseils et de ses ecouragemets. Commet aurais-je pu m iitier aux systèmes iformatiques e réseau sas la précieuse aide de Pierre ROUSSEL, Maître de Coféreces, qui grâce à so admiistratio rigoureuse des ressources iformatiques du laboratoire, ous assure ue boe dispoibilité des statios de travail? J ai beaucoup apprécié so ses de l humour et sa covivialité. Au travers de ombreuses discussios avec Hervé STOPPIGLIA, j ai beaucoup appris sur les techiques de sélectio utilisées das ce mémoire. Je l e remercie vivemet. Je voudrais adresser ici ma profode recoaissace à u acie membre du laboratoire d électroique qui par sa sympathie, so aide et ses ecouragemets a suscité e moi u véritable setimet fraterel. C est de Domiique URBANI que je veux parler... Merci Doumé! J adresse efi ma plus vive recoaissace à Moique et Fraçois Zwobada qui sot deveus ma famille fraçaise.

7 TABLE DES MATIÈRES Itroductio 1 CHAPITRE I. Modélisatio de processus et estimatio des paramètres d u modèle 5 CHAPITRE II. Réseaux de foctios dorsales 27 CHAPITRE III. Réseaux d odelettes (approche fodée sur la trasformée cotiue) 46 CHAPITRE IV. Réseaux d odelettes (approche fodée sur la trasformée discrète) 88 CHAPITRE V. Étude de quelques exemples 115 Coclusio 137 Bibliographie 141 Aexe A 151 Aexe B 166

8 TABLE DES MATIÈRES DÉTAILLÉE Itroductio 1 CHAPITRE I. Modélisatio de processus et estimatio des paramètres d u modèle 5 I. INTRODUCTION. 6 II. DÉFINITION D UN PROCESSUS ET D UN MODÈLE. 6 II.1 Processus. 6 II.2 Modèles. 6 II.2.1 Qu est ce qu u modèle? 6 II.2.2 Buts d ue modélisatio. 6 II.2.3 Classificatio des modèles. 7 II Classificatio selo le mode de coceptio. 7 II Classificatio selo l utilisatio. 8 III. LES ÉTAPES DE LA CONCEPTION D UN MODÈLE. 9 III.1 Choix d u modèle-hypothèse. 9 III.2 Du modèle-hypothèse au prédicteur ou au simulateur. 11 III.3 Présetatio de quelques modèles-hypothèses et de leurs prédicteurs associés. 11 III.3.1 Modèle-hypothèse détermiiste. 12 III.3.2 Modèles-hypothèses o détermiistes. 12 III L hypothèse Bruit de sortie. 13 III L hypothèse Bruit d état. 13 IV. FONCTIONS PARAMÉTRÉES POUR LA MODÉLISATION "BOÎTE NOIRE". 14 IV.1 Les foctios paramétrées liéaires par rapport aux paramètres. 14 IV.2 Les foctios paramétrées o liéaires par rapport aux paramètres. 15 IV.2.1 Les réseaux de euroes. 15 IV.2.2 Les réseaux de foctios radiales (RBF pour Radial Basis Fuctios). 16 IV.2.3 Les réseaux d odelettes. 17 V. ESTIMATION DES PARAMÈTRES D UN MODÈLE. 17

9 V.1 Positio du problème et otatios. 17 V.2 Les algorithmes de miimisatio de la foctio de coût. 18 V.2.1 Méthode des moidres carrés ordiaires. 18 V.2.2 Pricipe des algorithmes de gradiet. 19 V.2.3 La méthode du gradiet simple. 21 V Présetatio de la méthode. 21 V Techiques de réglage du pas. 21 V.2.4 Les méthodes de gradiet du secod ordre. 21 V L algorithme de BFGS. 22 V L algorithme de Leveberg Marquardt. 23 V.3 Commetaire. 26 VI. CONCLUSION 26 CHAPITRE II. Réseaux de foctios dorsales 27 I. INTRODUCTION. 28 II. NEURONES FORMELS À FONCTIONS DORSALES ET RÉSEAUX. 28 II.1 Qu est ce qu u euroe formel? 28 II.2 Qu'est-ce qu'u euroe formel à foctio dorsale? 28 II.3 Qu est ce qu u réseau de euroes? 29 II.4 Réseaux o bouclés et réseaux bouclés. 30 II.4.1 Les réseaux o bouclés. 30 II.4.2 Les réseaux bouclés. 30 II.5 Réseaux o bouclés complètemet coectés et réseaux à couches. 31 II.5.1 Les réseaux o bouclés complètemet coectés. 31 II.5.2 Les réseaux o bouclés à couches. 31 II.5.3 Les réseaux mis e œuvre das ce travail. 35 III. CHOIX DE LA FONCTION D ACTIVATION ET PROPRIÉTÉ D APPROXIMATION UNIVERSELLE. 33 III.1 La foctio sigmoïde. 34 III.2 La foctio gaussiee. 34 IV. APPRENTISSAGE DES RÉSEAUX DE FONCTIONS DORSALES. 35

10 IV.1 Appretissage de réseaux o bouclés. 35 IV.2 Appretissage de réseaux bouclés. 36 IV.3 Iitialisatio du réseau et miima locaux. 36 IV.4 Autres schémas d appretissage pour les réseaux de foctios dorsales. 37 V. ANALYSE D UN RÉSEAU DE FONCTIONS DORSALES. 37 V.1 Pricipe. 37 V.2 Élagage de poids syaptiques. 37 V.3 Ue procédure pour la détectio de euroes à foctios gaussiees mal utilisés. 38 V.4 Étude d u exemple. 41 VI. MODÉLISATION DYNAMIQUE DE PROCESSUS À L AIDE DE RÉSEAUX DE FONCTIONS DORSALES. 43 VI.1 Modélisatio etrée sortie. 43 VI.1.1 Prédicteurs o bouclé. 43 VI.1.2 Prédicteur bouclé. 44 VI.2 Modélisatio d état. 44 VII. CONCLUSION. 45 CHAPITRE III. Réseaux d odelettes (approche fodée sur la trasformée cotiue) 46 I. INTRODUCTION. 47 II. RÉSEAUX ISSUS DE LA TRANSFORMÉE EN ONDELETTES CONTINUE. 48 II.1 La trasformée e odelettes cotiue. 48 II.2 De la trasformée iverse aux réseaux d odelettes. 50 III. DÉFINITION DES ONDELETTES MULTIDIMENSIONNELLES ET DES RÉSEAUX D'ONDELETTES. 51 III.1 Odelettes multidimesioelles. 51 III.2 Réseaux d'odelettes. 51 III.3 Réseaux d'odelettes et réseaux de euroes. 54

11 IV. APPRENTISSAGE DES RÉSEAUX D ONDELETTES NON BOUCLÉS. 55 IV.1 Calcul du gradiet de la foctio de coût. 55 IV.2 Iitialisatio des paramètres du réseau. 57 IV.3 Exemple de modélisatio statique. 59 IV.3.1 Présetatio du processus simulé. 59 IV.3.2 Modélisatio avec 100 exemples. 59 IV.3.3 Modélisatio avec 300 exemples. 61 IV.3.4 Ifluece des termes directs 62 IV.3.5 Quelques figures. 63 V. MODÉLISATION DYNAMIQUE ENTRÉE SORTIE ET RÉSEAUX D ONDELETTES. 64 V.1 Appretissage de réseaux de type etrée-sortie. 65 V.1.1 Appretissage de prédicteurs o bouclés. 65 V.1.2 Appretissage de prédicteurs bouclés. 65 V.1.3 Calcul du gradiet par rétropropagatio. 67 V.1.4 Calcul du gradiet das le ses direct. 68 V.2 Exemple. 70 V.2.1 Présetatio du processus. 70 V.2.2 Étude du gai statique. 70 V.2.3 Modélisatio du processus. 71 VI. MODÉLISATION D ÉTAT ET RÉSEAUX D ONDELETTES. 72 VI.1 Modèles d'état sas bruit, avec états o mesurables. 73 VI.2 Appretissage de réseaux d état bouclés. 73 VI.2.1 Structure du réseau d état. 73 VI.2.2 Calcul du gradiet par rétropropagatio. 76 VI Calcul du gradiet de J par rapport à la sortie et aux variables d état. 76 VI Calcul du gradiet de J par rapport aux paramètres du réseau. 77 VI Commetaire sur le choix des variables d état. 79 VI.2.3 Calcul du gradiet das le ses direct. 79 VI.2.4 Iitialisatio des paramètres du réseau. 81 VII. LE PROBLÈME MAÎTRE ÉLÈVE ET LES RÉSEAUX D'ONDELETTES. 82 VII.1 Miima locaux de la foctio de coût. 83 VII.2 Choix de la séquece d appretissage. 84

12 VII.3 Choix du domaie des etrées et des paramètres du réseau maître. 84 VII.4 Choix de l algorithme et de l iitialisatio du réseau. 85 VII.5 Approche adoptée pour l étude du problème. 85 VII.6 Résultats et commetaires. 85 VIII. CONCLUSION. 86 CHAPITRE IV. Réseaux d odelettes (approche fodée sur la trasformée discrète) 88 I. INTRODUCTION. 89 II. RÉSEAUX ISSUS SUR LA TRANSFORMÉE EN ONDELETTES DISCRÈTE. 89 II.1 Structures obliques et bases d odelettes orthoormales. 90 II.1.1 Odelettes à variables cotiues. 90 II.1.2 Odelettes à variables discrètes. 92 II.1.3 Choix de l'odelette mère. 93 II.2 Réseaux fodés sur la trasformée discrète. 94 III. TECHNIQUES DE CONSTRUCTION DE RÉSEAUX D ONDELETTES. 95 III.1 Impossibilité d utiliser les techiques de gradiet. 95 III.2 Différetes approches pour costruire u réseau d odelettes fodé sur la trasformée discrète. 95 III.2.1 Approches utilisat pas de procédure de sélectio. 95 III Techique fodée sur l aalyse fréquetielle. 95 III Techique fodée sur la théorie des odelettes orthogoales. 96 III Réseaux d odelettes pour u système adaptatif. 96 III.2.2 Approches utilisat ue procédure de sélectio. 97 III Techique fodée sur la costructio de structures obliques étroites. 97 IV. PROPOSITION D UNE PROCÉDURE DE CONSTRUCTION DE RÉSEAUX ET D'INITIALISATION DE L'APPRENTISSAGE. 97 IV.1 Descriptio de la procédure de costructio de la bibliothèque. 98 IV.1.1 Famille egedrat la bibliothèque pour u modèle à ue etrée. 98 IV.1.2 Cas des bibliothèques pour modèles à plusieurs etrées. 100 IV.2 La méthode de sélectio. 100

13 IV.2.1 Pricipe de la méthode de sélectio par orthogoalisatio. 100 IV.2.2 Cas des termes directs. 102 IV.3 La procédure de costructio du réseau. 102 IV.3.1 Présetatio de la procédure de costructio. 102 IV.3.2 Avatages et icovéiets de cette approche. 103 IV.4 Autre applicatio de la procédure : iitialisatio des traslatios et dilatatios pour l appretissage de réseaux d'odelettes à paramètres cotius. 104 IV.4.1 Pricipe de la procédure d iitialisatio. 104 IV.4.2 Avatages et icovéiets de cette méthode d iitialisatio. 105 V. ÉTUDE D EXEMPLES. 105 V.1 Exemple de costructio de réseaux à l'aide de la procédure de sélectio. 105 V.1.1 Présetatio du processus. 105 V.1.2 Costructio d u modèle dyamique à l aide de la procédure. 106 V Modélisatio dyamique sas bruit du processus simulé. 107 V Modélisatio dyamique avec bruit du processus simulé. 107 V Coclusio. 108 V.2 Exemple d'iitialisatio des traslatios et des dilatatios de réseaux à l'aide de la procédure de sélectio. 108 V.2.1 Processus V Présetatio du processus. 108 V Iitialisatio de réseaux à l aide de la procédure de sélectio. 109 V.2.2 Processus VI. CONCLUSION. 113 CHAPITRE V. Étude de quelques exemples 115 I. INTRODUCTION. 116 II. MODÉLISATION DE PROCESSUS SIMULÉS. 117 II.1 Présetatio du processus simulé sas bruit. 117 II.2 Modélisatio du processus simulé o bruité. 118 II.2.1 Réseau prédicteur à foctios odelettes. 119 II Appretissage avec l algorithme de BFGS. 119 II Appretissage avec l algorithme de Leveberg Marquardt. 120

14 II.2.2 Réseau prédicteur à foctios dorsales. 120 II Appretissage avec l algorithme de BFGS. 121 II Appretissage avec l algorithme de Leveberg Marquardt. 121 II.3 Modélisatio du processus simulé avec bruit. 122 II.3.1 Modélisatio du processus simulé avec bruit additif de sortie. 123 II.3.2 Modélisatio du processus simulé avec bruit d état additif. 124 II.4 Coclusio. 124 III. MODÉLISATION D UN PROCESSUS RÉEL. 124 III.1 Présetatio du processus. 125 III.2 Modélisatio etrée sortie. 126 III.2.1 Réseau prédicteur à foctios odelettes. 126 III Appretissage avec l algorithme de BFGS. 126 III Appretissage avec l algorithme de Leveberg Marquardt. 127 III Fréquece d'occurrece du meilleur résultat. 128 III.2.2 Réseau prédicteur à foctios dorsales. 129 III Appretissage avec l algorithme de BFGS. 129 III Appretissage avec l algorithme de Leveberg Marquardt. 130 III Fréquece d'occurrece du meilleur résultat. 130 III.2.3 Coclusio de la modélisatio etrée sortie. 131 III.3 Modélisatio d état. 132 III.3.1 Réseau prédicteur d'état à foctios d odelettes. 133 III.3.2 Réseau prédicteur d'état à foctios dorsales. 134 III.3.3 Réseau prédicteur d état à foctios dorsales dot la sortie est l u des états. 134 III.3.4 Coclusio de la modélisatio d état. 135 IV. CONCLUSION. 136 Coclusio 137 Bibliographie 141 Aexe A 151 Aexe B 166

15 Itroductio

16 Itroductio Grâce aux résultats théoriques et pratiques obteus au cours des derières aées, les réseaux de euroes sot deveus u outil de plus e plus utilisé das divers domaies (idustrie, baque, services). Ils demeuret toutefois u sujet d u grad itérêt pour les chercheurs qui désiret améliorer les performaces de ces réseaux et étedre leur champ d applicatios. La propriété fodametale des réseaux de euroes, l approximatio uiverselle parcimoieuse, fait de ceux-ci ue représetatio mathématique très avatageuse pour la modélisatio statique et dyamique o liéaire de processus. L'utilisatio de euroes sigmoïdaux était iitialemet justifiée par ue aalogie biologique ; mais celle-ci est deveue caduque pour la coceptio de systèmes de traitemet de sigaux ou de modélisatio de processus. Il est doc légitime d'explorer les possibilités d'utilisatio d'autres types de euroes [Sotag93]. Cet effort de recherche d ue alterative aux réseaux de euroes "classiques" s est tout d abord dirigé vers les réseaux de foctios radiales, e particulier gaussiees. Ils ot otammet été mis e œuvre e Automatique o liéaire : modélisatio de processus et commade. Les techiques de costructio de ces réseaux aboutisset gééralemet à des modèles peu parcimoieux. E revache, ils possèdet des propriétés plus itéressates que les réseaux de euroes pour la sythèse de lois de commades stables [Saer92]. Récemmet, des familles de foctios, issues du traitemet du sigal et de l image, appelées odelettes ot été utilisées pour résoudre des problèmes d approximatio de foctios [Pati93, Zhag92]. Ces odelettes sot plus compliquées que les foctios utilisées pour les réseaux de euroes classiques. E revache, elles possèdet quelques propriétés prometteuses pour la modélisatio de processus. L objectif pricipal de ce travail était doc l étude de la mise e œuvre des foctios odelettes pour la modélisatio statique (qui avait déjà été abordée par d'autres auteurs), et pour la modélisatio dyamique de processus (qui, à otre coaissace, 'avait jamais été étudiée). Nous avos cosidéré deux approches issues de la trasformée e odelettes : L approche fodée sur la trasformée cotiue, très proche de celle des réseaux de euroes classiques, dot ous ous ispiros pour mettre au poit ue méthodologie de costructio de réseaux 2

17 Itroductio d odelettes. Elle permet d evisager des réseaux bouclés (que ous proposos das ce mémoire) et o bouclés. L approche fodée sur la trasformée discrète, propre aux foctios odelettes, qui permet de tirer parti des propriétés et des spécificités de ces foctios pour la mise au poit de procédures origiales pour l appretissage de réseaux d odelettes. Parmi les résultats théoriques cocerat les bases de foctios odelettes, il a été prouvé que cette famille de foctios possède la propriété d approximatio uiverselle. E revache, il existe pas de résultat équivalet à celui des réseaux de euroes cocerat la propriété de parcimoie. De ce fait, et sur la base des exemples que ous étudios cojoitemet avec des réseaux d odelettes et de euroes sigmoïdaux, ous ous proposos de faire ue évaluatio de la parcimoie des réseaux d odelettes. De plus, ous avos systématiquemet utilisé, pour l'estimatio des paramètres des réseaux que ous avos mis e œuvre, deux algorithmes d optimisatio du secod ordre : l algorithme de BFGS et celui de Leveberg Marquardt. Le premier a été largemet utilisé pour l appretissage de réseaux bouclés et o bouclés. E revache, des résultats sur l utilisatio du secod pour l appretissage de réseaux bouclés sot, à otre coaissace, totalemet absets de la littérature cosacrée aux réseaux de euroes. Nous avos doc systématiquemet cherché à comparer les résultats obteus à l'aide de ces algorithmes, sous divers poits de vue. Le chapitre I du préset mémoire est cosacré à des défiitios et rappels cocerat la modélisatio, statique et dyamique de processus ; ous présetos otammet des cosidératios méthodologiques pour la costructio de modèles "boîte oire", que ous avos mises e œuvre tout au log de ce travail. Cette approche s'iscrit das la cotiuité de travaux atérieurs effectués au sei du laboratoire [Nerrad92, Rivals95a, Urbai95]. Nous décrivos esuite les algorithmes d optimisatio employés pour l estimatio des paramètres des réseaux de foctios, qu'il s'agisse de euroes à foctios dorsales ou d odelettes fodées sur la trasformée cotiue. Le chapitre II présete les réseaux de euroes classiques que ous avos mis e œuvre pour la modélisatio statique et dyamique de processus. Nous cosidéros deux types de foctios dorsales : la foctio tagete hyperbolique, exemple de sigmoïde (qui est la brique des réseaux classiques), et la foctio gaussiee. 3

18 Itroductio Pour cette derière, ous proposos ue procédure agissat e cours d appretissage, qui permet d améliorer l utilisatio de chacu des euroes. Ces cosidératios sot illustrées par u exemple. Le chapitre III est cosacré aux réseaux d odelettes fodés sur la trasformée cotiue. Après ue brève présetatio des foctios odelettes, ous proposos des algorithmes d appretissage de réseaux d odelettes bouclés pour ue modélisatio etrée sortie et d état. Les résultats présetés das ce chapitre ot été publiés partiellemet das u article accepté pour publicatio das la revue Neurocomputig [Oussar98], reproduit e aexe de ce mémoire. Le chapitre IV aborde la modélisatio de processus par des réseaux d odelettes fodés sur la trasformée discrète. La particularité des bases d odelettes utilisées das ce cotexte e permet pas d appretissage fodé sur ue techique de gradiet. De ce fait, la costructio de ces réseaux est effectuée à l aide de méthodes de sélectio das ue bibliothèque d odelettes. Nous proposos das ce chapitre ue procédure qui met e œuvre ces bases d odelettes pour iitialiser les coefficiets de réseaux fodés sur la trasformée cotiue, avat l'appretissage de ceux-ci. Les cosidératios développées das les chapitres précédets sot appliquées, das le chapitre V, à la modélisatio d u processus simulé, et d u processus réel. Nous présetos d abord les résultats obteus avec des réseaux bouclés de foctios dorsales et d odelettes. Esuite, ous cofrotos les performaces réalisées par deux algorithmes du secod ordre sur les deux types de réseaux. 4

19 CHAPITRE I Modélisatio de processus et estimatio des paramètres d u modèle

20 Modélisatio de processus et estimatio des paramètres d u modèle I. INTRODUCTION. Das la première partie de ce chapitre, ous rappelos les otios de processus et de modèle, aisi que divers termes utilisés fréquemmet das le cadre de la modélisatio. Das la secode partie, ous aborderos le problème de l estimatio des paramètres d u modèle et ous préseteros les algorithmes qui ot été utilisés das otre travail. II. DÉFINITION D UN PROCESSUS ET D UN MODÈLE. II.1 Processus. U processus est caractérisé par : ue ou plusieurs gradeurs de sortie, mesurables, qui costituet le résultat du processus, ue ou plusieurs gradeurs d'etrée (ou facteurs), qui peuvet être de deux types : - des etrées sur lesquelles il est possible d'agir (etrées de commade), - des etrées sur lesquelles il 'est pas possible d'agir (perturbatios) ; ces derières peuvet être aléatoires ou détermiistes, mesurables ou o mesurables. Les processus peuvet être de toutes atures : physique, chimique, biologique, écologique, fiacier, sociologique, etc. II.2 Modèles. II.2.1 Qu est ce qu u modèle? Nous ous itéressos ici aux modèles mathématiques, qui représetet les relatios etre les etrées et les sorties du processus par des équatios. Si ces équatios sot algébriques, le modèle est dit statique. Si ces équatios sot des équatios différetielles ou des équatios aux différeces récurretes, le modèle est dit dyamique, respectivemet à temps cotiu ou à temps discret. U modèle est caractérisé par so domaie de validité, c'est-à-dire par le domaie de l'espace des etrées das lequel l'accord etre les valeurs des sorties du processus calculées par le modèle, et leurs valeurs mesurées, est cosidéré comme satisfaisat compte teu de l'utilisatio que l'o fait du modèle. II.2.2 Buts d ue modélisatio. U modèle peut être utilisé soit 6

21 Modélisatio de processus et estimatio des paramètres d u modèle pour simuler u processus : à des fis pédagogiques, de détectio d'aomalies de foctioemet, de diagostic de paes, de coceptio assistée par ordiateur, etc., pour effectuer la sythèse d'ue loi de commade, ou pour être icorporé das u dispositif de commade. II.2.3 Classificatio des modèles. II Classificatio selo le mode de coceptio. O distigue trois sortes de modèles e foctio des iformatios mises e jeu pour leur coceptio : Les modèles de coaissace : les modèles de coaissace sot costruits à partir d ue aalyse physique, chimique, biologique (ou autre suivat le type du processus), e appliquat soit les lois géérales, fodées sur des pricipes (lois de la mécaique, de l'électromagétisme, de la thermodyamique, de la physique quatique, etc.), soit les lois empiriques (fiace, écoomie), qui régisset les phéomèes iterveat au sei des processus étudiés. Ces modèles e comportet gééralemet pas de paramètres ajustables, ou des paramètres ajustables e très petit ombre. Das la pratique, il est toujours souhaitable d'établir u modèle de coaissace des processus que l'o étudie. Néamois, il arrive fréquemmet que le processus soit trop complexe, ou que les phéomèes qui le régisset soiet trop mal cous, pour qu'il soit possible d'établir u modèle de coaissace suffisammet précis pour l'applicatio cosidérée. O est alors ameé à cocevoir des modèles puremet empiriques, fodés exclusivemet sur les résultats de mesures effectuées sur le processus. Les modèles boîte oire : les modèles boîte oire sot costruits essetiellemet sur la base de mesures effectuées sur les etrées et les sorties du processus à modéliser. La modélisatio cosiste alors à utiliser, pour représeter les relatios etre les etrées et les sorties, des équatios (algébriques, différetielles, ou récurretes) paramétrées, et à estimer les paramètres, à partir des mesures dispoibles, de maière à obteir la meilleure précisio possible avec le plus petit ombre possible de paramètres ajustables. Das ce mémoire, ous désigeros fréquemmet l'estimatio des paramètres sous le terme d'appretissage. 7

22 Modélisatio de processus et estimatio des paramètres d u modèle Le domaie de validité d'u tel modèle e peut pas s'étedre au-delà du domaie des etrées qui est représeté das les mesures utilisées pour l'appretissage. Les modèles boîte grise : lorsque des coaissaces, exprimables sous forme d'équatios, sot dispoibles, mais isuffisates pour cocevoir u modèle de coaissace satisfaisat, o peut avoir recours à ue modélisatio "boîte grise" (ou modélisatio semi-physique) qui pred e cosidératio à la fois les coaissaces et les mesures. Ue telle démarche peut cocilier les avatages de l'itelligibilité d'u modèle de coaissace avec la souplesse d'u modèle comportat des paramètres ajustables. II Classificatio selo l utilisatio. Idépedammet de la classificatio précédete, o peut distiguer deux types de modèles e foctio de l'utilisatio qui e est faite. Les modèles de simulatio (ou simulateurs) : u modèle de simulatio est utilisé de maière idépedate du processus qu il représete. Il doit doc posséder u comportemet aussi semblable que possible à celui du processus. De tels modèles sot utilisés pour valider la coceptio d'u système avat sa fabricatio (coceptio assistée par ordiateur e mécaique, e microélectroique,...), pour la formatio de persoels (simulateurs de vols), pour la prévisio à log terme, etc. Du poit de vue de la structure du modèle, les sorties passées, mesurées sur le processus à modéliser, e peuvet costituer des etrées du modèle. L'estimatio des paramètres et l'utilisatio du modèle costituet deux phases successives et distictes (appretissage o adaptatif). Les modèles de prédictio (ou prédicteurs) : u modèle de prédictio est utilisé e parallèle avec le processus dot il est le modèle. Il prédit la sortie du processus à ue échelle de temps courte devat les costates de temps du processus. Les prédicteurs sot utilisés pour la sythèse de lois de commade, ou das le système de commade lui-même (commade avec modèle itere). Du poit de vue de la structure du modèle, les sorties passées, mesurées sur le processus, peuvet costituer des etrées du modèle. L'estimatio des paramètres et l'utilisatio du modèle peuvet être effectuées simultaémet si écessaire (appretissage adaptatif, utile otammet si les caractéristiques du processus dérivet das le temps). 8

23 Modélisatio de processus et estimatio des paramètres d u modèle Ce mémoire présete la mise e oeuvre de plusieurs types de réseaux de foctios paramétrées pour la modélisatio dyamique de processus, et la comparaiso de leurs performaces respectives. Il s'agira doc exclusivemet de modèles de type boîte oire qui peuvet être utilisés idifféremmet comme simulateurs ou comme prédicteurs. III. LES ÉTAPES DE LA CONCEPTION D UN MODÈLE. Lors de la coceptio d u modèle de coaissace, la relatio etre les etrées et la (ou les) sortie(s) du modèle découlet directemet de la mise e équatio des phéomèes physiques (chimiques, ou autres) qui régisset le foctioemet du processus. Ue fois le modèle obteu sous forme aalytique, des approximatios peuvet être faites pour simplifier so expressio (par exemple "liéariser" le modèle pour passer d'u modèle o liéaire à u modèle liéaire) si ue telle approximatio est justifiée. Das le cas d ue modélisatio de type boîte oire, la costructio du modèle écessite les trois élemets suivats : Ue hypothèse sur l existece d ue relatio détermiiste liat les etrées à la (ou aux) sortie(s). Cette relatio est caractérisée par ue foctio appelée foctio de régressio (ou plus simplemet régressio). L'expressio formelle supposée adéquate pour représeter cette relatio est appelée modèlehypothèse. Ue séquece de mesures des etrées et de la sortie du processus. U algorithme d appretissage. Das la suite de ce paragraphe, ous présetos les différets aspects qui doivet être pris e cosidératio lors du choix d u modèle-hypothèse. III.1 Choix d u modèle-hypothèse. Les coaissaces dot o dispose a priori sur le processus doivet guider le cocepteur das le choix de la modélisatio la plus appropriée (statique ou dyamique, liéaire ou o liéaire,...). L élaboratio du modèle-hypothèse écessite d'effectuer les choix suivats : Modèle statique ou dyamique : lorsque l'o cherche à modéliser u processus physico-chimique ou biologique, il est gééralemet facile de savoir si l'applicatio evisagée écessite de modéliser la dyamique du processus (c'est-àdire si l'o doit cosidérer ue échelle de temps petite devat les costates de temps du processus) ou si ue modélisatio statique suffit. 9

24 Modélisatio de processus et estimatio des paramètres d u modèle Modèle liéaire ou o liéaire : il 'est pas douteux que la plupart des processus que l'o peut recotrer écessiteraiet des modèles o liéaires s'il fallait les décrire de maière précise das la totalité de leur domaie de foctioemet : la plupart des modèles liéaires costituet des approximatios valables das u domaie plus ou mois restreit. Il est doc importat de pouvoir élaborer u modèle o liéaire pour redre compte du comportemet d'u processus, o seulemet autour de ses poits de foctioemet "habituels", mais égalemet lors des passages d'u poit de foctioemet à u autre. Modèle etrée-sortie ou modèle d'état : das le cas où l'o opte pour ue modélisatio dyamique, deux représetatios sot possibles pour le modèle : il s agit de la représetatio d état ou de la représetatio etrée sortie. L état d u processus est défiit comme la quatité d iformatio miimale écessaire pour prédire so comportemet, état doées les etrées présetes et à veir. Il s agit gééralemet d u vecteur de gradeur égale à l ordre du modèle. La représetatio etrée sortie est u cas particulier de la représetatio d état où le vecteur des états est costitué par la sortie et ses valeurs retardées das le temps. Si le but de la modélisatio est de prédire le comportemet etrée sortie du processus, il existe gééralemet ue ifiité de représetatios d état (au ses d états ayat des trajectoires différetes) solutios du problèmes. E revache, la représetatio etrée sortie est uique. Présece de perturbatios détermiistes : lorsque l'o cherche à réaliser u modèle dyamique, les perturbatios détermiistes peuvet être modélisées par ue etrée supplémetaire (échelo, sigal carré, siusoïde). E particulier, si le modèle est costruit pour la sythèse d ue loi de commade, la prise e cosidératio de l existece d ue perturbatio pedat la phase de modélisatio peut améliorer les performaces de la commade pour le rejet de cette perturbatio. Par exemple, il est proposé das [Mukhopa93] ue approche qui cosiste à cosidérer la perturbatio comme la sortie d u processus. La modélisatio de ce processus a pour effet d'itroduire de ouvelles variables d'état, doc d'augmeter l'ordre du modèle. Présece d u bruit : lorsque l'o cherche à réaliser u modèle dyamique, ue perturbatio de type bruit est modélisée par ue séquece de variables aléatoires. U bruit peut agir de différetes maières sur u processus. O distigue otammet le bruit de sortie (bruit additif qui affecte la mesure de la sortie du processus), et le bruit d état (bruit additif qui affecte l'état du processus). Comme, e gééral, o e coaît pas avec précisio la ature du bruit qui 10