Les méthodes d analyse d incertitude et de sensibilité appliquées aux modèles du secteur forestier
sommaire - Contexte et introduction - Théorie et pratique de la validation - Analyse d incertitude - Analyse de sensibilité - Méthodes - Grille de sélection UMR 356 Laboratoire d'économie Forestière - AgroParisTech(ENGREF) - INRA
Les travaux de modélisation du secteur forêt-bois au LEF FFSM (French Forest Sector Model) GFPM (Global Forest Products Model)
Les simulations à partir des modèles du secteur forêt-bois Comme outil d analyse et de recherche Nouvelles problématiques : Environnement, Changement climatique Des modèles multidisciplinaires de plus en plus complexes : économie, climat, écologie, Multiplication des paramètres dont les valeurs ne sont connues avec certitude des modèle de plus en plus complexe (boite noire) Comme support des politiques sectorielles ou comme outil de prospective sur les marchés Exemple USA : Timber Assessment Projection System. question de la crédibilité des résultats
Intérêts des modèles de simulation Les modèles de simulations dans d autres disciplines Mathématiques : résolution d équations Sciences de la terre : imiter le fonctionnement d un système à l aide d algorithmes et de programmes informatiques. grands progrès méthodologiques Les modèles de simulation en économie Inaccessibilité à l expérience sans artefacts Flexibilité par rapport aux modèles mathématiques classiques La montée en puissance des moyens de calcul permet d intégrer : L hétérogénéité des agents, l ouverture des systèmes (interconnexion de plusieurs modèles), les anticipations des agents malgré ces avantages, il persiste une réticence chez de nombreux économistes en raison de l idéal d objectivité
La question de la validation Comment s assurer que le modèle et les simulations sont une bonne représentation du système étudié. Quels tests et procédures il faut utiliser? Qui doit réaliser ces procédures et décider de la validité des modèles de simulation.
La question de la validation Le problème de l induction et les positions dans la philosophie des sciences. Les fondamentalistes vs. les anti-fondamentalistes.
La question de la validation Les fondamentalistes : existence d une base unique ultime (en expérimentation ou en raisonnement) dans laquelle un modèle ou une théorie doit être résolu. Empiristes (vérification) Rationalistes (évidence rationnelle) la validation est absolue Les anti-fondamentalistes : La rigueur scientifique est une activité logique de vérification ou de tests empiriques neutres... La validation est relative
La question de la validation Les courants de pensée entre les deux pôles : Les instrumentalistes (Positive economics, Milton Friedman 1953) Les modèles ne sont que des instruments qui permettent de concevoir, d une façon commode, les phénomènes et, éventuellement de les devancer par des prédictions. La validation est jugée par la fiabilité des prédictions Restriction à l objet de la simulation Kuhnianisme (The structure of Scientific Revolution, Thomas Samul Kuhn 1970) Vision historique et sociologique. Notion de paradigme et de révolution scientifique. La validation est une co-constrution avec les utilisateurs et les experts.
La pratique de la validation Pratiques et procédures développées en recherche opérationnelle et en ingénierie: V&V (verification and validation) Principaux auteurs : R. Sargent (1979, 2009), J. Kleijnen (1987, 1999), A. Law (2008)
La pratique de la validation Statut de la validation : A refaire pour chaque application (pas de validation absolue) Le modèle est considéré valide dans son domaine d application et dans la limite du niveau de précision définie à l avance.
La pratique de la validation Coût de la validation vs. valeur des simulations Coût de la validation valeur Valeur des simulations pour l utilisateur coût 0% confiance 100%
La pratique de la validation Qui doit conduire la validation Le développeur Le développeur + l utilisateur (plus de crédibilité) Une tierce partie IV&V (modèles de simulation très larges avec enjeux importants) exemple : le Centre Commun de Recherche (CCR) ou (JRC en anglais) qui est une Direction Générale de Commission européenne
Paradigme de la validation La pratique de la validation VALIDATION OPERATIONNELLE expérimentation système données Analyse modélisation VALIDATION CONCEPTUELLE Le modèle informatique programmation Le modèle conceptuel VERIFICATION
La pratique de la validation Techniques de la validation : Sur les données historiques : comparaison graphique, comparaison de moyennes (tests), points de retournement, corrélations entre les valeurs d un output et ses valeurs observées, Conditions extrêmes Comparaison avec les résultats d autres modèles Avis d experts Analyse du comportement prédictif du modèle (cas où l expérimentation n est pas possible)
La prediction Prédiction : utilisation du modèle pour prédire l état d un système sous des conditions dans lesquelles le modèle n a pas été validé. Dans les simulations avec des modèles complexes où des paramètres ne sont pas connus, la validation sur les observations historiques n est pas suffisante. Comment quantifier l effet de l incertitude sur les paramètres sur les résultats du modèle? Quels sont les paramètres incertains qui ont le plus d effets sur les résultats du modèle? Y a t-il interactions entre les effets?
La validation du comportement prédictif Explorer le comportement du modèle (relations entre inputs et outputs) Simplifier le modèle Identifier et cibler les paramètres influents et les interactions pour une meilleure calibration Identifier les données (conditions initiales) qui ont le plus d importance pour améliorer leur estimation et réduire l incertitude Quantifier l incertitude sur les outputs qui résulte de l incertitude sur les paramètres.
La validation du comportement prédictif Les méthodes de l Analyse d Incertitude (AI) et de l Analyse de sensibilité (AS) sont développées pour explorer les capacités prédictives des modèles. Des méthodes développé en statistiques et mathématiques appliquées Utilisées principalement en sciences physiques Moins populaires dans les modèles socioéconomiques.
Analyse d incertitude Quel est le niveau d incertitude sur les outputs du modèle qui résulte de l incertitude sur les inputs? Intérêt : Jugement sur la valeur des prédictions Définit les limites des simulations
Analyse d incertitude A. Maarit I. Kallio, 2010. Accounting for uncertainty in a forest sector model using Monte Carlo simulation, Forest Policy and Economics 12, 9-16.. SF-GTM : modèle du secteur forestier finlandais. 11 inputs incertains. 4 scénarios Résultats: - L incertitude dans les paramètres basiques du modèle ont des impacts modérés sur les résultats des simulations - Les prix mondiaux des produits de l industrie du bois sont une source importante des variations dans les projections du modèle
Analyse de sensibilité Quelles sont les principales sources d incertitude parmi les différents facteurs incertains? Intérêt: Identifier et classer les inputs les plus importants Réduire l incertitude sur les outputs en améliorant la calibration des paramètres influents Simplifier le modèle par la réduction des facteurs les moins influents Identifier les interactions entre les inputs
Application aux modèles du secteur forestier Objectif : - Développer des procédures d analyse d incertitude systématiquement utilisables dans les simulations. - Développer des procédures d analyse de sensibilité pour l exploration et l amélioration des modèles utilisés au LEF
Méthodes - Méthodes de criblage - Les méthodes globales - La méthode des «surfaces de réponse»
Méthodes de criblage - Permet d identifier les facteurs (inputs) les moins importants à un coût de calcul relativement faible - Méthodes déterministes : On considère les valeurs des paramètres et non leur distribution - Plans factoriels et analyse de la variance - Plans factoriels fractionnaires - Méthode de Morris
Méthodes globales On dispose d un échantillon de simulations de taille suffisante. On mesure l influence d une variable d entrée du modèle sur la sortir du modèle. - Méthodes basées sur la régression linéaire - Méthodes basées sur des tests statistiques - Méthodes basées sur la décomposition de la variance fonctionnelle - Méthode de Sobol - Méthode Fast (Fourier Amplitude Sensitivity Test)
Méthodes basées sur la décomposition de la variance
Méthodes La méthode des «surfaces de réponse» Cas des modèles très couteux en temps de calcul Création d un modèle simplifié (métamodèle) qui reproduit approximativement le comportement du modèle initial Analyse de sensibilité globale à partir du métamodèle
Application aux modèles utilisés au LEF FFSM. The French Forest Sector Model. - temps d une simulation < 5 minutes GFPM. The Global Forest Products Model. - temps d une simulation > 30 minutes
Grille de sélection des méthodes La sélection d une méthode dépond de : - Des hypothèses de régularité du modèle : linéarité, monotonie, - Du coût de l analyse : Nombre de simulations réalisables - Du nombre des facteurs considérés. - De la nature des facteurs (i.e., continu ou discret).
Grille de sélection Nb facteurs Criblage par groupe ~100 Plan d expérience Morris FAST, SOBOL Surfaces de réponse ~10 ~100 ~1000 Nb simulations
Grille de sélection Propriétés du modèle Criblage Non monotonic Morris Morris Surfaces de réponse Sobol Monotone avec interactions Monotone sans interaction Linéaire Super criblage Régression sur les rangs Régression linéaire 0 k 2k 10k 1000k Nb de simulations D après Bertrand Looss Ecole chercheurs MEXICO - 2012
Application aux modèles utilisés au LEF Support méthodologique et logiciel : Réseau MEXICO (Méthodes pour l exploration informatique de modèles complexes). Département de Mathématiques et Informatique Appliquées - INRA
Merci!