Projet de recommandations pour la maîtrise du risque de modèle

V08-06 INSTITUT DES ACTUAIRES Commission modélisation vie épargne Août 2006 Projet de recommandations pour la maîtrise du risque de modèle Ce document a pour objet de recenser les principes d organisation et les pratiques recommandées pour maîtriser le risque de modèle, ainsi que pour favoriser la bonne intégration d un modèle interne dans le système de contrôle des risques de l entreprise. La commission s est également intéressée aux questions de sécurité et d auditabilité des traitements, dans la perspective de l homologation d un modèle interne dans le cadre de Solvabilité 2. Sauf exception, le présent document ne traite ni des méthodes de simulation elles-mêmes, ni du détail technique des diverses applications d un modèle interne d entreprise 1. Les recommandations ont été rédigées du point de vue de l activité d assurance vie/épargne, mais nombre d entre elles sont transposables à toutes les branches vie et non-vie. Les actuaires sont invités à réagir à ce projet et à proposer des corrections, des améliorations ou des extensions aux domaines non-traités (notamment aux branches IARD ou prévoyance). Pour toutes remarques sur ce projet, vous pouvez contacter Patrice PALSKY (p.palsky@fractales.fr) ou Christiaan WEIJLING (cweijling@yahoo.fr). 1 Cet aspect des choses est du ressort d autres commissions de l Institut des Actuaires. page 1

TABLE DES MATIERES 1 Introduction...3 1.1 Modèle interne...3 1.2 Risque de modèle...3 2 Organisation...5 2.1 Service chargé du contrôle des risques...5 2.2 Supervision du modèle interne...5 2.3 Audit du modèle...6 3 Utilisations d un modèle interne...7 3.1 Projections des résultats...7 3.2 Panel de stress test...7 3.3 Autres utilisations...8 4 Intégrité...9 4.1 Champ du modèle...9 4.2 Représentation réaliste...9 5 Contrôles des données et des résultats...11 5.1 Modèles déterministes...11 5.2 Modèles stochastiques...13 6 Aspects informatiques...16 6.1 Développement du modèle...16 6.2 Sécurité des traitements...17 6.3 Piste d audit...17 7 Documentation...19 7.1 Documentation générale...19 7.2 Documentation des procédures...19 7.3 Journal du modèle...20 Page 2

1 Introduction 1.1 Modèle interne Un «modèle interne» est un outil de simulation destiné à fournir des projections de l activité et des résultats de l entreprise. Il peut être constitué de un ou de plusieurs logiciels exploités de façon coordonnée. Les prévisions et indicateurs de risque calculés par le modèle interne sont présentés à la direction générale, débattus avec les directions opérationnelles, et régulièrement utilisés dans plusieurs des domaines suivants : Argumentaire : le processus budgétaire la fixation des tarifs et des niveaux de garantie la décision en matière de taux servis l allocation d actif le choix de réassurance ou d autres moyens de transfert de risque la fixation de limites de risques l évaluation des engagements et de l embedded value l allocation de capital et la mesure de performance, etc. Un modèle interne n est pas obligatoirement développé en interne, sa réalisation peut être confiée totalement ou partiellement à l extérieur. En revanche, un modèle interne est régulièrement exploité pour les besoins propres de l entreprise. Il n est pas construit uniquement en fonction des exigences réglementaires. Sa vocation est d abord de servir au contrôle des risques et à l aide à la décision technique et financière. Compte tenu du rôle central de la gestion des risques dans l activité d assurance, la connaissance des résultats du modèle et son emploi décisionnel ne sauraient être limités aux seuls actuaires, analystes actif-passif et autres spécialistes des risques financiers. La direction générale de l entreprise doit être informée des résultats obtenus et approuver l utilisation décisionnelle du modèle dans les domaines évoqués plus haut. Remarque : Dans tous les cas, le modèle interne n est qu un élément d un système plus large. Ainsi un modèle ne peut pas être évalué (et encore moins homologué pour un usage comptable ou réglementaire) indépendamment de la qualité globale du système de contrôle des risques auquel il est intégré. 1.2 Risque de modèle On peut définir très largement le risque de modèle comme étant le risque d obtenir des prévisions ou des indications erronées conduisant soit à des décisions managériales impropres ou sous-optimales, soit à des erreurs d évaluations en matière comptable ou réglementaire. Page 3

Nous fournissons ci-dessous une liste indicative des causes d erreur potentielles, illustrée par quelques exemples. Spécifications du modèle erronées ou incomplètes : ex. le modèle omet le calcul des intérêts crédités sur les rachats anticipés ; Spécifications inadaptées pour le problème étudié : ex. conçue pour une société en activité, la modélisation des frais est inadaptée pour un portefeuille en run off ; Spécifications obsolètes : ex. la provision pour risque d exigibilité est calculée à 100%, et non pas étalée sur trois exercices ; Données de base erronées ou incomplètes : ex. le tableau d amortissement des immeubles n est pas mis à jour ; Erreurs de paramétrage : ex. le taux servi provisoire est fixé à 0,85% du taux servi de l exercice précédent, au lieu de 85% ; Erreurs de calibrage : ex. le calibrage des scénarios stochastiques en probabilité risqueneutre est effectué avec la courbe des taux zéros du trimestre précédent ; Utilisation d hypothèses incohérentes ou contradictoires avec les données statistiques : ex. application d une table de mortalité inadaptée à la clientèle concernée ; Modélisation des comportements incomplète ou irréaliste : ex. les versements supplémentaires restent constants au cours de la simulation en dépit de la baisse de compétitivité des taux servis ; Usage impropre ou mal informé : ex. le modèle est utilisé pour mesurer le risque à un horizon d un an avec un seuil de confiance élevé, mais les scénarios utilisés pour les actions correspondent à un processus gaussien (d où un risque de krach boursier sousestimé) ; Omission d une étape de calcul ou de procédure : ex. valorisation effectuée avec des scénarios de 20 ans en omettant de calculer un résultat de liquidation finale ; Erreur d interprétation des résultats : ex. une hausse de l allocation en actions est préconisée parce qu elle augmente l embedded value déterministe du portefeuille ; Erreur de programmation : ex. bogue affectant le calcul d affectation des produits financiers aux fonds propres ; Risque informatique en général : ex. perte de données, version antérieure non récupérable, erreurs d exploitation etc. Il apparaît qu un grand nombre de facteurs peuvent contribuer au risque de modèle, qui n est en aucun cas limité à la (non-)qualité du code informatique. La maîtrise du risque de modèle passe donc par un ensemble de procédures destinées à vérifier la qualité des données, la validité des traitements effectués et la cohérence des résultats. Mais elle demande aussi le recours à un personnel qualifié et expérimenté, ainsi qu une démarche d amélioration continue du modèle et du système de contrôle des risques dans lequel il se trouve intégré. Page 4

2 Organisation 2.1 Service chargé du contrôle des risques Il existe au niveau de l entreprise ou du groupe un service chargé du contrôle des risques (CR). Ce service est doté de personnels qualifiés en matière actuarielle, financière, réglementaire et comptable, en nombre suffisant et proportionné à la taille de l entreprise et à la complexité de son activité. Le CR établit et documente les méthodes de prévision et de calcul des indicateurs des risques. Il recueille et vérifie les éléments nécessaires à l établissement des prévisions. Il met en forme, commente et restitue les résultats à la direction générale et aux directions opérationnelles. Le CR est hiérarchiquement indépendant des directions opérationnelles. Son rôle est purement fonctionnel. Le CR ne s implique pas dans l activité des directions opérationnelles, les organes de chaque direction restant responsables de leurs décisions. Le CR rapporte directement à la direction générale, ou à une direction fonctionnelle responsable du contrôle. Argumentaire : Cette indépendance est indispensable pour assurer la sécurité et l impartialité du système de contrôle des risques. Elle correspond à une exigence réglementaire pour les banques (cf. règlement 97.02 de la commission bancaire) et figure également dans le projet Solvabilité 2. Remarque : Le CR ne doit pas être confondu avec l audit ou le contrôle interne. Le CR produit des tableaux de bord, des états réglementaires, des rapports sur la gestion des risques, et se trouve impliqué dans la fixation éventuelle de limites de risque. A ce titre, son activité doit être soumise à l audit interne, comme toutes celles qui concourent à la gestion de l entreprise. 2.2 Supervision du modèle interne Il existe au niveau de l entreprise ou du groupe une fonction de maître d œuvre du modèle interne. Cette fonction peut être confiée au CR lui-même, ou à un autre service chargé de superviser le modèle (SM). Le SM est responsable du développement et de la maintenance du modèle interne, même si d autres services de l entreprise utilisent le modèle, participent à sa conception, à son développement ou à son alimentation en données. Si le développement du modèle est confié en tout ou partie à l extérieur de l entreprise, le SM assure la relation avec le(s) fournisseur(s) et conserve intégralement ses responsabilités, notamment en matière de réception des nouvelles versions, de tenue de la documentation, et de coordination des demandes des utilisateurs. Page 5

Argumentaire : La fonction de SM correspond à une bonne pratique en matière d organisation de projet. La complexité des modèles actif-passif en assurance vie en fait une nécessité 2.3 Audit du modèle Le modèle interne, et plus globalement le système de contrôle des risques, font périodiquement l objet d un audit. Cet audit à généralement pour objet de vérifier l adéquation du système de contrôle des risques aux besoins de l entreprise. En ce qui concerne le modèle interne, l audit s intéresse plus particulièrement aux points suivants : Utilisation régulière du modèle et intégration dans les processus de décision de l entreprise (cf. chapitre 3), Existence et respect des procédures d alimentation, de tests, de contrôle des résultats etc. (cf. chapitres 4 et 5) ; Sécurité des traitements (cf. chapitre 6) ; Tenue et qualité de la documentation (cf. chapitre 7) ; Sur tous ces points, l auditeur exerce un contrôle de conformité aux principes établis par l entreprise ou par la réglementation. En amont, l auditeur examine la qualité des données utilisées par le modèle (fiabilité, cohérence, exhaustivité, disponibilité). Il peut également consulter les utilisateurs et préconiser des mesures pour perfectionner les procédures et développer les fonctionnalités du modèle, dans l optique de contribuer à améliorer le contrôle des risques de l entreprise. Le personnel chargé de l audit doit être indépendant des directions opérationnelles et indépendant du CR ou du SM. Remarques : Le décret n 206-287 du 13 mars 2006 confie explicitement au contrôle interne la tâche d établir un rapport détaillé sur «... les procédures et dispositifs permettant d identifier, d évaluer, de gérer et de contrôler les risques» L audit du modèle peut être effectué par l organe de l entreprise chargé du contrôle interne. Il peut aussi être confié à des auditeurs externes, l essentiel étant de disposer de personnels compétents en matière de risques actif-passif et indépendants des directions opérationnelles. Page 6

3 Utilisations d un modèle interne 3.1 Projections des résultats Le modèle est utilisé régulièrement par le service chargé du contrôle des risques (de préférence au moins trimestriellement) pour établir des projections de résultats détaillées à l actif et au passif. Ces projections sont effectuées avec un scénario économique central, ou budgétaire, et avec des scénarios contrastés (stress test) comparables d un trimestre à l autre. Outre les applications réglementaires existantes (PGG, T3 et C6bis), il est souhaitable que le modèle puisse répondre à toute demande des autorités de tutelle concernant un scénario de stress test spécifique. Argumentaire : La première fonction d un modèle interne est de fournir des projections de résultats. Toutefois, la prévision budgétaire ne constitue pas à elle seule une méthode de contrôle des risques et ne permet pas de déceler les problèmes éventuels de cohérence du modèle. Le jeu de scénarios contrastés est donc nécessaire à la fois pour analyser les risques et pour contrôler le fonctionnement du modèle (y compris pour les applications stochastiques, cf. paragraphe5.2.1). 3.2 Panel de stress test Le stress testing (simulation de scénarios contrastés) évoqué ci-dessus est effectué avec des scénarios suffisamment contrastés pour servir de révélateur aux différents risques supportés par l assureur, notamment du fait des comportements de la clientèle en matière de rachat anticipé, de prorogation, de transfert etc. Le panel de stress test est conçu de façon personnalisée, en fonction des risques réellement supportés par l entreprise. Le panel comporte autant de scénarios que nécessaire (ex. il faut ajouter un scénario de forte inflation si les passifs y sont particulièrement sensibles). Les résultats financiers et comptables sont projetés avec une approche réaliste (cf. paragraphe 4.2). A cette fin le modèle simule les affaires nouvelles et les versements supplémentaires, les investissements et les désinvestissements, ainsi que les interactions actifpassif. Les projections sont effectuées avec un degré de précision comparable à l actif et au passif, sur une durée minimale de l ordre de la durée moyenne des passifs en stock. L évolution des résultats sur ce panel de scénario est commentée par le service chargé du contrôle des risques, qui effectue également des analyses de sensibilité des résultats aux principales hypothèses. Remarques : Le stress testing est une technique de gestion des risques. Elle ne constitue pas une «prévision» au sens commun du terme. Les scénarios étudiés ne sont pas assortis de Page 7

probabilité et ne sont pas comparables d une entreprise à l autre. Ils n ont pas vocation à être publiés ou à servir à un calcul de capital, sauf exigence réglementaire. Lorsque le modèle interne fonctionne uniquement en déterministe, les résultats obtenus pour le panel de stress test peuvent servir d indicateurs de risque. Mais si le modèle fonctionne avec des scénarios stochastiques, des indicateurs de type VaR ou Tail VaR seront mieux adaptés. 3.3 Autres utilisations Il est préférable que le modèle soit utilisé le plus fréquemment et le plus largement possible. En effet, la fiabilité du modèle est renforcée par les contrôles effectués lors de chaque utilisation, ainsi que par la variété des applications. Les domaines d application d un modèle interne sont très variés et concernent la plupart des fonctions de l entreprise. Au plan du risque de modèle, ce sont les applications récurrentes qui peuvent le mieux contribuer à déceler les erreurs éventuelles et à faire progresser la fiabilité du modèle interne. Il est donc préférable de produire régulièrement des analyses effectuées avec des méthodologies stables, plutôt que d effectuer des études ponctuelles sans possibilité de comparaison. A titre d exemple, si le modèle est utilisé pour calculer des indicateurs de risque financier de type Value at Risk par canton, il est intéressant de les faire figurer dans un tableau de bord trimestriel et d en surveiller l évolution. Page 8

4 Intégrité 4.1 Champ du modèle Le modèle interne a pour vocation une approche globale et exhaustive des risques de l entreprise d assurance. En pratique il couvre les principaux contrats et les principaux risques techniques et financiers identifiés par le service chargé du contrôle des risques. Pour des raisons de coût et de performance, il est acceptable que certaines catégories de contrats d importance marginale pour l entreprise, mais complexes à traiter, restent en dehors du champ du modèle (sous réserve d être inventoriés, voir le paragraphe 5.1.1). Les sources de risque non traitées par le modèle interne doivent également être inventoriées par le CR et faire l objet d une évaluation séparée, par une formule standard ou par d autres méthodes appropriées. Si les outils de transfert de risque (réassurance ou produits dérivés) jouent un rôle significatif dans l activité de l entreprise, le modèle interne effectue des projections de résultats bruts et nets de l effet de ces transferts. Argumentaire : Idéalement le modèle couvre l ensemble du bilan et la totalité des risques, mais il est fréquent de trouver dans les entreprises d assurance une multitude de «petits» contrats ne représentant que quelques pourcents des provisions. Il est opérationnellement (et économiquement) presque impossible de modéliser exhaustivement ces contrats, mais l actuaire doit s assurer qu ils ne dissimulent pas de risques démesurés par rapport à leur provision comptable. Notons enfin que «le modèle interne» ne traite pas nécessairement tous les principaux risques de façon intégrée, même si cela est souhaitable dans l absolu. Le risque de crédit, par exemple, peut être évalué séparément des autres risques actif-passif. 4.2 Représentation réaliste L actuaire exerçant son activité au sein du CR tient compte de toute sa connaissance des risques de l entreprise pour paramétrer le modèle. Il utilise des hypothèses raisonnables et s efforce de présenter de façon réaliste et fidèle la politique commerciale, technique et financière de l entreprise 2. En particulier, la politique financière simulée est compatible avec les instructions données aux gérants et correspond à la politique documentée dans le rapport financier de l entreprise. Au-delà des contraintes réglementaires et contractuelles, les taux servis et les prélèvements simulés sont conformes aux pratiques commerciales habituelles. 2 Sauf dans le cadre d éventuelles applications réglementaires, si des normes particulières sont imposées par les autorités de tutelle. Page 9

Les comportements des clients sont simulés de façon réaliste et cohérente avec les observations statistiques effectuées sur le portefeuille. Lorsque ces comportements sont mal connus, l actuaire pratique systématiquement des analyses de sensibilité. Argumentaire : Le contrôle des risques est basé sur la notion de meilleure estimation et n a pas à tenir compte du principe de «prudence comptable». En matière d aide à la décision, toute exagération ou minoration des risques conduirait à des politiques techniques, commerciales ou financières erronées (par exemple achat de couvertures inutiles ou distribution de participation aux bénéfices excessives). Le réalisme de la simulation est donc plus important que la précision des calculs. Ainsi par exemple il est inutile de modéliser les décès avec TPRV-93 à la deuxième décimale si les taux de décès constatés statistiquement en portefeuille oscillent entre 50 et 70% de cette table. Ces considérations n interdisent nullement au CR de s intéresser à la question des marges prudentielles dans les évaluations, mais dans l optique de les quantifier précisément par rapport au best estimate. Remarque : Toute amélioration d un modèle interne dans le sens d un plus grand réalisme est souhaitable et constitue un motif légitime pour changer de méthode de simulation. Page 10

5 Contrôles des données et des résultats Les contrôles ex ante portent sur la qualité des données et sur la cohérence des résultats obtenus. Les contrôles ex post consistent à comparer rétrospectivement les prévisions avec les réalisations. Dans les deux cas il est indispensable de rapprocher les données et résultats du modèle avec la comptabilité de l entreprise. Le SM est responsable des travaux évoqués dans ce chapitre, même si ils sont partiellement ou totalement pris en charge par d autres services ou directions de l entreprise. Le SM en assure également la documentation et l archivage. 5.1 Modèles déterministes 5.1.1 Rapprochements avec la comptabilité Canton par canton, la situation initiale du modèle (stocks d actifs et de passifs) doit être rapprochée de la situation comptable et les différences doivent être justifiées, au moins annuellement à l occasion de l établissement du bilan de l entreprise. En macro-simulation, les model points utilisés par le modèle seront de préférence compatibles avec la notion de «produit» utilisée communément dans l entreprise (un produit représente l ensemble des contrats ayant les mêmes conditions contractuelles, les mêmes garanties de taux, et généralement le même nom commercial). Pour permettre le suivi des résultats du modèle, la définition des model points doit bien sûr rester constante d une simulation à l autre. Par ailleurs il est souhaitable que les résultats des projections actif-passif puissent être présentés de façon conforme aux normes comptables usuelles (PCA et/ou IFRS 4). En effet, ceci permet de communiquer avec un langage commun à toute l entreprise, et constitue la base des contrôles de backtesting (cf. paragraphe suivant). Argumentaire : Les model points ne sont pas nécessairement identifiés aux produits commerciaux, mais ils doivent être constitués sur la base de ces produits ou de regroupements de ces produits, de façon à faciliter le pointage avec les inventaires comptables et aussi à communiquer les résultats de façon intelligible pour l entreprise. Au-delà des éléments purement techniques (cash flows, résultats techniques des contrats, revenus financiers), le modèle doit calculer des résultats d exploitation prévisionnels conformément aux normes comptables, et projeter les principaux ratios réglementaires (marge de solvabilité, représentation des engagements, rendement comptable etc.) Page 11

5.1.2 Contrôle ex post (backtesting 1) Le premier niveau de backtesting consiste à utiliser le modèle à partir d une situation initiale 3 passée, et à établir rétrospectivement des «projections» de résultats jusqu à la date présente. La situation initiale est pointée avec un arrêté comptable, et le scénario économique déterministe est remplacé par l évolution historique réelle des taux et indices. Les résultats obtenus sont ensuite comparés avec les données comptables enregistrées pour la même période (généralement de 12 mois), de façon à valider le modèle. Le backtesting est réalisé au moins une fois par an, lors de l établissement du bilan annuel de l entreprise. Il peut être effectué plus fréquemment selon le pas de temps du modèle. La comparaison des projections du modèle avec les données comptables porte à la fois sur les résultats (les éléments du compte d exploitation) et sur les valorisations (évaluation des stocks d actifs et de passifs). Le backtesting fait l objet d un compte rendu joint au journal du modèle. Remarque : La comparaison avec la comptabilité peut être menée avec différents niveaux de détail (par exemple, valorisation par classes d actifs). Elle permet de mesurer la précision du modèle, mais aussi d identifier les points à corriger ou à améliorer. 5.1.3 Cohérence des résultats en stress testing Le modèle est utilisé périodiquement pour établir des projections de résultat avec un panel de stress test. Pour chaque scénario du panel, ces projections peuvent être résumées par un indicateur constitué de la somme des éléments suivants : valeur actualisée de la séquence des résultats d exploitation sur la durée des scénarios, valeur actualisée du résultat obtenu en simulant une liquidation fictive au terme du scénario. Si les scénarios de stress test sont construits de la même façon d un trimestre à l autre, les indicateurs obtenus peuvent être comparés et leur évolution dans le temps figure dans le journal du modèle. Tout écart important constaté entre les résultats d un trimestre à l autre fait l objet d une analyse et d un commentaire écrit dans le journal du modèle. Lors d un changement de version du modèle, le même panel de stress test peut être simulé avec l ancienne et la nouvelle version et les écarts constatés doivent faire l objet d un commentaire. Argumentaire : Le backtesting est un élément déterminant de la sécurité du modèle, mais il ne traite que d un seul scénario historique. En revanche, les résultats du modèle obtenus avec un panel de scénarios contrastés servent à illustrer le jeu des fonctions de comportement ou des politiques de l assureur. 3 Stocks d actifs et de passifs en entrée du modèle Page 12

En pratique le panel de stress test peut servir de pierre de touche pour déceler d éventuelles anomalies ou régressions du modèle, et pour juger de l impact des modifications fonctionnelles. 5.2 Modèles stochastiques 5.2.1 Utilisation du modèle avec des scénarios déterministes Un modèle stochastique traite de très nombreux scénarios, et fournit généralement un reporting résumé et spécialisé (par exemple pour une évaluation des engagements). Il présente de ce fait un aspect «boîte noire» qui complique la tâche du contrôleur, d autant que le fonctionnement de ces modèles n est maîtrisé que par un petit nombre de spécialistes dans l entreprise. Cependant, un modèle actif-passif stochastique doit présenter au niveau de chaque scénario les mêmes qualités de cohérence qu un modèle déterministe. Alimenté manuellement par des scénarios contrastés (scénario budgétaire ou panel de stress test), un modèle stochastique peut donc être contrôlé par les méthodes évoquées dans le présent document pour les modèles déterministes (pointage, backtesting, etc.) 5.2.2 Coexistence avec un modèle déterministe La gestion des risques en assurance vie demande toujours le recours à des simulations déterministes. Il peut coexister dans certaines entreprises un modèle déterministe et un modèle stochastique d origine différente. Idéalement, il est préférable que les simulations stochastiques utilisent le même moteur de calcul, le même pas de temps et les mêmes model points que les simulations déterministes déjà contrôlées par ailleurs. A défaut, il faut prévoir un second niveau de contrôle consistant à rapprocher régulièrement les projections du modèle déterministe avec celles du modèle stochastique en utilisant le panel de scénarios de stress test évoqué au paragraphe 3.2. Les écarts constatés doivent être expliqués et commentés par le SM. 5.2.3 Contrôle des scénarios La pertinence des résultats d un modèle stochastique dépend de la qualité, de la cohérence et de la comparabilité des scénarios économiques utilisés. Il existe de nombreuses méthodes pour générer des scénarios multi-marchés. Ces méthodes sont généralement attachées à des applications financières spécifiques et aucune n est entièrement exempte d artefacts statistiques. L actuaire doit d abord veiller au respect des domaines applicatifs propres aux différents types de scénarios stochastiques : les applications de mesure des risques doivent être effectuées avec des scénarios en «probabilité historique» 4 ou «physique», 4 En probabilité historique, on s attache à reproduire les primes de risque associées aux différentes classes d actifs. Les placements monétaires rapportent en moyenne moins que les obligations longues, par exemple. Page 13

les applications d évaluation market consistent peuvent être effectuées en «pseudoprobabilité risque-neutre» 5. Dans les deux cas la complexité des processus stochastiques utilisés peut être élevée, et le contrôle a priori du générateur de scénario est difficile, voire impossible si l entreprise utilise des scénarios provenant de fournisseurs extérieurs. Toutefois, la qualité des échantillons de scénarios compte davantage que la nature des processus utilisés. Il est donc recommandé d exercer des contrôles statistiques sur les échantillons de scénarios utilisés. Pour chaque variable économique ou financière, il est souhaitable d examiner au minimum les indicateurs suivants : la trajectoire moyenne en fonction du temps ; l écart type ou la volatilité totale en fonction du temps ; la corrélation entre les variables en fonction du temps. Lorsque les scénarios de taux sont spécifiés par des courbes de taux zéros coupons, l examen statistique peut être limité à un petit nombre de maturités (par exemple un taux monétaire et un taux à 10 ans). L actuaire peut par ailleurs vérifier certains éléments tels que le pourcentage de cas d inversion de la courbe des taux, les maximum et minimum des taux nominaux et des taux réels (nets d inflation), la présence éventuelle de taux obligataires négatifs, etc. 5.2.4 Analyse des exceptions (backtesting 2) Lorsque le modèle interne est utilisé avec des scénarios en probabilité historique, il permet d estimer la distribution de probabilité des résultats trimestriels ou annuels, et de calculer des indicateurs de risque de type Value at Risk. Cet indicateur prend typiquement la forme d un niveau de perte associé à un seuil de confiance. Dans le cas de l assurance vie, la VaR court terme sera le seuil de perte d exploitation trimestrielle ou annuelle dépassée dans 5% ou 1% des cas, par exemple. L analyse des exceptions consiste à relever les cas ou la perte constatée ex post dépasse le seuil de VaR estimée en début de période. Ces cas doivent faire l objet d un examen approfondi par le CR, qui doit analyser les causes du dépassement et vérifier qu elles ne proviennent pas d une déficience du modèle ou des scénarios utilisés. Remarques : Dans les activités de trading, le backtesting est la base du contrôle du risque de modèle. En effet, cette activité fait l objet d un arrêté journalier des résultats ce qui autorise une comparaison directe entre la VaR au seuil de 1% et le nombre de dépassements constatés sur 100 ou 200 jours de bourse. Dans le cas de l assurance vie, les risques se développent sur une période beaucoup plus longue. La VaR court terme ne revêt pas la même signification et la mesure de la fréquence des dépassements est pratiquement impossible. 5 Sous une mesure de probabilité risque neutre, toutes les classes d actifs présentent la même espérance de gain. La mesure de probabilité risque-neutre et la procédure d actualisation associée permettent d évaluer les engagements en fair value. Page 14

5.2.5 Evaluations market consistent Une méthode d évaluation financière est dite market consistent si, lorsque qu elle est appliquée aux cash flows des actifs, elle en restitue la valeur de marché initiale. En ce qui concerne les passifs en assurance vie, on peut déduire de cette propriété la condition suivante : la somme des évaluations market consistent des provisions techniques et des marges futures de l assureur 6 doit être égale la valeur de marché initiale des actifs. En théorie, l évaluation stochastique des engagements effectuée en probabilité risque neutre restitue automatiquement une valeur market consistent, mais en pratique, il existe de nombreuses causes d écart. L écart entre l évaluation des passifs totaux (somme des provisions et de l embedded value) et la valeur de marché initiale des actifs est appelé écart de convergence. Il faut systématiquement calculer cet écart, car il permet de contrôler la qualité de la modélisation risque neutre. Il faut à cet effet modéliser simultanément les prestations futures et les résultats futurs, et en calculer l espérance sous la mesure de probabilité risque neutre avec la même procédure d actualisation. Un écart de convergence trop important peut être dû à des anomalies dans les scénarios utilisés ou dans les calculs. Il peut également provenir de l utilisation d un nombre insuffisant de scénarios. Remarque : La procédure consistant à évaluer séparément la fair value des provisions en projetant uniquement les cash flows des prestations, puis à calculer l embedded value par différence avec la valeur de marché initiale des actifs est incorrecte. Elle conduit en effet à affecter aux fonds propres l intégralité de l écart de convergence. 6 L évaluation des marges futures correspond à l embedded value market consistent, utilisée brute de l impôt sur les sociétés. Page 15

6 Aspects informatiques Le SM veille à la sécurité des développements du modèle (ou de tout logiciel intégré dans le modèle interne) mais aussi à la protection des accès au modèle et au respect des procédures de backup et d archivage. Au-delà de cet aspect organisation, les fonctionnalités du modèle elles-mêmes peuvent être développées dans le sens d une sécurité d utilisation accrue. 6.1 Développement du modèle 6.1.1 Développement et maintenance Le SM centralise et coordonne les demandes d évolution provenant des utilisateurs. Il tient un planning des développements et le remet périodiquement à jour. Si les fonctionnalités demandées sont complexes, il établit ou fait établir un document d analyse fonctionnelle des besoins et s assure de leur faisabilité auprès des personnels chargés du développement. Les personnes habilitées à intervenir sur le code source des programmes doivent être identifiées et disposer de mots de passe convenablement administrés. Les versions en cours de développement doivent être numérotées séparément des versions admises en exploitation. Remarque : Les modèles de risque en assurance vie sont pratiquement en évolution permanente, soit pour répondre aux modifications de l environnement réglementaire, soit en raison des progrès de l état de l art. Dans un tel contexte il est difficile de recourir aux méthodes de développement utilisées en informatique de gestion telle que l analyse structurée ou la rédaction de cahiers des charges détaillés. Ces approches peuvent cependant être utilisées pour certaines fonctions génériques de l application, par exemple l habilitation des utilisateurs, l archivage des résultats etc. 6.1.2 Procédure de réception Le SM établit et surveille la mise en œuvre des procédures de réception des modifications et des développements du modèle. Le SM reste responsable de la réception des nouvelles fonctionnalités ou des nouvelles versions, même si le développement du modèle est confié en tout ou partie à d autres services de l entreprise, ou sous-traité à un fournisseur extérieur. La procédure de réception doit prévoir la comparaison entre l ancienne et la nouvelle version sur la base du panel de stress test habituellement utilisé par l entreprise. Si le développement du modèle est assuré par du personnel appartenant au SM, il est préférable que la réception soit confiée à des personnels distincts de ceux qui sont chargés du développement. Page 16

6.1.3 Gestions des bogues et anomalies Le SM tient un journal des bogues ou anomalies constatées par les utilisateurs, et décrit les correctifs éventuellement apportés à chaque version. 6.2 Sécurité des traitements 6.2.1 Accès au modèle Les personnes habilitées à utiliser le modèle et à en traiter les résultats doivent être identifiées et disposer de mots de passe convenablement administrés. 6.2.2 Sauvegardes Les fichiers de données, d hypothèses et de résultats en cours d utilisation doivent faire l objet de sauvegardes journalières. Le système de sauvegarde doit être automatisé et les fichiers de sauvegarde conservés sur un site déporté. Dans la mesure du possible il vaut mieux utiliser un système de backup déjà existant et géré de façon centralisée par l informatique interne de l entreprise. Dans tous les cas la possibilité de récupérer et de réutiliser les fichiers de sauvegarde doit être testée périodiquement par le SM. 6.2.3 Archivage Les versions successives du modèle doivent être identifiées par un numéro spécifique et le code source correspondant doit être archivé de façon sécurisée (protégé contre toutes modifications). Il est souhaitable de tester périodiquement la possibilité de récupérer et d exploiter ces sources, au moins pour les versions ayant été utilisées pour produire des résultats intégrés dans la comptabilité de l entreprise. Les fichiers de données et les hypothèses utilisés pour ces traitements doivent également être conservés en sécurité (voir aussi le paragraphe ci-dessous traitant de la piste d audit). Remarque : L archivage peut difficilement être laissé à la seule initiative des utilisateurs. Il est préférable d étudier avec la direction informatique de l entreprise des procédures de sauvegarde centralisées fiables et automatisées. 6.3 Piste d audit Au sens habituel du terme, la piste d'audit est l ensemble des procédures et informations permettant de justifier un mouvement comptable. La piste d audit permet de partir de la pièce comptable d origine (une facture par exemple) et de reconstituer chronologiquement et pas à pas l ensemble des opérations ayant conduit à l enregistrement du mouvement comptable (et inversement, de partir du mouvement comptable et de redescendre opération par opération jusqu aux pièces d origine). Bien sûr, il est n est pas envisageable de demander au modèle interne d avoir la capacité de retrouver l ensemble des pièces comptables justifiant le calcul de la provision globale de gestion par exemple, car la quasi-totalité des opérations de l entreprise contribue directement Page 17

ou indirectement au résultat obtenu! Cette fonction ne peut être prise en charge que par la comptabilité informatisée de l entreprise. Cependant il paraît nécessaire de conserver la trace des opérations du modèle ayant contribué au calcul d une donnée comptabilisée par l entreprise ou utilisée dans les états réglementaires. Il est souhaitable à cet effet d archiver de façon sécurisée les fichiers de données et d hypothèses utilisés en entrée du modèle et de pouvoir les réutiliser avec la version du modèle en exploitation au moment du calcul original. Au minimum il faut conserver les résultats du modèle sur support papier ou sous forme de documents électroniques sécurisés. Remarques : D une façon générale, les exigences de traçabilité sont susceptibles d évoluer vers une plus grande rigueur à l avenir. Elles sont déjà plus sévères pour les sociétés cotées et doivent s étendre à toutes leurs publications financières. Page 18

7 Documentation La documentation du modèle interne est tenue par le service responsable de la supervision du modèle (SM) pour la description du modèle, et par le service chargé du contrôle des risques ou les autres services utilisateurs pour la partie applications. Elle est centralisée par le SM et établie sous sa responsabilité. La documentation est utilisée pour : retracer et expliquer les évolutions du modèle ; faciliter la continuité de l exploitation du modèle en cas de mobilité du personnel ; informer les auditeurs internes ou externes ; justifier l antériorité de l utilisation du modèle et servir de base à une éventuelle homologation pour des usages comptables ou réglementaires. 7.1 Documentation générale Le modèle fait l objet d une documentation générale régulièrement tenue à jour. Les éléments de cette documentation comportent : l identification des différents services et responsables impliqués dans l élaboration, l usage, ou le contrôle des résultats du modèle ; une représentation schématique de l organisation générale du modèle, des données, des circuits d information et de l architecture informatique ; une description des principales fonctions du modèle ; le résumé chronologique des changements de méthode et des versions successives du modèle. Le document identifie le champ du modèle en se référant à l inventaire complet des risques figurant dans le rapport de solvabilité de l entreprise. Il reprend : Les risques couverts par le modèle, avec pour chacun d entre eux une description des principes de simulation retenus Les risques non couverts, avec une indication de leur traitement hors modèle Le document comporte une section spécifique consacrée aux risques de corrélation et à leur évaluation. Remarque : Il faut trouver le juste milieu entre une documentation exhaustive, surabondante autant qu illisible, et une documentation résumée à quelques déclarations d ordre général. 7.2 Documentation des procédures Les procédures suivantes sont décrites de façon suffisamment détaillée pour permettre à un professionnel qualifié de reprendre l exploitation du modèle au cas où les responsables du CR ou du SM quitteraient l entreprise : Page 19

procédures de test et de réception des modifications ou des développements du modèle ; procédures d alimentation et de pointage des situations initiales ; procédures de backtesting (voir chapitre 6) et de contrôle des résultats ; procédures de backup et d archivage. Par ailleurs, il est souhaitable de documenter les principes, les paramétrages et les méthodes de calcul spécifiques pour chaque application du modèle (définition des indicateurs de risque, durée des scénarios, mode d actualisation, hypothèses particulières, etc.) Il s agit de documenter les applications récurrentes, qu elles soient réglementaires ou purement décisionnelles. A titre d exemple : calcul de la PGG, stress testing trimestriel, prévision budgétaire, calcul d embedded value etc. 7.3 Journal du modèle L évolution du modèle interne est consignée dans un journal, qui comporte différentes sections : Développements : description synthétique des changements de méthodes, des nouvelles fonctionnalités, et des nouvelles versions, avec commentaires et évaluations de l impact des modifications ; Prévisions et stress testing : résumé des résultats des simulations effectuées périodiquement et commentaires ; Backtesting (voir paragraphe 5.1.2) : résumé des résultats obtenus et commentaires ; Rapport annuel : résultat des tests, résumé des conclusions de l audit et indication des améliorations souhaitables. Page 20