UNIVERSITE CATHOLIQUE DE LOUVAIN Louvain School of Management

Transcription

1 UNIVERSITE CATHOLIQUE DE LOUVAIN Louvain School of Management Optimisation du modèle de scoring des rapports d'audit interne pour les organisations d envergure internationale Travail de fin d études présenté dans le cadre de l Executive Master in Internal Audit Par Adrien Maigre Sous la direction d Anne-Catherine Reul ANNEE ACADEMIQUE

2 Table des matières Table des matières Introduction : pourquoi un modèle de scoring? Un outil d agrégation de l information Le cas des entreprises à échelle internationale Définition du modèle de scoring Objectif et méthode d analyse Cahier des charges des modèles de scoring Les objectifs à atteindre Le cadre règlementaire Les acteurs de son implémentation L Audit Interne comme promoteur du scoring Quel modèle pour quelle maturité de management? Périmètre d application d un modèle de scoring Uniformiser la communication au plus haut niveau Changements de périmètres dans les sociétés d envergure internationale Cohabitation et influence de plusieurs périmètres Le choix des indicateurs du score Garantir la fidélité du score à l opinion du rapport d audit Rapport entre indicateurs et granularité du score Modèles de management des risques et modèles de scoring Corrélation entre indicateurs et performance des employés Obtenir un message clair et constructif : pertinence de l échelle Définir la taille de l échelle : auto-alimentation du modèle Nombre de valeurs pair et impair Quelle forme pour plus d impact? Élaboration du processus de calcul des résultats Déterminer et contrôler le score : outils automatisés Déterminer et contrôler le score : méthodes analytiques Agrégation des résultats : quelle méthode pour les sociétés d envergure internationale? L impact du score sur l exercice d évaluation des risques Principaux paramètres d agrégation : probabilité et impact Communiquer sur le modèle de scoring Formaliser la définition du modèle au sein de l Audit Interne Formaliser la définition du modèle au niveau macro Formaliser la définition du modèle au niveau micro Conclusion : les facteurs d un modèle adéquat Glossaire Annexe Présentation des sociétés analysées dans l étude

3 1 Introduction : pourquoi un modèle de scoring? Le métier d audit interne nous stimule à mettre en pratique ce que nous prônons aux autres : travailler efficacement et économiquement. Nos méthodes et nos modèles administratifs sont de la plus grande importance pour garantir une gestion saine de notre travail et asseoir notre crédibilité. Cet ordonnancement du travail de l audit interne doit se refléter en toute priorité dans la qualité et la pertinence de la communication faite à nos principaux clients. 1.1 Un outil d agrégation de l information Afin d aider le management d une entreprise à prendre des décisions adéquates, le département d Audit Interne (AI) doit d abord avoir clairement identifié ses besoins d informations, tant en termes de qualité que de quantité. Dans toute entreprise, le rapport d audit doit permettre une bonne compréhension du type et de la fréquence des faiblesses identifiées dans le système de contrôle interne. Selon l IFACI (Institut Français de l'audit et du Contrôle Internes) 1, les attentes des administrateurs de sociétés consistent en une information synthétique, organisée et hiérarchisée leur permettant d utiliser efficacement les constats et recommandations de l Audit Interne. Or la quantité d informations émises par l AI dépend, entre autres choses, de la taille de l organisation, celle-ci influençant directement la taille de l univers d audit, les ressources mises en œuvre et, en conséquence, le nombre de rapports de missions transmis vers les destinataires finaux. 1.2 Le cas des entreprises à échelle internationale Pour de grandes entreprises d envergure internationale, la quantité d informations émises par le département d Audit Interne s oppose au temps limité dont dispose son principal destinataire pour les appréhender. Dans ce cas, un défaut de synthèse met en péril l efficacité des constats de l AI. La question d une organisation pragmatique de l information s impose. L émission d une grande quantité de rapports d audit justifiera souvent la mise en place de méthodes de synthèse afin de garantir, à tous les niveaux de l organisation, le caractère concis des messages et de ne pas mettre en péril la perception des résultats d audit. 1 Prise de position IFA/IFACI sur le rôle de l audit interne dans le gouvernement d entreprise, IFA et IFACI, Mai 2009, Chapitre 2.3, page 3. 3

4 1.3 Définition du modèle de scoring Devant la nécessité d agréger les résultats d audit, plusieurs méthodologies cohabitent et parfois s opposent. Dans le cadre d activités d audit interne conduites dans différents environnements juridiques et culturels, ou dans des organisations dont la taille et la structure sont plus complexes, un système organisé et hiérarchisé de classification des résultats est souvent mis en place sous la forme d un modèle de scoring. Le système (ou modèle) de scoring consiste en une méthode de communication des résultats d audit interne qui permet de simplifier la classification et de faciliter la communication des faiblesses du dispositif de contrôle interne. Il soutient cette communication des forces et des faiblesses identifiées mais il n a jamais pour objectif de se substituer au contenu du rapport final. 1.4 Objectif et méthode d analyse L objectif de cette étude est d identifier les pré-requis à la définition d un modèle de scoring, lors de son adoption, qui garantissent son utilisation efficace dans le cadre de sociétés d envergure internationale. L anglicisme «scoring», couramment employé par l AI, est un fait de langue dont la connotation habituelle est chiffrée. Toutefois, il est employé dans l étude au sens étymologique plus large de son synonyme en français : «score». Par «scoring», l étude fait chaque fois référence à tout score, qu il soit exprimé en caractères alphabétiques (lettres, mots), en caractères alphanumériques (chiffres) ou avec des pictogrammes («smileys», flèches, étoiles). Les termes «score» et «scoring», utilisés en alternance dans l étude, ont donc la même signification. La forme chiffrée des scores représente toutefois la majorité des exemples qui y sont présentés. La recherche s articule autour des principales étapes de la constitution et de la présentation d un modèle de scoring, que je propose de résumer en sept points : 1. Établir un cahier des charges 2. Identifier les rôles respectifs de l Audit Interne et de ses destinataires 3. Définir le périmètre d application d un modèle et son éventuelle déclinaison en sousmodèles 4. Déterminer les indicateurs de score à employer 4

5 5. Décider de la taille et des valeurs d une échelle pour chaque indicateur (paire/impaire, texte/chiffre/couleur) 6. Élaborer le processus de calcul des résultats du score (automatique, sur base d un jugement professionnel, avec ou sans revue de la hiérarchie d audit, soutenu ou pas par un outil de contrôle) 7. Choisir une formule d agrégation des scores en vue d en simplifier la synthèse au plus haut niveau de l entreprise 8. Mettre en place une politique de communication et d information du modèle de scoring au sein de l entreprise Pour chaque étape, j analyse, par comparaison, la capacité des modèles existants à atteindre les objectifs des organes de gouvernance tout en respectant les normes professionnelles de l Institute of Internal Auditors (IIA). Puis, sur la base des forces et des faiblesses constatées, je propose un modèle de scoring optimisé pour les sociétés d envergure internationale. Ensuite, j envisage la problématique d'une définition optimale d un modèle dans sa globalité. Cette étude s appuie sur une sélection de modèles existants. Tous sont issus de cinq départements d Audit Interne dont j ai rencontré les responsables en charge de la méthodologie de travail. La présentation de l échantillon de sociétés auxquelles il est fait référence dans cette étude se trouve en annexe au présent document. 2 Cahier des charges des modèles de scoring 2.1 Les objectifs à atteindre La pertinence de l utilisation d un modèle de scoring a toujours divisé la profession d audit interne. Cette différence d approche de l outil s explique par le grand contraste dans les besoins en information des différents clients de l Audit Interne. Au-delà du choix de l'application ou non d'un modèle de scoring pour formuler et communiquer une opinion globale, l Audit Interne doit s assurer, dans tout contexte, que le modèle de scoring qu il emploie permet de répondre : - aux exigences de la profession, telles qu elles sont formalisées par l IIA, - aux besoins et contraintes spécifiques du management de sa société, au Comité de Direction et au Comité d Audit. 5

6 Les composantes du modèle de scoring adopté par la société auront un impact majeur sur l atteinte des objectifs de communication à la direction. Il est important qu ils transmettent une information claire relative au périmètre audité mais aussi aux risques présents dans l organisation dans son ensemble. 2.2 Le cadre règlementaire Dans son Cadre de Référence International des Pratiques Professionnelles (CRIPP), l IIA n impose pas l adoption d un modèle de scoring et n en identifie donc pas non plus les composantes. Ainsi, à l image des rapports d audits, différents modèles de scoring sont déclinés au sein des entreprises. En revanche, l IIA définit plus globalement, dans ses Normes 2 et dans ses Modalités Pratiques d Application (MPA) 3, les critères que doit respecter l Audit Interne lors de la communication de ses résultats. La mise en place d un modèle de scoring devra donc soutenir une communication exacte, objective, claire, concise, constructive, complète et émise en temps utile. 3 Les acteurs de son implémentation 3.1 L Audit Interne comme promoteur du scoring L IIA précise 4 que les discussions avec les parties prenantes à la communication des résultats d audit interne pourront inclure la forme des avis devant être fournis à la direction de l organisation, les critères utilisés dans l expression d'opinions et le processus de notation à appliquer par rapport aux résultats de chaque mission. De ces trois éléments découlera ou non l adoption d un modèle de scoring. L IIA propose, dans son interprétation des règles de communication au management 5, que la forme et la fréquence de la communication des résultats soient discutées entre la Direction et le Directeur de l Audit Interne - ou Chief Audit Executive (CAE). Ce sont les organes de Qualité de la communication (Normes Internationales pour la Pratique Professionnelle de l Audit Interne), The Institute of Internal Auditors, Modalités Pratiques d'application , et : Rapports à la Direction Générale et au Conseil, Contenu de la communication et Qualité de la communication, The Institute of Internal Auditors, 1er janvier 2011, pages 51, 52 et 91 à Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, page 2. 5 Practice Advisory : Reporting to Senior Management and the Board, The Institute of Internal Auditors, May

7 gouvernance qui décideront, en dernière instance, de la forme de communication à adopter, en la faisant correspondre au mieux à leurs besoins. Le CAE a pour rôle de guider la direction dans sa décision en lui fournissant informations et conseils, sur base de son expérience professionnelle et de sa connaissance de l organisation. Il construit et propose un modèle de scoring sur base des pré-requis que lui ont formulé le Comité d Audit (CA) et le Comité de Direction (CD) dont il obtient l approbation formelle. Un des CAE rencontrés, celui de la société 2, insiste sur l importance d une distinction claire entre son rôle de guidance et le pouvoir décisionnel de ses clients. Une bonne écoute, autorisant une formulation pertinente des besoins du CA et du CD, est primordiale. Si le choix de la forme des synthèses de résultats est laissé à ces instances, l acceptation du modèle en sera facilitée puisqu elle jouira d un appui de la plus haute sphère de décision de la société. Dans le cas de cette société, le CD et le CA ont entériné le modèle de scoring au point de demander à justifier de sa non-utilisation lors de missions plus restreintes. Le modèle y est considéré comme un élément majeur de la communication entre l AI et les CA et CD. Ainsi, il fait partie intégrante de la culture de contrôle de l entreprise. 3.2 Quel modèle pour quelle maturité de management? Le CAE d une autre société, la société 3, insiste sur le rapport direct qui existe entre la maturité des instances utilisatrices et la facilité d implémentation d un modèle de scoring. Mis en place à la fin des années 90, comme dans beaucoup d autres compagnies d assurances, son département d AI a échoué dans la mise en place d un modèle de scoring. Une volonté de travailler «by the book» a entraîné l application d un modèle sur la base des référentiels existants dans la profession plutôt que sur la base de la situation de la société et des besoins de sa direction opérationnelle. La collaboration avec l AI étant encore récente, l outil de présentation des résultats fut mal perçu par les audités qui assimilèrent cet indicateur de qualité du système de contrôle en place à une cote personnelle, à un jugement critique de leur travail. Sans notification claire et adéquate du contexte d utilisation du modèle, une communication constructive ne peut donc pas être atteinte. Le Comité d Audit, quant à lui, requiert une vue beaucoup plus globale de l entreprise et tend à se focaliser sur les principaux risques. Le CAE précise que le Comité d Audit de la société 3 est en faveur de l utilisation d un modèle de scoring au sein d une société de son envergure. 7

8 Actuellement, le CAE a fait le choix d utiliser le modèle de scoring appliqués pour les rapports d audit édités conjointement avec son partenaire français. Toutefois, il limite toujours l emploi du modèle au processus interne d évaluation intermédiaire. La cotation intermédiaire établie pour chaque thème des missions d audit est scorée mais pas la formulation définitive et globale de l opinion qu il publie dans les rapports finaux. En accoutumant la direction opérationnelle à l apparition de ce modèle, il entend la préparer à son utilisation lors de la formulation définitive des résultats. Le CAE doit initier la direction de sa société aux outils de formulation de l opinion de l AI. Il doit pro-activement mettre en place les outils de promotion du système de formulation des résultats qu il juge le plus adéquat pour sa société et pour son client. Dans le cas du choix d un modèle de scoring, il facilitera parfois son acceptation par une implémentation progressive de l outil dans la communication des résultats de missions. 4 Périmètre d application d un modèle de scoring 4.1 Uniformiser la communication au plus haut niveau L objectif de l utilisation d un modèle de scoring dans la formulation d une opinion est de tendre vers un langage unique et partagé au sein de l organisation. Dans un souci d uniformisation, il est important de se poser la question du périmètre d application du modèle choisi. Afin d accroitre la transparence et l efficacité de la communication, un modèle de scoring unique est, le plus souvent, appliqué à toutes les missions réalisées au sein d un même univers d audit, afin d assurer une cohérence dans la communication des résultats. C est le cas dans la majorité des sociétés à échelle nationale. Toutefois, dans le cas de sociétés d envergure internationale, il n est pas rare de voir se multiplier les départements d AI et, par conséquent, les univers d audit. La mise en place d un modèle de scoring devra donc tenir compte des impératifs d agrégation des résultats de missions, des besoins en information exprimés par le management du groupe ou de la société-mère mais aussi de la pondération des risques entre le groupe-mère et ses entités légales. 8

9 4.2 Changements de périmètres dans les sociétés d envergure internationale Toutes les sociétés n auront pas les mêmes exigences en termes de scoring du fait de leurs différents périmètres de couverture du département d AI. L adéquation d un modèle au périmètre auquel il s applique est donc cruciale et doit être remise en question de façon régulière. Cet exercice doit avoir lieu en particulier après tout changement de structure de l organisation ou tout changement majeur de l univers d audit, comme lors de fusions, de rachats ou de scissions. Les sociétés d envergure internationale doivent particulièrement mettre l accent sur cette adéquation modèle-périmètre, du fait de leur structure hiérarchique plus complexe et de la dispersion géographique de leurs activités d AI. Lors de la fusion de la société 1 avec sa société mère, il fut décidé de changer le modèle de scoring comme toute la méthodologie de travail pour l adapter à son nouveau périmètre d application. Les organes de gouvernance de la société mère se situant au plus haut niveau de l organisation, leurs besoins en information ont primé sur ceux du management local. La structure du département d AI de l entité fut donc réorganisée pour en faire l un des satellites géographiques du département principal d AI. 4.3 Cohabitation et influence de plusieurs périmètres La cohabitation de plusieurs périmètres d audit peut favoriser l implémentation ou le renouvellement d un modèle de scoring, avec une tendance constante à uniformiser le mode de communication au management. C est le cas de la société 3. L AI emploie un seul modèle de scoring pour toutes les entités auditées. Toutefois, le modèle choisi n y est pas imposé : il est encouragé par la pratique conjointe de deux départements d AI. Dans un même souci d uniformisation et d efficience, le département d AI de la société 1 a fait le choix d appliquer le nouveau modèle de scoring, imposé dans ses communications avec la société-mère, à ses communications avec le management de la société locale. Bien qu aucune consigne n ait été donnée au CAE dans ce sens, ce dernier a choisi de n appliquer qu une seule forme de communication aux différents destinataires de ses rapports. 9

10 A défaut de changer complètement le modèle de scoring, son périmètre d application peut parfois justifier son adaptation. Le département d AI de la société 4 couvre un périmètre très vaste et varié. Toutefois, un seul et unique modèle de scoring est appliqué dans la présentation de ses résultats de missions. Pour pouvoir couvrir tous les objectifs rencontrés dans l univers d audit, le modèle de scoring fut construit de la manière la plus large, à l aide d une liste d indicateurs qui ne varient jamais d une mission à l autre et correspondant chacun à un objectif de la mission. Lors de chaque audit, les objectifs non couverts, car non applicables à l audit en cours, sont exclus de l opinion émise par l AI. Le calcul de la valeur de certains indicateurs sera donc parfois non applicable. Pour une majorité de départements d AI, l adoption d un modèle de scoring, de par ses propriétés de synthèse, va de pair avec une uniformisation des rapports d audit au sein des différents périmètres audités. Dans tous les cas, l AI devra considérer la pertinence d une telle uniformisation en tenant compte des besoins liés à l exercice de synthèse des résultats, comme nous l abordons dans le chapitre 8.2 et, de façon plus détaillée, dans le chapitre Le choix des indicateurs du score 5.1 Garantir la fidélité du score à l opinion du rapport d audit Le choix d indicateurs est crucial lors de l élaboration d un modèle de scoring. Il peut autant favoriser que porter atteinte à l efficacité de la communication au sein de la société. Le choix du nombre d indicateurs aura une influence sur la granularité du score émis et le choix du type d indicateurs aura une influence sur sa pertinence. Tout système de score vise à synthétiser et à structurer, sur une échelle préétablie, l opinion globale de l Audit Interne sur la qualité du système de contrôle interne. Cet objectif découle naturellement des normes professionnelles de communication des résultats telles que stipulées par l IIA. Contrairement à une majorité de départements d AI, la société 4 utilisait, avant de mettre en place son modèle actuel, une cote sur l exposition au risque résiduel, sur la base d une échelle de trois critères. Cette cote était accompagnée d une liste des points forts, neutres et faibles relevés en cours de mission. Bien que cette information soit utile à la direction, elle reste incomplète et traduit une volonté de la direction de focaliser son attention sur les risques principaux de l organisation sans prendre en compte la non-efficience de son système de 10

11 contrôle interne. Par exemple, le rapport d audit d un département ne fonctionnant pas du tout, mais n impactant presque pas la société, présenterait un résultat «Low», ce qui n inciterait pas à la mise en place de mesures correctives. Il est donc primordial qu à l image de l opinion formulée dans le rapport final, tout modèle de scoring contienne au moins un indicateur portant sur la qualité du système de contrôle interne. 5.2 Rapport entre indicateurs et granularité du score Dans le cadre des organisations dont l univers d audit couvre de nombreuses filiales, la granularité du modèle de scoring souhaité sera de la plus haute importance. Celle-ci dépendra de nombreux facteurs, comme la taille et la diversité de l'univers d'audit, la structure du département d'audit Interne et la variété des types de missions planifiées. Pour pondérer, à l'échelle d'un grand groupe, l'évaluation première de la qualité du système de contrôle interne, on complète parfois le score final de critères supplémentaires de cotation 6. Ceux-ci ont pour objectif de replacer le résultat de chaque mission dans le contexte global d une société ou d un groupe. Ils prennent souvent en compte les notions de probabilité et d impact des risques identifiés. Le délai prévu d'implémentation des recommandations, la participation d'une entité spécifique à l'atteinte des objectifs fixés pour l ensemble de l organisation et la pondération du risque entre filiales au niveau de la société mère en sont quelques exemples. L AI de la société 2 utilise un modèle constitué de 3 indicateurs (cf. Figure 1): 1. Le premier (A) évalue la qualité des processus de gouvernance, de gestion des risques et de contrôle. Il s agit de l indicateur premier dont nous avons parlé dans le chapitre précédent (4.1). 2. Le second indicateur (B) représente le délai d implémentation des recommandations émises par l AI. 3. Le troisième et dernier indicateur du modèle (C) représente l importance relative, en termes de matérialité et de risques du processus audité pour l atteinte des objectifs fixés pour l ensemble de l organisation. Cette troisième mesure est une notion incluse dans l univers d audit et n est pas amenée à changer, sauf dans le cas exceptionnel d une découverte d un risque résiduel très élevé et 6 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors, Avril

12 inconnu avant la mission. Cet indicateur est donc le seul préétabli au début de la mission. Il classifie les résultats rencontrés par l organisation à partir de la criticité des risques identifiés, sur base de leur impact et de leur probabilité. Figure 1: Exemple de modèle de scoring à 3 indicateurs et échelles multiples En revanche, dans les sociétés d envergure internationale, il est important de pondérer également le poids d une société filiale par rapport à la société mère du groupe auquel elle appartient (exemple : pondération de la société 1 dans le groupe international qui l a racheté). On obtiendrait alors un modèle à 4 indicateurs : A (qualité du système de contrôle interne), B (délai d implémentation des recommandations), C (pondération de l entité auditée dans le périmètre de la société dont il fait partie) et D exprimé sur la même échelle que C (pondération de cette société dans le périmètre global du groupe qui l englobe). La Figure 2 illustre un exemple de ce quatrième indicateur du modèle de scoring. Aucune des cinq sociétés étudiées n utilise ce second niveau d évaluation de l importance relative bien qu il soit justifié par la structure des sociétés 1 et 5. D L M H Score 4 : BUSINESS RELEVANCE OF THE COMPANY Company of minor importance at group level Company of medium importance at group level Company of critical importance at group level (for survival of the business) Figure 2: Exemple de quatrième indicateur pour modèle de scoring à échelles multiples 12

13 Une complémentarité des indicateurs de score autorise une plus grande granularité des résultats. De plus, elle facilite le tri d information par le management. En se concentrant sur les audits dont les résultats des trois indicateurs sont les plus élevés, le CA et le CD s assurent de consacrer leur temps aux risques dont les conséquences pour la société sont potentiellement les plus élevés. 5.3 Modèles de management des risques et modèles de scoring Les résultats de missions d audit étant l une des sources d informations employée lors de l exercice d évaluation des risques, tout modèle de scoring a pour objectif de soutenir et de faciliter l utilisation de ces résultats. Aussi, dans les sociétés dont le département d AI possède une maturité élevée, une majorité de modèles s inspire de modèles de management des risques en entreprise tel Enterprise Risk Management (ERM) dans le choix de leurs critères d évaluation. Ce choix garantit une communication complète et fiable du résultat des missions mais il facilite aussi la mise à jour continue de l évaluation des risques et l établissement du futur plan d audit. Toujours dans l exemple de la société 2, on observe dans la Figure 3 que le modèle de scoring en vigueur est très fidèle au modèle ERM - également appelé COSO2 - dont il couvre totalement deux aspects sur trois. Figure 3: Correspondance entre modèle de scoring et structure COSO2 Le modèle de scoring employé au sein de la société 4 est, lui aussi, librement décliné du modèle ERM. Chaque rapport de mission est accompagné d une cotation s exprimant sur l atteinte ou non de 6 objectifs différents inspirés du modèle ERM. Un tableau à deux entrées 13

14 (cf. Figure 4) est utilisé avec les objectifs couverts par l Audit Interne ainsi que le résultat de l évaluation. Ce tableau est reproduit sur la première page de l Executive Summary. Persistent or persuasive weaknesses in control Significant room for control improvement Acceptable level of controls Well controlled Control Objectives x Quality of information x Safeguard of assets x Effectiveness x Efficiency x Compliance X (1) X (2) Figure 4: modèle de scoring inspiré des objectifs de COSO Le département d AI de la société 1, depuis sa restructuration, a renoncé à l utilisation d indicateurs multiples dans son résultat final. Il rend compte d un seul score général synthétisant la qualité du système de contrôle interne. En revanche, pour construire le résultat de ce score global, les auditeurs évaluent, sur la base de leur jugement professionnel, les données d un tableau reprenant les résultats de ce même score pour une série de familles de risques (cf. Figure 5) couvertes lors de la mission. Le tableau reprenant le score de chaque famille de risque est toujours joint au rapport final communiqué aux audités (cf. Figure 6). Figure 5: Liste des familles de risques pour lesquelles un score est calculé. 5.4 Corrélation entre indicateurs et performance des employés La question du rattachement des résultats de score à l évaluation individuelle des employés suscite des points de vue radicalement opposés au sein de la profession. Le CAE de la société 14

15 3 y voit une opportunité de justifier plus facilement l implémentation d un modèle de scoring. Il espère ainsi susciter l intérêt des audités pour les résultats d audit et les encourager à une mise en place rapide et efficace d actions correctrices. Au sein de la société 1, deux managers du département d AI se révèlent plus prudents et voient dans l utilisation du score comme outil d évaluation de la direction opérationnelle un réel danger d accès à l information sur les points négatifs. Ils rappellent qu un score n est pas à confondre avec un indicateur de performance (Key Performance Indicators ou KPI). Ils soutiennent que l AI prend le risque de voir ses audités lui cacher certaines données par peur des conséquences ou de leur impact négatif sur leur évaluation et, par conséquent, sur leur éventuelle rémunération variable. Une telle corrélation peut porter préjudice à la qualité de la relation entre auditeurs et audités. Pourtant, en communiquant son opinion générale au management, l AI rend compte des risques liés à un processus et non pas du travail des personnes qui le réalisent. Par ailleurs, cette confusion discrimine aussi les employés et les départements qui sont souvent ou peu souvent audités. Or, le planning des missions d audit est établi avant tout sur base des risques identifiés en amont et pas uniquement des missions ayant déjà été réalisées. Dans la pratique, ce lien entre évaluation des employés et scores d audit est plus souvent fait dans les petites et moyennes entreprises. Tandis que dans les plus grandes organisations, ce modèle est souvent influencé par la maturité des organes de gouvernance. Il n y a pas d implémentation idéale d un modèle de scoring mais bien plusieurs vérités. Comme pour l adoption d un système de scoring, c est au département d AI de promouvoir et d informer sur ce qu il estime être adéquat pour la société mais c est au Comité Exécutif seul de décider s il veut impacter les rémunérations sur base des scores de missions. En revanche, il est important que cette problématique soit abordée attentivement, en connaissance des risques, et dans le contexte de chaque société. Pour éviter cet emploi détourné du scoring tout en assurant une communication sur l attitude du management de terrain, l AI de la société 1 emploie un sous-critère supplémentaire, depuis l adoption du nouveau modèle de sa société mère. Son modèle est passé de 3 indicateurs à un seul mais une nouvelle donnée est ajoutée : «Quality of Management Action», qui permet de différencier l état des risques au sein d un département et les efforts fournis par le 15

16 management pour y remédier. Chaque score est ainsi exprimé en deux temps : un premier résultat rend compte de la qualité du système en place et un second de la qualité des actions prises par le management (cf. Figure 6). Un score général est ensuite établi par le chef de mission. Figure 6: Tableau d indicateurs intermédiaires avec la qualité des actions de la direction 6 Obtenir un message clair et constructif : pertinence de l échelle 6.1 Définir la taille de l échelle : auto-alimentation du modèle 7 Une difficulté qui découle de tout modèle de scoring est, pour le département d AI, de pouvoir justifier de façon très précise le résultat de chacune de ses évaluations. Plus la granularité de l échelle est grande, moins celle-ci autorise de marge d interprétation. Par conséquent, si le score autorise un classement plus rapide et plus pertinent des rapports d audit, il impose aussi de délimiter de façon claire et transparente les frontières qui séparent chaque résultat. 7 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitre 5, page

17 A cet effet, l IIA stipule 8 que l organisation, avant de mettre en place une échelle de scoring, doit s assurer d avoir correctement défini ce qui constitue un niveau acceptable de performance. Un cadre de référence sera partagé entre AI et direction. Afin de définir la taille d une échelle de scores (le nombre de valeurs possibles qu elle contient), il faut tenir compte du nombre et des spécificités des activités de la société mais aussi de l écart maximum constaté entre les résultats des différentes missions d audit pour ce qui concerne la qualité du système de contrôle interne. Ainsi, la définition d une échelle de scoring adaptée à chaque société dépendra de la maturité de son département d AI. Cet exercice sera facilité par l existence de nombreux résultats de missions d audit déjà réalisées et par une évaluation à la fois complète et juste des risques encourus. Dans le cadre de la société 5, l unité délocalisée de l AI en Europe réalise beaucoup plus d audits de terrain, également appelés audits de sites. Ces audits sont réalisés de façon uniforme pour toutes les installations visitées. Aussi, en accord avec le siège américain, il a été décidé, d accroitre la précision du score final en multipliant les catégories scorées : de 10 à 14 par mission/rapport. L AI de la société mère a un droit de regard sur la méthodologie d audit européenne mais dans l ensemble, l unité locale garde beaucoup de liberté. De plus, l AI local a été contraint d adapter sa matrice annuelle de cotation à plusieurs reprises, notamment les frontières de chacun des trois indicateurs qu il emploie dans ses rapports, afin qu ils reflètent les risques identifiés de façon plus appropriée (cf. Figure 7). Rating Legend: 0% - 69% = unsatisfactory (U) 70% - 79% = needs improvement (N) %% = satisfactory (S) Figure 7: échelle du modèle de scoring de la société 5 Lors de la première implémentation d une échelle de scoring, l AI commence par définir son benchmark comme étant le juste reflet d une situation neutre (ni résultats excellents ni risques majeurs). L échelle des scores sera établie de façon symétrique à partir de cette référence. 8 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitres 3.3 et 5, pages 5 et 6. 17

18 Pour ces raisons, les échelles courtes sont privilégiées afin de: 1. Garantir la simplicité et la clarté du message à communiquer 2. Assurer le bon fonctionnement du modèle de scoring en limitant les changements de ses paramètres de calcul dans le temps La qualité moyenne du système de contrôle interne est susceptible, par exemple, de changer avec le temps. Cela risque de déplacer le score moyen obtenu lors des missions à la hausse ou à la baisse. Si la médiane du cumul des scores change, pour un même indicateur, une échelle trop détaillée ne garantit pas la pertinence des résultats d anciennes missions. Toute comparaison des résultats de missions sur le long terme perdrait son intérêt. Il faudrait alors dévaluer ou surévaluer les scores d audits déjà effectués pour les aligner sur la nouvelle situation de la société, ce qui s avère coûteux. L AI doit s assurer de proposer à la direction une échelle de scores stable sur le long terme. Dans toute société, un temps d adaptation de l échelle de scores aux résultats de missions sera nécessaire afin de la perfectionner. 6.2 Nombre de valeurs pair et impair L adoption d une échelle de valeurs paire ou impaire divise aussi la profession, en particulier lorsqu il s agit de s accorder sur la signification d une valeur centrale «neutre». Les départements d AI qui utilisent un système de scoring à échelle impaire, comme c est le cas pour la société 2, observent une tendance globale à évaluer la qualité du système de contrôle interne de façon neutre, en milieu de graduation (cf. Figure 8). Overview ratings (numbers) Overview ratings (percentage) ,00 Number Number 60,00 40,00 20,00 0 No rating Rating 1 Rating 2 Rating 3 Rating 4 Rating 5 0,00 No rating Rating 1 Rating 2 Rating 3 Rating 4 Rating 5 Rating Rating Figure 8: Répartition par résultat du total des scores de rapports d audit de la société 1 Un Audit Manager de la société 1, qui travaillait avec la même échelle auparavant, prône aujourd hui l utilisation d une graduation paire (cf. Figure 6). Il assimile un score neutre à une 18

19 absence de prise de position et, par conséquent, à une absence d opinion formulée par l Audit Interne. Il est convaincu que la réalité observée penche toujours légèrement vers un score positif ou négatif et que les destinataires d un rapport d audit, CA, CD ou Direction opérationnelle, attendent de l AI un avis tranché. A l opposé, mais pour les mêmes raisons, le CAE de la société 2 est convaincu du bien fondé de la valeur médiane et utilise trois échelles de valeurs impaires (cf. Figure 1). Il y voit le résultat de processus bien maîtrisés dans l ensemble, où persistent quelques faiblesses majeures. Il est d avis qu une cote intermédiaire rend compte de la réalité du terrain dans la majorité des audits réalisés. Très rares sont les départements ou processus, audités au sein de sociétés, qui sont excellents ou insatisfaisants. Indépendamment de l interprétation que l on fait de la valeur médiane d une échelle de scoring, toute échelle impaire offre l avantage de souligner auprès des CA et CD une distribution normale ou anormale des activités. Dans le cas de la société 2, une variation à la baisse sera un indicateur plus visible, pour le CAE, d un manque de criticité ou de variété dans le travail du département d AI. Une variation à la hausse peut rendre compte d une période d adaptation ou d implémentation de nouveaux processus, de changement pour la société. Dans ces deux exemples, le retour à la moyenne d une majorité des scores d audits peut souligner la fin d une phase de changement au sein de l entreprise. Le CAE de la société 2 emploie les données de variation par rapport à la médiane dans son travail de synthèse lors de la formulation de sa prise de position globale destinée au CA. Une échelle paire, quant à elle, focalisera davantage l attention sur les objectifs dont le résultat est clairement partagé entre positif et négatif. Dans l exemple du tableau de la société 4 (cf. Figure 4) l objectif «Conformité» est associé à deux scores, signifiant que l objectif était atteint pour certains points audités mais pas pour d autres. Une explication des différences et des points concernées par chaque demi-score seront joints au tableau. Le message transmis à la Direction est, dans ce cas, plus contrasté que l emploi d une valeur intermédiaire. 6.3 Quelle forme pour plus d impact? Une fois de plus, il n existe pas de bon ou de mauvais choix quant à la forme de restitution d un score sinon ceux allant à l encontre des besoins en information de la Direction. Dans la 19

20 pratique, deux des principes imposés par les normes professionnelles seront considérés pour toute communication de l AI 9 : la concision et la clarté. La concision incite l AI, pour la formulation de son opinion, à employer un minimum de signe, quelle que soit leur forme (lettres, chiffres, pictogrammes, couleurs). Ainsi, l AI des sociétés 3 et 4 a opté pour une forme textuelle condensée communiquée sans annotation. L utilisation d une forme textuelle dans la formulation d un score doit toujours être envisagée avec précaution et faire l objet d une discussion entre la Direction et l AI de la société concernant l interprétation faite par chaque partie des termes employés. L IIA argumente 10 ce point de vue en ajoutant que l utilisation de termes génériques comme «satisfaisant», «effectif» ou «insatisfaisant», peuvent porter atteinte à la clarté et à la complétude du message communiqué. Par exemple, la définition d une échelle de scoring adéquate permet en premier lieu de limiter ce risque d interprétation. D autres départements ont fait le choix d être encore plus concis mais, pour des raisons de clarté, accompagnent leur cote d une note explicative du symbole employé : l AI de la société 2 a opté, selon le critère, pour une combinaison de lettres et de chiffres et la société 5 n emploie dans ses rapports que des chiffres. Enfin, l AI de la société 1 combine des lettres avec des thèmes de couleurs dans le but d accentuer l impact de son message. Si la valeur ajoutée de ce modèle s observe au niveau de la micro-communication de l AI, lors de chaque mission d audit, elle se révèle surtout au niveau de sa macro-communication, lors de la mise à jour de l univers d audit ou de sa prise de position globale destinée à la Direction. Il est plus lisible d analyser une combinaison de couleurs dans un tableau agrégeant les données de très nombreux audits qu une combinaison de chiffres. Dans le cas de cette société aussi, une légende est communiquée avec le résultat afin d assurer une bonne interprétation du score. Un exemple de cette légende, lors de la phase de changement de modèle, se trouve dans le coin supérieur droit de la Figure 6. J aborde l importance de l utilisation d une légende dans le chapitre 8 : «Communiquer sur le modèle de scoring». 9 Chapitre 2.2: Le cadre règlementaire 10 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitre 5, page 6. 20

21 7 Élaboration du processus de calcul des résultats Il est important de bien séparer l évaluation, en cours de travail, de chaque sous-thème de la méthodologie d audit appliquée à une mission et l attribution finale d un score global couvrant tous les résultats de l audit. Le premier exercice a lieu de façon continue et s appuie sur l expérience et les compétences spécifiques des collaborateurs réalisant l audit. Le jugement professionnel y jouera un rôle crucial. Le second exercice est organisé différemment d un département à l autre et découle souvent de la méthodologie adoptée par l AI pour communiquer ses résultats au management. Parmi les avantages d un modèle de scoring, l adjoint du CAE de la société 4 relève la capacité de l outil à réduire la subjectivité des auditeurs lors de la formulation de leur opinion. Le modèle est alors utilisé comme un contrôle de cohérence des résultats de la mission. Pour aboutir à un accord au sein de l AI, et garantir une évaluation homogène des systèmes de contrôle interne pour toutes les missions, deux méthodes différentes sont employées. 7.1 Déterminer et contrôler le score : outils automatisés L AI de la société 2 utilise un outil de calcul développé au sein du département d audit sur support Excel (cf. Figure 9). Figure 9: Module de calcul du troisième indicateur du modèle de scoring de la société 2 21

22 L auditeur y cote, sur un onglet séparé pour chacun des trois indicateurs, son appréciation de chaque étape de son programme de travail, soit chaque objectif couvert au sein des thèmes de gouvernance, de gestion des risques et de contrôle (cf. Figure 10). Figure 10: exemples de questions à la source du calcul automatisé du score final de l audit Le CAE et l Audit Manager encodent également leur évaluation du score final dans l outil. Le module calcule ensuite automatiquement le score final agrégé sur la base des réponses introduites en utilisant une série de coefficients de pondération. Ces coefficients sont définis par le CAE une seule fois pour toutes les missions. L emploi de cet outil permet d objectiver l appréciation du score global par l auditeur en déduisant uniquement ce dernier de la perception globale du collaborateur. Ce support automatisé est appliqué lors de toutes les missions d audit, dans le but d un contrôle de cohérence global. En cas de désaccord majeur avec le résultat fourni, l auditeur a toujours la possibilité de consulter son supérieur afin de défendre le score qu il juge plus approprié. Ainsi, des corrections ont parfois lieu. Celles-ci peuvent s appliquer au score final mais elles ont souvent lieu au niveau des réponses encodées dans le système pour chaque étape du programme de travail. Le CAE de la société 2 voit en cet outil un moyen pertinent d assurer l objectivité et la rigueur avec lesquelles l évaluation fut réalisée en cours de mission. Il sert les objectifs de fiabilité et d objectivité de la communication faite à la Direction. 22

23 L AI de la société 4 procède selon une méthode très similaire. Le score définitif (satisfaisant / perfectible / incomplet / non acceptable) est obtenu en agrégeant, suivant une formule interne développée au sein du département, les résultats obtenus par rapport aux objectifs du scope de la mission. La société 5 utilise un outil équivalent de calcul du score global pour ses audits opérationnels et géographiques. Comme les résultats de missions, dans son secteur d activités, laissent très peu de place à l interprétation et au jugement professionnel, l outil de calcul est employé comme un support exclusif de travail des auditeurs pendant toute la durée de leur mission. Le score est toujours généré automatiquement sur la base de coefficients prédéfinis par l AI en accord avec les priorités fixées par le management situé aux États-Unis. L un des deux responsables du département européen d AI précise que ces coefficients sont adaptés en début d année lorsqu un ou plusieurs risques importants sont identifiés sur le terrain mais pas suffisamment pondérés dans le rapport. Ces adaptations ont eu pour conséquence un glissement à la baisse du score global le plus fréquent dans les rapports. Les coefficients utilisent la même forme et la même échelle de valeur que le score global, sauf qu ils s appliquent uniquement à un sous-thème de l audit. Il leur est attribué une valeur fixe selon la cote choisie par l auditeur (S = 100, NI = 75 et U = 25) exprimée en chiffre. Puis un calcul de la moyenne des scores est réalisé et le résultat est converti sous forme de lettre, selon l échelle présentée dans la Figure 7 du chapitre 6.1. Ce système de cotation binaire permet un calcul plus objectif du score de chaque mission. 7.2 Déterminer et contrôler le score : méthodes analytiques Contrairement aux rapports d AI de la société 5, qui ne présentent que des scores par une entité géographique pour chaque objectif d une liste prédéfinie, de nombreux départements d AI accompagnent leur score final d une formulation textuelle de leur opinion. Ce texte se retrouve toujours dans l Executive Summary et autorise un contrôle supplémentaire de la cohérence et de l exhaustivité des résultats formulés. En pondérant les risques et les faiblesses identifiés dans la mission, le chef de mission et son manager établissent un score sur la base de leur jugement professionnel. Un dernier contrôle est réalisé par le CAE. Après calcul, et conformément aux Modalités Pratiques d Applications 23

24 édités à ce sujet par l IIA 11, en cas de désaccord sur la cote finale d une mission, l équipe se concerte pour débattre du résultat en prenant en compte les objectifs prépondérants dans le scope et le thème de la mission en question. Une alternative aux outils de calcul du score global consiste en l attribution d un score aux constats et recommandations formulés lors de chaque mission. Afin de détecter d éventuelles incohérences, la criticité de ces scores est ensuite liée à celle du score global. Le département d AI de la société 1 applique cette méthode de travail et intègre les recommandations au rapport final dans un tableau, conjointement au score global. Un Audit Manager de la société 1 explique qu il n existe plus de règles préétablies de correspondance entre score global et scores des recommandations, même si le bon sens est toujours d application. Préalablement, dans le cadre de l ancienne méthodologie appliquée au sein de son département, il était convenu qu une relation logique devait exister entre l indicateur de qualité du système de contrôle interne et les recommandations. Cette règle interne était formalisée dans les procédures internes de l AI et communiquée aux collaborateurs (cf. Figure 11). Connection Rating Quality GRC - Number of recommendations high : 1 or 2: no recommendations high 3: maximum 3 recommendations high 4 or 5: minimum 3 recommendations high Figure 11: Table d équivalence employée par l AI de la société 1 (plus d application) Cette pratique varie beaucoup d une société à l autre car les départements d AI appliquent des échelles de scores très différentes pour leurs recommandations et certains, comme celui de la société 4, n associent aucun score aux recommandations qu ils émettent. 8 Agrégation des résultats : quelle méthode pour les sociétés d envergure internationale? La méthodologie d évaluation des résultats des missions d audit est cruciale pour garantir la conformité de la communication avec les attentes du management d une organisation. Nous avons constaté qu un modèle de scoring favorise la sélection, par les intervenants de l AI, de 11 Modalités Pratiques d'application : Diffusion des résultats de la mission, The Institute of Internal Auditors, 1er janvier 2011, page

25 l information qui répond à leurs besoins. Une méthode performante d agrégation des résultats garantit, en complément, une communication complète et fidèle à la réalité. Un premier traitement des scores consiste, pour les sociétés à grande envergure, à isoler les résultats scorés de chaque rapport final puis à les lister, comme dans l exemple de la société 5 ( Figure 12) préparé par l AI de Bruxelles et envoyé au management du groupe aux États-Unis. Figure 12: Tableau récapitulatif des scores obtenus en 2010 pour la société 5 Le département de la division européenne de l organisation joint au tableau de données brutes un résumé chiffré des principales informations, offrant un bon aperçu général de la situation. Certains départements d AI vont plus loin dans le traitement des résultats et trient le contenu par résultat. L échelle des valeurs possibles de scores est prise comme référence. Cela permet de rendre compte de la proportion de chaque score tout en ajoutant sensiblement plus de détails sur chaque mission (titre, départements concernés) que dans l histogramme de la Figure 8. La société 1 isole même les audits aux plus mauvais résultats (les risque jugés comme étant les plus importants) dans un tableau exclusivement des scores «Marginally Satisfactory» ou «Unsatisfactory» (cf. Figure 13). 25

26 Figure 13: Liste restreinte de résultats d audit par criticité des résultats (société 1) Lorsqu une organisation change son modèle de scoring, pendant la période de transition, les résultats d audits sont collectés sous les deux formes de modèles (ancien et nouveau). Afin d agréger les résultats obtenus par les deux méthodes différentes, l AI établit une échelle d équivalences entre scores, qu il peut formaliser et communiquer au management, comme dans le cas de la société 1 (cf. Figure 6). Toutefois, ces méthodes de listes n incluent pas, en ce qui concerne le choix des scores à communiquer, de critère de sélection basé sur la pondération de l entité auditée et de la société dont dépend l AI à l origine de la mission. Or, nous avons constaté dans le chapitre 5.2 que ces deux facteurs sont d une importance capitale dans les organisations à très grande envergure dont la structure est sous-divisée en plusieurs sociétés filiales. 8.1 L impact du score sur l exercice d évaluation des risques Une méthode d agrégation et un modèle de scoring stable sont indispensables pour pouvoir comparer l évolution de l environnement de contrôle sur le long terme. Pour assurer un traitement rapide et fiable des résultats d audits, l élaboration et l implémentation de ces deux outils doivent avoir lieu en même temps que la classification des risques dans l univers d audit. Les résultats des missions de l AI (risques résiduels) sont l une des données utilisées par l AI pour mettre à jour la cartographie des risques de la société et en décliner un plan d audit annuel. Dans le cas de sociétés d envergure internationale, la quantité des résultats obtenus et la complexité de leur traitement dans l univers d audit font du modèle de scoring un atout majeur, pour peu qu il intègre des indicateurs suffisamment nombreux et pertinents pour 26

27 rendre compte de manière juste de la pondération des risques identifiés au plus haut niveau de l organisation. L AI de la société 1 utilise l information des scores finaux d audits afin de présenter au management de l entreprise certaines adaptations de la cartographie de risques. Un tableau à deux entrées reprend, sur le modèle d ERM, les unités géographiques d un côté et les activités ou processus de l autre. Les cases du tableau sont remplies selon les résultats obtenus lors de missions ayant couvert les thèmes en question. Ce travail s inscrit sur le long terme puisqu il faut plus d une année pour couvrir tout l univers d audit. Figure 14: Tableau de suivi des risques sur base des scores d audits (société 1) Le tableau présenté dans la Figure 14 illustre, pour chaque sous-thème de l univers d audit, les résultats de l évaluation du contrôle interne une fois mise à jour avec le score des missions. Un carré bleu signifie que les risques résiduels sont faibles ou acceptables. Un carré jaune signifie que les risques résiduels sont plus élevés. Les cadres vert et rouge autour de certaines cases signifient que leur résultat a été modifié à la baisse ou à la hausse depuis la dernière évaluation. Le CAE de la société 2 est en faveur de l emploi des données brutes de scores d audits dans l évaluation des risques résiduels car cela favorise la détermination du plan d audit. Il utilise un modèle à 7 critères (chacun sous-ventilé en 2 ou 3 sous-critères) qui a peu d impact en cours d année mais qui peut avoir une plus grande influence d une année à l autre. 27

28 D importants progrès ont été réalisés au sein de la société 4 en matière de méthodologie d évaluation des risques, depuis l implémentation de son modèle de scoring. Un exercice ERM fut réalisé en 2011, impliquant tout le top management du groupe, soit environ 50 collaborateurs. L AI a collecté leur appréciation des processus les plus critiques de leurs départements respectifs et leur avis global sur la qualité du contrôle interne en vigueur. Une échelle de scoring identique à celle mise en place pour les rapports de missions fut employée. La matrice créée est utilisée comme base de travail pour l AI afin d élaborer son plan d audit. Elle est complétée de façon continue par la matérialité de chaque risque principal détecté, le délai écoulé depuis le dernier audit et le score obtenu suite à la réalisation des missions. 8.2 Principaux paramètres d agrégation : probabilité et impact Dans le cas de sociétés d envergure internationale, le degré d agrégation des résultats d audit peut affecter la clarté ou l exhaustivité de l information. L implémentation d une méthodologie de synthèse, basée sur la probabilité et l impact de tous les risques identifiés lors des missions, est idéale mais plus complexe à appliquer qu une simple liste des résultats négatifs. Une méthodologie aboutie permet d atteindre les objectifs de communication imposés par l IIA et garantit une transition fidèle des résultats du niveau micro vers le niveau macro de l organisation. A l image du modèle de scoring, cette méthode d agrégation doit être suffisamment détaillée et inclure des règles de priorisation de l information portant sur les faiblesses identifiées et les risques concernés 12. En effet, certains risques peuvent avoir un impact majeur sur une entité subsidiaire d un grand groupe mais pas sur l organisation dans son ensemble. Pour réaliser la synthèse au niveau macro des résultats scorés, il est nécessaire de pondérer et de hiérarchiser le score de chaque mission, en le replaçant dans le contexte du périmètre global de l organisation. Pour les groupes d envergure internationale, les risques résiduels identifiés seront pondérés en se référant aussi à leur impact sur le groupe entier et non pas seulement à la société qui en fait partie. On utilise des facteurs tels que la taille, l impact financier et l impact légal de chaque périmètre audité. Cet exercice doit être réalisé indépendamment à deux niveaux, à l échelle du groupe (exemple : IT dans société 1, puis 12 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitre 4.1, page 6. 28

29 société 1 dans groupe). S ils sont disponibles, les scores des indicateurs de pondération de l entité auditée dans la société et dans le groupe seront utilisés d où l importance de leur intégration, en amont des audits, dans le modèle de scoring de chaque mission. La priorisation est appliquée à l aide de clés de répartition et d allocation des risques, par niveau de criticité, du plus bas au plus haut niveau de l organisation et, cela, pour le périmètre entier des activités de l organisation. Ces clés peuvent prendre la forme de coefficients d addition des résultats. Ces coefficients sont définis en amont de la planification des missions d audit. On en retrouve une synthèse dans le troisième indicateur du modèle de scoring de la société 2. Toutefois, dans ce cas aussi, la pertinence du score sera toujours réévaluée après la mission sur la base du score final établi pour le premier indicateur. Figure 15: Exemple de Heat Map (tableau de synthèse) pour la société 1. Au sein des sociétés 1 et 2, le cumul des rapports (parfois plus de 60) impose la rédaction d une synthèse de quelques pages car le temps à consacrer à la lecture des rapports par le CA et le CD est très limité. Chaque résultat de mission est projeté sur un tableau selon deux paramètres : sa probabilité et son impact. Le graphique qui en résulte (cf. Figure 15), également appelé «Heat Map», ne contient souvent que les audits dont les résultats sont jugés significatifs par le CAE. On constate que l information gagne en clarté et en concision. Les missions dont les résultats ont le plus d importance pour le management sont listées à droite de la grille (avec un rappel 29

30 de leur score) et sont représentées sur le graphique par des numéros. Le choix des missions à intégrer au rapport général - qui offre une vision synthétique de tous les travaux de l'ai sur une période déterminée - et au tableau de synthèse provient généralement de l AI mais il peut résulter d une demande spécifique du management sur un thème particulier. Les risques majeurs identifiés par l AI sont listés en annexe du tableau, afin de focaliser l attention du management sur l implémentation de mesures correctives. Lorsqu il fait face à une quantité importante de rapports d audit, le CA peut faire la demande à l AI de limiter les résultats communiqués aux scores négatifs, sous la forme d un rapport d exceptions (les scores 1, 2 et 3 sont exclus dans le cas de la société 2). En revanche, le CD a une responsabilité opérationnelle et considère les rapports positifs comme un apport nécessaire à son obligation de supervision du système de contrôle interne. Il privilégiera la remise d un rapport complet/exhaustif. La méthode d agrégation des scores devra toujours tenir compte des besoins en information de chaque intervenant de l AI. Un guide interne d évaluation des critères d impact et de probabilité des risques a été mis au point par le département d AI de la société 1 (cf. Figure 16), où il est employé comme référence lors de l élaboration du tableau de synthèse. Cette grille traduit dans une forme textuelle plus complète la signification de l échelle de score mais elle ne figure pas dans le rapport global transmis au management. Likelihood (over 3y) Event is expected to occur in most circumstances Event will probably occur in most circumstances > 90% Almost Certain 50-90% Likely 4 5 Event should occur at some time 30-50% Moderate 3 Significant Event could occur at some time 10-30% Unlikely 2 Moderate Event may occur only < 10% Rare 1 in exceptional circumstances Minor Insignificant Minor Moderate Major Significant Reliability of Information Legal & fiscal risk Assets & Liability Profit contribution Company budget Complexity of business Management effort Number of employees Fraud susceptibility Threat to image Impact Matrix 5*5 Critical Figure 16: Critères de quantification d impact et de probabilité de la «Heat Map» de la société 1 30

31 L AI de la société 4 synthétise aussi, sur base d une table de traitement interne, les scores des missions en une seule page. Cette dernière est destinée au Comité d Audit. N y sont repris que les résultats de missions les plus négatifs. Bien qu au sein de la société 2, le modèle de la «Heat Map» soit adapté au niveau hiérarchique des organes de gouvernance à qui l information est destinée, il reste insuffisamment précis dans le cas de la société 1. En effet, ce modèle de communication ne pondère pas les principaux risques résiduels de la société à l échelle de la société-mère du groupe auquel elle appartient. 9 Communiquer sur le modèle de scoring 9.1 Formaliser la définition du modèle au sein de l Audit Interne Parallèlement à une définition adéquate du modèle de scoring, il faudra organiser une campagne de communication et de traduction de ce modèle dans le travail quotidien des auditeurs. Pour les grandes institutions financières, plus la granularité du modèle sera faible, plus l'impact et la clarté de la communication aura de l'importance pour garantir une utilisation uniforme de l'outil de scoring par tous les auditeurs. On privilégie souvent l intégration de la définition du modèle de scoring à la méthodologie du département d AI, afin d en formaliser la pratique, de façon plus officielle. Dans certains cas, la charte peut mentionner l utilisation d un modèle de scoring et se référer à la méthodologie. La définition complète du modèle de scoring de l AI de la société 5 est intégrée à la méthodologie d audit appliquée au sein du département. L échelle des valeurs de scores est conservée sur l intranet du département et consultable par tout auditeur lors de son travail. Au sein de l AI de la société 1, un training fut donné aux auditeurs belges par le département d AI de la société mère suite à la fusion, afin de présenter et expliquer le nouveau scoring. La société 3 emploie un référentiel, sous la forme d une échelle d équivalences exactes entre les quatre scores disponibles et leur forme libellée. La formulation textuelle des résultats n est donc pas libre et découle chaque fois du score défini en fin de mission. Une même formulation de l opinion de l AI est employée pour exprimer chacun des quatre scores possibles. C est cette version qui sera communiquée aux audités (management de terrain) ainsi qu au Comité de Direction. 31

32 9.2 Formaliser la définition du modèle au niveau macro Le scoring n est pas l expression de l avis de l auditeur. Il est un élément complémentaire, il donne une idée du résultat au CA et au CD. C est bien sûr au CAE d inviter son client final à prêter attention aux résultats nuancés des missions réalisées. Dans le cadre des rapports au management, la formulation doit différencier plus avant les scores «3» entre eux et apporter les nuances en présentant les points forts (ou «normaux») et les faiblesses. Deux documents majeurs sont édités par le CAE de la société 2 : - Le rapport trimestriel auprès des CA et CD, - La Management Letter semestrielle. Ces deux documents sont la responsabilité du CAE et contiennent une page de présentation du modèle de scoring en vigueur, sous la forme d une grille des valeurs possibles sur l échelle et de leurs significations. Il est donc connu de tous les destinataires. La Management Letter présente aussi une courte synthèse des résultats de tous les audits réalisés au cours du semestre, un aperçu de tous les scores en fonction de la probabilité et de l impact des risques identifiés, une présentation plus détaillée des audits à score 4 ou 5 mais aussi un aperçu résumé des thèmes du plan d audit ayant une grande importance (quel que soit le score). Un audit réalisé, par exemple, sur l application dans la société de nouvelles dispositions légales ou des développements dans la gestion des risques sera mis en valeur, quel que soit le score obtenu pour cette mission. La Management Letter est aussi envoyée à la Banque Nationale de Belgique. L AI de la société 1 a mis en place une campagne d information sur sa nouvelle méthodologie de travail, destinée au top management belge de la société, dans lequel le modèle de scoring était expliqué (cf. Figure 17). Il ne fut demandé aucun changement ni aucune adaptation au modèle de scoring existant par les CD et CA de la société 2, depuis son utilisation. De plus, le CAE n est pas en faveur d un changement du modèle car cela nécessiterait beaucoup de temps d adaptation et engendrerait un risque d erreur d interprétation des résultats de missions, au cours de la période d adaptation. 32

33 La continuité d un modèle et la régularité de sa communication aux destinataires des rapports d AI sont donc deux aspects importants de sa bonne interprétation. Figure 17: Définition de la structure du nouveau modèle de scoring de la société Formaliser la définition du modèle au niveau micro Si le top management d une société participe souvent aux choix et à l implémentation d un modèle de scoring, ce dernier a un très fort impact sur la Direction opérationnelle auditée. Les destinataires des rapports de missions sont toujours bien moins accoutumés aux outils de cotation du système de contrôle interne. Cela s explique par le fait qu ils reçoivent beaucoup moins souvent de communication de l AI. Il est donc crucial d introduire le modèle de scoring dès le début de chaque mission d audit afin de préparer les audités à cette forme de restitution de l opinion finale de l AI. Au sein des sociétés 1, 2 et 3, la définition du modèle est présentée lors de la réunion de lancement de chaque mission. L échelle de criticité des recommandations est jointe à la présentation faite au management opérationnel. Le tout est expliqué en détails, oralement et 33

34 soutenu par une formalisation des idées principales. Une copie de la définition du modèle est remise aux participants de la réunion. Au sein de la société 4, au contraire, aucune campagne de communication du modèle ne fut organisée par l AI, lors de son implémentation. Le score fut seulement expliqué oralement lors des clôtures de missions et, de plus, de façon très informelle. Autrement dit, ces explications ne furent ni formalisées ni distribuées systématiquement à l ensemble des destinataires du rapport de la mission. Cela a engendré une mauvaise interprétation des résultats négatifs, qui furent associés par les destinataires des rapports à un jugement sur leur compétence professionnelle individuelle. Le changement eut lieu brutalement et entraîna une période d adaptation d environ six mois. Aussi, il est crucial pour l AI de réussir à «vendre» son modèle de scoring aux audités. La communication du modèle est cruciale lors de son implémentation ou de tout changement du modèle. Elle doit toujours être réalisée simultanément aux niveaux micro et macro de l audit. Enfin, elle doit également avoir lieu de façon continue, pour se prévenir d un appauvrissement de la lecture des rapports. Avec un recul de quelques années et l expérience, le CAE adjoint de la société 4 observe que certains dangers subsistent, comme celui de déshabituer les destinataires des rapports à lire les contenus de ceux-ci (en se contentant de lire la cote) ou celui de les déshabituer à lire les résultats positifs lorsque le score est négatif. 10 Conclusion : les facteurs d un modèle adéquat Les modèles de scoring répondent à un besoin constant de synthétiser une information toujours plus dense dans le but de mieux la communiquer aux hautes sphères d une organisation. Bien que ces modèles ne s intègrent pas à la méthodologie de tous les départements d Audit Interne, pour ceux qui dépendent d organisations d envergure internationale, ils deviennent un outil incontournable d atteinte des objectifs de concision et de clarté dans la communication faite au management. En plus, au niveau de l AI lui-même, le scoring permet de réaliser un gain de temps pour préparer l auto-évaluation des risques et le plan d audit. Il constitue l un des outils majeurs pour appuyer la formulation d une opinion globale par le CAE. Au niveau des clients finaux de l AI, le scoring permet le tri des résultats d audit en fonction des points d intérêts et de la disponibilité de chacun d entre eux (Comité d Audit, Conseil de Direction). 34

35 Je recommande donc son utilisation dans le cas des organisations à grande échelle, puisqu il permet d accroitre l efficacité de la communication relative au travail de l Audit Interne. Il doit favoriser la réalisation des objectifs définis par l Institut des Auditeurs Internes, à savoir une communication exacte, objective, claire, concise, constructive, complète et émise en temps utile. Dans le but d assurer une communication efficace, je préconise la construction d un modèle au départ des besoins spécifiques du management, avant d établir les indicateurs qui le composent. La définition d un modèle de scoring adéquat requiert de la part du Directeur de l Audit Interne une grande capacité d écoute et une phase rigoureuse de détection des besoins en information de ses différents clients. Sans cahier des charges clair, on ne peut pas construire de modèle stable. Il est important que l implémentation d un modèle de scoring soit promu, encadré et stimulé par l Audit Interne puisque c est le département qui possède les connaissances et l expérience en la matière pour accomplir la tâche avec succès. Quelle que soit l envergure d une organisation, le modèle de scoring doit rassembler les données en simplifiant la communication de l Audit Interne. Je suis partisan d une uniformité du modèle au sein de toute l organisation, quelle que soit sa taille, et j encourage les sociétés confrontées à une cohabitation des modèles à procéder à une sélection, comme je l ai présenté dans les exemples de cette étude. Enfin, quelle que soit la méthode de scoring utilisée par l Audit Interne, il est important qu il ne remplace jamais la formulation complète et nuancée d une opinion. Il est et doit rester un complément d information soutenant la synthèse de l opinion de l AI. Je recommande donc de toujours combiner le score global avec une formulation textuelle du degré d assurance attribué par l AI. Une exception est envisageable pour les missions d audit purement opérationnelles et réalisées en suivant une méthode de travail systématique, comme c est le cas au sein de la société 5. La granularité des résultats doit correspondre à la structure de l organisation. Pour ce faire, je recommande l utilisation d indicateurs de pondération en plus des indicateurs d évaluation de la qualité du système de contrôle interne. Leurs valeurs doivent être adaptées au nombre de 35

36 niveaux hiérarchiques en place au sein des groupes d envergure internationale. Il est crucial, dans les organisations d envergure internationale, d inclure dans les indicateurs: - Un indice pondérant la qualité observée du système de contrôle interne par rapport à l organisation dans son ensemble, c'est-à-dire d en déterminer l importance relative. Cet exercice doit être réalisé lors de l évaluation des risques, sur la base de l univers d audit, et il doit de nouveau être évalué après chaque mission, en fonction des faiblesses et des risques identifiés. Il fait le lien entre les auditeurs de terrain, qui détectent un changement de pondération des risques, et le Directeur de l Audit Interne, qui traite cette information au niveau macro lors de la mise à jour de l univers d audit et de l établissement du plan d audit. - Un indice pondérant l importance de la société au sein du groupe auquel elle appartient. Il fait le lien entre le management de la société au sein de laquelle la mission d audit est réalisée et la Direction du groupe international. L intégration de ces indicateurs dans le score de chaque mission garantit un suivi plus adéquat et plus rapide de l évolution des risques au sein d une organisation. L expression du score doit être la plus synthétique possible afin de faciliter son identification et sa mémorisation. Si nécessaire, l Audit Interne établit une table de correspondance (ou légende) expliquant succinctement la signification de chaque indicateur, afin de conserver la forme finale la plus courte possible. Aussi, je suis d avis de ne pas utiliser de forme textuelle dans l intitulé des indicateurs et de réserver cela au contenu de l Executive Summary dans le rapport final. Les formes chiffrées servent le mieux les missions d audit de nature opérationnelle et technique. Les formes lettrées se rapportent à des notions plus vastes, laissant plus de liberté d interprétation aux destinataires des rapports. La combinaison de chiffres ou de lettres et de couleurs est optimale car elle permet d associer l opinion et son importance relative sur l échelle des valeurs possibles. Les couleurs favorisent aussi une agrégation claire et rapide des résultats lors de leur présentation globale au management. Je suis favorable à l emploi d une échelle impaire au sein des sociétés dont le département d Audit Interne est mature. Ces sociétés feront preuve, dans la majorité des missions, d un système de contrôle interne satisfaisant mais perfectible. L échelle impaire de scores rendra 36

37 donc mieux compte des changements de risques et d efficacité des contrôles par rapport à un benchmark. La comparaison entre le score des recommandations et le score global des missions d audit est un critère de contrôle pertinent. Toutefois, je suis d avis que l utilisation d un modèle de scoring doit être soutenue par un outil de vérification extérieur du calcul du score. Ce contrôle automatisé du jugement de l auditeur me semble être le seul apte à garantir l objectivité et l indépendance de l opinion formulée. Une sélection des missions, par criticité des faiblesses et des risques identifiés, est incontournable. Cependant, je suis d avis que les sujets de missions majeurs ou très sensibles (matières légales, enquêtes de régulateurs) doivent être inclus dans le résumé global envoyé au management, à côté des scores les plus négatifs. Il est de la responsabilité du Directeur de l Audit Interne d attirer l attention du management sur les thèmes nécessitant une vigilance accrue, qu ils soient sous contrôle ou pas. Une présentation graphique des résultats aura toujours plus d impact sur les lecteurs. Enfin, la communication sur le modèle de scoring doit être formalisée, tant au sein du département d Audit Interne qu auprès de ses intervenants, et être soutenue au plus haut niveau de l organisation. Elle doit être continue, assurer une bonne interprétation et l acceptation des résultats par la Direction ainsi que garantir la mise en place rapide et volontaire des recommandations émises par l AI. La définition d un modèle de scoring doit toujours faire l objet de réévaluations régulières quant à sa capacité à répondre aux besoins en information du management de l organisation, tant au niveau des outils de cotation que des outils de synthèse des résultats. 37

38 Références bibliographiques Prise de position IFA/IFACI sur le rôle de l audit interne dans le gouvernement d entreprise, IFA et IFACI, Mai Norme Internationale pour la Pratique Professionnelle de l Audit Interne : 2420 Qualité de la communication, The Institute of Internal Auditors, Modalités Pratiques d'application , , et : Rapports à la Direction Générale et au Conseil, Contenu de la communication, Qualité de la communication et Diffusion des résultats de la mission, The Institute of Internal Auditors, 1er janvier Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril Practice Advisory : Reporting to Senior Management and the Board, The Institute of Internal Auditors, May Glossaire IFACI IIA IPPF (ou CRIPP) MPA AI CA CD CAE ERM GRC Institut Français de l'audit et du Contrôle Internes Institute of Internal Auditors Cadre de Référence International des Pratiques Professionnelles Modalités Pratiques d Application Audit Interne (département) Comité d Audit Comité de Direction Chief Audit Executive (Directeur de l Audit Interne) Enterprise Risk Management (Management des risques) Governance, Risk management & Control activities 38

39 Annexe 1 Présentation des sociétés analysées dans l étude Société 1 Le premier département dépend d une grande institution bancaire belge. Il a changé de modèle de scoring au 1 er janvier 2010 suite au rachat de la société dont il dépendait par une plus grande organisation. Le département d Audit Interne à été intégré dans celui de la société mère. L AI a dû mettre en place une politique d alignement des modèles et lancer une campagne de communication du nouveau modèle adopté. Pour des raisons légales et territoriales, ce département d audit communique aujourd hui ses résultats à deux clients : la Direction locale de la société rachetée et la Direction internationale de la société mère. Société 2 Le second département d Audit Interne relève d une grande compagnie d assurances belge. Son département d AI utilise un modèle de scoring similaire à l ancien modèle en vigueur avant la fusion de la société 1. Les méthodes d agrégation des résultats de scoring des sociétés 1 et 2 sont très similaires. Société 3 Le troisième département d Audit Interne est aussi rattaché à une compagnie d assurances belge, concurrente de la société 2. Il réalise des missions pour deux catégories de filiales. Une des deux catégories est totalement intégrée à sa société. Une méthodologie sans modèle de scoring y est appliquée lors de la rédaction du rapport d audit et de la présentation des résultats. L autre, réalisée en commun avec un partenaire français, bénéficie de rapports constitués selon une autre méthodologie utilisant un modèle de scoring. Le département d audit initie progressivement la Direction de la filiale, avec qui il n emploie pas de score, au modèle de scoring développé par son partenaire étranger. Société 4 Le quatrième département d Audit Interne dépend d une grande société belge de télécommunications. Il utilise un modèle de scoring dans la présentation de ses résultats depuis 1998, suite au souhait ferme du président du Comité d Audit. Le modèle a évolué pour 39

40 combler quelques faiblesses détectées après son implémentation. Il est aujourd hui considéré comme adéquat par le département d AI. Société 5 Enfin, le cinquième département d Audit Interne relève du siège européen, basé à Bruxelles, d une société mère américaine d entreposage. Il réalise une grande majorité d audits opérationnels pour lesquels le modèle de scoring américain fut adopté en 2008 puis adapté aux spécificités du travail d audit en Europe. Ce modèle se décline à tous les niveaux de la méthode de travail. 40