UNIVERSITE CATHOLIQUE DE LOUVAIN Louvain School of Management

UNIVERSITE CATHOLIQUE DE LOUVAIN Louvain School of Management Optimisation du modèle de scoring des rapports d'audit interne pour les organisations d envergure internationale Travail de fin d études présenté dans le cadre de l Executive Master in Internal Audit Par Adrien Maigre Sous la direction d Anne-Catherine Reul ANNEE ACADEMIQUE 2010-2011

Table des matières Table des matières... 2 1 Introduction : pourquoi un modèle de scoring?... 3 1.1 Un outil d agrégation de l information... 3 1.2 Le cas des entreprises à échelle internationale... 3 1.3 Définition du modèle de scoring... 4 1.4 Objectif et méthode d analyse... 4 2 Cahier des charges des modèles de scoring... 5 2.1 Les objectifs à atteindre... 5 2.2 Le cadre règlementaire... 6 3 Les acteurs de son implémentation... 6 3.1 L Audit Interne comme promoteur du scoring... 6 3.2 Quel modèle pour quelle maturité de management?... 7 4 Périmètre d application d un modèle de scoring... 8 4.1 Uniformiser la communication au plus haut niveau... 8 4.2 Changements de périmètres dans les sociétés d envergure internationale... 9 4.3 Cohabitation et influence de plusieurs périmètres... 9 5 Le choix des indicateurs du score... 10 5.1 Garantir la fidélité du score à l opinion du rapport d audit... 10 5.2 Rapport entre indicateurs et granularité du score... 11 5.3 Modèles de management des risques et modèles de scoring... 13 5.4 Corrélation entre indicateurs et performance des employés... 14 6 Obtenir un message clair et constructif : pertinence de l échelle... 16 6.1 Définir la taille de l échelle : auto-alimentation du modèle... 16 6.2 Nombre de valeurs pair et impair... 18 6.3 Quelle forme pour plus d impact?... 19 7 Élaboration du processus de calcul des résultats... 21 7.1 Déterminer et contrôler le score : outils automatisés... 21 7.2 Déterminer et contrôler le score : méthodes analytiques... 23 8 Agrégation des résultats : quelle méthode pour les sociétés d envergure internationale?... 24 8.1 L impact du score sur l exercice d évaluation des risques... 26 8.2 Principaux paramètres d agrégation : probabilité et impact... 28 9 Communiquer sur le modèle de scoring... 31 9.1 Formaliser la définition du modèle au sein de l Audit Interne... 31 9.2 Formaliser la définition du modèle au niveau macro... 32 9.3 Formaliser la définition du modèle au niveau micro... 33 10 Conclusion : les facteurs d un modèle adéquat... 34 Glossaire... 38 Annexe 1... 39 Présentation des sociétés analysées dans l étude... 39 2

1 Introduction : pourquoi un modèle de scoring? Le métier d audit interne nous stimule à mettre en pratique ce que nous prônons aux autres : travailler efficacement et économiquement. Nos méthodes et nos modèles administratifs sont de la plus grande importance pour garantir une gestion saine de notre travail et asseoir notre crédibilité. Cet ordonnancement du travail de l audit interne doit se refléter en toute priorité dans la qualité et la pertinence de la communication faite à nos principaux clients. 1.1 Un outil d agrégation de l information Afin d aider le management d une entreprise à prendre des décisions adéquates, le département d Audit Interne (AI) doit d abord avoir clairement identifié ses besoins d informations, tant en termes de qualité que de quantité. Dans toute entreprise, le rapport d audit doit permettre une bonne compréhension du type et de la fréquence des faiblesses identifiées dans le système de contrôle interne. Selon l IFACI (Institut Français de l'audit et du Contrôle Internes) 1, les attentes des administrateurs de sociétés consistent en une information synthétique, organisée et hiérarchisée leur permettant d utiliser efficacement les constats et recommandations de l Audit Interne. Or la quantité d informations émises par l AI dépend, entre autres choses, de la taille de l organisation, celle-ci influençant directement la taille de l univers d audit, les ressources mises en œuvre et, en conséquence, le nombre de rapports de missions transmis vers les destinataires finaux. 1.2 Le cas des entreprises à échelle internationale Pour de grandes entreprises d envergure internationale, la quantité d informations émises par le département d Audit Interne s oppose au temps limité dont dispose son principal destinataire pour les appréhender. Dans ce cas, un défaut de synthèse met en péril l efficacité des constats de l AI. La question d une organisation pragmatique de l information s impose. L émission d une grande quantité de rapports d audit justifiera souvent la mise en place de méthodes de synthèse afin de garantir, à tous les niveaux de l organisation, le caractère concis des messages et de ne pas mettre en péril la perception des résultats d audit. 1 Prise de position IFA/IFACI sur le rôle de l audit interne dans le gouvernement d entreprise, IFA et IFACI, Mai 2009, Chapitre 2.3, page 3. 3

1.3 Définition du modèle de scoring Devant la nécessité d agréger les résultats d audit, plusieurs méthodologies cohabitent et parfois s opposent. Dans le cadre d activités d audit interne conduites dans différents environnements juridiques et culturels, ou dans des organisations dont la taille et la structure sont plus complexes, un système organisé et hiérarchisé de classification des résultats est souvent mis en place sous la forme d un modèle de scoring. Le système (ou modèle) de scoring consiste en une méthode de communication des résultats d audit interne qui permet de simplifier la classification et de faciliter la communication des faiblesses du dispositif de contrôle interne. Il soutient cette communication des forces et des faiblesses identifiées mais il n a jamais pour objectif de se substituer au contenu du rapport final. 1.4 Objectif et méthode d analyse L objectif de cette étude est d identifier les pré-requis à la définition d un modèle de scoring, lors de son adoption, qui garantissent son utilisation efficace dans le cadre de sociétés d envergure internationale. L anglicisme «scoring», couramment employé par l AI, est un fait de langue dont la connotation habituelle est chiffrée. Toutefois, il est employé dans l étude au sens étymologique plus large de son synonyme en français : «score». Par «scoring», l étude fait chaque fois référence à tout score, qu il soit exprimé en caractères alphabétiques (lettres, mots), en caractères alphanumériques (chiffres) ou avec des pictogrammes («smileys», flèches, étoiles). Les termes «score» et «scoring», utilisés en alternance dans l étude, ont donc la même signification. La forme chiffrée des scores représente toutefois la majorité des exemples qui y sont présentés. La recherche s articule autour des principales étapes de la constitution et de la présentation d un modèle de scoring, que je propose de résumer en sept points : 1. Établir un cahier des charges 2. Identifier les rôles respectifs de l Audit Interne et de ses destinataires 3. Définir le périmètre d application d un modèle et son éventuelle déclinaison en sousmodèles 4. Déterminer les indicateurs de score à employer 4

5. Décider de la taille et des valeurs d une échelle pour chaque indicateur (paire/impaire, texte/chiffre/couleur) 6. Élaborer le processus de calcul des résultats du score (automatique, sur base d un jugement professionnel, avec ou sans revue de la hiérarchie d audit, soutenu ou pas par un outil de contrôle) 7. Choisir une formule d agrégation des scores en vue d en simplifier la synthèse au plus haut niveau de l entreprise 8. Mettre en place une politique de communication et d information du modèle de scoring au sein de l entreprise Pour chaque étape, j analyse, par comparaison, la capacité des modèles existants à atteindre les objectifs des organes de gouvernance tout en respectant les normes professionnelles de l Institute of Internal Auditors (IIA). Puis, sur la base des forces et des faiblesses constatées, je propose un modèle de scoring optimisé pour les sociétés d envergure internationale. Ensuite, j envisage la problématique d'une définition optimale d un modèle dans sa globalité. Cette étude s appuie sur une sélection de modèles existants. Tous sont issus de cinq départements d Audit Interne dont j ai rencontré les responsables en charge de la méthodologie de travail. La présentation de l échantillon de sociétés auxquelles il est fait référence dans cette étude se trouve en annexe au présent document. 2 Cahier des charges des modèles de scoring 2.1 Les objectifs à atteindre La pertinence de l utilisation d un modèle de scoring a toujours divisé la profession d audit interne. Cette différence d approche de l outil s explique par le grand contraste dans les besoins en information des différents clients de l Audit Interne. Au-delà du choix de l'application ou non d'un modèle de scoring pour formuler et communiquer une opinion globale, l Audit Interne doit s assurer, dans tout contexte, que le modèle de scoring qu il emploie permet de répondre : - aux exigences de la profession, telles qu elles sont formalisées par l IIA, - aux besoins et contraintes spécifiques du management de sa société, au Comité de Direction et au Comité d Audit. 5

Les composantes du modèle de scoring adopté par la société auront un impact majeur sur l atteinte des objectifs de communication à la direction. Il est important qu ils transmettent une information claire relative au périmètre audité mais aussi aux risques présents dans l organisation dans son ensemble. 2.2 Le cadre règlementaire Dans son Cadre de Référence International des Pratiques Professionnelles (CRIPP), l IIA n impose pas l adoption d un modèle de scoring et n en identifie donc pas non plus les composantes. Ainsi, à l image des rapports d audits, différents modèles de scoring sont déclinés au sein des entreprises. En revanche, l IIA définit plus globalement, dans ses Normes 2 et dans ses Modalités Pratiques d Application (MPA) 3, les critères que doit respecter l Audit Interne lors de la communication de ses résultats. La mise en place d un modèle de scoring devra donc soutenir une communication exacte, objective, claire, concise, constructive, complète et émise en temps utile. 3 Les acteurs de son implémentation 3.1 L Audit Interne comme promoteur du scoring L IIA précise 4 que les discussions avec les parties prenantes à la communication des résultats d audit interne pourront inclure la forme des avis devant être fournis à la direction de l organisation, les critères utilisés dans l expression d'opinions et le processus de notation à appliquer par rapport aux résultats de chaque mission. De ces trois éléments découlera ou non l adoption d un modèle de scoring. L IIA propose, dans son interprétation des règles de communication au management 5, que la forme et la fréquence de la communication des résultats soient discutées entre la Direction et le Directeur de l Audit Interne - ou Chief Audit Executive (CAE). Ce sont les organes de 2 2420 Qualité de la communication (Normes Internationales pour la Pratique Professionnelle de l Audit Interne), The Institute of Internal Auditors, 2011. 3 Modalités Pratiques d'application 2060-1, 2410-1 et 2420-1: Rapports à la Direction Générale et au Conseil, Contenu de la communication et Qualité de la communication, The Institute of Internal Auditors, 1er janvier 2011, pages 51, 52 et 91 à 94. 4 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, page 2. 5 Practice Advisory 2060-1: Reporting to Senior Management and the Board, The Institute of Internal Auditors, May 2010. 6

gouvernance qui décideront, en dernière instance, de la forme de communication à adopter, en la faisant correspondre au mieux à leurs besoins. Le CAE a pour rôle de guider la direction dans sa décision en lui fournissant informations et conseils, sur base de son expérience professionnelle et de sa connaissance de l organisation. Il construit et propose un modèle de scoring sur base des pré-requis que lui ont formulé le Comité d Audit (CA) et le Comité de Direction (CD) dont il obtient l approbation formelle. Un des CAE rencontrés, celui de la société 2, insiste sur l importance d une distinction claire entre son rôle de guidance et le pouvoir décisionnel de ses clients. Une bonne écoute, autorisant une formulation pertinente des besoins du CA et du CD, est primordiale. Si le choix de la forme des synthèses de résultats est laissé à ces instances, l acceptation du modèle en sera facilitée puisqu elle jouira d un appui de la plus haute sphère de décision de la société. Dans le cas de cette société, le CD et le CA ont entériné le modèle de scoring au point de demander à justifier de sa non-utilisation lors de missions plus restreintes. Le modèle y est considéré comme un élément majeur de la communication entre l AI et les CA et CD. Ainsi, il fait partie intégrante de la culture de contrôle de l entreprise. 3.2 Quel modèle pour quelle maturité de management? Le CAE d une autre société, la société 3, insiste sur le rapport direct qui existe entre la maturité des instances utilisatrices et la facilité d implémentation d un modèle de scoring. Mis en place à la fin des années 90, comme dans beaucoup d autres compagnies d assurances, son département d AI a échoué dans la mise en place d un modèle de scoring. Une volonté de travailler «by the book» a entraîné l application d un modèle sur la base des référentiels existants dans la profession plutôt que sur la base de la situation de la société et des besoins de sa direction opérationnelle. La collaboration avec l AI étant encore récente, l outil de présentation des résultats fut mal perçu par les audités qui assimilèrent cet indicateur de qualité du système de contrôle en place à une cote personnelle, à un jugement critique de leur travail. Sans notification claire et adéquate du contexte d utilisation du modèle, une communication constructive ne peut donc pas être atteinte. Le Comité d Audit, quant à lui, requiert une vue beaucoup plus globale de l entreprise et tend à se focaliser sur les principaux risques. Le CAE précise que le Comité d Audit de la société 3 est en faveur de l utilisation d un modèle de scoring au sein d une société de son envergure. 7

Actuellement, le CAE a fait le choix d utiliser le modèle de scoring appliqués pour les rapports d audit édités conjointement avec son partenaire français. Toutefois, il limite toujours l emploi du modèle au processus interne d évaluation intermédiaire. La cotation intermédiaire établie pour chaque thème des missions d audit est scorée mais pas la formulation définitive et globale de l opinion qu il publie dans les rapports finaux. En accoutumant la direction opérationnelle à l apparition de ce modèle, il entend la préparer à son utilisation lors de la formulation définitive des résultats. Le CAE doit initier la direction de sa société aux outils de formulation de l opinion de l AI. Il doit pro-activement mettre en place les outils de promotion du système de formulation des résultats qu il juge le plus adéquat pour sa société et pour son client. Dans le cas du choix d un modèle de scoring, il facilitera parfois son acceptation par une implémentation progressive de l outil dans la communication des résultats de missions. 4 Périmètre d application d un modèle de scoring 4.1 Uniformiser la communication au plus haut niveau L objectif de l utilisation d un modèle de scoring dans la formulation d une opinion est de tendre vers un langage unique et partagé au sein de l organisation. Dans un souci d uniformisation, il est important de se poser la question du périmètre d application du modèle choisi. Afin d accroitre la transparence et l efficacité de la communication, un modèle de scoring unique est, le plus souvent, appliqué à toutes les missions réalisées au sein d un même univers d audit, afin d assurer une cohérence dans la communication des résultats. C est le cas dans la majorité des sociétés à échelle nationale. Toutefois, dans le cas de sociétés d envergure internationale, il n est pas rare de voir se multiplier les départements d AI et, par conséquent, les univers d audit. La mise en place d un modèle de scoring devra donc tenir compte des impératifs d agrégation des résultats de missions, des besoins en information exprimés par le management du groupe ou de la société-mère mais aussi de la pondération des risques entre le groupe-mère et ses entités légales. 8

4.2 Changements de périmètres dans les sociétés d envergure internationale Toutes les sociétés n auront pas les mêmes exigences en termes de scoring du fait de leurs différents périmètres de couverture du département d AI. L adéquation d un modèle au périmètre auquel il s applique est donc cruciale et doit être remise en question de façon régulière. Cet exercice doit avoir lieu en particulier après tout changement de structure de l organisation ou tout changement majeur de l univers d audit, comme lors de fusions, de rachats ou de scissions. Les sociétés d envergure internationale doivent particulièrement mettre l accent sur cette adéquation modèle-périmètre, du fait de leur structure hiérarchique plus complexe et de la dispersion géographique de leurs activités d AI. Lors de la fusion de la société 1 avec sa société mère, il fut décidé de changer le modèle de scoring comme toute la méthodologie de travail pour l adapter à son nouveau périmètre d application. Les organes de gouvernance de la société mère se situant au plus haut niveau de l organisation, leurs besoins en information ont primé sur ceux du management local. La structure du département d AI de l entité fut donc réorganisée pour en faire l un des satellites géographiques du département principal d AI. 4.3 Cohabitation et influence de plusieurs périmètres La cohabitation de plusieurs périmètres d audit peut favoriser l implémentation ou le renouvellement d un modèle de scoring, avec une tendance constante à uniformiser le mode de communication au management. C est le cas de la société 3. L AI emploie un seul modèle de scoring pour toutes les entités auditées. Toutefois, le modèle choisi n y est pas imposé : il est encouragé par la pratique conjointe de deux départements d AI. Dans un même souci d uniformisation et d efficience, le département d AI de la société 1 a fait le choix d appliquer le nouveau modèle de scoring, imposé dans ses communications avec la société-mère, à ses communications avec le management de la société locale. Bien qu aucune consigne n ait été donnée au CAE dans ce sens, ce dernier a choisi de n appliquer qu une seule forme de communication aux différents destinataires de ses rapports. 9

A défaut de changer complètement le modèle de scoring, son périmètre d application peut parfois justifier son adaptation. Le département d AI de la société 4 couvre un périmètre très vaste et varié. Toutefois, un seul et unique modèle de scoring est appliqué dans la présentation de ses résultats de missions. Pour pouvoir couvrir tous les objectifs rencontrés dans l univers d audit, le modèle de scoring fut construit de la manière la plus large, à l aide d une liste d indicateurs qui ne varient jamais d une mission à l autre et correspondant chacun à un objectif de la mission. Lors de chaque audit, les objectifs non couverts, car non applicables à l audit en cours, sont exclus de l opinion émise par l AI. Le calcul de la valeur de certains indicateurs sera donc parfois non applicable. Pour une majorité de départements d AI, l adoption d un modèle de scoring, de par ses propriétés de synthèse, va de pair avec une uniformisation des rapports d audit au sein des différents périmètres audités. Dans tous les cas, l AI devra considérer la pertinence d une telle uniformisation en tenant compte des besoins liés à l exercice de synthèse des résultats, comme nous l abordons dans le chapitre 8.2 et, de façon plus détaillée, dans le chapitre 5.2. 5 Le choix des indicateurs du score 5.1 Garantir la fidélité du score à l opinion du rapport d audit Le choix d indicateurs est crucial lors de l élaboration d un modèle de scoring. Il peut autant favoriser que porter atteinte à l efficacité de la communication au sein de la société. Le choix du nombre d indicateurs aura une influence sur la granularité du score émis et le choix du type d indicateurs aura une influence sur sa pertinence. Tout système de score vise à synthétiser et à structurer, sur une échelle préétablie, l opinion globale de l Audit Interne sur la qualité du système de contrôle interne. Cet objectif découle naturellement des normes professionnelles de communication des résultats telles que stipulées par l IIA. Contrairement à une majorité de départements d AI, la société 4 utilisait, avant de mettre en place son modèle actuel, une cote sur l exposition au risque résiduel, sur la base d une échelle de trois critères. Cette cote était accompagnée d une liste des points forts, neutres et faibles relevés en cours de mission. Bien que cette information soit utile à la direction, elle reste incomplète et traduit une volonté de la direction de focaliser son attention sur les risques principaux de l organisation sans prendre en compte la non-efficience de son système de 10

contrôle interne. Par exemple, le rapport d audit d un département ne fonctionnant pas du tout, mais n impactant presque pas la société, présenterait un résultat «Low», ce qui n inciterait pas à la mise en place de mesures correctives. Il est donc primordial qu à l image de l opinion formulée dans le rapport final, tout modèle de scoring contienne au moins un indicateur portant sur la qualité du système de contrôle interne. 5.2 Rapport entre indicateurs et granularité du score Dans le cadre des organisations dont l univers d audit couvre de nombreuses filiales, la granularité du modèle de scoring souhaité sera de la plus haute importance. Celle-ci dépendra de nombreux facteurs, comme la taille et la diversité de l'univers d'audit, la structure du département d'audit Interne et la variété des types de missions planifiées. Pour pondérer, à l'échelle d'un grand groupe, l'évaluation première de la qualité du système de contrôle interne, on complète parfois le score final de critères supplémentaires de cotation 6. Ceux-ci ont pour objectif de replacer le résultat de chaque mission dans le contexte global d une société ou d un groupe. Ils prennent souvent en compte les notions de probabilité et d impact des risques identifiés. Le délai prévu d'implémentation des recommandations, la participation d'une entité spécifique à l'atteinte des objectifs fixés pour l ensemble de l organisation et la pondération du risque entre filiales au niveau de la société mère en sont quelques exemples. L AI de la société 2 utilise un modèle constitué de 3 indicateurs (cf. Figure 1): 1. Le premier (A) évalue la qualité des processus de gouvernance, de gestion des risques et de contrôle. Il s agit de l indicateur premier dont nous avons parlé dans le chapitre précédent (4.1). 2. Le second indicateur (B) représente le délai d implémentation des recommandations émises par l AI. 3. Le troisième et dernier indicateur du modèle (C) représente l importance relative, en termes de matérialité et de risques du processus audité pour l atteinte des objectifs fixés pour l ensemble de l organisation. Cette troisième mesure est une notion incluse dans l univers d audit et n est pas amenée à changer, sauf dans le cas exceptionnel d une découverte d un risque résiduel très élevé et 6 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors, Avril 2009. 11

inconnu avant la mission. Cet indicateur est donc le seul préétabli au début de la mission. Il classifie les résultats rencontrés par l organisation à partir de la criticité des risques identifiés, sur base de leur impact et de leur probabilité. Figure 1: Exemple de modèle de scoring à 3 indicateurs et échelles multiples En revanche, dans les sociétés d envergure internationale, il est important de pondérer également le poids d une société filiale par rapport à la société mère du groupe auquel elle appartient (exemple : pondération de la société 1 dans le groupe international qui l a racheté). On obtiendrait alors un modèle à 4 indicateurs : A (qualité du système de contrôle interne), B (délai d implémentation des recommandations), C (pondération de l entité auditée dans le périmètre de la société dont il fait partie) et D exprimé sur la même échelle que C (pondération de cette société dans le périmètre global du groupe qui l englobe). La Figure 2 illustre un exemple de ce quatrième indicateur du modèle de scoring. Aucune des cinq sociétés étudiées n utilise ce second niveau d évaluation de l importance relative bien qu il soit justifié par la structure des sociétés 1 et 5. D L M H Score 4 : BUSINESS RELEVANCE OF THE COMPANY Company of minor importance at group level Company of medium importance at group level Company of critical importance at group level (for survival of the business) Figure 2: Exemple de quatrième indicateur pour modèle de scoring à échelles multiples 12

Une complémentarité des indicateurs de score autorise une plus grande granularité des résultats. De plus, elle facilite le tri d information par le management. En se concentrant sur les audits dont les résultats des trois indicateurs sont les plus élevés, le CA et le CD s assurent de consacrer leur temps aux risques dont les conséquences pour la société sont potentiellement les plus élevés. 5.3 Modèles de management des risques et modèles de scoring Les résultats de missions d audit étant l une des sources d informations employée lors de l exercice d évaluation des risques, tout modèle de scoring a pour objectif de soutenir et de faciliter l utilisation de ces résultats. Aussi, dans les sociétés dont le département d AI possède une maturité élevée, une majorité de modèles s inspire de modèles de management des risques en entreprise tel Enterprise Risk Management (ERM) dans le choix de leurs critères d évaluation. Ce choix garantit une communication complète et fiable du résultat des missions mais il facilite aussi la mise à jour continue de l évaluation des risques et l établissement du futur plan d audit. Toujours dans l exemple de la société 2, on observe dans la Figure 3 que le modèle de scoring en vigueur est très fidèle au modèle ERM - également appelé COSO2 - dont il couvre totalement deux aspects sur trois. Figure 3: Correspondance entre modèle de scoring et structure COSO2 Le modèle de scoring employé au sein de la société 4 est, lui aussi, librement décliné du modèle ERM. Chaque rapport de mission est accompagné d une cotation s exprimant sur l atteinte ou non de 6 objectifs différents inspirés du modèle ERM. Un tableau à deux entrées 13

(cf. Figure 4) est utilisé avec les objectifs couverts par l Audit Interne ainsi que le résultat de l évaluation. Ce tableau est reproduit sur la première page de l Executive Summary. Persistent or persuasive weaknesses in control Significant room for control improvement Acceptable level of controls Well controlled Control Objectives x Quality of information x Safeguard of assets x Effectiveness x Efficiency x Compliance X (1) X (2) Figure 4: modèle de scoring inspiré des objectifs de COSO Le département d AI de la société 1, depuis sa restructuration, a renoncé à l utilisation d indicateurs multiples dans son résultat final. Il rend compte d un seul score général synthétisant la qualité du système de contrôle interne. En revanche, pour construire le résultat de ce score global, les auditeurs évaluent, sur la base de leur jugement professionnel, les données d un tableau reprenant les résultats de ce même score pour une série de familles de risques (cf. Figure 5) couvertes lors de la mission. Le tableau reprenant le score de chaque famille de risque est toujours joint au rapport final communiqué aux audités (cf. Figure 6). Figure 5: Liste des familles de risques pour lesquelles un score est calculé. 5.4 Corrélation entre indicateurs et performance des employés La question du rattachement des résultats de score à l évaluation individuelle des employés suscite des points de vue radicalement opposés au sein de la profession. Le CAE de la société 14

3 y voit une opportunité de justifier plus facilement l implémentation d un modèle de scoring. Il espère ainsi susciter l intérêt des audités pour les résultats d audit et les encourager à une mise en place rapide et efficace d actions correctrices. Au sein de la société 1, deux managers du département d AI se révèlent plus prudents et voient dans l utilisation du score comme outil d évaluation de la direction opérationnelle un réel danger d accès à l information sur les points négatifs. Ils rappellent qu un score n est pas à confondre avec un indicateur de performance (Key Performance Indicators ou KPI). Ils soutiennent que l AI prend le risque de voir ses audités lui cacher certaines données par peur des conséquences ou de leur impact négatif sur leur évaluation et, par conséquent, sur leur éventuelle rémunération variable. Une telle corrélation peut porter préjudice à la qualité de la relation entre auditeurs et audités. Pourtant, en communiquant son opinion générale au management, l AI rend compte des risques liés à un processus et non pas du travail des personnes qui le réalisent. Par ailleurs, cette confusion discrimine aussi les employés et les départements qui sont souvent ou peu souvent audités. Or, le planning des missions d audit est établi avant tout sur base des risques identifiés en amont et pas uniquement des missions ayant déjà été réalisées. Dans la pratique, ce lien entre évaluation des employés et scores d audit est plus souvent fait dans les petites et moyennes entreprises. Tandis que dans les plus grandes organisations, ce modèle est souvent influencé par la maturité des organes de gouvernance. Il n y a pas d implémentation idéale d un modèle de scoring mais bien plusieurs vérités. Comme pour l adoption d un système de scoring, c est au département d AI de promouvoir et d informer sur ce qu il estime être adéquat pour la société mais c est au Comité Exécutif seul de décider s il veut impacter les rémunérations sur base des scores de missions. En revanche, il est important que cette problématique soit abordée attentivement, en connaissance des risques, et dans le contexte de chaque société. Pour éviter cet emploi détourné du scoring tout en assurant une communication sur l attitude du management de terrain, l AI de la société 1 emploie un sous-critère supplémentaire, depuis l adoption du nouveau modèle de sa société mère. Son modèle est passé de 3 indicateurs à un seul mais une nouvelle donnée est ajoutée : «Quality of Management Action», qui permet de différencier l état des risques au sein d un département et les efforts fournis par le 15

management pour y remédier. Chaque score est ainsi exprimé en deux temps : un premier résultat rend compte de la qualité du système en place et un second de la qualité des actions prises par le management (cf. Figure 6). Un score général est ensuite établi par le chef de mission. Figure 6: Tableau d indicateurs intermédiaires avec la qualité des actions de la direction 6 Obtenir un message clair et constructif : pertinence de l échelle 6.1 Définir la taille de l échelle : auto-alimentation du modèle 7 Une difficulté qui découle de tout modèle de scoring est, pour le département d AI, de pouvoir justifier de façon très précise le résultat de chacune de ses évaluations. Plus la granularité de l échelle est grande, moins celle-ci autorise de marge d interprétation. Par conséquent, si le score autorise un classement plus rapide et plus pertinent des rapports d audit, il impose aussi de délimiter de façon claire et transparente les frontières qui séparent chaque résultat. 7 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitre 5, page 10. 16

A cet effet, l IIA stipule 8 que l organisation, avant de mettre en place une échelle de scoring, doit s assurer d avoir correctement défini ce qui constitue un niveau acceptable de performance. Un cadre de référence sera partagé entre AI et direction. Afin de définir la taille d une échelle de scores (le nombre de valeurs possibles qu elle contient), il faut tenir compte du nombre et des spécificités des activités de la société mais aussi de l écart maximum constaté entre les résultats des différentes missions d audit pour ce qui concerne la qualité du système de contrôle interne. Ainsi, la définition d une échelle de scoring adaptée à chaque société dépendra de la maturité de son département d AI. Cet exercice sera facilité par l existence de nombreux résultats de missions d audit déjà réalisées et par une évaluation à la fois complète et juste des risques encourus. Dans le cadre de la société 5, l unité délocalisée de l AI en Europe réalise beaucoup plus d audits de terrain, également appelés audits de sites. Ces audits sont réalisés de façon uniforme pour toutes les installations visitées. Aussi, en accord avec le siège américain, il a été décidé, d accroitre la précision du score final en multipliant les catégories scorées : de 10 à 14 par mission/rapport. L AI de la société mère a un droit de regard sur la méthodologie d audit européenne mais dans l ensemble, l unité locale garde beaucoup de liberté. De plus, l AI local a été contraint d adapter sa matrice annuelle de cotation à plusieurs reprises, notamment les frontières de chacun des trois indicateurs qu il emploie dans ses rapports, afin qu ils reflètent les risques identifiés de façon plus appropriée (cf. Figure 7). Rating Legend: 0% - 69% = unsatisfactory (U) 70% - 79% = needs improvement (N) 80-100%% = satisfactory (S) Figure 7: échelle du modèle de scoring de la société 5 Lors de la première implémentation d une échelle de scoring, l AI commence par définir son benchmark comme étant le juste reflet d une situation neutre (ni résultats excellents ni risques majeurs). L échelle des scores sera établie de façon symétrique à partir de cette référence. 8 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitres 3.3 et 5, pages 5 et 6. 17

Pour ces raisons, les échelles courtes sont privilégiées afin de: 1. Garantir la simplicité et la clarté du message à communiquer 2. Assurer le bon fonctionnement du modèle de scoring en limitant les changements de ses paramètres de calcul dans le temps La qualité moyenne du système de contrôle interne est susceptible, par exemple, de changer avec le temps. Cela risque de déplacer le score moyen obtenu lors des missions à la hausse ou à la baisse. Si la médiane du cumul des scores change, pour un même indicateur, une échelle trop détaillée ne garantit pas la pertinence des résultats d anciennes missions. Toute comparaison des résultats de missions sur le long terme perdrait son intérêt. Il faudrait alors dévaluer ou surévaluer les scores d audits déjà effectués pour les aligner sur la nouvelle situation de la société, ce qui s avère coûteux. L AI doit s assurer de proposer à la direction une échelle de scores stable sur le long terme. Dans toute société, un temps d adaptation de l échelle de scores aux résultats de missions sera nécessaire afin de la perfectionner. 6.2 Nombre de valeurs pair et impair L adoption d une échelle de valeurs paire ou impaire divise aussi la profession, en particulier lorsqu il s agit de s accorder sur la signification d une valeur centrale «neutre». Les départements d AI qui utilisent un système de scoring à échelle impaire, comme c est le cas pour la société 2, observent une tendance globale à évaluer la qualité du système de contrôle interne de façon neutre, en milieu de graduation (cf. Figure 8). Overview ratings (numbers) Overview ratings (percentage) 400 80,00 Number 300 200 100 2006 2007 Number 60,00 40,00 20,00 0 No rating Rating 1 Rating 2 Rating 3 Rating 4 Rating 5 0,00 No rating Rating 1 Rating 2 Rating 3 Rating 4 Rating 5 Rating Rating Figure 8: Répartition par résultat du total des scores de rapports d audit de la société 1 Un Audit Manager de la société 1, qui travaillait avec la même échelle auparavant, prône aujourd hui l utilisation d une graduation paire (cf. Figure 6). Il assimile un score neutre à une 18

absence de prise de position et, par conséquent, à une absence d opinion formulée par l Audit Interne. Il est convaincu que la réalité observée penche toujours légèrement vers un score positif ou négatif et que les destinataires d un rapport d audit, CA, CD ou Direction opérationnelle, attendent de l AI un avis tranché. A l opposé, mais pour les mêmes raisons, le CAE de la société 2 est convaincu du bien fondé de la valeur médiane et utilise trois échelles de valeurs impaires (cf. Figure 1). Il y voit le résultat de processus bien maîtrisés dans l ensemble, où persistent quelques faiblesses majeures. Il est d avis qu une cote intermédiaire rend compte de la réalité du terrain dans la majorité des audits réalisés. Très rares sont les départements ou processus, audités au sein de sociétés, qui sont excellents ou insatisfaisants. Indépendamment de l interprétation que l on fait de la valeur médiane d une échelle de scoring, toute échelle impaire offre l avantage de souligner auprès des CA et CD une distribution normale ou anormale des activités. Dans le cas de la société 2, une variation à la baisse sera un indicateur plus visible, pour le CAE, d un manque de criticité ou de variété dans le travail du département d AI. Une variation à la hausse peut rendre compte d une période d adaptation ou d implémentation de nouveaux processus, de changement pour la société. Dans ces deux exemples, le retour à la moyenne d une majorité des scores d audits peut souligner la fin d une phase de changement au sein de l entreprise. Le CAE de la société 2 emploie les données de variation par rapport à la médiane dans son travail de synthèse lors de la formulation de sa prise de position globale destinée au CA. Une échelle paire, quant à elle, focalisera davantage l attention sur les objectifs dont le résultat est clairement partagé entre positif et négatif. Dans l exemple du tableau de la société 4 (cf. Figure 4) l objectif «Conformité» est associé à deux scores, signifiant que l objectif était atteint pour certains points audités mais pas pour d autres. Une explication des différences et des points concernées par chaque demi-score seront joints au tableau. Le message transmis à la Direction est, dans ce cas, plus contrasté que l emploi d une valeur intermédiaire. 6.3 Quelle forme pour plus d impact? Une fois de plus, il n existe pas de bon ou de mauvais choix quant à la forme de restitution d un score sinon ceux allant à l encontre des besoins en information de la Direction. Dans la 19

pratique, deux des principes imposés par les normes professionnelles seront considérés pour toute communication de l AI 9 : la concision et la clarté. La concision incite l AI, pour la formulation de son opinion, à employer un minimum de signe, quelle que soit leur forme (lettres, chiffres, pictogrammes, couleurs). Ainsi, l AI des sociétés 3 et 4 a opté pour une forme textuelle condensée communiquée sans annotation. L utilisation d une forme textuelle dans la formulation d un score doit toujours être envisagée avec précaution et faire l objet d une discussion entre la Direction et l AI de la société concernant l interprétation faite par chaque partie des termes employés. L IIA argumente 10 ce point de vue en ajoutant que l utilisation de termes génériques comme «satisfaisant», «effectif» ou «insatisfaisant», peuvent porter atteinte à la clarté et à la complétude du message communiqué. Par exemple, la définition d une échelle de scoring adéquate permet en premier lieu de limiter ce risque d interprétation. D autres départements ont fait le choix d être encore plus concis mais, pour des raisons de clarté, accompagnent leur cote d une note explicative du symbole employé : l AI de la société 2 a opté, selon le critère, pour une combinaison de lettres et de chiffres et la société 5 n emploie dans ses rapports que des chiffres. Enfin, l AI de la société 1 combine des lettres avec des thèmes de couleurs dans le but d accentuer l impact de son message. Si la valeur ajoutée de ce modèle s observe au niveau de la micro-communication de l AI, lors de chaque mission d audit, elle se révèle surtout au niveau de sa macro-communication, lors de la mise à jour de l univers d audit ou de sa prise de position globale destinée à la Direction. Il est plus lisible d analyser une combinaison de couleurs dans un tableau agrégeant les données de très nombreux audits qu une combinaison de chiffres. Dans le cas de cette société aussi, une légende est communiquée avec le résultat afin d assurer une bonne interprétation du score. Un exemple de cette légende, lors de la phase de changement de modèle, se trouve dans le coin supérieur droit de la Figure 6. J aborde l importance de l utilisation d une légende dans le chapitre 8 : «Communiquer sur le modèle de scoring». 9 Chapitre 2.2: Le cadre règlementaire 10 Practice Guide - Formulating and Expressing Internal Audit Opinions, The Institute of Internal Auditors / IPPF, Avril 2009, Chapitre 5, page 6. 20