Recherche sur les indicateurs de performance Emmanuelle Lussiez, UQAM sous la direction de Bernard Motulsky, titulaire de la Chaire Le 14 février 2012
Chaire de relations publiques et communication marketing Adresse postale : Case postale 8888, succursale Centre-ville Montréal (Québec) H3C 3P8 Canada Adresse géographique et messagerie : Chaire de relations publiques et communication marketing Pavillon AC, local AC-4100 1259, rue Berri Montréal (Québec) H2L 4C7 Contact : Pauline Breduillieard, associée de recherche breduillieard.pauline@uqam.ca Téléphone : (514) 987-3000, poste 0862 Télécopieur : (514) 987-0394 Adresse internet : www.crpcm.uqam.ca
Méthodologie de la Recherche Recherche bibliographique Consultation d'ouvrages jugés pertinents, particulièrement ceux de Thierry Libaert & André De Marco (Les tableaux de bord de la communication, 2006) et de Richard Thériault (La communication réseau, 2000). Recherche et consultation de divers rapports d'activité annuels. Compte-rendu des recherches effectuées et adaptation au cas demandé.
Plan de présentation 1. Pourquoi évaluer la communication? 2. Quelques définitions 3. Identifier les utilisateurs 4. Différents champs d évaluation 5. Identifier les objectifs de mesure de la performance 6. Conception, sélection et mise en page de l indicateur 7. Exemples d indicateurs pré-existants 8. Indicateurs spécifiques à l objet d étude 9. Evaluation de la «communication qualité» selon Thériault 10. Autres exemples: ville de Nantes, mission évaluation FSE, Ministère Budget France, enquête Vecteur Public, Inergie 11. Questions à soulever pour répondre à la demande
1. Pourquoi évaluer la communication? Evaluer la communication pour: - Améliorer la conception d'une stratégie de communication - Justifier les budgets accrédités - Mieux manager - Mieux décider - Légitimer et valoriser la place des communications dans une organisation Outil de pilotage nécessaire! «Evaluer les actions de communication, c est se donner les moyens de rendre compte de l utilisation des ressources, de mesurer les progrès mais aussi d améliorer l efficacité des actions» (Bessières, 2010)
1. Pourquoi évaluer la communication? Fausse idée reçue que «la communication ne se mesure pas» Or, l évaluation est toujours possible et presque toujours quantifiable Nécessité économique de l'efficacité: contexte de crise, budgets resserrés, demandes de retour sur investissement, contexte général de recherche de performance des organisations. Professionnalisation grandissante des indicateurs de performance venant s ajuster au développement des NTIC et d'internet (piste: mesurer évaluation via les réseaux sociaux?). Rigueur des pratiques de communication (organisation, prévision, gestion) dorénavant axée sur le management et l'évaluation. Ce qui se mesure est mieux défendu, particulièrement en contexte de tension sur le niveau de dépenses.
2. Quelques définitions λ Tableau de bord (TDB) = «outil d aide au management composé d indicateurs chiffrés, de synthèses, de graphiques et de commentaires» (T. Libaert). Pour chaque objectif fixé est défini un indicateur spécifique. Le TDB coordonne les équipe des communications et pilote les plans d action. λ Indicateur = représentation chiffrée d un phénomène qu on veut mettre sous contrôle. Il en existe plusieurs types: - Indicateur de pilotage - Indicateur d observation - Indicateur de résultats - Indicateurs de performance: doivent être capable de mesurer l atteinte des objectifs de communication et de rendre les résultats compatibles avec les autres indicateurs qualité. L'indicateur doit être pertinent, fiable et compréhensible.
2. Quelques définitions λ Evaluation : «vérifier, à partir de critères déterminés au moment de la définition des objectifs visés, que ces derniers ont bien été atteints.» (Libaert) Elle peut porter soit sur la qualité des techniques et des moyens utilisés, soit sur les performances des personnes, des équipes ou des prestataires. λ Performance: figure moderne de l'évaluation dans la sphère publique.
2. Quelques définitions L'évaluation en communication 4 critères d'évaluation d'une opération de communication: «Agrément, notoriété, attribution, compréhension» (Marshall, 2008) Evaluer efficacité, efficience, cohérence, pertinence. «Dans la plupart des ministères on n a pas choisi de faire entrer la communication explicitement dans le champ d évaluation des indicateurs de performance» (Bessières, 2010)
2. Quelques définitions L'évaluation en communication Toute action de communication doit être évaluée au moins à l'aide d'une analyse interne nécessitant aucun budget ou compétence particulière. Une évaluation ne se fait pas exclusivement après l'action. Elle peut se faire en amont (pré-test) ou en parallèle (monitoring). L'évaluation doit donc être planifiée à temps et les objectifs de l'action précisés à l'avance.
2. Quelques définitions L'évaluation en communication Sources: Les systèmes de mesure de la performance, Editions d'organisations, 1999.
3. Identifier les utilisateurs λ Avant d identifier les utilisateurs du TDB, il serait important d établir un inventaire des TDB pré-existants des différentes directions de l'organisation (afin qu'il y ait logique et cohérence dans la conception des indicateurs). Le TDB doit ainsi correspondre à la culture de l'entreprise évaluée. λ Identifier précisément les utilisateurs (Direction générale, Direction des Communications, chargés de com, autres prestataires et parties prenantes) afin d adapter chaque TDB aux attentes et besoins de chacun.
4. Différents champs d'évaluation possibles Que cherche-t-on à évaluer? Exemples: A. L image de l institution (communication institutionnelle) B. La communication interne C. Les relations presse D. Les relations publiques E. La communication de crise F. La publicité institutionnelle G. La communication financière H. Le mécénat, sponsoring I. La communication évènementielle et les sites Web
5. Objectifs d'évaluation λ λ λ Difficulté: ne pas mélanger les types et méthodes d'indicateurs (on ne mesure pas de la même manière un article rédactionnel et un message publicitaire) Il faut définir les indicateurs dès la conception du plan d action et des objectifs de communication. Pour ce, il faut pouvoir définir des objectifs quantifiables en action concrètes, préciser les cibles, fixer le périmètre géographique, les résultats à atteindre, l'échéance finale... Ex: Pas de «améliorer l image de l institution» Mais: «accroître de 10% le jugement entreprise qui réalise des progrès dans la protection de l environnement de la part de tel public situé à tel endroit»
5. Objectifs d'évaluation 3 catégories de mesure de la performance de la communication: - Mesures directes d éléments tangibles ex : nombre de communiqués de presse diffusés, nombre d articles publiés dans la presse, nombre de consultation de l Intranet (et leur répartition par thèmes), nombre de demandes d information, nombre de clients après une campagne etc. - Mesures relatives ex : sondages et études d opinion ; elles peuvent s exprimer soit en classement (ex : ordre de préférence) soit en pourcentage (ex : pourcentage de personnes ayant une même opinion). - Mesures par traitement mathématique ex : calcul de médianes des écarts-types, courbe de Gauss
6. Conception, sélection et mise en page de l'indicateur Conception des indicateurs (Libaert): Définir le champ de la mesure Déterminer les objectifs à atteindre (SMART = Spécifique, Mesurable, Ambitieux, Réalisable, Temporel) Identifier les critères et établir leurs paramètres Composition de l indicateur Définir l'unité de mesure: comptage, taux, ratio, notation ou indice? Evaluation de leur faisabilité Formalisation du système
6. Conception, sélection et mise en page de l'indicateur 1. Composants de l indicateur (Libaert): - intitulé de l indicateur - objectif communication à mesurer - définition précise de la mesure - modalités de calcul - fréquence de relevé - responsables de la mesure - mode de représentation (chiffre, symbole, graphique) - utilisateurs - mode et calendrier de diffusion des données.
6. Conception, sélection et mise en page de l'indicateur 2. Choix de la mise en forme de l indicateur (Libaert): - Pictogramme - Histogramme - Graphiques - Secteurs - Camemberts - Radars - Mapping Chaque mise en forme peut correspondre à des besoins particuliers.
6. Conception, sélection et mise en page de l'indicateur Grille de sélection de l indicateur: Nom de l indicateur Indispensables : note de 0 à 5 le besoin réel de l indicateur Données existantes : noter si elles sont naturellement disponibles ou si elles nécessitent une recherche spécifique Quantité de travail nécessaire : évaluation du travail en temps et en coût Taux de fiabilité / Taux de compréhensibilité Taux de facilité de mise en œuvre Coût : addition des 4 colonnes pour avoir une estimation finale (le cabinet Occurrence estime par exemple qu il faudrait tendre un ratio de 5% du budget com à la mesure de sa performance)
7. Exemples d'indicateurs pré-existants (Libaert) 1. Sondages / baromètres 2. Enquêtes qualitatives 3. Indicateurs de volume en communication externe 4. Analyse des signes 5. Veille stratégique en intelligence économique
7. Exemples d'indicateurs pré-existants (Libaert) 1. Sondage: permet de mesurer par exemple la notoriété, l image de l institution, les actions de parrainage, le climat social interne, les efficacités d actions évènementielles (on mesure le dynamisme, confiance, gestion, compétence, proximité, efficacité, qualité, innovation, écoute, éthique, modernisme, bénéfice, information, social). Le sondage peut être aléatoire, stratifié, en grappe ou systématique Limites: ne décèle jamais l opinion réelle (écarts méthodologiques et psychologiques), coût important, n'est jamais prédictif. Méthode figée et lente.
7. Exemples d'indicateurs pré-existants (Libaert) 2. Enquêtes qualitatives : - Enquête écrite, téléphonique ou électronique - Face-to-face par entrevue, focus groupe, observation ou expérimentation. Limites : l entretien ne fournit pas d indicateur chiffré, il ne fait qu'identifier les problèmes, attentes, divergences et blocages. Temps de préparation, de réalisation, et d'analyse des résultats lent. Il peut cependant ouvrir sur de nouvelles pistes de recherche. Enquête écrite < téléphonique < électronique (rapidité et facilité de mise en oeuvre)
7. Exemples d'indicateurs pré-existants (Libaert) 3. Indicateurs de volume (particulièrement utilisés en communication externe): Informations quantitatives brutes Outputs: nombre de rapports d activité diffusés, nombre de communiqués de presse envoyés, nombre d opération de mécénat, nombre de salons faits, nombre d encarts publicitaires achetés, nombre d opérations de relations publiques réalisées, nombre de pages web mises en ligne. Occurrence rencontres cible / message: nombre de participants aux conférences réalisées et aux opérations de relations publiques, nombre d articles de presse publiés, nombre de coupons-réponses reçus après insertion, nombre et origine par catégories de clicks sur site web, nombre d appels téléphoniques sur numéro vert, nombre de contacts opérés par la campagne publicitaire (unité de mesure : Gross rating point)
7. Exemples d'indicateurs pré-existants (Libaert) 4. Analyse des signes Etant donné que la diffusion de l image d entreprise est à 80% non-verbale, il faut pouvoir évaluer la performance de la perception sélective, notamment en communication externe (ex: perception sélective, accueil téléphonique, architecture bâtiments etc. ) Outils de travail: sémiologie, sémiométrie, analyse de contenus, fréquence d apparition de mots en relations presse etc. 5. Veille stratégique: prise en compte du positionnement concurrentiel.
8. Indicateurs spécifiques à l'objet d'étude A. La communication institutionnelle B. La communication interne C. Les relations presse D. La communication de crise E. La publicité institutionnelle F. La communication évènementielle et les sites Web
8. Indicateurs spécifiques à l'objet d'étude A. Evaluation de la communication institutionnelle: Etude de notoriété, étude d'image, diagnostic e-réputation, analyse des outils de communication, étude de lectorat... Ex d indicateurs: classement, indice image, taux de citation, indice notoriété, baromètre notoriété, pré-tests, médiascopie, mesures d audience, sondages (téléphonique ou e-sondage), tracking, TRIM Corporate Reputation Radar, enquête de logo, enquête de nom, enquête de signature.
8. Indicateurs spécifiques à l'objet d'étude Evaluation de la communication externe avec parties prenantes Types d évaluation: respect des délais (implication), respect des budgets (disponibilité), contribution à la fluidité des informations (réactivité), qualité du suivi et du reporting, qualité des documents présentés, impact d un outil de com, diverses réactions à une décision mise en œuvre, identifier dans l opinion les freins ou les points d appui
8. Indicateurs spécifiques à l'objet d'étude B. Evaluation de la communication interne (½) Objectifs de mesure: climat social (écoute réciproque, dialogue, considération, reconnaissance), adhésion au changement, réponses aux attentes des salariés, motivations ou engagement du personnel, qualité des canaux d information, de consultation et d expression, analyse du comportement des salariés, analyse de la typologie des salariés, performance des outils de communication Outils de mesure: baromètre d opinion interne, phase qualitative, questionnaire (au cours d une réunion, à remplir seul, par téléphone, entretiens face à face, e- sondage)
8. Indicateurs spécifiques à l'objet d'étude B. Evaluation de la communication interne (2/2) Evaluation des outils et supports de communication: 1. Analyse des supports écrits ; audit des médias internes : «qui lit quoi?» 2. Analyse du lectorat et de la diffusion des informations 3. Evaluation des réunions et de leurs contenus: taux d'assiduité et de participation, implication des participants, fréquence et durée des réunions 4. Audit de culture interne : méthodologie mixte 5. Consultation de l Intranet. 6. Evaluation du réseau de correspondants (fluidité de la communication)
8. Indicateurs spécifiques à l'objet d'étude C) Evaluer les relations presse (½) 1. Analyse de la diffusion Types d indicateurs: nombre de conférences de presse, nombre d interviews, nombre de communiqués de presse, dénombrement des réponses quotidiennes aux demandes des journalistes (faire comparaisons temporelles et concurrentielles). 2. Analyse des retombées médiatiques Types d indicateurs: étude comparée du nombre de messages publiés par rapport à l ensemble des citations de l institution, travail lexicographique de dénombrement de signes positifs ou négatifs. Cette étude est à mettre en rapport avec l OVE (Occasion de voir ou entendre) afin de fournir le score UBM (Unité de Bruit médiatique) correspondant.
8. Indicateurs spécifiques à l'objet d'étude C) Evaluer les relations presse (2/2) Modèle de Lindemann et de MacNamara: Processus d évaluation des relations presse en 3 temps: émission, transmission et effet des messages. Important: toujours prendre en compte l état de la relation institution / média. TDB mensuel ou trimestriel. Il doit comprendre: Volume d articles publiés, évolution et comparaison avec concurrents Visibilité médiatique par support Visibilité médiatique par thèmes
8. Indicateurs spécifiques à l'objet d'étude D. Evaluer la communication de crise Types d indicateurs: Avant: sensibilisation des cadres dirigeants, nombre de simulations, formation, gestion de risque Pendant: diffusion des informations, communication avec les parties prenantes, taux de réponse téléphonique, mail Après: mise en place du retour d expérience (REX), mise en place des mesures correctrices suite au REX, enquête d image
8. Indicateurs spécifiques à l'objet d'étude E. Evaluer la publicité institutionnelle Exemples d indicateurs: prétests, eye-tracking, day after recall, folder, split run, médiascopie, tracking. Exemples d évaluation: évaluation des résultats obtenus par rapport aux objectifs fixés, évaluation de l audience estimée, évaluation technique (score de reconnaissance, score d impact, score spécifique, score d attribution, score d agrément, compréhension, acceptation, rétention, action)
8. Indicateurs spécifiques à l'objet d'étude F. Evaluer la performance des sites Internet Deux types de mesure: 1) Mesures de fréquentation: nombre de visites, nombre de pages vues, ventilation par rubrique consultées, origine géographique des adresses IP, origine d entreprise etc. 2) Mesures d audience: quantifier et qualifier les internautes (par sondage). Elaborer profil des internautes. Types d indicateur: baromètre e-corporate (de crmmetrix) conçu par Bernard Tavernier. Evaluation à l'aide d'une check-list (conformité technique) ou analyse des logfiles (fichiers statistiques permettant d'évaluer l'utilisation du site).
9. Evaluation de la «communication qualité» selon Thériault L évaluation de la communication s établit selon 4 rubriques: - Coûts - Productivité - Efficacité & efficience - Implantation des 8 principes du management qualité «Mesurer la communication qualité, c est non seulement mesurer le niveau de connaissance ( ) mais c est aussi mesurer l efficacité de la diffusion de l information» (Thériault).
9. Evaluation de la «communication qualité» selon Thériault Thériault propose un mode d évaluation qui distingue la capacité du processus diffuser de sa rétention, c est-à-dire de l acquisition de connaissances par les personnes identifiées à chaque système. Répartition des indicateurs: A. Indicateurs dont les résultats impliquent des correctifs prioritaires immédiats B. Indicateurs dont les résultats impliquent des correctifs moyennement importants C. Indicateurs à maintenir (représentants facteurs de performance du réseau de communication) Pour lui, ces mesures seront évaluées par entretiens, questionnaires ou focus groupes uniquement.
9. Evaluation de la «communication qualité» selon Thériault 8 indicateurs de performance proposés: - 3 indicateurs du message: information, rétroaction et fréquence - Evaluation selon 4 catégories du message: «DEFI» (Connaissances Dynamiques, Externes, Fondamentales ou Internes) - Ex: Objectifs de l ets, du service, clientèle, partenaires, produits, mission de l ets, mission de la Direction, politique qualité, méthode, structure, priorités etc. - 4 indicateurs de l émetteur: quantité, qualité, cohérence, accessibilité - Evaluation selon 4 types d émetteurs («CALE»: émetteurs Coaxiaux, Axiaux, Leader ou Externes) - Ex: Equipe, service, clientèles, partenaires, produits, mission de l ets, mission de la Direction, politique qualité, méthode, structure, priorités etc. - 1 indicateur de moyen: le vecteur - Evaluation selon 4 catégories des moyens de communication («POID»: moyens Passifs, Ouverts, Interactifs, Dédiés) - Ex: Lettre, affiche, babillard, bornes interactives, réunions diverses, Intranet, Extranet etc.
10. Exemple de la Ville de Nantes Le rapport annuel de 2010 de la ville précise les mesures d'évaluation qui ont été effectuées en communication interne: Analyse des effectifs permanents, mouvement du personnel, formations déployées, développement des compétences, pilotage de la masse salariale, aménagement du temps, absentéisme, conditions de travail, bilan dispositifs d écoute Evaluation des actions: réalisations de publications périodiques, animation de la page d accueil, développement de la com de proximité, accueil des nouveaux agents, accueils des nouveaux cadres, visites de sites et d équipements Mesure du dialogue social: représentativités des organisations syndicales, instances paritaires Evaluation des différentes mesures mises en place de lutte contre la discrimination (mesurer la diversité et mixité de l emploi)
10. Exemple de la Ville de Nantes Objectifs: coordonner les services des collectivités, améliorer la cohérence de l action publique locale. Création du SIAD (Système d information décisionnel): illustration de l amélioration de la performance. En ce qui concerne la mesure du climat interne: mesurer l absentéisme, accidents de travail, bilans de compétence, congés de formation professionnelle, formation d intégration et de professionnalisation, mobilité interne, correspondances internes Mais le rapport annuel ne précise pas la méthodologie employée et les types d'indicateurs proposés
10. Autres exemples Cas du Service de la Communication commun aux ministères de l'economie et du Budget (France): en 2008, le nouveau directeur structure une grille d'indicateurs (logique inspirée du secteur privé): Source: Bessières, 2010. Ex:
10. Autres exemples Cas de la Direction Générale pour l'armement (France) qui entreprend en 2002 une évaluation par reporting: évaluation de satisfaction par questionnaire (communication évènementielle), en interne en termes de respect des délais et des coûts. Cas de la mission d'évaluation du FSE (Fonds Social Européen): lors de son rapport annuel de 2009, le FSE a effectué une campagne d'évaluation des communications (double objectif: opérationnel & stratégique). Objectif: réaliser un bilan raisonné des actions de communication. Méthode: entretiens de cadrage au niveau national (puis zoom sur responsables communication de 4 régions). Méthode basée sur travaux de collecte et d'entretiens.
10. Autres exemples Enquête Vecteur Public sur les pratiques et méthodes d'évaluation des communications dans les collectivités territoriales en France: L'enquête montre que sur l'ensemble des collectivités territoriales ayant réalisé une évaluation de leur communication au cours de ces 5 dernières années: - 62% ont évalué le magasine ou le journal de la collectivité - 54% ont évalué le site Internet de la collectivité - 22% ont évalué un ou plusieurs évènements - 18% ont évalué les stratégies de com externes - 14% ont évalué les outils de communication interne - 12% ont évalué les relations presse (Source: Vecteur Public, enquête 2010)
10. Autres exemples La même enquête met en avant la diversité des méthodes utilisées: - 54 % des collectivités ont utilisé un questionnaire papier - 35% ont utilisé l'analyse des statistiques du site Internet - 25 % ont pratiqué des enquêtes qualitatives - 25% ont pratiqué des enquêtes téléphoniques - 25% ont pratiqué des enquêtes via Internet - 15% ont utilisé des études sur les retombées presse - 8% ont effectué des analyses sémantiques des outils => Le papier apparaît comme l'outil incontournable de l'évaluation, malgré le temps de traitement et le coût qu'il génère. (Source: Vecteur Public, enquête 2010 Benoît de Vasson directeur fondateur)
10. Autres exemples Inergie, cabinet indépendant de conseil en management, propose comme outils et mesures d'évaluation: - Le barocom: baromètre de communication interne Méthode qualitative (étude lectorat du journal interne, analyse des pratiques d'information et des attentes par cible, analyse du contenu et de la perception des supports): entretiens individuels ou focus groupe. - Le baroclim: baromètre de climat interne Méthode quantitative par questionnaire fermé (40 à 60 questions d'opinion sur échelle à 4 niveaux de satisfaction)
11. Questions à soulever Savoir précisément ce que vous cherchez à évaluer afin de trouver l'indicateur adéquat: - quel type de communication souhaitez-vous évaluer? - voulez-vous évaluer la performance et la prestation de la communication, celle des outils, des stratégies ou encore des supports de communication? Dresser une liste des utilisateurs principaux Dresser une liste des éventuels indicateurs ou TDB pré-existants Quelle finalité? Ces indicateurs auront-ils pour but d'être publiés ou diffusés auprès des salariés, aux autres services ou parties prenantes? Ou resterontils confidentiels?
11. Questions à soulever Quel serait le budget consacré à l'évaluation de la performance? A quelle fréquence préférez-vous que votre évaluation soit réalisée (mensuelle, trimestrielle, annuelle, ou de façon ponctuelle?) Avez-vous une préférence dans le type, la forme et l'unité de l'indicateur? En comptage (unités), en taux (pourcentage), en ratios (rapports entre quantités d'unités différentes), en notation (appréciation obtenue par grille) ou en indice? Quelle est la typologie de l'intranet utilisé? Audit du journal interne? (distribution, lectorat, fréquence de diffusion et de lecture, circularité des informations, maquette et cahier des charges liés à la publication etc.) Avez-vous recours à d'autres éventuels supports médiatiques? (SMS, réseaux sociaux, blogs...)
Recherche effectuée en janvier 2012 par Emmanuelle Lussiez, sous la direction de Bernard Motulsky motulsky.bernard@uqam.ca emmanuellelussiez@yahoo.fr