Que nous apprennent vraiment les indicateurs et pour quand les résultats? Leçons à tirer du 1 er exercice de reddition de compte axé sur les résultats Richard Marceau Professeur ENAP Vice-président de la SQÉP
1 re leçon : les conséquences du choix des mots L ambiguïté de la notion de résultat dans la Loi sur l administration publique ¾ des rapports axés sur les processus et les extrants ¼ des rapports axés sur les effets
1 re leçon : exemples Processus : Nombre et type d activités élaborées annuellement conformément au Plan d action Extrants : Nombre d entreprises à risque auprès desquelles le ministère est intervenu Résultats ou effets : Avoir contribué à générer 2,3 milliards en investissements par nos interventions
2 e leçon : les indicateurs d état de situation sont un + Les indicateurs qui portent sur les situations ciblées par les interventions publiques enrichissent les rapports annuels en nous éclairant sur la pertinence des organisations publiques sur l état de la situation
2 e leçon : Exemple Exemple Nombre d enfants handicapés accueillis dans les services de garde : 1453 Éclairage sur la pertinence : assistance à une clientèle fragile sur l état de la situation : 1453 enfants handicapés sont accueillis dans des établissements reconnus
3 e leçon : Sémantique Au Secours Résultat? Effet? Extrant? Processus? Cible? Cible de résultat? Indicateur de résultat? Variable cible? Situation cible? Objectif? Atteinte des cibles? Atteinte des objectifs? Cible de l objectif?
3 e leçon : Sémantique Au Secours Propositions d un vocabulaire intégré Une intervention publique vise à corriger une SITUATION Cette situation devient la SITUATION CIBLE ou simplement la CIBLE (Variable-cible pour les opérationnels)
3 e leçon : Sémantique Au Secours Résultat : effet d une intervention publique sur la cible ou encore la contribution d une intervention publique à la situation (cible)
Cas typique d une intervention Scolarité des parents Capacités intrinsèques des élèves Revenu des parents Intervention publique MEQ Taux de diplomation
Effet de l intervention sur la cible Facteur externe B Facteur externe C Facteur externe A Intervention publique
3 e leçon : Conclusion étonnante Un indicateur de résultats : ÇA N EXISTE PAS Ce qui existe, ce sont des indicateurs de cible
Indicateur de cible : c est l oeuf Taux de diplomation
Résultat (ou l effet) sur : c est le jaune de l oeuf Fraction du taux de diplomation due aux facteurs externes au MEQ Résultat : Fraction du taux de diplomation due uniquement aux interventions du MEQ
4 e leçon : Alors comment connaître le résultat? Le jaune est logé dans l œuf comme le résultat est logé dans l indicateur de cible Il faut trouver un moyen pour extraire le blanc et libérer le jaune! En termes techniques : il faut une méthode / un devis Le résultat est l aboutissement d un calcul fait à l aide d indicateurs
Suggestion #1 de présentation de résultat Provient du plan stratégique Orientation 2 Contribuer à la croissance de l emploi chez les jeunes Objectif 5 Augmenter l emploi chez les 18-29 ans Indicateur de cible Taux d emploi chez les 18-29 Devis #1 Indicateur cible : Emploi chez les 18-29 Effet sur cible 2001-2002 2 % Objectif 2001-2002 70 % sur le taux d emploi ou 3 % de contribution Avant 2000-2001 Exposition à l intervention Après 2001-2002 Groupe cible 62 % X 67% Groupe témoin 58 % 61 % Calcul du résultat de l intervention : (( 67 62 ) - ( 61 58 )) = 2 %
5 e leçon : Et les effets non prévus? Situations hors-cible Intervention publique Situationcible
Suggestion #2 de présentation de résultat Provient du plan stratégique Orientation 2 Contribuer à la croissance de l emploi chez les jeunes Objectif 5 Augmenter l emploi chez les 18-29 ans Indicateur de cible Effet sur cible 2001-2002 Objectif 2001-2002 Indicateurs hors-cible Effets hors-cible 2001-2002 Objectif hors-cible 2001-2002 Taux d emploi chez les 18-29 2 % 70 % sur le taux d emploi ou 3 % de contribution Taux d emploi chez les 55-65 -1% 0%
Appelons UN CHAT UN CHAT! Réponse à la première question : Que nous apprennent les indicateurs? Les indicateurs nous renseignent sur l état de situation Réponse à la deuxième question: Et pour quand les résultats? Lorsque les évaluateurs se joindront pleinement à l exercice de reddition de comptes
Note de l Office de la langue française, 2003 On note que les expressions varient d un auteur à l autre, car le mode de gestion axé sur les résultats a fait naître un nouveau vocabulaire qui n est pas encore entièrement établi.