Que nous apprennent vraiment les indicateurs. et pour quand les résultats? Richard Marceau

Transcription

1 Que nous apprennent vraiment les indicateurs et pour quand les résultats? Leçons à tirer du 1 er exercice de reddition de compte axé sur les résultats Richard Marceau Professeur ENAP Vice-président de la SQÉP

2 1 re leçon : les conséquences du choix des mots L ambiguïté de la notion de résultat dans la Loi sur l administration publique ¾ des rapports axés sur les processus et les extrants ¼ des rapports axés sur les effets

3 1 re leçon : exemples Processus : Nombre et type d activités élaborées annuellement conformément au Plan d action Extrants : Nombre d entreprises à risque auprès desquelles le ministère est intervenu Résultats ou effets : Avoir contribué à générer 2,3 milliards en investissements par nos interventions

4 2 e leçon : les indicateurs d état de situation sont un + Les indicateurs qui portent sur les situations ciblées par les interventions publiques enrichissent les rapports annuels en nous éclairant sur la pertinence des organisations publiques sur l état de la situation

5 2 e leçon : Exemple Exemple Nombre d enfants handicapés accueillis dans les services de garde : 1453 Éclairage sur la pertinence : assistance à une clientèle fragile sur l état de la situation : 1453 enfants handicapés sont accueillis dans des établissements reconnus

6 3 e leçon : Sémantique Au Secours Résultat? Effet? Extrant? Processus? Cible? Cible de résultat? Indicateur de résultat? Variable cible? Situation cible? Objectif? Atteinte des cibles? Atteinte des objectifs? Cible de l objectif?

7 3 e leçon : Sémantique Au Secours Propositions d un vocabulaire intégré Une intervention publique vise à corriger une SITUATION Cette situation devient la SITUATION CIBLE ou simplement la CIBLE (Variable-cible pour les opérationnels)

8 3 e leçon : Sémantique Au Secours Résultat : effet d une intervention publique sur la cible ou encore la contribution d une intervention publique à la situation (cible)

9 Cas typique d une intervention Scolarité des parents Capacités intrinsèques des élèves Revenu des parents Intervention publique MEQ Taux de diplomation

10 Effet de l intervention sur la cible Facteur externe B Facteur externe C Facteur externe A Intervention publique

11 3 e leçon : Conclusion étonnante Un indicateur de résultats : ÇA N EXISTE PAS Ce qui existe, ce sont des indicateurs de cible

12 Indicateur de cible : c est l oeuf Taux de diplomation

13 Résultat (ou l effet) sur : c est le jaune de l oeuf Fraction du taux de diplomation due aux facteurs externes au MEQ Résultat : Fraction du taux de diplomation due uniquement aux interventions du MEQ

14 4 e leçon : Alors comment connaître le résultat? Le jaune est logé dans l œuf comme le résultat est logé dans l indicateur de cible Il faut trouver un moyen pour extraire le blanc et libérer le jaune! En termes techniques : il faut une méthode / un devis Le résultat est l aboutissement d un calcul fait à l aide d indicateurs

15 Suggestion #1 de présentation de résultat Provient du plan stratégique Orientation 2 Contribuer à la croissance de l emploi chez les jeunes Objectif 5 Augmenter l emploi chez les ans Indicateur de cible Taux d emploi chez les Devis #1 Indicateur cible : Emploi chez les Effet sur cible % Objectif % sur le taux d emploi ou 3 % de contribution Avant Exposition à l intervention Après Groupe cible 62 % X 67% Groupe témoin 58 % 61 % Calcul du résultat de l intervention : (( ) - ( )) = 2 %

16 5 e leçon : Et les effets non prévus? Situations hors-cible Intervention publique Situationcible

17 Suggestion #2 de présentation de résultat Provient du plan stratégique Orientation 2 Contribuer à la croissance de l emploi chez les jeunes Objectif 5 Augmenter l emploi chez les ans Indicateur de cible Effet sur cible Objectif Indicateurs hors-cible Effets hors-cible Objectif hors-cible Taux d emploi chez les % 70 % sur le taux d emploi ou 3 % de contribution Taux d emploi chez les % 0%

18 Appelons UN CHAT UN CHAT! Réponse à la première question : Que nous apprennent les indicateurs? Les indicateurs nous renseignent sur l état de situation Réponse à la deuxième question: Et pour quand les résultats? Lorsque les évaluateurs se joindront pleinement à l exercice de reddition de comptes

19 Note de l Office de la langue française, 2003 On note que les expressions varient d un auteur à l autre, car le mode de gestion axé sur les résultats a fait naître un nouveau vocabulaire qui n est pas encore entièrement établi.