Évaluation sommative du Programme d immobilisations et d entretien

Transcription

1 Rapport final Évaluation sommative du Programme d immobilisations et d entretien (Numéro de projet : 08045) Date : Février 2010 Direction générale de l évaluation, de la mesure du rendement et de l examen Secteur de la vérification et de l évaluation

2 Table des matières LISTE DES TABLEAUX ET FIGURES... 4 LISTE DES ACRONYMES... 1 RÉSUMÉ... IV Introduction... iv 1.0 INTRODUCTION But et portée de l évaluation Enjeux de l évaluation Approche MÉTHODOLOGIE Examen des documents et des données Analyse documentaire Entrevues avec des informateurs clés et groupes de discussion Études de cas Défis et contraintes PROFIL DU PROGRAMME D IMMOBILISATIONS ET D ENTRETIEN Contexte et objectifs du programme Rôles et responsabilités Procédures d allocation du financement Ressources financières CONSTATIONS DE L ÉVALUATION Résumé de la pertinence et de la justification des constatations Respect des priorités et des objectifs du gouvernement fédéral Pertinence Liens entre les programmes Conception : Résumé des constatations Clarté des objectifs et des résultats attendus du programme Priorités et uniformité des résultats nationaux Limites de la conception de programme Comparabilité du Programme d immobilisations et d entretien et du Programme d infrastructure municipale Prestation : Résumé des constatations Régime de gestion du rendement Efficacité de la prestation du programme Variations dans la prestation du programme d une région à l autre Réussites et répercussions : Résumé des constatations Atteinte des objectifs Obstacles et influences externes du programme Leviers financiers Rapport coût-efficacité et solutions de rechange : Résumé des constatations Rapport coût-efficacité Pratiques exemplaires Solutions de rechange et améliorations... 37

3 5.0 CONSTATIONS, CONCLUSIONS ET RECOMMANDATIONS Constatations et conclusions Recommandations ANNEXE A - DONNEES... 43

4 Liste des tableaux et figures Tableau 1 : Nombre de répondants par groupe et par région... 5 Figure 1 : Allocations de l Administration centrale aux régions Tableau 2 : Dépenses du programme par catégorie de biens ( à ) Figure 2 : Dépenses totales du programme par catégorie de biens Tableau 3 : Rendement des indicateurs relatifs à l eau potable et aux eaux usées ( à ) 29 Tableau 4 : Niveau de risque des services d eau potable et d eaux usées ( à ) Tableau A1 : Ventilation en pourcentage des dépenses du programme par catégorie d immobilisations ( à ) Tableau A2 : Inventaire des logements jugés adéquats dans les réserves ( à ) Tableau A3 : Nombre de logements adéquats dans les réserves par région ( ) Tableau A4 : Unités de logement dans les réserves n ayant pas accès à des services d alimentation en eau potable ou d élimination des eaux usées ( à ) Tableau A5 : Nombre d unités de logement par région n ayant pas accès à des services d alimentation en eau potable ou d élimination des eaux usées ( à ) Tableau A6 : Nombre de collectivités ayant une électrification adéquate ( à ) Tableau A7 : Nombre de collectivités ayant une protection adéquate contre les incendies ( à )... 47

5 Liste des acronymes AC AINC CNGI DGEMRE EGF F et E FIPN MJANR PILT PTPNI RMR SCHL SGPI SIBI SIGI SNCP SRCB Administration centrale Affaires indiennes et du Nord Canada Conseil national de gestion des immobilisations Direction générale de l évaluation, de la mesure du rendement et de l examen Entente globale de financement Fonctionnement et l entretien Fonds d infrastructure pour les Premières nations Mise à jour annuelle des niveaux de référence Plan d immobilisations à long terme Paiements de transfert aux Premières nations et aux Inuits Rapport ministériel sur le rendement Société canadienne d hypothèques et de logement Système de gestion des projets d immobilisations Système d inventaire des biens immobiliers Système intégré de gestion des immobilisations Système national de classement des priorités Système de rapport sur la condition des biens

6 Introduction Résumé Le Programme d immobilisations et d entretien aide les Premières nations à maintenir des collectivités saines, sécuritaires et durables. Les objectifs opérationnels du programme sont de faire des investissements en vue d optimiser le cycle de vie des biens, de diminuer les risques pour la santé et la sécurité, de veiller à ce que les actifs respectent les codes et les normes applicables et de veiller à ce que les actifs soient gérés de façon rentable et efficace. Pour atteindre ces objectifs, le programme aide les bénéficiaires admissibles à acquérir, à construire, à exploiter et à entretenir des infrastructures de base dans leur collectivité. Le programme fournit également de l aide financière afin d aider les bénéficiaires admissibles à assurer la prestation des programmes de logements communautaires ainsi que des services conseils en vue d aider les Premières nations à remplir leurs rôles et leurs responsabilités. Le but de la présente évaluation est d évaluer la pertinence, le rendement et l efficacité du programme par rapport aux initiatives actuelles en matière de politiques. Elle porte sur une période de cinq ans (de à ), durant laquelle 5,2 milliards de dollars a été investi dans le programme. La portée de l évaluation a été limitée à évaluer les activités et les politiques misent en œuvre pendant le période identifié ci-dessus. Méthodologie Les constatations de l évaluation s appuient sur différentes sources de données : des documents; des données financières et administratives; une analyse documentaire; des entrevues avec des informateurs clés (13 fonctionnaires de l Administration centrale (AC) des Affaires indiennes et du Nord Canada (AINC) et 72 fonctionnaires des bureaux régionaux); des entrevues avec des informateurs clés (42 représentants de 39 Premières nations); des entrevues avec des informateurs clés (14 représentants d organisations de Premières nations); des études de cas dans 31 collectivités de Premières nations; deux groupes de discussion avec : o des membres de conseils tribaux de partout au pays, et o des grands chefs de Premières nations. iv

7 Constatations de l évaluation Faits saillants Le programme reste pertinent L évaluation a confirmé la pertinence du programme et sa conformité aux priorités et objectifs d AINC et du gouvernement fédéral. Le programme, qui offre un apport important aux Premières nations en les aidant à acquérir, exploiter et entretenir des infrastructures de base, contribue à maintenir des collectivités saines, sécuritaires et durables. Sans le financement du programme, de nombreux projets d infrastructure n auraient pas été possibles. Les rôles sont bien compris Les rôles, les responsabilités et la terminologie sont généralement bien compris, particulièrement par les responsables de programme chevronnés d AINC et des Premières nations. Le processus décisionnel et l allocation des fonds respectent les critères nationaux Le processus décisionnel pour l allocation du financement est conforme aux priorités nationales dans toutes les régions. Toutes les régions utilisent d ailleurs le Système national de classement des priorités d AINC pour prendre les décisions relatives à l allocation du financement. Toutefois, une exception a été notée : à la fin de l exercice, certaines régions allouent les fonds excédentaires à des projets qui peuvent être terminés rapidement et qui pourraient ne pas entrer dans les catégories les plus prioritaires. Le programme s attaque aux secteurs les plus prioritaires Le programme semble atteindre ses priorités absolues, mais il y a peu de financement pour les problèmes moins prioritaires. Un progrès important a été fait concernant l atteinte de la priorité des priorités en matière d eau potable : assurer l accès à de l eau répondant aux normes actuelles de sécurité. Le programme a aussi financé des projets d élimination des eaux usées ces dernières années. Les répondants des Premières nations, bien que reconnaissant l importance de ces secteurs prioritaires, considèrent le logement tout aussi prioritaire, sinon plus. La prestation régionale varie en ce qui concerne le fonctionnement et l entretien (F et E) et les immobilisations mineures, mais les différences n ont pas de répercussions sur le rendement du programme L allocation pour le financement des dépenses d immobilisations majeures est similaire dans la plupart des régions. La prestation des volets «F et E» et «immobilisations mineures» du programme varie toutefois d une région à l autre. La réussite du programme ne semble pas être liée aux modes de prestation de programme. Par ailleurs, d autres facteurs, comme la proximité de la collectivité d un centre urbain, l expertise et la participation du conseil tribal et sa capacité à générer ses propres sources de revenu, ont une incidence sur le rendement du programme. v

8 L avancement des projets est contrôlé, mais le rendement est peu mesuré Toutes les régions contrôlent les projets à un degré divers, mais les mesures du rendement sont limitées. Le contrôle des immobilisations majeures semble être adéquat dans toutes les régions, mais il manque d uniformité dans le contrôle du financement des projets d immobilisations mineures et du F et E. De grandes améliorations pourront être apportées à la mesure des indicateurs de résultats lorsque le Système intégré de gestion des immobilisations sera pleinement implanté dans les régions. Le Ministère, qui poursuit ses efforts en vue de régler tous les problèmes du système, s est engagé à former les utilisateurs afin qu ils puissent saisir les données relatives aux dépenses et à l état des biens de leur inventaire régional, à les contrôler et à préparer des rapports. Il y a une inquiétude généralisée du niveau de financement pour le F et E prévu dans le programme Partout au pays, les représentants des Premières nations et les fonctionnaires d AINC sont préoccupés par le fait que le financement du F et E est insuffisant. Certains sont aussi préoccupés par la formule utilisée pour calculer le budget de F et E, les augmentations annuelles permises et le fait que les manuels de référence des coûts sont dépassés et ne tiennent pas compte des coûts réels dans les collectivités rurales ou éloignées. De plus, les Premières nations souhaitent plus de transparence quant au processus d allocation du financement et une meilleure coordination entre le moment choisi pour allouer le financement et la saison de la construction. Les communications entre les Premières nations et les bureaux régionaux pourraient être améliorées Il y a place à de l amélioration dans certains domaines, comme les communications entre les Premières nations et les bureaux régionaux et les délais de financement des projets. D après certains répondants, le haut taux de roulement du personnel et le faible niveau de transfert des connaissances seraient à la base des problèmes de communication. L optimisation des ressources est évalué à partir de mesures de remplacement Le manque de données n a pas permis une analyse quantitative des résultats atteints par rapport aux sommes dépensées. Toutefois, étant donné que les projets d immobilisations majeures correspondent aux priorités nationales et que les réalisations respectent les directives en matière d approvisionnement concurrentiel, il est constant qu il y a bel et bien optimisation des ressources. En outre, le choix de financer, dans le cadre du programme, des projets hautement prioritaires pour la santé et la sécurité signifie que les sommes sont dépensées dans des secteurs où les besoins sont criants, et ce, à l échelle nationale. Pratiques exemplaires L évaluation a relevé différentes pratiques exemplaires en ce qui a trait à la gestion et à la prestation du programme. Trois d entre elles méritent tout particulièrement de s y arrêter. vi

9 Premièrement, l utilisation réussie du financement bancaire afin que les projets d immobilisations majeures soient réalisés en temps opportun. Le bureau régional d AINC émet une lettre d intention (non contraignante), grâce à quoi la Première nation peut obtenir le financement nécessaire pour compléter un projet déjà approuvé. La Première nation paie les intérêts applicables jusqu à ce que AINC lui verse le financement prévu. AINC ne rembourse toutefois pas les intérêts payés sur l emprunt. Le financement d AINC sert à rembourser le capital, même s il est versé sur plus d un exercice. Cette pratique s est avérée efficace dans la région du Québec, où les Premières nations ont pu terminer les projets prioritaires plus rapidement. Cette pratique permet à la région d éviter de se retrouver avec des sommes inutilisées en fin d exercice, tout en respectant les règles financières du gouvernement fédéral, puisqu elle peut utiliser ces sommes pour financer les projets prioritaires approuvés et pour payer le travail terminé. Deuxièmement, plusieurs régions ont droit à du soutien et à de la formation par l entremise du programme de formation itinérante. Ce programme offre des séances de formation sur le terrain plusieurs fois par année aux opérateurs autochtones de stations de traitement et de distribution d eau potable. Des participants aux études de cas menées dans les régions du Yukon, du Québec, de l Alberta et de la Colombie-Britannique soulignent l utilité de ce programme, qui donne accès à une expertise indispensable en gestion de l eau, et ce, de façon efficace et économique. Certains répondants des Premières nations précisent que leurs opérateurs ont obtenu leur agrément et qu il serait bon d étendre le programme d agrément à d autres secteurs essentiels. La troisième pratique exemplaire est l outil complet et efficace d évaluation des risques de la Colombie-Britannique, que l AC du programme a utilisé comme modèle pour élaborer son outil national d évaluation des risques. Depuis 1993, la Colombie-Britannique utilise également un système de gestion de projet maison complètement informatisé, le Système de gestion des projets d immobilisations (SGPI). Ce système contient les données relatives aux projets et permet de générer des modèles en vue de l approbation des projets. Sa base de données permet aussi de suivre les projets, de l étape de l évaluation de la faisabilité du projet à sa complétion : approbations obtenues à différentes étapes du projet, financement alloué, exigences en matière de rapports, etc. Certaines de ses fonctions ont été intégrées dans le système Paiements de transfert aux Premières nations et aux Inuits (PTPNI). Recommandations 1. Le programme devrait être renouvelé, étant donné sa pertinence avérée, ses réalisations, les besoins à combler et les priorités des Premières nations. 2. AINC, en consultation avec les Premières nations et les conseils tribaux, devrait revoir et moderniser la formule de financement du F et E, afin qu elle tienne compte des réalités et des structures de coûts actuelles, et instaurer des mesures incitatives pour l entretien adéquat des infrastructures dans les collectivités. 3. AINC devrait améliorer les mesures du rendement et des coûts relatives aux infrastructures (données financières et non financières). 4. AINC et les Premières nations devraient travailler de concert, en consultation avec les conseils tribaux, dans le but d améliorer la rapidité des communications à l échelle régionale et d intégrer les exigences en matière de rapports (y compris les mesures du rendement). vii

10 5. AINC et les Premières nations devraient appliquer les pratiques exemplaires qui ressortent de l évaluation, qui assurent une bonne gestion et une prestation efficace du programme, notamment : a) fournir des lettres d intention afin que les Premières nations puissent obtenir du financement bancaire dès l approbation du projet et ainsi éviter les délais inutiles dans la réalisation des projets; b) améliorer la formation en gestion de projet et dans différents domaines techniques afin d augmenter les compétences de base des administrations des Premières nations, ce qui leur permettrait de réduire leurs dépenses de consultation et d accélérer les démarches de dépôt de projets, et étendre les éléments d agrément du programme de formation itinérante à d autre secteurs essentiels; et c) fournir du financement pluriannuel et/ou revoir le financement de façon à compenser les délais de construction. viii

11 Réponse de la gestion / Plan d action Titre du projet: Évaluation sommative du programme d immobilisations et d entretien Projet #: 08/45 Recommandations Plan d action Gestionnaire responable (titre / secteur) Date d achèvement prévue 1. Le Programme d immobilisations et d entretien (PIE) devrait être renouvelé en fonction du bien-fondé du renouvellement, des réalisations, des besoins permanents et des priorités des Premières nations. a) La Direction générale des infrastructures communautaires entreprendra les démarches pour renouveler le PIE. b) La Direction générale des infrastructures communautaires est pour répondre au budget de 2010 son engagement à entreprendre un examen exhaustif de l'approche actuelle de financement des infrastructure des Premières nations en développant une nouvelle approche de financement des infrastructures dans les réserves et soutenir les Premières nations à améliorer la gestion du cycle de vie de leurs infrastructures. a) La Direction générale des infrastructures communautaires, PPEDS b) La Direction générale des infrastructures communautaires, PPEDS 31/03/ /03/ AINC, en consultation avec les Premières nations et les conseils tribaux, devrait revoir et moderniser la formule de financement du fonctionnement et de l entretien de façon à ce qu elle tienne compte des réalités d aujourd hui et des structures de coûts actuelles et qu elle favorise l entretien adéquat de l infrastructure communautaire. a) La Direction générale des infrastructures communautaires travaillera avec la Direction générale du soutien aux opérations et à la planification et le Secteur du dirigeant principal des finances à l élaboration d options pour moderniser la formule de financement du fonctionnement et de l entretien, y compris des mesures visant à améliorer les résultats concernant le financement du fonctionnement et de l entretien. a) La Direction générale des infrastructures communautaires, PPEDS 31/03/2011 b) La Direction générale des infrastructures communautaires discutera avec les intervenants clés des options proposées pour moderniser la formule de financement du fonctionnement et de l entretien. b) La Direction générale des infrastructures communautaires, PPEDS 31/12/2011 c) La Direction générale du soutien aux opérations et à la planification travaillera avec la Direction générale des infrastructures communautaires, le Secteur du dirigeant principal des finances, et les bureaux régionaux à la mise en œuvre de la méthode recommandée pour moderniser la formule de financement du fonctionnement et de l entretien. c) La Direction générale du soutient aux opérations et à la planification, secteur des opérations régionales 31/03/2012 1

12 3. AINC devrait améliorer le système de mesure des coûts et de mesure du rendement lié à l infrastructure (information financière et non financière). a) La Direction générale des infrastructures communautaires a établie de nouveaux indicateurs de rendement (pour saisir les informations non financières extrants et résultats) a) La Direction générale des infrastructures communautaires, PPEDS 8/12/2009 b) La Direction générale des infrastructures communautaires travaillera en collaboration avec la Direction générale du soutien aux opérations et à la planification et les bureaux régionaux afin de modifier les outils de production de rapports et d améliorer les régimes d inspection de manière à ce que les renseignements servant à l élaboration des nouveaux indicateurs de rendement soient recueillis en bonne et due forme. b) La Direction générale des infrastructures communautaires, PPEDS 31/03/2011 c) La Direction générale du soutien aux opérations et à la planification travaillera avec la Direction générale des infrastructures communautaires et les bureaux régionaux pour implanter le processus national de planification associer avec le plan d investissement des nouvelles infrastructures des Premières nations. c) La Direction générale du soutien aux opérations et à la planification, secteur des opérations régionales 31/03/ AINC et les Premières nations devraient collaborer, en consultation avec les conseils tribaux, afin a) d accélérer les communications au niveau régional; et b) d intégrer les exigences en matière de rapports (y compris les mesures du rendement). a) La Direction générale des infrastructures communautaires travaillera avec la Direction générale du soutien aux opérations et à la planification et les bureaux régionaux afin d élaborer des normes de service relatives au protocole de communications avec les Premières nations. La Direction générale des infrastructures communautaires améliorera les communications concernant les programmes en élargissant le contenu du site Internet d AINC. a) La Direction générale des infrastructures communautaires, PPEDS et la Direction générale du soutien aux opérations et à la planification, secteur des opérations régionales 31/03/2011 b) La Direction générale des infrastructures communautaires collaborera avec les bureaux régionaux et la Direction générale du soutien aux opérations et à la planification afin d intégrer/de faire concorder les exigences en matière de rapports avec les exigences en matière d information relative aux indicateurs de rendement. b) La Direction générale des infrastructures communautaires, PPEDS 31/03/2011 2

13 5. AINC et les Premières nations devraient adopter les pratiques exemplaires cernées lors de l évaluation qui démontrent une saine gestion et une prestation efficace. Ces pratiques comprennent, entre autres : a) la présentation de lettres d accord pour obtenir un financement bancaire sous réserve de l approbation du projet, afin d éviter de retarder inutilement la mise en œuvre de ce dernier; a) La Direction générale des infrastructures communautaires entreprendra un examen exhaustif de l'approche actuelle du financement des infrastructures des Premières nations, y compris l'identification des meilleures pratiques qui peuvent soutenir le financement et la prestation efficaces des projets d'immobilisations dans un temps opportun. a) La Direction générale des infrastructures communautaires, PPEDS 31/03/2011 b) l amélioration de la formation en matière de gestion de projets et de la formation dans les secteurs techniques afin d accroître la base de compétences des administrations des Premières nations. Cela permettra aux Premières nations de réduire leurs dépenses associées au recours à des conseillers externes, d accélérer le processus d application des projets et d étendre les éléments d attestation du Programme de formation itinérante à d autres secteurs en lien avec les immobilisations; et b) La Direction générale des infrastructures communautaires continuera de mettre l accent sur l utilisation du volet de financement axé sur le développement des capacités du Fonds d'infrastructure pour les Premières nations. Sous réserve de la disponibilité des ressources, la Direction générale des infrastructures communautaires envisagera des solutions pour élargir la portée des programmes existants de développement des capacités. b) La Direction générale des infrastructures communautaires, PPEDS 31/03/2011 c) la prestation de fonds sur une base pluriannuelle et/ou le réaménagement des fonds pour compenser les retards de construction. c) Dans le cadre de la mise en œuvre par le ministère de la nouvelle politique sur les paiements de transfert, le secteur du dirigeant principale des finances développera un nouveau modèle d accord de financement pluriannuel. c) La direction générale de la comptabilité ministérielle et gestion du matériel, secteur du dirigeant principale des finances et la Direction générale des infrastructures communautaires, PPEDS 31/03/2011 3

14 1.0 Introduction Le présent rapport contient les constatations de l évaluation sommative menée par la Direction générale de l évaluation, de la mesure du rendement et de l examen (DGEMRE) du Secteur de la vérification et de l évaluation d Affaires indiennes et Nord Canada (AINC). Il y a également la portée, la méthodologie, les constatations et les recommandations de l Évaluation du Programme d immobilisations et d entretien. L évaluation a été menée sous la direction d un gestionnaire principal de l évaluation de la DGEMRE. 1.1 But et portée de l évaluation Le but de la présente évaluation est d évaluer la pertinence, le rendement et l efficacité du programme par rapport aux initiatives actuelles en matière de politiques. Il s agit d une évaluation nationale du programme, qui porte sur une période de cinq ans (de à ), durant laquelle 5,2 milliards de dollars a été investi dans le programme. La portée de l évaluation a été limitée à évaluer les activités et les politiques misent en œuvre pendant le période identifié ci-dessus. Dans la section 3.0, un portrait du programme s y trouve. 1.2 Enjeux de l évaluation Les enjeux suivants ont orienté l évaluation : Justification et pertinence Dans quelle mesure le programme respecte-t-il les priorités du gouvernement fédéral et dans quelle mesure répond-il aux besoins des Premières nations et aux priorités locales? Dans quelle mesure les liens entre le Programme d immobilisations et d entretien, les autres programmes ministériels et les partenaires fédéraux, provinciaux et territoriaux contribuent-ils à atteindre les objectifs du Ministère et du gouvernement? Dans quelle mesure le programme correspond-il aux rôles fondamentaux du gouvernement fédéral? Conception Dans quelle mesure les objectifs du programme sont-ils clairement définis et compris? Dans quelle mesure les rôles, les responsabilités et les obligations redditionnelles des principaux acteurs sont-ils clairs et bien compris? Est-ce qu une terminologie claire et compréhensible est utilisée? Dans quelle mesure le processus de planification du programme permet-il la prise de décisions appropriées et conformes aux objectifs du programme? 1

15 Dans quelle mesure les relations et les liens entre les besoins des Premières nations, les priorités, le processus budgétaire du programme et la gestion opérationnelle sont-ils adéquats? Dans quelle mesure existe-t-il des limites à la conception et aux opérations du programme? Dans quelle mesure la conception du programme donne-t-elle des résultats uniformes à l échelle nationale? Dans quelle mesure la méthode d allocation mise en place correspond-elle aux objectifs du programme? Dans quelle mesure la conception du programme se compare-t-elle à la programmation municipale en matière d infrastructure? Dans quelle mesure le programme contient-il les mesures incitatives appropriées pour les bénéficiaires? Comment les mesures incitatives et les effets dissuasifs du programme se comparent-ils à celles des municipalités régionales? Prestation Dans quelle mesure : a. est-ce qu il y a des moyens et des outils (y compris des indicateurs de rendement) pour obtenir des données fiables sur le degré de réussite et le rendement du programme? b. des mesures sont-elles effectuées et des données recueillies (évaluation du résultat des projets) concernant tous les éléments de résultats (extrants, résultats immédiats, intermédiaires et ultimes)? Si des mesures et des données existent, est-ce qu ils sont utilisés pour a) suivre le rendement; b) rapporter les résultats (périodiquement); et c) rapporter les résultats dans le Rapport ministériel sur le rendement (RMR)? (Comparer le RMR avec les résultats de l évaluation.) Dans quelle mesure le programme (y compris le mode de gestion) est-il mis en place de façon uniforme dans les différentes régions, et ce, pour tous les types d investissements (essentiels et non essentiels)? Si ce n est pas le cas, quelles en sont les raisons et les répercussions sur les résultats? Dans quelle mesure les comités fonctionnent-ils comme prévu? Dans quelle mesure des mesures de contrôle et de suivi sont-elles en place (documentation, système et données d inventaire, système de gestion, rapport d achèvement des projets, attestation d achèvement des projets, inspection)? Dans quelle mesure les acteurs clés répondent-ils aux attentes en ce qui concerne leurs rôles, leurs responsabilités et leurs obligations redditionnelles? (Quelles sont les principales différences en matière de prestation de services à travers le pays?) Dans quelle mesure les procédures et les méthodes d allocation et de réallocation (budgets d immobilisation, critères d allocation (c.-à-d. Système national de classement des priorités (SNCP), et réserves) sont-elles mises en place comme prévu? Si ce n est pas le cas, quelles en sont les raisons? Dans quelle mesure les risques du programme sont-ils gérés? Dans quelle mesure le financement du fonctionnement et d entretien (F et E) est-il utilisé comme prévu? Dans quelle mesure les projets d immobilisations majeures et mineures, le F et E et les programmes ciblés sont-ils conformes aux conditions du programme? 2

16 Dans quelle mesure les recommandations des vérifications, examens et évaluations ont-elles été appliquées? Si elles ne l ont pas été, quelles en sont les raisons? Réussite Le programme a-t-il réussi à atteindre ses objectifs et les résultats attendus? Est-ce qu il y des différences notées entre les régions? Quelles sont les principales limites du fonctionnement du programme qui nuisent à l atteinte des objectifs? Quel est le rendement du programme en ce qui concerne les priorités nationales? Les comités et les conseils supervisent-ils le programme? Y apportent-ils une valeur ajoutée? Comment améliorer le rôle des conseils et des comités? Est-ce qu il y a un lien entre, d un part, le degré de réussite et le rendement et, d autre part, les différences de prestation du programme? (Par exemple, les résultats obtenus sont-ils liés au nombre d employés assurant la prestation de programme et aux différences régionales en ce qui concerne la prestation de programmes?) Quels sont les facteurs externes qui influent sur la réussite et le rendement du programme? Combien a été réalloué aux programmes sociaux et aux programmes en éducation? Quelles en ont été les conséquences sur les résultats du programme? Quelles en ont été les conséquences sur les programmes sociaux et les programmes en éducation? Les régions et les Premières nations ont-elles accès à un effet de levier financier? Si oui, quels en sont les avantages? Sinon, est-il possible d en instaurer un? Le programme est-il viable en ce qui concerne : a. l augmentation annuelle pour faire face à la croissance; b. l approche globale de la gestion du cycle de vie des biens; c. la planification par les collectivités; d. l appui offert aux Premières nations afin qu elles atteignent des normes d infrastructure comparables à celles observées hors réserve; e. l accès à d autres sources de financement (dont des effets de levier); et f. la collaboration entre l Administration centrale (AC) d AINC, les bureaux régionaux d AINC et les Premières nations et la collaboration avec les partenaires fédéraux, provinciaux et territoriaux. Le programme est-il rentable (utilisation pertinente, rentable et efficiente des ressources et efficacité)? Rentabilité et solutions de rechange Quel est le ratio de résultats obtenus par rapport à l argent dépensé (essentiels et non essentiels, majeures et mineures, etc.)? Fait-il appel aux pratiques exemplaires dans la gestion et la prestation du programme? Existe-t-il d autres moyens d améliorer la gestion du programme? Est-il possible d améliorer la prestation en ce qui concerne les équipements communautaires et les immobilisations? Existe-t-il des moyens plus efficaces d atteindre les objectifs du programme? 3

17 Comme le programme se compare-t-il avec les modèles de prestation, de soutien et de titrisation des infrastructures hors réserve similaires en matière d efficacité et de rentabilité? 1.3 Approche L évaluation a nécessité une étude approfondie des documents, des données et de la documentation, une collecte de données et une analyse, qui ont donné lieu aux résultats de recherche résumés dans la section suivante. Les consultants du Centre de Gestion Publique Inc. et des évaluateurs de la DGEMRE se sont chargés du travail sur le terrain. Le rapport à quant à lui été rédigé par T. K. Gussman Associates Inc. 4

18 2.0 Méthodologie Les constatations de l évaluation s appuient sur les sources de données suivantes : des documents et données; une analyse documentaire; des entrevues avec des informateurs clés (fonctionnaires de l AC et des bureaux régionaux d AINC); des entrevues avec des informateurs clés (représentants de Premières nations et d organisations de Premières nations); des études de cas dans 31 collectivités de Premières nations; et deux groupes de discussion avec des organisations de Premières nations et quatre conseils tribaux. Le tableau 1 précise le nombre de fonctionnaires et de représentants par groupe de répondants. Tableau 1 : Nombre de répondants par groupe et par région Région Région de la capitale nationale Entrevues avec des informateurs clés AINC 1 Premières nations Organisations des Premières nations Groupes de discussions Conseils tribaux Organisations des Premières nations AINC 1 Études de cas Premières nations (collectivités) Atlantique (4) Québec (4) Ontario (5) Manitoba (4) Saskatchewan (3) Alberta (4) Colombie- Britannique (1) 4 14 (5) Yukon (2) Total (4) (31) 1 Certains fonctionnaires des bureaux régionaux d AINC ont participé aux entrevues et aux études de cas. 2.1 Examen des documents et des données Les documents examinés, dans le cadre de la présente évaluation, sont les conditions du programme, les manuels ministériels, les présentations et les rapports de programme, les vérifications et les évaluations ultérieures, le registre des mesures prises ainsi que différents rapports et documents proposés par le responsable de l examen stratégique. Les informations dans les documents ont été examinées et analysées dans le but d y trouver des données relatives 5

19 aux différents enjeux de l évaluation. Dans le cadre de l examen des données, une analyse des données relatives au programme contenues dans les bases de données et les systèmes de gestion d AINC a été effectué. Des données sur les dépenses ont été collectés afin de mettre à jour le volet ressources du profil du programme et de dresser le portrait des tendances historiques à l échelle nationale et régionale. Les bases de données et les systèmes de gestion de l information nationaux couverts par l examen sont : la Mise à jour annuelle des niveaux de référence (MJANR), le Système intégré de gestion des immobilisations (SIGI), et le Compendium des données sur les programmes d AINC Les bureaux régionaux contrôlent les dépenses de programme et tiennent des bases de données en format papier et électronique. 2.2 Analyse documentaire Il y a eu une analyse documentaire sur les problèmes éprouvés par les programmes d infrastructure des Premières nations à l échelle nationale et internationale. Cet examen a facilité le travail d évaluation en ce qui a trait à la pertinence, à la conception, au degré de réussite et au rapport coût-efficacité du programme. Notamment, des études menées en Australie, en Nouvelle-Zélande, aux États-Unis et au Canada, des rapports statistiques gouvernementaux, des articles universitaires et des documents de politique de Premières nations ont été consultés. 2.3 Entrevues avec des informateurs clés et groupes de discussion Des entrevues directes ont été menées en grappe, commençant avec les fonctionnaires de l AC d AINC chargés du programme, suivis par des entrevues et des groupes de discussion avec des fonctionnaires régionaux chargés du programme, de façon à ce que les consultants comprennent bien le programme avant d interviewer les intervenants des Premières nations. Les entrevues avec les représentants des Premières nations ont principalement été menées au téléphone. Les fonctionnaires de l AC d AINC interviewés font partie du Secteur des programmes et des partenariats en matière d éducation et de développement social et du Secteur des opérations régionales 1. Les fonctionnaires régionaux interviewés sont quant à eux des gestionnaires des immobilisations, des agents des immobilisations, des directeurs généraux régionaux associés et/ou des directeurs généraux régionaux. Les répondants des Premières nations ont été choisis par échantillonnage aléatoire stratifié par région, par population, par type de projet et par degré d éloignement du projet. Il y a également eu deux groupes de discussion : l un composé de membres de conseils tribaux de partout au pays et l autre composé de grands chefs de Premières nations. Au total, 13 fonctionnaires de l AC et 72 fonctionnaires des bureaux régionaux d AINC ont été interviewés ou ont participé à des groupes de discussion. Quarante-deux représentants de 38 Premières nations ont été interviewés et 14 représentants d organisations de Premières nations 1 Des personnes des secteurs suivants ont participé aux entrevues : Direction générale des infrastructures communautaires, Direction de l innovation et des partenariats, Direction des politiques, Direction de la mise en œuvre et des opérations, Direction générale du soutien aux opérations et à la planification et Direction des programmes et des procédures. 6

20 et de conseils tribaux ont été interviewés ou ont participé à des groupes de discussion nationaux. Les groupes de discussion régionaux portaient principalement sur le point de vue des agents des immobilisations sur le programme, tandis que le sujet principal du groupe de discussion national était le point de vue des Premières nations et des conseils tribaux sur le programme à l échelle nationale. 2.4 Études de cas Le travail sur le terrain pour les études de cas a eu lieu entre le 25 mai et le 15 août Au total, 31 études de cas ont été effectuées dans des collectivités de Premières nations, dont au moins deux pour chacune des huit régions d AINC. La sélection des collectivités a été faite par échantillonnage aléatoire stratifié par région et par population en tenant compte, en dernière instance, de la liste des projets du programme et des commentaires du groupe de travail. L échantillon comprend des collectivités de grande et de petite taille et des collectivités plus ou moins éloignées. Les collectivités participantes avaient entrepris des projets d immobilisations dans différentes catégories de financement. Lorsque la visite du site ne pouvait être organisée en raison de conflits d horaire, la collectivité a été remplacée par une autre collectivité approuvée par le responsable de l examen stratégique. Dans la région du Manitoba, les entrevues ont été menées par téléphone en raison de l épidémie de grippe A (H1N1) qui frappait de nombreuses réserves de Premières nations de la région. Dans le cadre des études de cas, il y a eu l examen des documents pertinents et des entrevues menées avec des fonctionnaires régionaux chargés du programme, des chefs de Premières nations et/ou des gestionnaires de bande et/ou des responsables de projets. Dans la mesure du possible, la collecte de données a été coordonnée avec le travail d évaluation du Fonds d infrastructure pour les Premières nations (FIPN). Au total, 128 personnes ont été interviewées. Bien que les fonctionnaires d AINC aient généralement pris part à plus d une étude de cas dans leur région, ils n ont été répertoriés qu une seule fois dans le tableau 1 (Nombre de répondants par groupe et par région). 2.5 Défis et contraintes L évaluation a été limitée par le manque de données sur les résultats du programme (données sur le rendement axées sur les résultats). De plus, la ventilation régionale des dépenses du programme n a pas été obtenue. Dans la plupart des régions, les données étaient présentées par bande et par projet, dans un dossier différent pour chaque année financière. Certaines données régionales étaient sous forme de feuilles de calcul électroniques, tandis que d autres étaient des copies numérisées de feuilles de travail papier. Dans certains cas, il n était pas possible de relier le financement à des exercices précis. Par ailleurs, en raison de l épidémie de grippe A (H1N1) dans les réserves du Manitoba, les visites sur le terrain se sont avérées impossibles. Les entrevues avec les fonctionnaires régionaux et les représentants des Premières nations ont dû être menées par téléphone. 7

21 3.0 Profil du Programme d immobilisations et d entretien 3.1 Contexte et objectifs du programme Le but du programme est d aider les Premières nations à maintenir des collectivités saines, sécuritaires et viables. Les objectifs opérationnels du programme est de faire des investissements en vue d optimiser le cycle de vie des biens, de diminuer les risques pour la santé et la sécurité, de veiller à ce que les actifs respectent les codes et les normes applicables et de veiller à ce que les actifs soient gérés de manière rentable et efficace. Pour atteindre ces objectifs, le programme aide les bénéficiaires admissibles à acquérir, construire, exploiter et entretenir des infrastructures de base dans leur collectivité, notamment : des services d approvisionnement en eau potable et d élimination des eaux usées; des services d élimination des déchets solides; des écoles; des services de protection contre les incendies (camions d incendie, casernes, équipement); de l électrification (production et distribution d électricité); des routes et des ponts; et des bâtiments communautaires. Le programme fournit également de l aide financière afin d aider les bénéficiaires admissibles à assurer la prestation des programmes de logements communautaires ainsi que des services conseils en vue d aider les Premières nations à remplir leurs rôles et leurs responsabilités. Les Premières nations reçoivent également de l aide pour l examen et l élaboration des normes et des directives d orientation en vue d assurer la gestion du programme. Le programme a beaucoup changé au cours des ans. Voici les changements notables et les facteurs ayant contribué à l évolution du programme : la création et l inclusion, sous le «parapluie» du programme, de différents programmes d AINC et du «financement ciblé et d initiatives spéciales» qui soutiennent les infrastructures des Premières nations et les objectifs du programme; des modifications apportées à la politique, aux attentes et aux rôles et responsabilités du personnel d AINC et des Premières nations dans le cadre du processus de transfert des responsabilités; l utilisation de différents outils de financement; et la réduction des ressources humaines d AINC, particulièrement dans le secteur des services techniques. 8

22 La planification du programme comprend les activités et les outils utilisés par le personnel d AINC pour classer les besoins par ordre de priorité et gérer les allocations fournies aux Premières nations pour mener à bien les activités du programme. AINC a tout intérêt à veiller à ce que la planification du programme soit efficace et qu elle favorise de meilleurs résultats pour les Premières nations. Durant la période couverte par l évaluation, la planification du programme était liée au Plan d immobilisations à long terme (PILT) d AINC. Ce PILT comprend trois secteurs de programmation distincts en matière d immobilisations : biens en dépôt, sites contaminés (Nord) et Programme d immobilisations et d entretien. AINC a présenter une mise à jour annuelle des dépenses pour ces trois secteurs de programmation lors de la MJANR, des mises à jour annuelles sur les dépenses globales réelles et prévues pour le programme et sur les dépenses par catégorie de biens, en plus d une liste de tous les projets d immobilisations majeures (c.-à-d. les projets d une valeur de plus de 1,5 million de dollars). Cette liste de projets d immobilisations majeures est devenue le principal outil de reddition de comptes et de planification du programme à l échelle nationale. En plus de cette liste, la planification du programme comprend plusieurs autres éléments essentiels à l échelle nationale et régionale. Premièrement, le PILT comprend un régime de gestion des investissements, qui précise la structure de gouvernance et les procédures en place pour assurer une gestion efficace des programmes d immobilisations du Ministère, dont le Programme d immobilisations et d entretien. Deuxièmement, les priorités nationales en matière d immobilisations énumérées dans le PILT ont été précisées dans le SNCP du programme pour l année Troisièmement, en août 2007, le Conseil national de gestion des investissements du Ministère est devenu le Conseil national de gestion des immobilisations (CNGI). Le CNGI a pour mission d assurer la supervision stratégique de la gestion des programmes d immobilisations du Ministère. Quatrièmement, la mesure du rendement à l aide de données sur les biens des Premières nations (qui est retrouvé maintenant dans le SIGI) peut être utilisée pour faciliter la planification. Bien qu il y ait quelques différences dans la prestation du programme d un bureau régional à l autre, les bureaux ont plusieurs activités communes. Les régions compilent les plans quinquennaux d'immobilisations majeures de façon consécutive, ce qui sert de base au plan national d'immobilisations majeures présenté dans le PILT. Elles doivent également utiliser le SNCP pour établir leurs priorités en ce qui concerne les projets d immobilisations majeures, ce qu elles font de différentes façons. À l échelle régionale, le processus d allocation du financement du programme, qui est sous la supervision des conseils régionaux de gestion des investissements, est nécessairement influencé par les décisions des comités régionaux de gestion financière. Les Premières nations ont généralement une plus grande marge de manœuvre sur le financement destiné aux immobilisations mineures (projets de moins de 1,5 million de dollars et logement) et au F et E. Les bureaux régionaux d AINC allouent le financement destiné aux immobilisations majeures par projet à toutes les Premières nations. 9

23 3.2 Rôles et responsabilités Le cadre de contrôle de gestion du programme fournit des lignes directrices de gestion pour la gouvernance, la gestion financière, les politiques et directives en matière de financement, les indicateurs, les extrants et la production de rapports, l évaluation des risques et le contrôle, la vérification et l évaluation. L AC assume les responsabilités suivantes : élaboration de la politique globale, acquisition des ressources et affectation des ressources aux régions; élaboration et mise à jour du PILT du Ministère en consultation avec les régions et les Premières nations; définition des critères et élaboration des politiques et des directives nationales applicables à l exécution du programme; élaboration d exigences en matière d obligations redditionnelles, de gestion des données et de mesures du rendement du programme; et coordination des demandes d approbation d immobilisations auprès du Conseil du Trésor et obtention desdites approbations pour les projets qui dépassent les pouvoirs délégués du Ministère. Les bureaux régionaux ont les responsabilités suivantes : établissement de priorités conformes aux critères et à la méthodologie applicables à l échelle nationale; formulation d avis aux Premières nations relativement à l élaboration et à la mise en œuvre de leurs plans d immobilisations; élaboration des plans d immobilisations régionaux à long terme; affectation du financement aux Premières nations et négociation et approbation des accords de financement d immobilisations avec les Premières nations; gestion des arrangements de financement relatifs aux immobilisations en conformité avec les politiques et directives ministérielles; et allocation du financement pour le F et E en fonction du résultat d évaluation et du rendement du F et E, y compris les mesures correctives requises par les inspecteurs; et surveillance des activités de gestion des immobilisations exercées par les Premières nations. Le personnel technique fournit des conseils techniques et des conseils sur les politiques aux régions et à l AC d AINC concernant la capacité technique, les normes des niveaux de services et les outils d évaluation des coûts pour les différents bâtiments dont ils n ont pas la garde et travaillent au sein de réseaux pour les services municipaux, le renforcement des capacités et la protection environnementale des installations et infrastructures situées dans les réserves. Les Premières nations sont investies des responsabilités suivantes : élaboration et mise en œuvre de leurs plans d immobilisations; mise en œuvre et gestion des activités et projets d immobilisations conformément aux plans; entretien des actifs existants; respect des conditions des accords de financement; et collecte des données précisées dans le Guide annuel de présentation des rapports des bénéficiaires des Premières nations. 3.3 Procédures d allocation du financement À l échelle nationale, les allocations sont gérées par le régime de financement global d AINC. En vertu de cette méthode de financement, les régions ont la possibilité de déplacer le financement alloué des activités «principales» aux activités «complémentaires» afin de répondre aux priorités régionales en matière de financement. En ce qui concerne la gestion des ressources destinées aux immobilisations, les régions doivent avoir une procédure d allocation ciblant et respectant les priorités nationales. Ces priorités doivent être conformes au cadre de gestion du PILT et comprendre des cibles précises pour les dépenses relatives aux projets 10