PAQUED : RDC Projet d'amélioration de la Qualité de l'éducation (PAQUED) Novembre 2014

Transcription

1 PAQUED : RDC Projet d'amélioration de la Qualité de l'éducation (PAQUED) Rapport final de 2014 sur les résultats de l évaluation des compétences fondamentales en lecture (EGRA) et de l évaluation des compétences fondamentales en mathématiques (EGMA) Novembre 2014 Cette publication a été produite pour être consultée par l Agence américaine pour le développement international et le Centre de recherche pédagogique. Elle a été préparée par RTI International.

2 PAQUED : RDC Projet d'amélioration de la Qualité de l'éducation (PAQUED) Rapport final de 2014 sur les résultats de l évaluation des compétences fondamentales en lecture (EGRA) et de l évaluation des compétences fondamentales en mathématiques (EGMA) Contrat : AID-623-A Projet EDC : Date : novembre 2014 Préparé pour USAID/RDC et EDC Préparé par Jennae Bulat, Aarnout Brombacher, Timothy Slade Jennifer Iriondo-Perez, Maureen Kelly RTI International 3040 Cornwallis Road Post Office Box Research Triangle Park, NC Les vues des auteurs exprimées dans cette publication ne reflètent pas nécessairement les vues de l'agence des États-Unis pour le développement International ou du gouvernement des États-Unis. RTI International est l'un des principaux instituts de recherche du monde, voué à l'amélioration de la condition humaine par la mise en pratique des connaissances. Notre personnel de plus de personnes fournit des services techniques et de recherche aux gouvernements et aux entreprises dans plus de 75 pays dans les domaines de la santé et des produits pharmaceutiques, de l éducation et de la formation, des enquêtes et des statistiques, des technologies de pointe, du développement international, de la politique économique et sociale, de l énergie et l environnement, des essais en laboratoire et de l analyse chimique. Pour plus d'informations, visitez RTI International est un nom de commerce du Research Triangle Institute.

3 Table des matières Page Liste des figures... v Liste des Tableaux... ix Acronymes... xxi Rapport sommaire... 1 Introduction Brève chronologie des activités d'évaluation de l impact pendant le projet PAQUED Structure du rapport Chapitre A: contexte et évolution du projet PAQUED ; conception, objectifs et limites de l étude Contexte et évolution du projet Mise en œuvre du projet avant Réalignement de l objet du PAQUED pour la période Éléments du réalignement préalable à l intervention PAQUED Apports du PAQUED pour les élèves Apports du PAQUED pour les enseignants Éléments du réalignement après l intervention «Programme de lecture» Apports du programme de lecture ciblant les élèves Apports du programme de lecture ciblant les enseignants Conception de l étude et objectifs Conception de la recherche L'outil EGRA L'outil EGMA Contexte de l'élève, interviews de l enseignant et du directeur d'école Formation des évaluateurs Limitations Mauvais alignement de l'intervention et de l'évaluation Attentes scolaires des capacités de lecture des élèves de 2e année Changements dans la conception de l'échantillonnage Chapitre B : résultats et analyse des compétences en lecture des élèves dans les écoles disposant d'un programme de lecture Statistiques descriptives Échantillon de Résultats des sous-tâches EGRA Vocabulaire Compréhension à l audition Reconnaissance de graphèmes Projet d'amélioration de la Qualité de l'education (PAQUED) iii

4 Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Écriture d une phrase complète Chapitre C : résultats et analyse des performances des élèves en lecture dans les écoles accessibles du PAQUED et les écoles témoins accessibles Performances des élèves selon les mesures EGRA dans toutes les écoles accessibles au PAQUED et les écoles témoins accessibles Éléments descriptifs Échantillon de Résultats des sous-tests EGRA Vocabulaire Compréhension à l audition Reconnaissance de graphèmes Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension du Texte Lu Écriture d une Phrase Complète Résumé et conclusions Chapitre D : Résultats et analyses des pérformances des élèves en lecture dans les écoles PAQUED et Témoins Résultats des élèves au test EGRA dans les écoles PAQUED et Témoins Description Échantillon Résultats des exercices EGRA Vocabulaire Compréhension à l Audition Connaissance des Graphèmes Lecture des Mots Familiers Lecture des Mots Inventés Lecture de Texte Compréhension du Texte Lu Écriture d'une Phrase Complète Résumé et conclusions Chapitre E : Résultats et analyse de la performance des élèves en mathématiques dans les écoles Programme de Lecture, PAQUED Accessibles, et Témoins Accessibles iv Projet d'amélioration de la Qualité de l'education (PAQUED)

5 1. Résultats EGMA dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles Résultats EGMA par Sexe dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles Chapitre F : Résultats EGMA dans les écoles PAQUED et Témoins Les Résultats EGMA dans les écoles PAQUED et témoins Résultats EGMA par sexe dans les écoles PAQUED et Témoins Chapitre G : Conclusions et recommandations Annexe I : Détails de la méthodologie de l'étude Annexe II : Procédé de collecte de données EGRA / EGMA Annexe III : À propos des instruments d'évaluation Annexe IV. Les écoles disposant d un programme de lecture: Les comparaisons Liste des figures Figure ES1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées... 4 Figure ES2. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence de la RDC Figure ES3. Performances des élèves dans les écoles accessibles au PAQUED par rapport aux critères de référence de la RDC Figure ES4. Performances des élèves dans les écoles du PAQUED par rapport aux critères de référence de la RDC Figure A1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées Figure B1. Scores de 2e année pour le Vocabulaire à la fin de l étude par province Figure B2. Scores de 4e année pour le Vocabulaire à la fin de l étude par province Figure B3. Scores de 2e année pour l Identification du son initial à la fin de l étude par province Figure B4. Scores de 4e année pour l Identification du son initial à la fin de l étude par province Figure B5. Scores de 2e année en Compréhension à l audition à la fin de l étude par province Projet d'amélioration de la Qualité de l'education (PAQUED) v

6 Figure B6. Scores de 4e année en Compréhension à l audition à la fin de l étude par province Figure B7. Scores de 2e année en Reconnaissance de graphèmes à la fin de l étude par province Figure B8. Scores de 4e année en Reconnaissance de graphèmes à la fin de l étude par province Figure B9. Scores de 4e année en Lecture de mots familiers à la fin de l étude par province Figure B10. Scores de 4e année en Lecture de mots inventés à la fin de l étude par province Figure B11. Scores de la 4e année en Maîtrise de la lecture à haute voix à la fin de l étude par province Figure B12. Scores de la année en Compréhension à la lecture à la fin de l étude par province Figure B13. Correspondance globale entre la Maîtrise de la lecture à haute voix et la Compréhension à la lecture en 4e année Figure B14. Scores de 4e année en Écriture d une phrase complète à la fin de l étude par province Figure B15. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence de la RDC Figure C1. Scores de 2e année en Vocabulaire à la fin de l'étude par province Figure C2. Scores de 4e année en Vocabulaire à la fin de l'étude par province Figure C3. Scores de 2e année en Identification du son initial à la fin de l'étude par province Figure C4. Scores de la 4e année en Identification du son initial à la fin de l étude par province Figure C5. Scores de la 2e année en Compréhension à l audition à la fin de l'étude par province Figure C6. Scores de la 4e année en Compréhension à l audition à la fin de l'étude par province Figure C7. Scores de 2e année en Reconnaissance de graphèmes à la fin de l'étude par province Figure C8. Scores de 4e année en Reconnaissance de graphèmes à fin de l'étude par province vi Projet d'amélioration de la Qualité de l'education (PAQUED)

7 Figure C9. Scores de 4e année en Lecture de mots familiers à la fin de l'étude par province Figure C10. Scores de 4e année en Lecture de mots inventés à la fin de l'étude par province Figure C11. Scores de 4e année en Maîtrise de la lecture à haute voix à la fin de l'étude par province Figure C12. Compréhension du Texte Lu : résultats des quatrièmes en 2014 par Province Figure C13. Correspondance générale entre Lecture de Texte et Compréhension du Texte Lu pour les quatrièmes Figure C14. Écriture d une Phrase Complète : résultats des quatrièmes en 2014 par Province Figure C15. Résultats des élèves des écoles PAQUED Accessibles par rapport aux moyennes nationales en RDC Figure D1. Résultats des deuxièmes en Vocabulaire en 2014 par Province Figure D2. Résultats des quatrièmes en Vocabulaire en 2014 par Province Figure D3. Résultats des sixièmes en Vocabulaire en 2014 par Province Figure D4. Résultats des deuxièmes en Identification du Son Initial en 2014 par Province Figure D5. Résultats des quatrièmes en Identification du Son Initial en 2014 par Province Figure D6. Résultats des sixièmes en Identification du Son Initial en 2014 par Province Figure D7. Résultats des deuxièmes en Compréhension à l'audition en 2014 par Province Figure D8. Résultats des quatrièmes en Compréhension à l'audition en 2014 par Province Figure D9. Résultats des sixièmes en Compréhension à l'audition en 2014 par Province Figure D10. Résultats des deuxièmes en Connaissance de Graphèmes en 2014 par Province Figure D11. Résultats des quatrièmes en Connaissance de Graphèmes en 2014 par Province Figure D12. Résultats des sixièmes en Connaissance de Graphèmes en 2014 par Province Projet d'amélioration de la Qualité de l'education (PAQUED) vii

8 Figure D13. Résultats des quatrièmes en Lecture des Mots Familiers en 2014 par Province Figure D14. Résultats des sixièmes en Lecture des Mots Familiers en 2014 par Province FigureD15. Résultats des quatrièmes en Lecture des Mots Inventés en 2014 par Province Figure D16. Résultats des sixièmes en Lecture des Mots Inventés en 2014 par Province Figure D17. Résultats des quatrièmes en Lecture de Texte en 2014 par Province Figure D18. Résultats des sixièmes en Lecture de Texte en 2014 par Province Figure D19. Résultats des quatrièmes en Compréhension du Texte Lu en 2014 par Province Figure D20. Résultats des sixièmes en Compréhension du Texte Lu en 2014 par Province Figure D21. Correspondance entre Lecture de Texte et Compréhension du Texte Lu chez les quatrièmes Figure D22. Correspondance entre Lecture de Texte et Compréhension du Texte Lu chez les sixièmes Figure D23. Résultats des quatrièmes en Écriture d'une Phrase Complète en 2014 par Province Figure D24. Résultats des sixièmes en Écriture d'une Phrase Complète en 2014 par Province Figure D25. Performances des élèves des écoles PAQUED par rapport aux moyennes de RDC Figure E1. EGMA au Bandundu : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure E2. EGMA en Équateur : Pourcentage des Moyennes 2014 par Exercice, Classe et Groupe Figure E3. EGMA en Province orientale Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure E4. EGMA dans les écoles PAQUED Accessibles du Bandundu : Moyennes en 2014 par Exercice, Classe et Sexe Figure E5. EGMA dans les écoles PAQUED Accessibles d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe viii Projet d'amélioration de la Qualité de l'education (PAQUED)

9 Figure E6. EGMA dans les écoles PAQUED Accessibles de Province orientale : Moyennes en 2014 par Exercice, Classe et Sexe Figure E7. EGMA dans les écoles Programme de Lecture du Bandundu : Moyennes 2014 par Exercice, Classe et Sexe Figure E8. EGMA dans les écoles Programme de Lecture d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe Figure E9. EGMA dans les écoles Programme de Lecture de Province orientale : Moyennes 2014 par Exercice, Classe et Sexe Figure F1. EGMA au Bandundu : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure F2. EGMA en Équateur : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure F3. EGMA en Province orientale Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure F4. EGMA dans les écoles traitées au Bandundu : Moyennes en 2014 par Exercice, Classe et Sexe Figure F5. EGMA dans les écoles traitées d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe Figure F6. EGMA dans les écoles traitées de Province orientale : Moyennes en 2014 par Exercice, Classe et Sexe Figure A1.1 Subdivisions contenant des écoles évaluées en 2014 et Taille relative des populations étudiées Liste des Tableaux Tableau ES1. Les populations étudiées et les analyses autorisées... 3 Tableau ES2. Composition des sous-tâches des instruments d'évaluation... 6 Tableau ES3. La performance en lecture d un sous-groupe des écoles disposant d'un programme de lecture (n=20), en scores moyens... 9 Tableau ES4. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence nationaux Tableau ES5. La performance des eleves en lecture dans les ecoles accessibles au PAQUED, en scores moyens, par Province Projet d'amélioration de la Qualité de l'education (PAQUED) ix

10 Tableau ES6. Performances des élèves dans les écoles accessibles au PAQUED par rapport aux critères de référence nationaux Tableau ES7. Performance en lecture dans les ecoles PAQUED, par scores moyens, par Province Tableau ES8. Performances des élèves dans les écoles du PAQUED par rapport aux critères de référence nationaux Tableau ES9. Le changement de la performance en mathématiques dans les écoles disposant d un programme de lecture (n=20) au fils de temps en pourcentage d éléments corrects Tableau ES10. Le changement dans les resultats mathematiques dans les ecoles accesibles à PAQUED au fils de temps, en pourcentage d éléments corrects, par Province Tableau ES11. Les changements dans les performances en mathematiques dans les ecoles PAQUED au fils de temps, en pourcentage d éléments corrects, par Province Tableau A1. Intervention du PAQUED apports destinés aux élèves Tableau A2. Intervention PAQUED apports en formation ciblant les enseignants Tableau A3. Intervention PAQUED apports en matériel ciblant les enseignants Tableau A4. Programme de lecture apports ciblant les élèves Tableau A5. Programme de lecture apports supplémentaires ciblant les enseignants Tableau A6. Les populations étudiées et les analyses autorisées Tableau B1. Échantillon prévu par province et par classe Tableau B2. Échantillon réel par province et par classe Tableau B3. Type de gestion scolaire, par province (n = 43) Tableau B4. Caractéristiques générales de l'échantillon global des élèves (n = 1 103) Tableau B5. Indicateurs SES des élèves (n = 1 103) Tableau B6. Réponses des élèves à certaines questions à caractère démographique (n = 1 097) Tableau B7. Indication par l'élève de la langue parlée à la maison Tableau B8. Caractéristiques générales de l'échantillon des enseignants (n = 86) x Projet d'amélioration de la Qualité de l'education (PAQUED)

11 Tableau B9. Réponses des enseignants à des questions choisies du sondage (n = 86) Tableau B10. Caractéristiques générales de l'échantillon de directeurs d'école (n = 42) Tableau B11. Réponses des directeurs d'école à des questions choisies du sondage (n = 42) Tableau B12. Pourcentage de zéros et scores moyens en pourcentages globaux par classe et sous-tâche à la fin de l étude Tableau B13. Pourcentage de zéros en Vocabulaire et pourcentage d'éléments tentés, par catégorie et par province Tableau B14. Scores moyens pour le Vocabulaire par type de mot de vocabulaire, par classe et par province Tableau B15. Comparaison des scores moyens en Vocabulaire par classe, province et sexe Tableau B16. Pourcentage de zéros et pourcentage d'éléments tentés par classe et par province pour l Identification du son initial Tableau B17. Comparaison des scores moyens en Identification du son initial par classe, province et sexe Tableau B18. Pourcentage de zéros en Compréhension à l audition et pourcentage d'éléments tentés par classe et par province Tableau B19. Comparaison des scores moyens pour la Compréhension à l audition par classe, province et sexe Tableau B20. Pourcentage de zéros en Reconnaissance de graphèmes et pourcentage d'éléments tentés par classe et par province Tableau B21. Comparaison des scores moyens en Reconnaissance de graphèmes par classe, province et sexe Tableau B22. Pourcentage de zéros en Lecture de mots familiers et pourcentage d'éléments tentés pour la 4e année, par province Tableau B23. Comparaison des scores moyens en Lecture de mots familiers pour la 4e année par province et par sexe Tableau B24. Pourcentage de zéros en Lecture de mots inventés et pourcentage d'éléments tentés pour la 4e année, par province Tableau B25. Comparaison des scores moyens en Lecture de mots inventés pour la 4e année par province et par sexe Projet d'amélioration de la Qualité de l'education (PAQUED) xi

12 Tableau B26. Pourcentage de zéros en Maîtrise de la lecture à haute voix et pourcentage d éléments tentés pour la 4e année, par province Tableau B27. Comparaison des scores moyens en Maîtrise de la lecture à haute voix pour la 4e année par province et par sexe Tableau B28. Pourcentage de zéros en Compréhension à la lecture et pourcentage d éléments tentés pour la 4e année, par province Tableau B29. Comparaison des scores moyens en Compréhension à la lecture en 4e année par province et par sexe Tableau B30. Pourcentage de zéros en Écriture d une phrase complète et pourcentage d éléments tentés, pour la 4e année par province Tableau B31. Comparaison des scores moyens en Écriture d une phrase complète en 4e année par province et par sexe Tableau B32. Analyses du chi carré des caractéristiques des élèves de 2e année avec des résultats élevés pour la sous-tâche de Reconnaissance de graphèmes Tableau B33. Régressions logistiques des caractéristiques des élèves de 2e année Tableau B34. Analyses du chi carré des caractéristiques de l élève de 4e année avec les performances élevées de l élève dans la sous-tâche de Reconnaissance de graphèmes Tableau B35. Régressions logistiques caractéristiques des élèves de 4e année Tableau B36. Régressions logistiques des caractéristiques des enseignants Tableau B37. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence nationaux Tableau C1. Échantillon d'écoles prévues par province Tableau C2. Échantillon d'élèves prévus par province et par classe Tableau C3. Échantillon réel par province et par classe Tableau C4. Type de gestion de l école, par province (n = 82) Tableau C5. Caractéristiques générales de l'échantillon global des élèves (n = 1 965) Tableau C6. Indicateurs SES des élèves (n = 1 965) Tableau C7. Sélection de réponses d élèves aux questions démographiques (n = 1 097) Tableau C8. Indication par les élèves de la langue parlée à la maison Tableau C9. Caractéristiques générales de l'échantillon d'enseignants (n = 154) xii Projet d'amélioration de la Qualité de l'education (PAQUED)

13 Tableau C10. Sélection de réponses d enseignants aux questions du sondage (n = 86) Tableau C11. Caractéristiques générales de l'échantillon des directeurs d'école (n = 81) Tableau C12. Réponses choisies des directeurs d'école aux questions du sondage (n = 42) Tableau C13. Pourcentages de zéros et de scores moyens globaux par sous-tâche, classe et groupe à la fin de l étude Tableau C14. Pourcentage de zéros et pourcentage d éléments tentés pour le Vocabulaire par catégorie et par province Tableau C15. Analyses de la différence dans les différences en Vocabulaire par classe, région et groupe Tableau C16. Comparaison des scores moyens en Vocabulaire par classe, province, groupe et sexe Tableau C17. Pourcentage de zéros pour l Identification du son initial et pourcentage d éléments tentés par catégorie et par province Tableau C18. Analyses de la différence dans les différences pour l Identification du son initial par classe, région et groupe Tableau C19. Comparaison des scores moyens pour l'identification du son initial par classe, province, groupe et sexe Tableau C20. Pourcentage de zéros en Compréhension à l audition et pourcentage d'éléments tentés par classe et par province Tableau C21. Analyses de la différence dans les différences pour la Compréhension à l audition par classe, région et groupe Tableau C22. Comparaison des scores moyens pour la Compréhension à l audition par classe, province, groupe et sexe Tableau C23. Pourcentage de zéros et pourcentage d éléments tentés pour la Reconnaissance de graphèmes et scores moyens par classe et province Tableau C24. Analyses de la différence dans les différences pour la Reconnaissance de graphèmes par classe, région et groupe Tableau C25. Comparaison des scores moyens pour la Reconnaissance de graphèmes par classe, province et sexe Tableau C26. Pourcentage de zéros pour la Lecture de mots familiers et pourcentage d'éléments tentés pour la 4e année, par province Projet d'amélioration de la Qualité de l'education (PAQUED) xiii

14 Tableau C27. Analyses de la différence dans les différences de Lecture de mots familiers par région et par groupe Tableau C28. Comparaison des scores moyens de Lecture de mots familiers pour la 4e année par province, groupe et sexe Tableau C29. Pourcentage de zéros pour la Lecture de mots inventés et pourcentage d'éléments tentés pour la 4e année, par province Tableau C30. Analyses de la différence dans les différences en Lecture de mots inventés par région et par groupe Tableau C31. Comparaison des scores moyens en Lecture de mots inventés pour la 4e année par province, par groupe et par sexe Tableau C32. Pourcentage de zéros en Maîtrise de la lecture à haute voix et pourcentage d éléments tentés pour la 4e année par province Tableau C33. Analyses de la différence dans les différences pour la Maîtrise de la lecture à haute voix par région et par groupe Tableau C34. Comparaison des scores moyens en Maîtrise de la lecture à haute voix pour la 4e année par province, par groupe et par sexe Tableau C35. Compréhension du Texte Lu : Résultats nuls et pourcentage de réponses tentées pour les quatrièmes par Province Tableau C36. Compréhension du Texte Lu : analyse de l écart des différences par Région et par Groupe Tableau C37. Compréhension du Texte Lu : comparaison des résultats moyens pour les quatrièmes par Province, Groupe et Sexe Tableau C38. Écriture d une Phrase Complète : Résultats nuls et pourcentage de mots écrits pour les quatrièmes par Province Tableau C39. Écriture d une Phrase Complète : analyses de l écart des différences par Région et par Groupe Tableau C40. Écriture d une Phrase Complète : comparaison des moyennes pour les quatrièmes par Province et par Sexe Tableau C41. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes, écoles PAQUED Accessibles et Témoins Accessibles Tableau C42. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes, écoles PAQUED Accessibles et Témoins Accessibles Tableau C43. Régressions logistiques des caractéristiques des élèves de quatrième xiv Projet d'amélioration de la Qualité de l'education (PAQUED)

15 Tableau C44. Régressions logistiques pour les caractéristiques des enseignants Tableau C45. Résultats des élèves dans les écoles PAQUED Accessibles par rapport aux références nationales Tableau D1. Échantillon d'écoles prévu par Province et par Classe Tableau D2. Échantillon d'élèves prévu par Province et par Classe (n = 5 616) Tableau D3. Échantillon réel d'écoles par Province et par Classe Tableau D4. Échantillon réel d'élèves par Province et par Classe (n = 5 255) Tableau D5. Type d'école, par Groupe (n = 145) Tableau D6. Caractéristiques générales de l'échantillon d'élèves (n = 5 255) Tableau D7. Indicateurs SSE de l'élève (n = 5 255) Tableau D8. Réponses des élèves aux questions démographiques (n = 5 204) Tableau D9. Langue parlée à la maison Tableau D10. Caractéristiques générales de l'échantillon d'enseignants (n = 389) Tableau D11. Réponses des enseignants aux questions du sondage (n = 389) Tableau D12. Caractéristiques générales de l'échantillon de directeurs (n = 142) Tableau D13. Réponses des directeurs au sondage (n = 142) Tableau D14. Pourcentage général de résultats nuls et Moyennes par Classe et par Exercice en Tableau D15. Vocabulaire : Résultats nuls et pourcentage de tentatives, par Classe et Province Tableau D16. Vocabulaire : Analyse de l écart des différences par Classe, Province et Groupe Tableau D17. Vocabulaire : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D18. Identification du Son Initial : Résultats nuls et pourcentage de tentatives, par Classe et Province Tableau D19. Identification du Son Initial : Analyse de l écart des différences par Classe, Province et Groupe Tableau D20. Identification du Son Initial : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D21. Compréhension à l'audition : Résultats nuls et pourcentage de tentatives par Classe et Province Projet d'amélioration de la Qualité de l'education (PAQUED) xv

16 Tableau D22. Compréhension à l'audition : Analyse de l écart des différences par Classe, Province et Groupe Tableau D23. Compréhension à l'audition : comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D24. Connaissance des Graphèmes : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D25. Connaissance des Graphèmes : Analyse de l écart des différences par Classe, Province et Groupe Tableau D26. Connaissance des Graphèmes : Moyennes par Classe, Province, Groupe et Sexe Tableau D27. Lecture des Mots Familiers : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D28. Lecture des Mots Familiers : Analyses de l écart des différences par Classe, Province et Groupe Tableau D29. Lecture des Mots Familiers : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D30. Lecture des Mots Inventés : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D31. Lecture des Mots Inventés : Analyse de l écart des différences par Classe, Province et Groupe Tableau D32. Lecture des Mots Inventés : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D33. Lecture de Texte : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D34. Lecture de Texte : Analyse de l écart des différences par Classe, Province et Groupe Tableau D35. Lecture de Texte : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D36. Compréhension du Texte Lu : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D37. Compréhension du Texte Lu : Analyse de l écart des différences par Classe, Province et Groupe Tableau D38. Compréhension du Texte Lu : Comparaison des moyennes par Classe, Province, Groupe et Sexe xvi Projet d'amélioration de la Qualité de l'education (PAQUED)

17 Tableau D39. Écriture d'une Phrase Complète : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D40. Écriture d'une Phrase Complète : Analyse de l écart des différences par Classe, Province et Groupe Tableau D41. Écriture d'une Phrase Complète : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D42. Analyse chi carré des caractéristiques des élèves de deuxième performants dans l'exercice de Connaissance des Graphèmes Tableau D43. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes Tableau D44. Régression logistique des caractéristiques des élèves de quatrième Tableau D45. Analyse chi carré des caractéristiques des élèves de sixième performants dans l'exercice de Connaissance des Graphèmes Tableau D46. Performances des élèves dans les écoles PAQUED par rapport aux moyennes nationales Tableau E1. EGMA au Bandundu : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau E2. EGMA au Bandundu : EDD 2012/2014 des Moyennes par Classe Tableau E3. EGMA en Équateur : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau E4. EGMA en Équateur : EDD 2012/2014 des Moyennes par Classe Tableau E5. EGMA en Province orientale Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau E6. EGMA en Province orientale EDD 2012/2014 des Moyennes par Classe Tableau E7. EGMA dans les écoles PAQUED Accessibles du Bandundu : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E8. EGMA dans les écoles PAQUED Accessibles d'équateur : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E9. EGMA dans les écoles PAQUED Accessibles de Province orientale : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E10. EGMA dans les écoles Programme de Lecture du Bandundu : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E11. EGMA dans les écoles Programme de Lecture d'équateur : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Projet d'amélioration de la Qualité de l'education (PAQUED) xvii

18 Tableau E12. EGMA dans les écoles Programme de Lecture de Province orientale : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau F1. EGMA au Bandundu : Pourcentage de Résultats Nuls et Moyennes 2014 par Classe Tableau F2. EGMA au Bandundu : EDD 2010/2014 des Moyennes par Classe Tableau F3. EGMA en Équateur : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau F4. EGMA en Équateur : EDD 2010/2014 des Moyennes par Classe Tableau F5. EGMA en Province orientale Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau F6. EGMA en Province orientale : EDD 2010/2014 des Moyennes par Classe Tableau F7. EGMA dans les écoles PAQUED du Bandundu : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe Tableau F8. EGMA dans les écoles PAQUED d'équateur : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe Tableau F9. EGMA dans les écoles PAQUED de Province orientale : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe Tableau G1. Population étudiée et Analyses possibles Tableau A1.1 : Échantillon 2010 : Distribution géographique par Type de traitement Tableau A1.2 : Distribution géographique de l'échantillon de 2012 par Type de traitement Tableau A1.3 : Nombre d'écoles dans l Échantillon A en 2014 par Distribution géographique et Type de traitement Tableau A1.4 : Nombre d'élèves dans l Échantillon A en 2014 par Distribution géographique, Type de traitement et Classe Tableau A1.5 : Nombre d'écoles dans l Échantillon B en 2014 par Distribution géographique et Type de traitement Tableau A1.6 : Nombre d'élèves dans l Échantillon B en 2014 par Distribution géographique, Type de traitement et Classe Tableau A1.7 : Base et Contenu de l'échantillon A de 2014 : Subdivisions (Phase 1) xviii Projet d'amélioration de la Qualité de l'education (PAQUED)

19 Tableau A1.8 : Base et Contenu de l'échantillon A de 2014 pour les écoles PAQUED (Phase 2) Tableau A1.9 : Base et Contenu de l'échantillon A de 2014 pour les écoles Témoins (Phase 2) Tableau A1.10 : Base et Contenu de l'échantillon B de 2014 pour les Subdivisions (Phase 1) Tableau A1.11 : Base et Contenu de l'échantillon B de 2014 pour les écoles PAQUED Accessibles (Phase 2) Tableau A1.12 : Base et Contenu de l'échantillon B de 2014 pour les écoles Témoins Accessibles (Phase 2) Tableau A1.13 : Chapitre B - Ajustements de Bonferroni pour les résultats EGRA des écoles Programme de Lecture Tableau A1.14 : Chapitre C Section 1 - Ajustement de Bonferroni pour les écoles PAQUED Accessibles, résultats EGRA Tableau A1.15 : Chapitre C Section 2 - Ajustement Bonferroni pour les écoles PAQUED, résultats EGRA Tableau A1.16 : Chapitre D Sections Ajustements Bonferroni pour les écoles PAQUED Accessibles, résultats EGMA Tableau A1.17 : Chapitre D Sections Ajustements Bonferroni pour les écoles PAQUED Accessibles, résultats EGMA Tableau A3.1 : Matrice de corrélation pour les exercices EGRA Tableau A3.2 : Matrice de corrélation pour les exercices EGMA Tableau A3.3 : Analyse de fiabilité EGRA Tableau A3.4 : Analyse de fiabilité EGMA Tableau A3.5 : Comparaison des instruments EGRA et EGMA Tableau A3.6 : Exemple de l'application de la méthode d'égalisation des moyennes Tableau A4.1: Les écoles disposant d un programme de lecture, changement au fils de temps, 2 e année Tableau A4.2: Les écoles disposant d un programme de lecture changement au fils de temps, 4 e année Tableau A4.3: Les écoles disposant d un programme de lecture (N=20), changement au fils de temps, mathematiques, 2 e année Projet d'amélioration de la Qualité de l'education (PAQUED) xix

20 Tableau A4.4: Les écoles disposant d un programme de lecture (N=20), changement au fils de temps, mathematiques, 4 e année xx Projet d'amélioration de la Qualité de l'education (PAQUED)

21 Acronymes CELTA cgpm cnonwpm cwpm DEFF EDD RDC CRP EGMA EGRA FPC IAI IRR MEPSP orf PAQUED PIEQ APC RTI SBD SES TLM USAID WT Centre de Linguistique Théorique et Appliquée graphèmes corrects par minute Mots inventés corrects par minute Mots corrects par (mots familiers) effet du plan expérimental écart des différences République démocratique du Congo Centre de recherche pédagogique Évaluation des compétences fondamentales en lecture Évaluation des compétences fondamentales en mathématique Correction d'échantillonnage pour une population définie instruction audio interactive Fiabilité inter évaluateurs Ministère de l enseignement primaire, secondaire et professionnel maîtrise de la lecture à haute voix Projet d'amélioration de la Qualité de l'éducation (PIEQ) Package for Improving Education Quality (PAQUED) analyse en composantes principales RTI International subdivisions indicateurs socio-économiques Matériel didactique et d apprentissage Agence américaine pour le développement International poids Projet d'amélioration de la Qualité de l'education (PAQUED) xxi

22

23 Rapport sommaire Financé par l'agence américaine pour le développement International (USAID) et dirigé par l'education Development Center (EDC), le Projet d'amélioration de la Qualité de l'education (PAQUED) était une initiative étalée sur cinq ans ayant comme objectif d augmenter les résultats des élèves par des environnements scolaires et d apprentissage améliorés en République démocratique du Congo (RDC). En tant que partenaire dans le PAQUED, RTI International (RTI) a été chargée d adapter et de mettre en œuvre les instruments EGRA et EGMA pour évaluer l impact de ce programme sur les competences scolaires. Ce document présente une analyse des effets du PAQUED sur trois populations distinctes d'écoles. Chaque discussion reflète une étape différente dans l'évolution importante de l objectif et de la portée du PAQUED qui s est produite entre la conception du projet en 2009 et une réorganisation formelle qui s'est produite en janvier Ces trois populations ne peuvent être comparées directement les unes aux autres, chacune est donc étudiée dans un chapitre séparé du rapport. 1 Elles sont présentées dans l'introduction ci-dessous dans l'ordre chronologique de leur apparition comme point de focalisation pour le projet PAQUED ; cependant, dans le corps principal du rapport, elles sont présentées dans l'ordre chronologique inverse, reflétant le degré avec lequel chacune devait produire des effets significatifs. Le contexte changeant des bailleurs de fonds, du pays, et de la politique de l éducation en RDC : La conception du PAQUED a évolué considérablement depuis son implémentation en La caractéristique la plus indicatif de l évolution était le déplacement d un accent sur la qualité général de l éducation primaire à un accent sur l amélioration de l apprentissage en lecture dans les niveaux primaires. Cet évolution a influencé et était influencé par le gouvernement en évolution du RDC et les priorités scolaires des bailleurs de fonds. Un développement contextuel important pendant ce période était le début de la Stratégie Scolaire d USAID, qui souligne l importance de la lecture dans les niveaux primaires. En même temps, le GDRC a continué son participation dans le Programme Global de l Education (PGE) 2012 Tous les Enfants Lisant en Kigali par s engager à mettre en œuvre la cadre de la politique et les investissements nécessaires pour obtenir des objectifs ambitieux d augmenter le nombre des lecteurs dans le RDC. 1 Veuillez consulter l'annexe I pour une discussion détaillée des approches d'échantillonnage et de la raison pour laquelle elles doivent être traitées séparément. Projet d'amélioration de la Qualité de l'education (PAQUED) 1

24 L entrainement des enseignants et les interventions aux écoles du PAQUED original ont conformé à l obligation venant de la Ministère de l Education (MEPSP) qu ils ont alignés avec le programme et les manuels scolaires déjà présentes. Cependant, à cause du contexte changeant, des entrainements des enseignants et des interventions aux écoles modifiés étaient implementés dans les 45 écoles disposant d'un programme de lecture dans l année scolaire finale du projet. Ces approches nouvelles ont compris des approches réussissant qui se trouvent dans autre contextes. Conception de l étude et limitations Les objectifs des études de 2014 et de ce rapport devaient décrire (1) les changements dans les résultats des élèves en lecture et en mathématique qui ont eu lieu dans les écoles du PAQUED entre 2010 et 2014, (2) des modifications similaires dans les écoles accessibles au PAQUED entre 2012 et 2014 et (3) l'état actuel des résultats de l apprentissage des élèves dans les écoles du PAQUED disposant d'un programme de lecture. L'impact de l'intervention dans les écoles cibles du projet (1 000 dans chacune des provinces du Bandundu, Équateur et Orientale) a été évalué à l'aide d'un échantillon de 145 écoles. De ce nombre, 36 étaient des écoles témoins et ne devaient pas avoir reçu d intervention et 109 étaient des écoles du traitement (appelées écoles du «PAQUED» tout au long de ce rapport) qui étaient censées avoir bénéficié de l'intervention. Les résultats présentés dans ce rapport pour les écoles du PAQUED peuvent être généralisés à l'échelle provinciale. Les conclusions de cette étude sont présentées dans le Chapitre D du présent rapport. L'impact de l'intervention dans les 618 écoles des originales que le PAQUED avait jugées plus facilement accessibles et donc plus susceptibles d'avoir reçu les apports prévus a été évalué à l'aide d'un échantillon de 75 écoles. De ce nombre, 36 étaient le «groupe témoin accessible» qui ne devaient pas avoir reçu d intervention et 39 étaient les écoles du traitement (appelées écoles «accessibles au PAQUED» tout au long de ce rapport) qui étaient censées avoir bénéficié de l'intervention. Les résultats présentés dans ce rapport pour les écoles accessibles au PAQUED sont généralisables aux écoles qui remplissent les mêmes critères d'accessibilité. 2 Les conclusions de cette étude sont présentées dans le Chapitre D du présent rapport. L'impact de l'intervention dans le sous-ensemble des 45 écoles (sur les 618 écoles accessibles au PAQUED) sur lesquelles le PAQUED portait surtout de janvier 2013 à juin 2014 et auxquelles le PAQUED avait fourni une série d apports modifiés et grandement améliorés, notamment les textes des élèves, un accompagnement régulier et un développement professionnel continu dirigé par des pairs a été évalué en tentant 2 Le critère d'accessibilité précisait que les écoles devaient se trouver à environ 20 km d'un centre urbain. Pour qu une subdivision soit admissible pour l'inclusion dans l'échantillon de population pour l'étude de 2012 qui sert de référence pour l'évaluation des écoles accessibles au PAQUED, un minimum de six écoles d'intervention au sein de la subdivision devaient se trouver à moins de 20 km d'un centre urbain. 2 Projet d'amélioration de la Qualité de l'education (PAQUED)

25 d'estimer toutes les 44 écoles (43 seulement ont été atteintes). Elles sont appelées les écoles «disposant d'un programme de lecture» tout au long de ce rapport et leurs résultats ne sont pas généralisables à d''autres populations. Il n'y n'avait aucun groupe contrefactuel ou témoin pour ces écoles. La majorité de cette analyse de cette population se concentre sur la performance à la fin de l étude en Cependant, une partie des écoles disposant d un programme de lecture (20 de 45) étaient évalués en 2012 et 2014 ; avec des avertissements sur l échantillon petit, une discussion courte du changement de la performance au fils du temps pour ces 20 écoles y est comprise. Les conclusions de cette étude sont présentées dans le Chapitre B du présent rapport. Le Tableau ES1 ci-dessous fournit une représentation visuelle des études dont les résultats sont présentés dans ce rapport. Étude du PAQUED (2e, 4e, et 6e années) accessibles au PAQUED (2e et 4e années) Programme de lecture (2e et 4e années) Tableau ES1. Les populations étudiées et les analyses autorisées Groupes de traitement Évaluation du PAQUED Témoin accessibles au PAQUED témoins accessibles Programme de lecture Indicateu r initial Indicateu r initial Indicateur final Indicateur final Évaluation ponctuelle Croissance relative des résultats dans les écoles du PAQUED par rapport au groupe témoin pendant la période Croissance relative des résultats dans les écoles accessibles au PAQUED par rapport au groupe témoin accessible pendant la période Résultats en 2014 La Figure ES1, à la page suivante, donne deux représentations visuelles des populations scolaires évaluées au cours de l évaluation des compétences fondamentales en lecture (EGRA) / évaluation des compétences fondamentales en mathématique (EGMA) à la fin de l'étude La partie supérieure de l'image comprend une carte des subdivisions éducatives dans lesquelles les écoles ont été évaluées ; cette carte est codée par couleur selon la ou les populations dont les écoles se trouvaient dans cette subdivision. Le bas de l'image fournit la représentation à l échelle de la taille relative des populations étudiées et des échantillons prélevés (c.-à-d. le rapport entre la surface gris clair Population : écoles du PAQUED et la surface gris foncé Population : 618 écoles accessibles au PAQUED est de 3,000:618, ou ~4,85:1). Dans la carte et la visualisation, l Étude A fait référence aux écoles du PAQUED et témoins ; l Étude B fait référence aux écoles accessibles au PAQUED et aux écoles témoins accessibles ; et les écoles disposant d'un programme de lecture sont imbriquées dans la forme de l Étude B parce qu'elles constituaient un sous-ensemble des écoles accessibles au PAQUED. Projet d'amélioration de la Qualité de l'education (PAQUED) 3

26 Figure ES1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées Limitations Le rapport actuel présente des donnés et des analyses qui sont soumis à quelques limitations. Quelqu une sont à cause de la différence entre la conception original (2009) du projet et la conception nouvelle (2013); quelqu une sont à cause des évolutions depuis 2010 dans les critères du système scolaire du RDC, quand une modification du EGRA 4 Projet d'amélioration de la Qualité de l'education (PAQUED)

27 était utilisé; et des autres limitations sont dû au changement de la conception d échantillons entre l indicateur intital et l indicateur médian. Collecte de données Calendrier des études Les données pour l EGRA/EGMA de la fin de l étude ont été recueillies entre le 1er mai 2014 et le 9 juin 2014, par des équipes d'évaluateurs à l'aide du logiciel de collecte de données électroniques Tangerine. Les équipes ont passé en moyenne deux jours par école en prélevant 13 élèves par année d'études en 2e, 4e et 6e années (l'étude des écoles du PAQUED) ou en 2e et 4e année (l étude des écoles accessibles au PAQUED et l'étude des écoles disposant d un programme de lecture). Les équipes ont aussi mené des interviews des enseignants et du directeur d'école des élèves échantillonnés. Outils utilisés pour mesurer l'impact L impact du PAQUED sur les résultats de l'apprentissage des élèves a été mesuré à l'aide d'egra et EGMA. L'instrument EGRA est un ensemble de sous-tâches administrées oralement pendant 15 à 20 minutes, conçues pour évaluer les compétences fondamentales en lecture qui permettent aux élèves de lire couramment. L'évaluation EGRA est conçue comme approche d'évaluation indépendante de la méthode d enseignement : l'instrument ne reflète pas de méthode particulière d'enseignement de la lecture (par exemple l'approche globale ou phonétique/syllabique). Au contraire, EGRA mesure les aptitudes de base qu'un enfant doit posséder pour être capable de lire couramment et pour comprendre ce qu il lit ce qui constitue l objectif de la lecture. Les sous-tâches EGRA reposent sur la recherche portant sur une approche globale de l'acquisition de la lecture dans différentes langues, y compris les cinq éléments essentiels : conscience phonémique, phonétique, maîtrise de la lecture, vocabulaire et compréhension. 3 De même, EGMA est un instrument administré oralement pour tester les enfants individuellement et conçu pour évaluer les résultats des élèves quant aux compétences de base en mathématique, qu'ils sont censés maîtriser dans les premières années scolaires. L'instrument comprend des sous-tâches qui sont conçues pour effectuer les opérations suivantes : inclure les compétences clés qui, selon les programmes scolaires des pays en voie de développement et des pays développés, doivent être acquises dans les premières années scolaires ; 3 Les définitions sont adaptées du rapport émanant des Département de la Santé et des Services sociaux des États-Unis (Department of Health and Human Services, Instituts américains de la santé (National Institutes of Health - NIH), Eunice Kennedy Shriver National Institute of Child Health and Human Development. (2000). Rapport de la Commission nationale de lecture enseigner à lire aux enfants : une évaluation factuelle de la littérature de recherche scientifique sur la lecture et ses implications pour l'enseignement de la lecture : rapports des sous-groupes (Publication NIH n ). Disponible à Projet d'amélioration de la Qualité de l'education (PAQUED) 5

28 refléter les compétences qui prédisent le mieux les performances futures, selon les études et les conseils scientifiques disponibles ; représenter la progression de compétences nécessaires pour mener à la maîtrise de la mathématique ; et cibler la compréhension conceptuelle et la maîtrise de la procédure. Les sous-tâches particulières comprises dans EGRA et EGMA et utilisées dans un contexte donné sont déterminées par un processus consultatif d'adaptation. Les soustâches sont sélectionnées selon les compétences qui intéressent les acteurs prenant part à l'étude, les attentes scolaires du pays et les caractéristiques particulières de la/des langue(s) à évaluer. 4 Le Tableau ES2 décrit les sous-tâches comprises dans les outils EGRA/EGMA Tableau ES2. Composition des sous-tâches des instruments d'évaluation Classe Instrument Sous-tâches Vocabulaire X X X Identification du son initial X X X Reconnaissance de graphèmes X X X Lecture de mots familiers X X Lecture de mots inventés X X EGRA Maîtrise de la lecture à haute voix X X Compréhension à la lecture X X Compréhension à l audition X X X Écriture d une phrase complète X X Comptage par cœur X X X EGMA Comptage rationnel X X Identification des nombres X X X Comparaison de quantités X X X 4 A la decision du modification des outils dans le RDC, la politique en concernat la utilization des langues nationales était en question. En consultation avec le donateur et les homologues du gouvernement, la décision était pris d utiliser la langue francaise pour les interventions du projet et comme langue d évaluation pour les outils EGRA. 6 Projet d'amélioration de la Qualité de l'education (PAQUED)