PAQUED : RDC Projet d'amélioration de la Qualité de l'éducation (PAQUED) Novembre 2014

Transcription

1 PAQUED : RDC Projet d'amélioration de la Qualité de l'éducation (PAQUED) Rapport final de 2014 sur les résultats de l évaluation des compétences fondamentales en lecture (EGRA) et de l évaluation des compétences fondamentales en mathématiques (EGMA) Novembre 2014 Cette publication a été produite pour être consultée par l Agence américaine pour le développement international et le Centre de recherche pédagogique. Elle a été préparée par RTI International.

2 PAQUED : RDC Projet d'amélioration de la Qualité de l'éducation (PAQUED) Rapport final de 2014 sur les résultats de l évaluation des compétences fondamentales en lecture (EGRA) et de l évaluation des compétences fondamentales en mathématiques (EGMA) Contrat : AID-623-A Projet EDC : Date : novembre 2014 Préparé pour USAID/RDC et EDC Préparé par Jennae Bulat, Aarnout Brombacher, Timothy Slade Jennifer Iriondo-Perez, Maureen Kelly RTI International 3040 Cornwallis Road Post Office Box Research Triangle Park, NC Les vues des auteurs exprimées dans cette publication ne reflètent pas nécessairement les vues de l'agence des États-Unis pour le développement International ou du gouvernement des États-Unis. RTI International est l'un des principaux instituts de recherche du monde, voué à l'amélioration de la condition humaine par la mise en pratique des connaissances. Notre personnel de plus de personnes fournit des services techniques et de recherche aux gouvernements et aux entreprises dans plus de 75 pays dans les domaines de la santé et des produits pharmaceutiques, de l éducation et de la formation, des enquêtes et des statistiques, des technologies de pointe, du développement international, de la politique économique et sociale, de l énergie et l environnement, des essais en laboratoire et de l analyse chimique. Pour plus d'informations, visitez RTI International est un nom de commerce du Research Triangle Institute.

3 Table des matières Page Liste des figures... v Liste des Tableaux... ix Acronymes... xxi Rapport sommaire... 1 Introduction Brève chronologie des activités d'évaluation de l impact pendant le projet PAQUED Structure du rapport Chapitre A: contexte et évolution du projet PAQUED ; conception, objectifs et limites de l étude Contexte et évolution du projet Mise en œuvre du projet avant Réalignement de l objet du PAQUED pour la période Éléments du réalignement préalable à l intervention PAQUED Apports du PAQUED pour les élèves Apports du PAQUED pour les enseignants Éléments du réalignement après l intervention «Programme de lecture» Apports du programme de lecture ciblant les élèves Apports du programme de lecture ciblant les enseignants Conception de l étude et objectifs Conception de la recherche L'outil EGRA L'outil EGMA Contexte de l'élève, interviews de l enseignant et du directeur d'école Formation des évaluateurs Limitations Mauvais alignement de l'intervention et de l'évaluation Attentes scolaires des capacités de lecture des élèves de 2e année Changements dans la conception de l'échantillonnage Chapitre B : résultats et analyse des compétences en lecture des élèves dans les écoles disposant d'un programme de lecture Statistiques descriptives Échantillon de Résultats des sous-tâches EGRA Vocabulaire Compréhension à l audition Reconnaissance de graphèmes Projet d'amélioration de la Qualité de l'education (PAQUED) iii

4 Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Écriture d une phrase complète Chapitre C : résultats et analyse des performances des élèves en lecture dans les écoles accessibles du PAQUED et les écoles témoins accessibles Performances des élèves selon les mesures EGRA dans toutes les écoles accessibles au PAQUED et les écoles témoins accessibles Éléments descriptifs Échantillon de Résultats des sous-tests EGRA Vocabulaire Compréhension à l audition Reconnaissance de graphèmes Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension du Texte Lu Écriture d une Phrase Complète Résumé et conclusions Chapitre D : Résultats et analyses des pérformances des élèves en lecture dans les écoles PAQUED et Témoins Résultats des élèves au test EGRA dans les écoles PAQUED et Témoins Description Échantillon Résultats des exercices EGRA Vocabulaire Compréhension à l Audition Connaissance des Graphèmes Lecture des Mots Familiers Lecture des Mots Inventés Lecture de Texte Compréhension du Texte Lu Écriture d'une Phrase Complète Résumé et conclusions Chapitre E : Résultats et analyse de la performance des élèves en mathématiques dans les écoles Programme de Lecture, PAQUED Accessibles, et Témoins Accessibles iv Projet d'amélioration de la Qualité de l'education (PAQUED)

5 1. Résultats EGMA dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles Résultats EGMA par Sexe dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles Chapitre F : Résultats EGMA dans les écoles PAQUED et Témoins Les Résultats EGMA dans les écoles PAQUED et témoins Résultats EGMA par sexe dans les écoles PAQUED et Témoins Chapitre G : Conclusions et recommandations Annexe I : Détails de la méthodologie de l'étude Annexe II : Procédé de collecte de données EGRA / EGMA Annexe III : À propos des instruments d'évaluation Annexe IV. Les écoles disposant d un programme de lecture: Les comparaisons Liste des figures Figure ES1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées... 4 Figure ES2. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence de la RDC Figure ES3. Performances des élèves dans les écoles accessibles au PAQUED par rapport aux critères de référence de la RDC Figure ES4. Performances des élèves dans les écoles du PAQUED par rapport aux critères de référence de la RDC Figure A1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées Figure B1. Scores de 2e année pour le Vocabulaire à la fin de l étude par province Figure B2. Scores de 4e année pour le Vocabulaire à la fin de l étude par province Figure B3. Scores de 2e année pour l Identification du son initial à la fin de l étude par province Figure B4. Scores de 4e année pour l Identification du son initial à la fin de l étude par province Figure B5. Scores de 2e année en Compréhension à l audition à la fin de l étude par province Projet d'amélioration de la Qualité de l'education (PAQUED) v

6 Figure B6. Scores de 4e année en Compréhension à l audition à la fin de l étude par province Figure B7. Scores de 2e année en Reconnaissance de graphèmes à la fin de l étude par province Figure B8. Scores de 4e année en Reconnaissance de graphèmes à la fin de l étude par province Figure B9. Scores de 4e année en Lecture de mots familiers à la fin de l étude par province Figure B10. Scores de 4e année en Lecture de mots inventés à la fin de l étude par province Figure B11. Scores de la 4e année en Maîtrise de la lecture à haute voix à la fin de l étude par province Figure B12. Scores de la année en Compréhension à la lecture à la fin de l étude par province Figure B13. Correspondance globale entre la Maîtrise de la lecture à haute voix et la Compréhension à la lecture en 4e année Figure B14. Scores de 4e année en Écriture d une phrase complète à la fin de l étude par province Figure B15. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence de la RDC Figure C1. Scores de 2e année en Vocabulaire à la fin de l'étude par province Figure C2. Scores de 4e année en Vocabulaire à la fin de l'étude par province Figure C3. Scores de 2e année en Identification du son initial à la fin de l'étude par province Figure C4. Scores de la 4e année en Identification du son initial à la fin de l étude par province Figure C5. Scores de la 2e année en Compréhension à l audition à la fin de l'étude par province Figure C6. Scores de la 4e année en Compréhension à l audition à la fin de l'étude par province Figure C7. Scores de 2e année en Reconnaissance de graphèmes à la fin de l'étude par province Figure C8. Scores de 4e année en Reconnaissance de graphèmes à fin de l'étude par province vi Projet d'amélioration de la Qualité de l'education (PAQUED)

7 Figure C9. Scores de 4e année en Lecture de mots familiers à la fin de l'étude par province Figure C10. Scores de 4e année en Lecture de mots inventés à la fin de l'étude par province Figure C11. Scores de 4e année en Maîtrise de la lecture à haute voix à la fin de l'étude par province Figure C12. Compréhension du Texte Lu : résultats des quatrièmes en 2014 par Province Figure C13. Correspondance générale entre Lecture de Texte et Compréhension du Texte Lu pour les quatrièmes Figure C14. Écriture d une Phrase Complète : résultats des quatrièmes en 2014 par Province Figure C15. Résultats des élèves des écoles PAQUED Accessibles par rapport aux moyennes nationales en RDC Figure D1. Résultats des deuxièmes en Vocabulaire en 2014 par Province Figure D2. Résultats des quatrièmes en Vocabulaire en 2014 par Province Figure D3. Résultats des sixièmes en Vocabulaire en 2014 par Province Figure D4. Résultats des deuxièmes en Identification du Son Initial en 2014 par Province Figure D5. Résultats des quatrièmes en Identification du Son Initial en 2014 par Province Figure D6. Résultats des sixièmes en Identification du Son Initial en 2014 par Province Figure D7. Résultats des deuxièmes en Compréhension à l'audition en 2014 par Province Figure D8. Résultats des quatrièmes en Compréhension à l'audition en 2014 par Province Figure D9. Résultats des sixièmes en Compréhension à l'audition en 2014 par Province Figure D10. Résultats des deuxièmes en Connaissance de Graphèmes en 2014 par Province Figure D11. Résultats des quatrièmes en Connaissance de Graphèmes en 2014 par Province Figure D12. Résultats des sixièmes en Connaissance de Graphèmes en 2014 par Province Projet d'amélioration de la Qualité de l'education (PAQUED) vii

8 Figure D13. Résultats des quatrièmes en Lecture des Mots Familiers en 2014 par Province Figure D14. Résultats des sixièmes en Lecture des Mots Familiers en 2014 par Province FigureD15. Résultats des quatrièmes en Lecture des Mots Inventés en 2014 par Province Figure D16. Résultats des sixièmes en Lecture des Mots Inventés en 2014 par Province Figure D17. Résultats des quatrièmes en Lecture de Texte en 2014 par Province Figure D18. Résultats des sixièmes en Lecture de Texte en 2014 par Province Figure D19. Résultats des quatrièmes en Compréhension du Texte Lu en 2014 par Province Figure D20. Résultats des sixièmes en Compréhension du Texte Lu en 2014 par Province Figure D21. Correspondance entre Lecture de Texte et Compréhension du Texte Lu chez les quatrièmes Figure D22. Correspondance entre Lecture de Texte et Compréhension du Texte Lu chez les sixièmes Figure D23. Résultats des quatrièmes en Écriture d'une Phrase Complète en 2014 par Province Figure D24. Résultats des sixièmes en Écriture d'une Phrase Complète en 2014 par Province Figure D25. Performances des élèves des écoles PAQUED par rapport aux moyennes de RDC Figure E1. EGMA au Bandundu : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure E2. EGMA en Équateur : Pourcentage des Moyennes 2014 par Exercice, Classe et Groupe Figure E3. EGMA en Province orientale Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure E4. EGMA dans les écoles PAQUED Accessibles du Bandundu : Moyennes en 2014 par Exercice, Classe et Sexe Figure E5. EGMA dans les écoles PAQUED Accessibles d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe viii Projet d'amélioration de la Qualité de l'education (PAQUED)

9 Figure E6. EGMA dans les écoles PAQUED Accessibles de Province orientale : Moyennes en 2014 par Exercice, Classe et Sexe Figure E7. EGMA dans les écoles Programme de Lecture du Bandundu : Moyennes 2014 par Exercice, Classe et Sexe Figure E8. EGMA dans les écoles Programme de Lecture d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe Figure E9. EGMA dans les écoles Programme de Lecture de Province orientale : Moyennes 2014 par Exercice, Classe et Sexe Figure F1. EGMA au Bandundu : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure F2. EGMA en Équateur : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure F3. EGMA en Province orientale Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe Figure F4. EGMA dans les écoles traitées au Bandundu : Moyennes en 2014 par Exercice, Classe et Sexe Figure F5. EGMA dans les écoles traitées d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe Figure F6. EGMA dans les écoles traitées de Province orientale : Moyennes en 2014 par Exercice, Classe et Sexe Figure A1.1 Subdivisions contenant des écoles évaluées en 2014 et Taille relative des populations étudiées Liste des Tableaux Tableau ES1. Les populations étudiées et les analyses autorisées... 3 Tableau ES2. Composition des sous-tâches des instruments d'évaluation... 6 Tableau ES3. La performance en lecture d un sous-groupe des écoles disposant d'un programme de lecture (n=20), en scores moyens... 9 Tableau ES4. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence nationaux Tableau ES5. La performance des eleves en lecture dans les ecoles accessibles au PAQUED, en scores moyens, par Province Projet d'amélioration de la Qualité de l'education (PAQUED) ix

10 Tableau ES6. Performances des élèves dans les écoles accessibles au PAQUED par rapport aux critères de référence nationaux Tableau ES7. Performance en lecture dans les ecoles PAQUED, par scores moyens, par Province Tableau ES8. Performances des élèves dans les écoles du PAQUED par rapport aux critères de référence nationaux Tableau ES9. Le changement de la performance en mathématiques dans les écoles disposant d un programme de lecture (n=20) au fils de temps en pourcentage d éléments corrects Tableau ES10. Le changement dans les resultats mathematiques dans les ecoles accesibles à PAQUED au fils de temps, en pourcentage d éléments corrects, par Province Tableau ES11. Les changements dans les performances en mathematiques dans les ecoles PAQUED au fils de temps, en pourcentage d éléments corrects, par Province Tableau A1. Intervention du PAQUED apports destinés aux élèves Tableau A2. Intervention PAQUED apports en formation ciblant les enseignants Tableau A3. Intervention PAQUED apports en matériel ciblant les enseignants Tableau A4. Programme de lecture apports ciblant les élèves Tableau A5. Programme de lecture apports supplémentaires ciblant les enseignants Tableau A6. Les populations étudiées et les analyses autorisées Tableau B1. Échantillon prévu par province et par classe Tableau B2. Échantillon réel par province et par classe Tableau B3. Type de gestion scolaire, par province (n = 43) Tableau B4. Caractéristiques générales de l'échantillon global des élèves (n = 1 103) Tableau B5. Indicateurs SES des élèves (n = 1 103) Tableau B6. Réponses des élèves à certaines questions à caractère démographique (n = 1 097) Tableau B7. Indication par l'élève de la langue parlée à la maison Tableau B8. Caractéristiques générales de l'échantillon des enseignants (n = 86) x Projet d'amélioration de la Qualité de l'education (PAQUED)

11 Tableau B9. Réponses des enseignants à des questions choisies du sondage (n = 86) Tableau B10. Caractéristiques générales de l'échantillon de directeurs d'école (n = 42) Tableau B11. Réponses des directeurs d'école à des questions choisies du sondage (n = 42) Tableau B12. Pourcentage de zéros et scores moyens en pourcentages globaux par classe et sous-tâche à la fin de l étude Tableau B13. Pourcentage de zéros en Vocabulaire et pourcentage d'éléments tentés, par catégorie et par province Tableau B14. Scores moyens pour le Vocabulaire par type de mot de vocabulaire, par classe et par province Tableau B15. Comparaison des scores moyens en Vocabulaire par classe, province et sexe Tableau B16. Pourcentage de zéros et pourcentage d'éléments tentés par classe et par province pour l Identification du son initial Tableau B17. Comparaison des scores moyens en Identification du son initial par classe, province et sexe Tableau B18. Pourcentage de zéros en Compréhension à l audition et pourcentage d'éléments tentés par classe et par province Tableau B19. Comparaison des scores moyens pour la Compréhension à l audition par classe, province et sexe Tableau B20. Pourcentage de zéros en Reconnaissance de graphèmes et pourcentage d'éléments tentés par classe et par province Tableau B21. Comparaison des scores moyens en Reconnaissance de graphèmes par classe, province et sexe Tableau B22. Pourcentage de zéros en Lecture de mots familiers et pourcentage d'éléments tentés pour la 4e année, par province Tableau B23. Comparaison des scores moyens en Lecture de mots familiers pour la 4e année par province et par sexe Tableau B24. Pourcentage de zéros en Lecture de mots inventés et pourcentage d'éléments tentés pour la 4e année, par province Tableau B25. Comparaison des scores moyens en Lecture de mots inventés pour la 4e année par province et par sexe Projet d'amélioration de la Qualité de l'education (PAQUED) xi

12 Tableau B26. Pourcentage de zéros en Maîtrise de la lecture à haute voix et pourcentage d éléments tentés pour la 4e année, par province Tableau B27. Comparaison des scores moyens en Maîtrise de la lecture à haute voix pour la 4e année par province et par sexe Tableau B28. Pourcentage de zéros en Compréhension à la lecture et pourcentage d éléments tentés pour la 4e année, par province Tableau B29. Comparaison des scores moyens en Compréhension à la lecture en 4e année par province et par sexe Tableau B30. Pourcentage de zéros en Écriture d une phrase complète et pourcentage d éléments tentés, pour la 4e année par province Tableau B31. Comparaison des scores moyens en Écriture d une phrase complète en 4e année par province et par sexe Tableau B32. Analyses du chi carré des caractéristiques des élèves de 2e année avec des résultats élevés pour la sous-tâche de Reconnaissance de graphèmes Tableau B33. Régressions logistiques des caractéristiques des élèves de 2e année Tableau B34. Analyses du chi carré des caractéristiques de l élève de 4e année avec les performances élevées de l élève dans la sous-tâche de Reconnaissance de graphèmes Tableau B35. Régressions logistiques caractéristiques des élèves de 4e année Tableau B36. Régressions logistiques des caractéristiques des enseignants Tableau B37. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence nationaux Tableau C1. Échantillon d'écoles prévues par province Tableau C2. Échantillon d'élèves prévus par province et par classe Tableau C3. Échantillon réel par province et par classe Tableau C4. Type de gestion de l école, par province (n = 82) Tableau C5. Caractéristiques générales de l'échantillon global des élèves (n = 1 965) Tableau C6. Indicateurs SES des élèves (n = 1 965) Tableau C7. Sélection de réponses d élèves aux questions démographiques (n = 1 097) Tableau C8. Indication par les élèves de la langue parlée à la maison Tableau C9. Caractéristiques générales de l'échantillon d'enseignants (n = 154) xii Projet d'amélioration de la Qualité de l'education (PAQUED)

13 Tableau C10. Sélection de réponses d enseignants aux questions du sondage (n = 86) Tableau C11. Caractéristiques générales de l'échantillon des directeurs d'école (n = 81) Tableau C12. Réponses choisies des directeurs d'école aux questions du sondage (n = 42) Tableau C13. Pourcentages de zéros et de scores moyens globaux par sous-tâche, classe et groupe à la fin de l étude Tableau C14. Pourcentage de zéros et pourcentage d éléments tentés pour le Vocabulaire par catégorie et par province Tableau C15. Analyses de la différence dans les différences en Vocabulaire par classe, région et groupe Tableau C16. Comparaison des scores moyens en Vocabulaire par classe, province, groupe et sexe Tableau C17. Pourcentage de zéros pour l Identification du son initial et pourcentage d éléments tentés par catégorie et par province Tableau C18. Analyses de la différence dans les différences pour l Identification du son initial par classe, région et groupe Tableau C19. Comparaison des scores moyens pour l'identification du son initial par classe, province, groupe et sexe Tableau C20. Pourcentage de zéros en Compréhension à l audition et pourcentage d'éléments tentés par classe et par province Tableau C21. Analyses de la différence dans les différences pour la Compréhension à l audition par classe, région et groupe Tableau C22. Comparaison des scores moyens pour la Compréhension à l audition par classe, province, groupe et sexe Tableau C23. Pourcentage de zéros et pourcentage d éléments tentés pour la Reconnaissance de graphèmes et scores moyens par classe et province Tableau C24. Analyses de la différence dans les différences pour la Reconnaissance de graphèmes par classe, région et groupe Tableau C25. Comparaison des scores moyens pour la Reconnaissance de graphèmes par classe, province et sexe Tableau C26. Pourcentage de zéros pour la Lecture de mots familiers et pourcentage d'éléments tentés pour la 4e année, par province Projet d'amélioration de la Qualité de l'education (PAQUED) xiii

14 Tableau C27. Analyses de la différence dans les différences de Lecture de mots familiers par région et par groupe Tableau C28. Comparaison des scores moyens de Lecture de mots familiers pour la 4e année par province, groupe et sexe Tableau C29. Pourcentage de zéros pour la Lecture de mots inventés et pourcentage d'éléments tentés pour la 4e année, par province Tableau C30. Analyses de la différence dans les différences en Lecture de mots inventés par région et par groupe Tableau C31. Comparaison des scores moyens en Lecture de mots inventés pour la 4e année par province, par groupe et par sexe Tableau C32. Pourcentage de zéros en Maîtrise de la lecture à haute voix et pourcentage d éléments tentés pour la 4e année par province Tableau C33. Analyses de la différence dans les différences pour la Maîtrise de la lecture à haute voix par région et par groupe Tableau C34. Comparaison des scores moyens en Maîtrise de la lecture à haute voix pour la 4e année par province, par groupe et par sexe Tableau C35. Compréhension du Texte Lu : Résultats nuls et pourcentage de réponses tentées pour les quatrièmes par Province Tableau C36. Compréhension du Texte Lu : analyse de l écart des différences par Région et par Groupe Tableau C37. Compréhension du Texte Lu : comparaison des résultats moyens pour les quatrièmes par Province, Groupe et Sexe Tableau C38. Écriture d une Phrase Complète : Résultats nuls et pourcentage de mots écrits pour les quatrièmes par Province Tableau C39. Écriture d une Phrase Complète : analyses de l écart des différences par Région et par Groupe Tableau C40. Écriture d une Phrase Complète : comparaison des moyennes pour les quatrièmes par Province et par Sexe Tableau C41. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes, écoles PAQUED Accessibles et Témoins Accessibles Tableau C42. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes, écoles PAQUED Accessibles et Témoins Accessibles Tableau C43. Régressions logistiques des caractéristiques des élèves de quatrième xiv Projet d'amélioration de la Qualité de l'education (PAQUED)

15 Tableau C44. Régressions logistiques pour les caractéristiques des enseignants Tableau C45. Résultats des élèves dans les écoles PAQUED Accessibles par rapport aux références nationales Tableau D1. Échantillon d'écoles prévu par Province et par Classe Tableau D2. Échantillon d'élèves prévu par Province et par Classe (n = 5 616) Tableau D3. Échantillon réel d'écoles par Province et par Classe Tableau D4. Échantillon réel d'élèves par Province et par Classe (n = 5 255) Tableau D5. Type d'école, par Groupe (n = 145) Tableau D6. Caractéristiques générales de l'échantillon d'élèves (n = 5 255) Tableau D7. Indicateurs SSE de l'élève (n = 5 255) Tableau D8. Réponses des élèves aux questions démographiques (n = 5 204) Tableau D9. Langue parlée à la maison Tableau D10. Caractéristiques générales de l'échantillon d'enseignants (n = 389) Tableau D11. Réponses des enseignants aux questions du sondage (n = 389) Tableau D12. Caractéristiques générales de l'échantillon de directeurs (n = 142) Tableau D13. Réponses des directeurs au sondage (n = 142) Tableau D14. Pourcentage général de résultats nuls et Moyennes par Classe et par Exercice en Tableau D15. Vocabulaire : Résultats nuls et pourcentage de tentatives, par Classe et Province Tableau D16. Vocabulaire : Analyse de l écart des différences par Classe, Province et Groupe Tableau D17. Vocabulaire : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D18. Identification du Son Initial : Résultats nuls et pourcentage de tentatives, par Classe et Province Tableau D19. Identification du Son Initial : Analyse de l écart des différences par Classe, Province et Groupe Tableau D20. Identification du Son Initial : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D21. Compréhension à l'audition : Résultats nuls et pourcentage de tentatives par Classe et Province Projet d'amélioration de la Qualité de l'education (PAQUED) xv

16 Tableau D22. Compréhension à l'audition : Analyse de l écart des différences par Classe, Province et Groupe Tableau D23. Compréhension à l'audition : comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D24. Connaissance des Graphèmes : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D25. Connaissance des Graphèmes : Analyse de l écart des différences par Classe, Province et Groupe Tableau D26. Connaissance des Graphèmes : Moyennes par Classe, Province, Groupe et Sexe Tableau D27. Lecture des Mots Familiers : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D28. Lecture des Mots Familiers : Analyses de l écart des différences par Classe, Province et Groupe Tableau D29. Lecture des Mots Familiers : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D30. Lecture des Mots Inventés : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D31. Lecture des Mots Inventés : Analyse de l écart des différences par Classe, Province et Groupe Tableau D32. Lecture des Mots Inventés : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D33. Lecture de Texte : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D34. Lecture de Texte : Analyse de l écart des différences par Classe, Province et Groupe Tableau D35. Lecture de Texte : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D36. Compréhension du Texte Lu : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D37. Compréhension du Texte Lu : Analyse de l écart des différences par Classe, Province et Groupe Tableau D38. Compréhension du Texte Lu : Comparaison des moyennes par Classe, Province, Groupe et Sexe xvi Projet d'amélioration de la Qualité de l'education (PAQUED)

17 Tableau D39. Écriture d'une Phrase Complète : Résultats nuls et pourcentage de tentatives par Classe et Province Tableau D40. Écriture d'une Phrase Complète : Analyse de l écart des différences par Classe, Province et Groupe Tableau D41. Écriture d'une Phrase Complète : Comparaison des moyennes par Classe, Province, Groupe et Sexe Tableau D42. Analyse chi carré des caractéristiques des élèves de deuxième performants dans l'exercice de Connaissance des Graphèmes Tableau D43. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes Tableau D44. Régression logistique des caractéristiques des élèves de quatrième Tableau D45. Analyse chi carré des caractéristiques des élèves de sixième performants dans l'exercice de Connaissance des Graphèmes Tableau D46. Performances des élèves dans les écoles PAQUED par rapport aux moyennes nationales Tableau E1. EGMA au Bandundu : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau E2. EGMA au Bandundu : EDD 2012/2014 des Moyennes par Classe Tableau E3. EGMA en Équateur : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau E4. EGMA en Équateur : EDD 2012/2014 des Moyennes par Classe Tableau E5. EGMA en Province orientale Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau E6. EGMA en Province orientale EDD 2012/2014 des Moyennes par Classe Tableau E7. EGMA dans les écoles PAQUED Accessibles du Bandundu : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E8. EGMA dans les écoles PAQUED Accessibles d'équateur : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E9. EGMA dans les écoles PAQUED Accessibles de Province orientale : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E10. EGMA dans les écoles Programme de Lecture du Bandundu : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau E11. EGMA dans les écoles Programme de Lecture d'équateur : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Projet d'amélioration de la Qualité de l'education (PAQUED) xvii

18 Tableau E12. EGMA dans les écoles Programme de Lecture de Province orientale : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe Tableau F1. EGMA au Bandundu : Pourcentage de Résultats Nuls et Moyennes 2014 par Classe Tableau F2. EGMA au Bandundu : EDD 2010/2014 des Moyennes par Classe Tableau F3. EGMA en Équateur : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau F4. EGMA en Équateur : EDD 2010/2014 des Moyennes par Classe Tableau F5. EGMA en Province orientale Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Tableau F6. EGMA en Province orientale : EDD 2010/2014 des Moyennes par Classe Tableau F7. EGMA dans les écoles PAQUED du Bandundu : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe Tableau F8. EGMA dans les écoles PAQUED d'équateur : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe Tableau F9. EGMA dans les écoles PAQUED de Province orientale : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe Tableau G1. Population étudiée et Analyses possibles Tableau A1.1 : Échantillon 2010 : Distribution géographique par Type de traitement Tableau A1.2 : Distribution géographique de l'échantillon de 2012 par Type de traitement Tableau A1.3 : Nombre d'écoles dans l Échantillon A en 2014 par Distribution géographique et Type de traitement Tableau A1.4 : Nombre d'élèves dans l Échantillon A en 2014 par Distribution géographique, Type de traitement et Classe Tableau A1.5 : Nombre d'écoles dans l Échantillon B en 2014 par Distribution géographique et Type de traitement Tableau A1.6 : Nombre d'élèves dans l Échantillon B en 2014 par Distribution géographique, Type de traitement et Classe Tableau A1.7 : Base et Contenu de l'échantillon A de 2014 : Subdivisions (Phase 1) xviii Projet d'amélioration de la Qualité de l'education (PAQUED)

19 Tableau A1.8 : Base et Contenu de l'échantillon A de 2014 pour les écoles PAQUED (Phase 2) Tableau A1.9 : Base et Contenu de l'échantillon A de 2014 pour les écoles Témoins (Phase 2) Tableau A1.10 : Base et Contenu de l'échantillon B de 2014 pour les Subdivisions (Phase 1) Tableau A1.11 : Base et Contenu de l'échantillon B de 2014 pour les écoles PAQUED Accessibles (Phase 2) Tableau A1.12 : Base et Contenu de l'échantillon B de 2014 pour les écoles Témoins Accessibles (Phase 2) Tableau A1.13 : Chapitre B - Ajustements de Bonferroni pour les résultats EGRA des écoles Programme de Lecture Tableau A1.14 : Chapitre C Section 1 - Ajustement de Bonferroni pour les écoles PAQUED Accessibles, résultats EGRA Tableau A1.15 : Chapitre C Section 2 - Ajustement Bonferroni pour les écoles PAQUED, résultats EGRA Tableau A1.16 : Chapitre D Sections Ajustements Bonferroni pour les écoles PAQUED Accessibles, résultats EGMA Tableau A1.17 : Chapitre D Sections Ajustements Bonferroni pour les écoles PAQUED Accessibles, résultats EGMA Tableau A3.1 : Matrice de corrélation pour les exercices EGRA Tableau A3.2 : Matrice de corrélation pour les exercices EGMA Tableau A3.3 : Analyse de fiabilité EGRA Tableau A3.4 : Analyse de fiabilité EGMA Tableau A3.5 : Comparaison des instruments EGRA et EGMA Tableau A3.6 : Exemple de l'application de la méthode d'égalisation des moyennes Tableau A4.1: Les écoles disposant d un programme de lecture, changement au fils de temps, 2 e année Tableau A4.2: Les écoles disposant d un programme de lecture changement au fils de temps, 4 e année Tableau A4.3: Les écoles disposant d un programme de lecture (N=20), changement au fils de temps, mathematiques, 2 e année Projet d'amélioration de la Qualité de l'education (PAQUED) xix

20 Tableau A4.4: Les écoles disposant d un programme de lecture (N=20), changement au fils de temps, mathematiques, 4 e année xx Projet d'amélioration de la Qualité de l'education (PAQUED)

21 Acronymes CELTA cgpm cnonwpm cwpm DEFF EDD RDC CRP EGMA EGRA FPC IAI IRR MEPSP orf PAQUED PIEQ APC RTI SBD SES TLM USAID WT Centre de Linguistique Théorique et Appliquée graphèmes corrects par minute Mots inventés corrects par minute Mots corrects par (mots familiers) effet du plan expérimental écart des différences République démocratique du Congo Centre de recherche pédagogique Évaluation des compétences fondamentales en lecture Évaluation des compétences fondamentales en mathématique Correction d'échantillonnage pour une population définie instruction audio interactive Fiabilité inter évaluateurs Ministère de l enseignement primaire, secondaire et professionnel maîtrise de la lecture à haute voix Projet d'amélioration de la Qualité de l'éducation (PIEQ) Package for Improving Education Quality (PAQUED) analyse en composantes principales RTI International subdivisions indicateurs socio-économiques Matériel didactique et d apprentissage Agence américaine pour le développement International poids Projet d'amélioration de la Qualité de l'education (PAQUED) xxi

22

23 Rapport sommaire Financé par l'agence américaine pour le développement International (USAID) et dirigé par l'education Development Center (EDC), le Projet d'amélioration de la Qualité de l'education (PAQUED) était une initiative étalée sur cinq ans ayant comme objectif d augmenter les résultats des élèves par des environnements scolaires et d apprentissage améliorés en République démocratique du Congo (RDC). En tant que partenaire dans le PAQUED, RTI International (RTI) a été chargée d adapter et de mettre en œuvre les instruments EGRA et EGMA pour évaluer l impact de ce programme sur les competences scolaires. Ce document présente une analyse des effets du PAQUED sur trois populations distinctes d'écoles. Chaque discussion reflète une étape différente dans l'évolution importante de l objectif et de la portée du PAQUED qui s est produite entre la conception du projet en 2009 et une réorganisation formelle qui s'est produite en janvier Ces trois populations ne peuvent être comparées directement les unes aux autres, chacune est donc étudiée dans un chapitre séparé du rapport. 1 Elles sont présentées dans l'introduction ci-dessous dans l'ordre chronologique de leur apparition comme point de focalisation pour le projet PAQUED ; cependant, dans le corps principal du rapport, elles sont présentées dans l'ordre chronologique inverse, reflétant le degré avec lequel chacune devait produire des effets significatifs. Le contexte changeant des bailleurs de fonds, du pays, et de la politique de l éducation en RDC : La conception du PAQUED a évolué considérablement depuis son implémentation en La caractéristique la plus indicatif de l évolution était le déplacement d un accent sur la qualité général de l éducation primaire à un accent sur l amélioration de l apprentissage en lecture dans les niveaux primaires. Cet évolution a influencé et était influencé par le gouvernement en évolution du RDC et les priorités scolaires des bailleurs de fonds. Un développement contextuel important pendant ce période était le début de la Stratégie Scolaire d USAID, qui souligne l importance de la lecture dans les niveaux primaires. En même temps, le GDRC a continué son participation dans le Programme Global de l Education (PGE) 2012 Tous les Enfants Lisant en Kigali par s engager à mettre en œuvre la cadre de la politique et les investissements nécessaires pour obtenir des objectifs ambitieux d augmenter le nombre des lecteurs dans le RDC. 1 Veuillez consulter l'annexe I pour une discussion détaillée des approches d'échantillonnage et de la raison pour laquelle elles doivent être traitées séparément. Projet d'amélioration de la Qualité de l'education (PAQUED) 1

24 L entrainement des enseignants et les interventions aux écoles du PAQUED original ont conformé à l obligation venant de la Ministère de l Education (MEPSP) qu ils ont alignés avec le programme et les manuels scolaires déjà présentes. Cependant, à cause du contexte changeant, des entrainements des enseignants et des interventions aux écoles modifiés étaient implementés dans les 45 écoles disposant d'un programme de lecture dans l année scolaire finale du projet. Ces approches nouvelles ont compris des approches réussissant qui se trouvent dans autre contextes. Conception de l étude et limitations Les objectifs des études de 2014 et de ce rapport devaient décrire (1) les changements dans les résultats des élèves en lecture et en mathématique qui ont eu lieu dans les écoles du PAQUED entre 2010 et 2014, (2) des modifications similaires dans les écoles accessibles au PAQUED entre 2012 et 2014 et (3) l'état actuel des résultats de l apprentissage des élèves dans les écoles du PAQUED disposant d'un programme de lecture. L'impact de l'intervention dans les écoles cibles du projet (1 000 dans chacune des provinces du Bandundu, Équateur et Orientale) a été évalué à l'aide d'un échantillon de 145 écoles. De ce nombre, 36 étaient des écoles témoins et ne devaient pas avoir reçu d intervention et 109 étaient des écoles du traitement (appelées écoles du «PAQUED» tout au long de ce rapport) qui étaient censées avoir bénéficié de l'intervention. Les résultats présentés dans ce rapport pour les écoles du PAQUED peuvent être généralisés à l'échelle provinciale. Les conclusions de cette étude sont présentées dans le Chapitre D du présent rapport. L'impact de l'intervention dans les 618 écoles des originales que le PAQUED avait jugées plus facilement accessibles et donc plus susceptibles d'avoir reçu les apports prévus a été évalué à l'aide d'un échantillon de 75 écoles. De ce nombre, 36 étaient le «groupe témoin accessible» qui ne devaient pas avoir reçu d intervention et 39 étaient les écoles du traitement (appelées écoles «accessibles au PAQUED» tout au long de ce rapport) qui étaient censées avoir bénéficié de l'intervention. Les résultats présentés dans ce rapport pour les écoles accessibles au PAQUED sont généralisables aux écoles qui remplissent les mêmes critères d'accessibilité. 2 Les conclusions de cette étude sont présentées dans le Chapitre D du présent rapport. L'impact de l'intervention dans le sous-ensemble des 45 écoles (sur les 618 écoles accessibles au PAQUED) sur lesquelles le PAQUED portait surtout de janvier 2013 à juin 2014 et auxquelles le PAQUED avait fourni une série d apports modifiés et grandement améliorés, notamment les textes des élèves, un accompagnement régulier et un développement professionnel continu dirigé par des pairs a été évalué en tentant 2 Le critère d'accessibilité précisait que les écoles devaient se trouver à environ 20 km d'un centre urbain. Pour qu une subdivision soit admissible pour l'inclusion dans l'échantillon de population pour l'étude de 2012 qui sert de référence pour l'évaluation des écoles accessibles au PAQUED, un minimum de six écoles d'intervention au sein de la subdivision devaient se trouver à moins de 20 km d'un centre urbain. 2 Projet d'amélioration de la Qualité de l'education (PAQUED)

25 d'estimer toutes les 44 écoles (43 seulement ont été atteintes). Elles sont appelées les écoles «disposant d'un programme de lecture» tout au long de ce rapport et leurs résultats ne sont pas généralisables à d''autres populations. Il n'y n'avait aucun groupe contrefactuel ou témoin pour ces écoles. La majorité de cette analyse de cette population se concentre sur la performance à la fin de l étude en Cependant, une partie des écoles disposant d un programme de lecture (20 de 45) étaient évalués en 2012 et 2014 ; avec des avertissements sur l échantillon petit, une discussion courte du changement de la performance au fils du temps pour ces 20 écoles y est comprise. Les conclusions de cette étude sont présentées dans le Chapitre B du présent rapport. Le Tableau ES1 ci-dessous fournit une représentation visuelle des études dont les résultats sont présentés dans ce rapport. Étude du PAQUED (2e, 4e, et 6e années) accessibles au PAQUED (2e et 4e années) Programme de lecture (2e et 4e années) Tableau ES1. Les populations étudiées et les analyses autorisées Groupes de traitement Évaluation du PAQUED Témoin accessibles au PAQUED témoins accessibles Programme de lecture Indicateu r initial Indicateu r initial Indicateur final Indicateur final Évaluation ponctuelle Croissance relative des résultats dans les écoles du PAQUED par rapport au groupe témoin pendant la période Croissance relative des résultats dans les écoles accessibles au PAQUED par rapport au groupe témoin accessible pendant la période Résultats en 2014 La Figure ES1, à la page suivante, donne deux représentations visuelles des populations scolaires évaluées au cours de l évaluation des compétences fondamentales en lecture (EGRA) / évaluation des compétences fondamentales en mathématique (EGMA) à la fin de l'étude La partie supérieure de l'image comprend une carte des subdivisions éducatives dans lesquelles les écoles ont été évaluées ; cette carte est codée par couleur selon la ou les populations dont les écoles se trouvaient dans cette subdivision. Le bas de l'image fournit la représentation à l échelle de la taille relative des populations étudiées et des échantillons prélevés (c.-à-d. le rapport entre la surface gris clair Population : écoles du PAQUED et la surface gris foncé Population : 618 écoles accessibles au PAQUED est de 3,000:618, ou ~4,85:1). Dans la carte et la visualisation, l Étude A fait référence aux écoles du PAQUED et témoins ; l Étude B fait référence aux écoles accessibles au PAQUED et aux écoles témoins accessibles ; et les écoles disposant d'un programme de lecture sont imbriquées dans la forme de l Étude B parce qu'elles constituaient un sous-ensemble des écoles accessibles au PAQUED. Projet d'amélioration de la Qualité de l'education (PAQUED) 3

26 Figure ES1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées Limitations Le rapport actuel présente des donnés et des analyses qui sont soumis à quelques limitations. Quelqu une sont à cause de la différence entre la conception original (2009) du projet et la conception nouvelle (2013); quelqu une sont à cause des évolutions depuis 2010 dans les critères du système scolaire du RDC, quand une modification du EGRA 4 Projet d'amélioration de la Qualité de l'education (PAQUED)

27 était utilisé; et des autres limitations sont dû au changement de la conception d échantillons entre l indicateur intital et l indicateur médian. Collecte de données Calendrier des études Les données pour l EGRA/EGMA de la fin de l étude ont été recueillies entre le 1er mai 2014 et le 9 juin 2014, par des équipes d'évaluateurs à l'aide du logiciel de collecte de données électroniques Tangerine. Les équipes ont passé en moyenne deux jours par école en prélevant 13 élèves par année d'études en 2e, 4e et 6e années (l'étude des écoles du PAQUED) ou en 2e et 4e année (l étude des écoles accessibles au PAQUED et l'étude des écoles disposant d un programme de lecture). Les équipes ont aussi mené des interviews des enseignants et du directeur d'école des élèves échantillonnés. Outils utilisés pour mesurer l'impact L impact du PAQUED sur les résultats de l'apprentissage des élèves a été mesuré à l'aide d'egra et EGMA. L'instrument EGRA est un ensemble de sous-tâches administrées oralement pendant 15 à 20 minutes, conçues pour évaluer les compétences fondamentales en lecture qui permettent aux élèves de lire couramment. L'évaluation EGRA est conçue comme approche d'évaluation indépendante de la méthode d enseignement : l'instrument ne reflète pas de méthode particulière d'enseignement de la lecture (par exemple l'approche globale ou phonétique/syllabique). Au contraire, EGRA mesure les aptitudes de base qu'un enfant doit posséder pour être capable de lire couramment et pour comprendre ce qu il lit ce qui constitue l objectif de la lecture. Les sous-tâches EGRA reposent sur la recherche portant sur une approche globale de l'acquisition de la lecture dans différentes langues, y compris les cinq éléments essentiels : conscience phonémique, phonétique, maîtrise de la lecture, vocabulaire et compréhension. 3 De même, EGMA est un instrument administré oralement pour tester les enfants individuellement et conçu pour évaluer les résultats des élèves quant aux compétences de base en mathématique, qu'ils sont censés maîtriser dans les premières années scolaires. L'instrument comprend des sous-tâches qui sont conçues pour effectuer les opérations suivantes : inclure les compétences clés qui, selon les programmes scolaires des pays en voie de développement et des pays développés, doivent être acquises dans les premières années scolaires ; 3 Les définitions sont adaptées du rapport émanant des Département de la Santé et des Services sociaux des États-Unis (Department of Health and Human Services, Instituts américains de la santé (National Institutes of Health - NIH), Eunice Kennedy Shriver National Institute of Child Health and Human Development. (2000). Rapport de la Commission nationale de lecture enseigner à lire aux enfants : une évaluation factuelle de la littérature de recherche scientifique sur la lecture et ses implications pour l'enseignement de la lecture : rapports des sous-groupes (Publication NIH n ). Disponible à Projet d'amélioration de la Qualité de l'education (PAQUED) 5

28 refléter les compétences qui prédisent le mieux les performances futures, selon les études et les conseils scientifiques disponibles ; représenter la progression de compétences nécessaires pour mener à la maîtrise de la mathématique ; et cibler la compréhension conceptuelle et la maîtrise de la procédure. Les sous-tâches particulières comprises dans EGRA et EGMA et utilisées dans un contexte donné sont déterminées par un processus consultatif d'adaptation. Les soustâches sont sélectionnées selon les compétences qui intéressent les acteurs prenant part à l'étude, les attentes scolaires du pays et les caractéristiques particulières de la/des langue(s) à évaluer. 4 Le Tableau ES2 décrit les sous-tâches comprises dans les outils EGRA/EGMA Tableau ES2. Composition des sous-tâches des instruments d'évaluation Classe Instrument Sous-tâches Vocabulaire X X X Identification du son initial X X X Reconnaissance de graphèmes X X X Lecture de mots familiers X X Lecture de mots inventés X X EGRA Maîtrise de la lecture à haute voix X X Compréhension à la lecture X X Compréhension à l audition X X X Écriture d une phrase complète X X Comptage par cœur X X X EGMA Comptage rationnel X X Identification des nombres X X X Comparaison de quantités X X X 4 A la decision du modification des outils dans le RDC, la politique en concernat la utilization des langues nationales était en question. En consultation avec le donateur et les homologues du gouvernement, la décision était pris d utiliser la langue francaise pour les interventions du projet et comme langue d évaluation pour les outils EGRA. 6 Projet d'amélioration de la Qualité de l'education (PAQUED)

29 Instrument Sous-tâches Classe Nombre manquant X X X Problèmes de mots X X X Calculs Additions X X X Soustractions X X X Multiplications X X Divisions X X Résultats Malgré la complexité de la situation en cours d'examen, les conclusions se résument assez simplement : ces études ne nous permettent pas de faire une déclaration positive concernant les caractéristiques d'une intervention que ce soit du point de vue de ses composants ou de son intensité requise afin de réaliser des améliorations significatives dans les performances des élèves en lecture ou en mathématique. 5 Toutefois, ces études nous permettent de constater clairement que l'appui fourni aux écoles accessibles au PAQUED et aux écoles du PAQUED n'était pas suffisant pour produire des gains d'apprentissage comme mesuré par les outils EGRA et EGMA du RDC qui étaient significatifs ou importants. Impact sur les résultats des élèves en lecture Dans l'étude des 3000 écoles du PAQUED, seules deux comparaisons ont révélé des différences statistiquement significatives: (1) alors qu en 2010, les garçons de 4e année dans les écoles témoins dans la province de l'équateur surpassaient initialement les filles dans la sous-tâche Vocabulaire, en 2014 la différence avait disparu, et (2) alors qu en 2010, les garçons de 6e année dans les écoles du PAQUED n'avaient pas surpassé les filles dans la sous-tâche Lecture de mots familiers, en 2014, ils y étaient arrivé. (Alors que les résultats des garçons et des filles semblent avoir diminué au fil du temps, les résultats des filles ont beaucoup plus diminué, ce qui représente la différence.) Il n'y a eu aucune différence statistiquement significative de performance entre les élèves des écoles d'intervention du PAQUED et des écoles témoins, transversale et au fil du temps. 5 En , EDC a fait une évaluation de l augmentation au fils du temps de la connaissance de la matière et les méthodes pédagogiques dans les enseignants des écoles PAQUED. Les données de ces enseignants étaient collées avec les données de la performance des étudiants, en utilisant des outils diffèrent que ceux des études RTI EGRA/EGMA. Le rapport de l étude EDC suggère que le Programme du Lecteur a eu un effet significatif et positif sur la pratique pédagogiques des enseignants ainsi que la performance des quelques étudiants. Voir Louge, N. (2014) final evaluation report teachers literacy knowledge, instructional practices, and their students reading performance in PAQUED supported schools in the Democratic Republic of Congo. Education Development Center. Projet d'amélioration de la Qualité de l'education (PAQUED) 7

30 L'intervention n'a pas sensiblement amélioré les performances en lecture des élèves entre l'évaluation initiale de référence en 2010 et l'évaluation finale en Étant donné que les sources anecdotiques et les études qualitatives, tel que le rapport d évaluation intermédiaire de 2012 mené par School-to-School International 6, ont souligné la complexité et la difficulté de travailler dans le RDC et ont soulevé de sérieuses questions quant à savoir si l'intervention était réalisée avec une certaine fidélité dans ces écoles, ce résultat n'était pas surprenant. L'étude des écoles accessibles au PAQUED a commencé en 2012, et était fondée sur une révision de cadre d échantillon tiré de la population des écoles que le projet a estimé les plus susceptibles d'avoir reçu les apports de l'intervention. Comme ce fut le cas avec les écoles du PAQUED, l'étude des écoles accessibles au PAQUED ne présentait aucune incidence perceptible sur les compétences des élèves en lecture. Alors que l'absence de données fiables sur la fidélité de la mise en œuvre met en garde contre des déclarations définitives, cela indique que l'ensemble des apports que constituait l'intervention du PAQUED originale ne suffisait pas pour améliorer la lecture des élèves et que l'absence de résultats dans ces deux premières études de populations n'était pas simplement une question de mauvaise mise en œuvre. L'intervention intensive et ciblée, offerte dans les écoles disposant d un programme de lecture en réponse des priorités changeant de USAID et GDRC, réunissait certainement les stéréotypes inhérents à ce genre de stratégies bien conçues d'amélioration de la lecture qui ont réussi ailleurs, c'est-à-dire, des livres dans les mains des élèves, y compris des textes à structures répétées et avec niveaux de difficulté croissants ; la lecture à haute voix de livres et des guides de l'enseignant pour les instructeurs ; une formation complète pour les enseignants sur les stratégies de lecture efficaces et sur l'utilisation du matériel fourni ; au minimum un accompagnement et un mentorat semi-réguliers par quelqu'un formé à la pédagogie de la lecture ; et surtout un temps d instruction quotidien adéquat, axé sur la lecture. Alors que les scores sur la plupart des sous-tâches de lecture semblaient s améliorer légèrement de 2012 à 2014, peu des gains apparents étaient démontré à être statistiquement significatifs. 7 Cette confirmation statistique serait particulièrement utile parce que les sous-tâches Vocabulaire, Identification initiale de son, Reconnaissance de graphèmes, Lecture de mots familiers, Lecture de mots inventés, Maîtrise de la lecture à haute voix, Compréhension à la lecture et Écriture d une phrase complète autrement dit, chaque sous-tâche sauf la Compréhension à l audition comprenaient au moins un exemple de résultats d élèves dans les écoles disposant d un programme de lecture qui semblaient diminuer, plutôt que s améliorer, de 2012 à Lynd, M. (2012, septembre). Rapport final : examen de mi-parcours : projet d'amélioration de la Qualité de l'éducation (PAQUED). Washington, DC: USAID 7 Plus de vision sur les resultats de l intervention dans les écoles disposant d un programme de lecture se trouve dans Louge, N. (2014) Final Evaluation Report: Teachers Literacy Knowledge, Instructional Practices, and Their Students Reading Performance in PAQUED Supported Schools in the Democratic Republic of Congo. Education Development Center. 8 Projet d'amélioration de la Qualité de l'education (PAQUED)

31 Il est apparu à partir de ces études que le soutien aux élèves semble améliorer les performances des élèves. Par exemple, pour les élèves dans les écoles disposant d un programme de lecture, avoir un professeur qui participait activement à l'intervention (telle que mesurée par la fréquentation aux forums aux niveaux de l'école et des groupements d'écoles, la participation à la formation et la réception des visites du personnel du PAQUED formé à la lecture) correspondait positivement et significativement à des résultats élevés des élèves (quintile supérieur de tous les élèves dans la même année dans la même étude) dans la sous-tâche Reconnaissance de graphèmes. Il est encourageant de constater qu un facteur sur lequel l'école peut exercer une influence pouvait avoir un tel impact. (Ceci en contraste avec d'autres facteurs qui correspondaient également au niveau élevé d un élève, comme le fait de parler principalement français à la maison ou d avoir un membre de la famille à la maison qui sait aussi lire.) La section suivante donne un résume de la performance des étudiants en lecture pour chacune des populations d intérêt. Le premier tableau dans chaque instance résume le changement en performance au fils de temps de l indicateur initiale (2010 ou 2012) jusqu à l indicateur finale (2014). Le deuxième tableau fait une comparaison entre la performance des étudiants à l indicateur final aux références nationales 8 pour la variété de sous-taches en lecture, et la figure donne une visualisation de la même. Le Tableau ES3 fournit un résumé des résultats des élèves en lecture pour la population PAQUED, séparé par Province. Tableau ES3. La performance en lecture d un sous-groupe des écoles disposant d'un programme de lecture (n=20), en scores moyens 9 Sous-tâche Groupe 2 e année 4 e année Vocabulaire Identification du son initial Reconnaissance de graphèmes Témoin Traitement * Témoin Traitement Témoin Traitement * Lecture de mots familiers Témoin Des critères de référence pour les performances des élèves en français n'existent pas pour chaque compétence dans chaque niveau scolaire. Dans certains cas, une référence peut exister pour cette compétence, mais dans une langue nationale qui n'a pas été évaluée par ces études. 9 Il n y avait aucune école témoin avec laquelle la performance des écoles disposant d'un programme de lecture pouvait être comparée. Comme le nombre des écoles et des statistiques d étudiants sont si petits, ce tableau ne séparé pas les résultats par province. Projet d'amélioration de la Qualité de l'education (PAQUED) 9

32 Sous-tâche Groupe 2 e année 4 e année Traitement Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Compréhension à l audition Écriture d une phrase complète * signicatif à p < Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement * Témoin Traitement Le Tableau ES4 compare les performances des eleves à l indicateur final aux critères de référence nationaux approprié, et la Figure ES2 présentent les memes résultats en forme graphique. Tableau ES4. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence nationaux 10 Classe Inférieures aux critères de référence Dans la fourchette des critères de référence Supérieures aux critères de référence Aptitudes de lecture ou de pré-lecture n ( %) n ( %) n ( %) Compréhension à l audition Conscience phonémique 437 (79,2 %) 39 (7 %) 78 (13,8 %) 2 Graphèmes 510 (92,2 %) 21 (3,9 %) 23 (3,9 %) Mots familiers Maîtrise de la lecture à haute voix Compréhension Le n pour chaque niveau scolaire figurant dans ce tableau est : 2e année = 554 ; 4e année = 549. Chaque n présenté est non pondéré et chaque pourcentage présenté est pondéré. 10 Projet d'amélioration de la Qualité de l'education (PAQUED)

33 Classe Aptitudes de lecture ou de pré-lecture Inférieures aux critères de référence Dans la fourchette des critères de référence Supérieures aux critères de référence n ( %) n ( %) n ( %) Compréhension à l audition 368 (66,1 %) 72 (13,9 %) 109 (20 %) Conscience phonémique Graphèmes 433 (79,3 %) 72 (13,7 %) 44 (6,9 %) 4 Mots familiers 521 (95,2 %) 6 (0,9 %) 8 (1,3 %) Maîtrise de la lecture à haute voix 440 (80,3 %) 46 (8,8 %) 63 (11 %) Compréhension 504 (92,1 %) 25 (4,6 %) 20 (3,3 %) Figure ES2. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence de la RDC Tableau ES5 donne un résume de la performance des élèves en lecture pour les écoles accessibles au PAQUED, séparé par Province. Projet d'amélioration de la Qualité de l'education (PAQUED) 11

34 Tableau ES5. La performance des eleves en lecture dans les ecoles accessibles au PAQUED, en scores moyens, par Province Province Sous-tâche Groupe 2e année 4e année Bandundu Vocabulaire Identification du son initial Reconnaissance de graphèmes Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Compréhension à l audition Écriture d une phrase complète Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Equateur Vocabulaire Identification du son initial Témoin Traitement Témoin Traitement Reconnaissance de Témoin Projet d'amélioration de la Qualité de l'education (PAQUED)

35 2e année 4e année Province Sous-tâche Groupe graphèmes Traitement Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Compréhension à l audition Écriture d une phrase complète Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Orientale Vocabulaire Identification du son initial Reconnaissance de graphèmes Lecture de mots familiers Lecture de mots inventés Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Maîtrise de la lecture à Témoin Projet d'amélioration de la Qualité de l'education (PAQUED) 13

36 2e année 4e année Province Sous-tâche Groupe haute voix Traitement Compréhension à la lecture Compréhension à l audition Témoin Traitement Témoin Traitement Écriture d une phrase complète Témoin Traitement Le Tableau ES6 compare la performance des eleves en lecture aux critères de référence nationaux, et la Figure ES3 présentent les memes résultats en forme graphique. Tableau ES6. Performances des élèves dans les écoles accessibles au PAQUED par rapport aux critères de référence nationaux 11 Classe Inférieures aux critères de référence Dans la fourchette des critères de référence Supérieures aux critères de référence Aptitudes de lecture ou de pré-lecture n ( %) N ( %) n ( %) Compréhension à l audition Conscience phonémique 897 (89,2 %) 36 (3,1 %) 61 (7,7 %) Graphèmes 978 (98,3 %) 6 (1 %) 10 (0,7 %) Mots familiers Maîtrise de la lecture à haute voix Compréhension Compréhension à l audition 769 (68,8 %) 70 (10,1 %) 132 (21 %) Conscience phonémique Graphèmes 812 (74,3 %) 113 (19,4 %) 46 (6,3 %) Mots familiers 940 (95,5 %) 9 (1,1 %) 12 (2,3 %) Maîtrise de la lecture à haute voix 813 (79,1 %) 81 (10,4 %) 77 (10,5 %) Compréhension 935 (92,4 %) 16 (3,5 %) 20 (4 %) 11 Le n pour chaque niveau scolaire figurant dans ce tableau est : 2e année, 994 ; 4e année, 971. Chaque n présenté est non pondéré et chaque pourcentage présenté est pondéré. 14 Projet d'amélioration de la Qualité de l'education (PAQUED)

37 Figure ES3. Performances des élèves dans les écoles accessibles au PAQUED par rapport aux critères de référence de la RDC Tableau ES7 present un resume de la performance des eleves en lecture dans la population PAQUED, separe par Province. Tableau ES7. Performance en lecture dans les ecoles PAQUED, par scores moyens, par Province Province Sous-tâche Groupe 2 e année 4ème année 6ème année Bandundu Vocabulaire Identification du son initial Reconnaissance de graphèmes Lecture de mots familiers Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Projet d'amélioration de la Qualité de l'education (PAQUED) 15

38 Province Sous-tâche Groupe 2 e année 4ème année 6ème année Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Compréhension à l audition Écriture d une phrase complète Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Equateur Vocabulaire Identification du son initial Reconnaissance de graphèmes Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Projet d'amélioration de la Qualité de l'education (PAQUED)

39 Province Sous-tâche Groupe 2 e année 4ème année 6ème année Compréhension à l audition Écriture d une phrase complète Témoin Traitement Témoin Traitement Orientale Vocabulaire Identification du son initial Reconnaissance de graphèmes Lecture de mots familiers Lecture de mots inventés Maîtrise de la lecture à haute voix Compréhension à la lecture Compréhension à l audition Écriture d une phrase complète Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Témoin Traitement Le tableau ES8 compare la performance des élèves à l indicateur final aux critères nationaux appropriés, et la figure ES4 présente les mêmes résultats en forme graphique. Projet d'amélioration de la Qualité de l'education (PAQUED) 17

40 Tableau ES8. Performances des élèves dans les écoles du PAQUED par rapport aux critères de référence nationaux 12 Classe Aptitudes de lecture ou de pré-lecture Compréhension à l audition Inférieures aux critères de référence Dans la fourchette des critères de référence Supérieures aux critères de référence n ( %) N ( %) n ( %) 2 Conscience phonémique 1647 (92,1 %) 50 (2,6 %) 98 (5,4 %) Graphèmes 1769 (98,3 %) 9 (0,5 %) 17 (1,2 %) Mots familiers Maîtrise de la lecture à haute voix Compréhension 4 Compréhension à l audition 1541 (87,5 %) 96 (5,6 %) 108 (6,9 %) Conscience phonémique Graphèmes 1602 (89,6 %) 88 (6,6 %) 55 (3,8 %) Mots familiers 1715 (98,5 %) 5 (0,1 %) 19 (1 %) Maîtrise de la lecture à haute voix 1597 (88,3 %) 73 (6,8 %) 75 (4,9 %) 6 Compréhension 1688 (95,9 %) 23 (2 %) 34 (2,1 %) Compréhension à l audition 1277 (69,9 %) 201 (12,3 %) 237 (17,8 %) Conscience phonémique Graphèmes Mots familiers Maîtrise de la lecture à haute voix 1507 (80,4 %) 111 (8,8 %) 97 (10,8 %) Compréhension 1551 (86,7 %) 92 (7,2 %) 72 (6 %) 12 Le n pour chaque niveau scolaire figurant dans ce tableau est : 2e année, = 1795 ; 4e année = 1745 ; 6e année = Chaque n présenté est non pondéré et chaque pourcentage présenté est pondéré. 18 Projet d'amélioration de la Qualité de l'education (PAQUED)

41 Figure ES4. Performances des élèves dans les écoles du PAQUED par rapport aux critères de référence de la RDC En fin de compte, comme l illustrent les Tableaux ES3-ES8 et les Figures ES2-ES4 cidessus, les performances globales des élèves en 2014 étaient inférieures au niveau nécessaire pour répondre aux critères nationaux dans l'ensemble de toutes les sous-tâches. Même pour les compétences orales telles que le vocabulaire, la conscience phonémique, et la compréhension à l audition, les élèves n'ont pas démontré les compétences orales requises en français pour lire efficacement en français. Les scores moyens des élèves pour la Reconnaissance de graphèmes et de mots, ainsi que la lecture d un texte connexe, ont également été inférieurs aux scores nécessaires pour la lecture avec aisance et la compréhension. Discussion des résultats en mathématique Il y avait peu de différence significative qui a été observée, et l'apparente légère tendance indiquait que les élèves du groupe témoin avaient de meilleurs résultats que les élèves du PAQUED et que les élèves accessibles au PAQUED avaient parfois de meilleurs résultats que les élèves accessibles au groupe témoin. La conclusion évidente est que les interventions livrées au PAQUED, aux écoles accessibles au PAQUED et les écoles disposant d un programme de lecture n'ont eu aucune incidence significative sur les Projet d'amélioration de la Qualité de l'education (PAQUED) 19

42 performances des élèves en mathématique. Le Tableau ES9 fournit un résumé du changement dans les performances des élèves au fil de temps dans les écoles PAQUED. Tableau ES9. Le changement de la performance en mathématiques dans les écoles disposant d un programme de lecture (n=20) au fils de temps en pourcentage d éléments corrects 13 Sous-tâche Groupe 2 e année 4 e année Identification des nombres Comparaison de quantités Traitement 48.05% 52.35% 70.42% 63.65% * Traitement 58.82% 60.12% 62.24% 65.09% Nombre manquant Traitement 16.22% 23.12% * 30.36% 42.78% * Problèmes de mots Traitement 42.18% 29.48% * 58.40% 38.67% * Calcul : additions Traitement 46.91% 49.80% 43.84% 52.99% * Calcul : soustractions Calcul : multiplications Traitement 31.90% 36.61% 45.28% 48.84% Traitement 23.80% 35.52% * Calculs : divisions Traitement 31.44% 36.55% * significatif à p < Table ES10 presente un resume du changement dans les performances des eleves au fils de dans les ecoles accesibles au PAQUED. Tableau ES10. Le changement dans les resultats mathematiques dans les ecoles accesibles à PAQUED au fils de temps, en pourcentage d éléments corrects, par Province 14 Province Sous-tâche Groupe 2 e année 4 e année Bandundu Identification des nombres Témoin 45.20% 48.30% 60.10% 56.80% Traitement 49.40% 56.30% 71.20% 70.30% 13 Il n y avait aucune école témoin avec laquelle la performance des écoles disposant d'un programme de lecture pouvait être comparée. Comme le nombre des écoles et des statistiques d étudiants sont si petits, ce tableau ne séparé pas les résultats par province. 14 Les résultats des tâches de numération et de correspondence biunivoque ne peuvent pas être résumés de manière utile par des tableaux de moyennes, donc ils sont exclus de ce rapport. Ces résultats peuvent être obtenus en demandant accès aux jeux de données. 20 Projet d'amélioration de la Qualité de l'education (PAQUED)

43 Province Sous-tâche Groupe 2 e année 4 e année Comparaison de quantités Témoin 47.70% 62.90% 54.30% 58.50% Traitement 50.20% 66.10% 60.50% 67.80% Nombre manquant Témoin 17.10% 23.80% 26.20% 39.20% Traitement 15.70% 24.90% 31.30% 42.60% Problèmes de mots Témoin 28.30% 22.70% 56.10% 42.30% Traitement 29.00% 29.80% 59.30% 41.00% Calcul : additions Témoin 49.50% 45.30% 30.90% 40.30% Traitement 49.00% 52.70% 44.60% 58.90% Calcul : soustractions Calcul : multiplications Témoin 43.60% 31.40% 29.20% 42.10% Traitement 45.00% 42.00% 36.50% 51.80% Témoin % 23.70% Traitement % 33.90% Calculs : divisions Identification des nombres Comparaison de quantités Témoin % 31.50% Traitement % 21.50% Témoin 43.10% 49.50% 67.00% 60.30% Traitement 44.60% 53.00% 65.70% 62.50% Témoin 56.50% 64.90% 60.30% 63.00% Traitement 54.50% 62.50% 64.40% 66.80% Equateur Nombre manquant Témoin 15.70% 34.90% 31.60% 44.10% Traitement 18.20% 28.30% 29.40% 45.70% Problèmes de mots Témoin 30.30% 29.50% 55.90% 50.20% Traitement 26.10% 33.80% 44.50% 51.80% Calcul : additions Témoin 47.40% 57.90% 44.10% 49.10% Traitement 42.40% 47.30% 39.50% 54.20% Calcul : soustractions Témoin 35.10% 47.90% 51.70% 50.10% Projet d'amélioration de la Qualité de l'education (PAQUED) 21

44 Province Sous-tâche Groupe 2 e année 4 e année Traitement 34.80% 40.90% 43.10% 45.90% Calcul : multiplications Témoin % 44.40% Traitement % 35.70% Calculs : divisions Identification des nombres Comparaison de quantités Témoin % 38.40% Traitement % 30.10% Témoin 51.30% 56.50% 77.50% 73.30% Traitement 57.20% 57.60% 77.50% 70.50% Témoin 56.30% 69.10% 71.30% 72.80% Traitement 73.60% 71.70% 75.50% 77.00% Nombre manquant Témoin 16.10% 22.60% 33.20% 47.10% Traitement 20.60% 25.40% 37.70% 49.10% Orientale Problèmes de mots Calcul : additions Témoin 23.40% 17.00% 49.60% 36.80% Traitement 22.10% 15.60% 48.90% 28.50% Témoin 47.70% 60.50% 53.30% 68.40% Traitement 58.60% 62.50% 53.70% 59.20% Calcul : soustractions Calcul : multiplications Témoin 22.90% 41.10% 58.40% 72.50% Traitement 35.60% 53.80% 50.10% 58.50% Témoin % 45.00% Traitement % 43.60% Calculs : divisions Témoin % 55.00% Traitement % 43.40% Tableau ES11 présente un résume des changements dans les performances des élèves au fils de dans les écoles PAQUED. 22 Projet d'amélioration de la Qualité de l'education (PAQUED)

45 Tableau ES11. Les changements dans les performances en mathematiques dans les ecoles PAQUED au fils de temps, en pourcentage d éléments corrects, par Province 15 Province Sous-tâche Groupe 2 e année 4 e année 6e année Identification des nombres Comparaison de quantités Témoin 33.6% 43.4% 52.9% 49.3% 59.6% 64.9% Traitement 30.4% 40.6% 55.3% 55.5% 53.3% 66.0% Témoin 61.2% 45.7% 62.7% 54.4% 35.5% 39.7% Traitement 57.1% 45.7% 60.3% 57.0% 34.7% 38.5% Nombre manquant Témoin 17.9% 16.8% 23.7% 35.5% 22.3% 42.6% Traitement 17.8% 16.2% 30.0% 33.1% 22.9% 38.2% Bandundu Problèmes de mots Calcul : additions Calcul : soustractions Calcul : multiplications Témoin 44.8% 30.9% 50.3% 41.5% 62.6% 55.7% Traitement 37.6% 31.2% 51.0% 35.6% 60.8% 51.8% Témoin 40.0% 37.8% 28.0% 34.1% 47.2% 60.0% Traitement 33.9% 32.1% 33.8% 40.8% 37.8% 56.9% Témoin 38.5% 26.1% 37.4% 25.2% 33.4% 45.5% Traitement 32.3% 25.4% 42.3% 36.1% 37.3% 42.1% Témoin % 13.5% 16.3% 27.6% Traitement % 17.1% 16.6% 19.2% Equateur Calculs : divisions Identification des nombres Comparaison de quantités Témoin % 7.5% 21.2% 28.4% Traitement % 14.2% 19.9% 21.7% Témoin 29.3% 36.2% 56.6% 62.2% 59.5% 67.7% Traitement 38.0% 45.8% 61.3% 57.2% 59.8% 64.9% Témoin 55.0% 49.5% 61.2% 63.0% 34.1% 46.1% Traitement 60.0% 62.7% 64.6% 61.9% 33.6% 44.0% Nombre manquant Témoin 8.8% 18.2% 15.0% 37.1% 13.8% 43.1% Traitement 11.9% 24.3% 18.9% 38.5% 12.1% 40.3% 15 Les taches de compter par l apprentissage mechanical et de compter rationale ne soutiennent pas aux résultats significatives par moyennes, et donc, ils sont omis de ce rapport. Les résultats peuvent être obtenir en demandent les données. Projet d'amélioration de la Qualité de l'education (PAQUED) 23

46 Province Sous-tâche Groupe 2 e année 4 e année 6e année Problèmes de mots Témoin 29.4% 30.5% 38.4% 49.8% 56.4% 59.6% Traitement 34.7% 43.0% 44.6% 50.0% 56.5% 59.1% Calcul : additions Calcul : soustractions Calcul : multiplications Témoin 32.5% 35.4% 31.2% 53.3% 45.5% 62.8% Traitement 37.9% 49.0% 32.9% 44.4% 40.1% 57.2% Témoin 23.8% 24.2% 39.1% 48.6% 43.1% 53.3% Traitement 28.8% 41.5% 45.8% 41.5% 46.2% 48.8% Témoin % 30.3% 22.1% 32.6% Traitement % 34.0% 23.6% 31.9% Calculs : divisions Identification des nombres Comparaison de quantités Témoin % 32.9% 18.4% 46.9% Traitement % 35.0% 19.4% 36.9% Témoin 37.0% 47.6% 62.1% 66.3% 69.2% 70.1% Traitement 48.7% 41.2% 67.8% 63.4% 71.7% 72.2% Témoin 52.9% 64.6% 66.7% 70.9% 43.2% 51.1% Traitement 64.0% 67.7% 71.4% 72.0% 47.4% 48.8% Nombre manquant Témoin 15.9% 20.5% 26.3% 44.3% 25.8% 46.2% Traitement 19.1% 19.8% 38.4% 47.6% 38.6% 47.5% Orientale Problèmes de mots Témoin 29.8% 24.9% 39.3% 33.8% 68.4% 46.4% Traitement 40.4% 27.2% 47.5% 36.1% 71.1% 49.3% Calcul : additions Calcul : soustractions Calcul : multiplications Témoin 33.7% 46.8% 34.9% 56.1% 57.6% 73.6% Traitement 50.5% 46.7% 47.7% 50.2% 61.9% 76.5% Témoin 26.8% 32.3% 41.7% 53.5% 45.9% 64.3% Traitement 44.2% 34.4% 54.7% 49.1% 63.6% 69.5% Témoin % 41.8% 24.7% 41.0% Traitement % 30.8% 42.7% 46.4% Calculs : divisions Témoin % 39.1% 25.0% 56.1% 24 Projet d'amélioration de la Qualité de l'education (PAQUED)

47 Province Sous-tâche Groupe 2 e année 4 e année 6e année Traitement % 28.0% 35.1% 53.4% Recommandations L'absence d'un scénario défini des performances des élèves en lecture et en mathématique obtenues par les interventions du PAQUED que ce soit l ensemble d apports prévu à l origine ou l ensemble modifié offert aux écoles disposant d un programme de lecture empêche de formuler des recommandations définitives pour l'amélioration des résultats scolaires des élèves en RDC. Cependant, il est important de garder à l'esprit que la conception de la recherche qui se terminait en 2014 par les évaluations EGRA et EGMA n'avait jamais prévu le réalignement du projet pour qu il étudie plus précisément les écoles disposant d un programme de lecture. Parce que ce réalignement s est terminé suite à la collecte des données d'egra/egma de 2012 (qui, puisque le PAQUED portait sur les écoles accessibles, a en fait servi de deuxième base de référence plutôt que de réel indicateur intermédiaire), il n'a pas été possible d'établir une véritable stratégie de base ni une véritable hypothèse pour le programme de lecture. En conséquence, la présente étude du programme de lecture a été fortement limitée dans les conclusions qu'elle pourrait présenter. 16 Par conséquent, si (ce qui est suggéré dans le feuille de route de la lecture nationale) la communauté de l'éducation de la RDC souhaite que des discussions sur la voie future de l apprentissage de la lecture au Congo soient informées concrètement par des données quantitatives sur la viabilité de l'approche du programme de lecture, concevoir une étude de recherche dans ce but précis serait une prochaine étape importante. 17 Nonobstant ce qui précède, des éléments de l'intervention du programme de lecture semblent prometteurs et s inscrivent dans la vision et les documents stratigiques du MEPSP et aussi dans des approches que certains exécutants de l USAID ont appliquées ailleurs avec succès (notamment au Kenya, au Libéria, au Malawi, en Égypte et en 16 EDC a crée et a accompli une etude dans les écoles disposant d un programme de lecture qui a examiné les changements dans l apprentissage, les attitudes, et la practique des enseignents comme resultat du intervention modifié, et l impact de ces changements sur les performances des eleves. Voir Louge, N. (2014) final evaluation report teachers literacy knowledge, instructional practices, and their students reading performance in PAQUED supported schools in the Democratic Republic of Congo. Education Development Center. 17 Une équipe dirigée par le professeur Pierre Mukendi de l'université de Kinshasa (UNIKIN), membre de la Commission nationale de la lecture, a complété, à la fin du projet, une étude qualitative du projet PAQUED. Le rapport produit par son équipe, et l Atelier sur les leçons apprises qui s'est déroulé en août 2014 pour discuter de ses conclusions et des analyses préliminaires des études EGRA/EGMA à la fin du projet en 2014, fournissent des indications précieuses allant au-delà de ce que peuvent indiquer les données faisant l'objet de ce rapport. Pour demander une copie du Rapport du Prof. Mukendi, veuillez contacter Susan Ross à [email protected]. Projet d'amélioration de la Qualité de l'education (PAQUED) 25

48 Jordanie). La fourniture de livres aux élèves notamment des textes à structures répétées et à difficulté croissante accompagnant les guides de l'enseignant qui portent précisément sur l'enseignement de la lecture est l un de ces éléments. L'incorporation du contenu sur la pédagogie de la lecture dans des modules de formation des enseignants en classe (tels que des forums d échange aux niveaux de l'école et des groupements d'écoles) en est un autre. Enfin, fournir aux enseignants un soutien régulier et continu assuré par des accompagnateurs qui ont été formés à la pédagogie de la lecture est un troisième élément. Que le modèle de régression composite de participation des enseignants ait démontré une corrélation positive et significative avec les performances des élèves dans la sous-tâche Reconnaissance de graphèmes est déjà un signe encourageant du potentiel du programme de lecture. 26 Projet d'amélioration de la Qualité de l'education (PAQUED)

49 Introduction Financé par l'agence américaine pour le développement International (USAID) et dirigé par l'education Development Center (EDC), le Projet d'amélioration de la Qualité de l'education (PAQUED) était une initiative étalée sur cinq ans dont l objectif était d augmenter les résultats des élèves grâce à des environnements scolaires et didactiques améliorés en République démocratique du Congo (RDC). En tant que partenaire dans le PAQUED, RTI International (RTI) a été chargée d évaluer l'impact de ce programme en utilisant les outils EGRA et EGMA adapté au contexte de RDC. Ce document présente une analyse des effets du PAQUED sur trois populations distinctes d écoles. Chaque discussion correspond à une étape différente dans l'évolution importante de l objet et de la portée du PAQUED qui s'est déroulé entre la conception du projet en 2009 et un réalignement formel qui s'est produit en janvier Ces différentes populations ne peuvent être comparées directement les unes aux autres, chacune est donc étudiée dans une section séparée du rapport. 18 Cette introduction donne un aperçu chronologique de l'impact des activités d'évaluation qui se sont déroulées de 2010 à 2014 ; cependant, le corps du rapport lui-même présente les résultats dans l'ordre chronologique inverse, reflétant le niveau relatif de l'importance accordée à chaque population étant donné que le projet a été progressivement mis en alignement avec la stratégie de lecture de l'usaid. Brève chronologie des activités d'évaluation de l impact pendant le projet PAQUED En septembre et octobre 2010, inclus dans le projet PAQUED, RTI a collaboré avec le Ministère de l'enseignement primaire, secondaire et professionnel [MEPSP] de la RDC afin de mener une évaluation de base des compétences en lecture et en mathématique des élèves inscrits en 2e, 4e et 6e années dans trois provinces participant à ce projet : Bandundu, Équateur et Orientale. Les instruments utilisés dans l'évaluation de 2010 étaient l évaluation des compétences fondamentales en lecture (EGRA) et l évaluation des compétences fondamentales en mathématique (EGMA) préparées par RTI. Les instruments sont conçus pour recueillir des informations sur le niveau des compétences fondamentales en lecture et en mathématique. La recherche a montré que toutes les compétences que chaque instrument mesure sont un indicateur très clair des futures aptitudes en lecture et en mathématique et qu elles peuvent être améliorées par l'enseignement. (Pour plus d'informations sur la structure et le contenu des instruments EGRA et EGMA, veuillez consulter la section Conception de la recherche de ce rapport et l'annexe III : à propos des instruments d'évaluation.) 18 Veuillez consulter l'annexe I pour une discussion détaillée des approches d'échantillonnage et de la raison pour laquelle elles doivent être traitées séparément. Projet d'amélioration de la Qualité de l'education (PAQUED) 27

50 La population cible initiale du projet comprenait écoles primaires, réparties uniformément entre les trois provinces ; de cette façon, l'échantillon de l'étude de 2010 a été conçu pour être représentatif à l'échelle provinciale. Lorsque des changements des performances de 2010 à 2014 pour la plus grande des populations cibles sont discutés dans le présent rapport, les écoles seront appelées les «écoles du PAQUED». 19 En mai 2012, à l approche du milieu du programme PAQUED, une deuxième EGRA/EGMA a été menée dans le but de comprendre l'impact de l'intervention PAQUED après deux ans de mise en œuvre. De nombreux problèmes technologiques et logistiques ont retardé et entravé la mise en œuvre des interventions planifiées avec, cependant, comme résultat que très peu d'écoles ont reçu l ensemble prévu des services et du soutien. Par conséquent, l'edc a préféré que la base de sondage de l'évaluation soit modifiée pour se concentrer sur les écoles qui, en raison de leur «accessibilité» (vaguement définie comme étant à environ 20 km d'un centre urbain), pouvaient être plus susceptibles d'avoir bénéficié de l'intervention comme prévu et qui pouvaient dès lors présenter un portrait plus précis de l'impact potentiel de l'intervention. Un résultat pratique important de l'évolution de la base d échantillonnage a été que les données n'étaient plus comparables entre 2010 et Les rapports d évaluation EGRA ET EGMA produits en 2012, à la moitié du programme, étaient axés exclusivement sur la description des différences entre les écoles de traitement et les écoles témoins, sans chercher à attribuer ces changements avec certitude à l'intervention. 20 Le nouveau cadre de population défini en y intégrant le nouveau critère d'accessibilité contenait 618 écoles choisies parmi les écoles originales du PAQUED. Lorsque les changements dans les performances de 2012 à 2014 pour cette population cible intermédiaire seront examinés dans le présent rapport, les écoles seront appelées les «écoles accessibles au PAQUED». Suivant les résultats du mi-parcours de PAQUED et en réponse aux récommendations d aligner le projet avec la strategie d éducation nouveau d USAID, en janvier 2013, le PAQUED a subi un réalignement formel du projet qui a grandement diminué la taille de la population cible prioritaire et en a changé l objectif pour porter plus étroitement sur la lecture (voir Chapitre A, Réalignement de l objectif du PAQUED pour pour une discussion plus détaillée sur ce processus et les raisons invoquées). L'intervention du projet réaligné ciblait 45 écoles situées dans les grands centres de Kikwit (province du 19 Une analyse complète de l'évaluation au début de l étude en 2010 se trouve dans les rapports initiaux EGRA et EGMA, accessibles à 20 On trouvera une analyse complète de l'évaluation de mi-parcours en 2012 dans les rapports EGRA et EGMA de miparcours, accessibles à Pour une analyse de la comparabilité des échantillons de 2010 et 2012, veuillez consulter Davies, C. (2013). Comparaison de 2010 relative au Projet d'amélioration de la Qualité de l'éducation (PAQUED) : l échantillon réduit par rapport à l'échantillon complet. Washington, DC : USAID. Disponible à : 28 Projet d'amélioration de la Qualité de l'education (PAQUED)

51 Bandundu), Mbandaka (province de l'équateur) et Kisangani (province Orientale). Les écoles disposant d un programme de lecture satisfont toutes aux critères de 2012 pour l'accessibilité et elles représentent donc un sous-ensemble de la population accessible au PAQUED mais elles ont été sélectionnées de manière intentionnelle. En conséquence, elles sont un échantillon non aléatoire et les résultats de ces écoles ne peuvent pas être généralisés à la population accessible au PAQUED. Lorsque les résultats des performances pour cette population cible sont discutés dans le présent rapport, les écoles seront appelées «écoles disposant d un programme de lecture». En mai 2014, RTI a recueilli une troisième série de données EGRA/EGMA. Deux échantillons distincts ont été choisis, le premier permettant d établir des comparaisons avec les données de référence de 2010 (écoles du PAQUED) et le second permettant des comparaisons avec les données de 2012 (écoles accessibles au PAQUED et écoles disposant d un programme de lecture). 21 Structure du rapport Ce rapport est présenté en sept chapitres. Le Chapitre A vise à décrire brièvement le contexte du projet et l'évolution de sa portée et de son alignement au fil du temps, mais aussi davantage à décrire complètement la conception de la recherche, les objectifs et les limites de l étude. Le Chapitre B présente une analyse des résultats des élèves des écoles disposant d un programme de lecture. Les Chapitres C et D présentent des analyses des compétences en lecture des élèves pour les écoles accessibles au PAQUED et les écoles du PAQUED. Les Chapitres E et F présentent des analyses des compétences en mathématique pour les écoles accessibles au PAQUED et les écoles du PAQUED. Le Chapitre G présente des conclusions et recommandations informées à la fois par les analyses qui précèdent et par un atelier de quatre jours organisé en août 2014 avec la Commission nationale de lecture pour examiner et explorer les données. Les Chapitres B et D analytiques contiendront des statistiques descriptives pour chacun des échantillons ; les caractéristiques des élèves, enseignants et directeurs d'écoles choisis à partir des entrevues de contexte ; les compétences des élèves en fin de projet (2014) ; le changement des performances des élèves au fil du temps (de 2012 à 2014 ou de 2010 à 2014, selon le cas) ; et une sélection des corrélations et régressions significatives. 21 En février 2013, l EDC a mené une évaluation de référence des connaissances pédagogiques des enseignants et des pratiques de classe en lecture et en écriture dans les écoles disposant d un programme de lecture. L'évaluation finale pour cette étude, menée en mai et en juin 2014, comprenait les éléments du groupe de discussion qualitative, les outils d'observation en classe et les protocoles d entrevue des enseignants et elle était informée par les données sur la fidélité des enseignants à mettre en œuvre le programme de lecture. En réponse à une demande de l'usaid pour générer des données sur les performances des enfants de 2e année en Lecture de texte en rapport avec les mots, l EDC a ajouté à son étude un élément d'évaluation des élèves. L'outil d'évaluation des élèves comprenait l identification non chronométrée de 26 sons de lettres ; la lecture non chronométrée de 8 mots français fréquemment utilisés ; et la lecture chronométrée d'un passage de 26 mots se rapportant au texte. Veuillez consulter Louge, N. (2014) final evaluation report teachers literacy knowledge, instructional practices, and their students reading performance in PAQUED supported schools in the Democratic Republic of Congo. Education Development Center.pour plus de détails. Projet d'amélioration de la Qualité de l'education (PAQUED) 29

52 Les annexes du rapport fournissent plus de détails sur les méthodes d'échantillonnage et d'analyses appliquées, les instruments et le processus même de collecte de données 30 Projet d'amélioration de la Qualité de l'education (PAQUED)

53 Chapitre A: contexte et évolution du projet PAQUED ; conception, objectifs et limites de l étude 1. Contexte et évolution du projet Les résultats attendus du PAQUED tel que proposé initialement visaient à fournir aux enfants en RDC des environnements d'apprentissage sûrs et de haute qualité qui leur permettraient de développer leurs compétences en lecture et en mathématique et permettraient au pays de récupérer après un conflit. Toutefois, des complications techniques, logistiques et budgétaires importantes pendant les deux premières années du projet ont amené le projet à commissionner une étude réalisée par School-to-School International (STS) afin de déterminer si la conception originale était toujours adéquate pour répondre aux objectifs du projet. Pour comprendre l'environnement dans lequel le PAQUED est réalisé, un extrait du rapport de l'examen de mi-parcours («Mid-term Review» - MTR) de STS est illustré :...travailler en RDC est difficile. Au-delà des problèmes omniprésents imposés par les barrières logistiques, les infrastructures délabrées et la taille du pays, il existe une question plus profonde, plus problématique. Comme l'a dit une des personnes interrogées, «il est difficile de travailler dans un système où les gens ont abandonné, ils ne croient plus en de bonnes choses. Le système est très, très dégradé. Quels que soient les efforts que vous fassiez, il est difficile de sentir les résultats.» La RDC est un pays en transition c est à la fois un pays d'après-conflit [sic] et un pays qui a des difficultés à sortir du conflit et beaucoup de gens, notamment ceux qui vivent en RDC, cherchent à renverser la vapeur du cynisme, de la corruption et de la décadence systémique. Mais il faudra du temps. C'est dans ce contexte que PIEQ et d autres programmes d'aide ont peine à produire des résultats dans un délai raisonnable et avec des contraintes budgétaires, et à obtenir de véritables Projet d'amélioration de la Qualité de l'education (PAQUED) 31

54 améliorations dans la qualité de l'éducation en bref, une tâche extrêmement difficile (Lynd, 2012, p. 28). 22 Mise en œuvre du projet avant 2012 Le PAQUED a été conçu comme programme de relèvement après un conflit avec une insistance sur le développement professionnel des enseignants. Des moyens importants ont été consacrés à la reconstruction des bâtiments scolaires abîmés ou détruits, à la formation d'un grand nombre d'enseignants, à la fourniture de matériel scolaire de base pour les enseignants et les élèves, au développement d'un grand nombre de modules vidéo d'enseignement visant à garantir le contenu de développement professionnel des enseignants et la production de leçons d'instruction audio interactive (IAI) pour le travail des enseignants avec leurs élèves. 23 L'examen de mi-parcours a mis en évidence plusieurs réussites dans les deux premières années de mise en œuvre, notamment en ce qui concerne la force de la collaboration entre le PAQUED et les fonctionnaires du ministère de l'éducation (MEPSP Ministère d'enseignement primaire, secondaire et professionnel) ; une participation accrue des parents et des membres de la Communauté dans les écoles de leurs élèves ; le développement collaboratif des programmes d IAI dans les salles de classe qui complètent le programme scolaire aux niveux primaires apprové ; la fourniture d'un très grand nombre de kits de fournitures scolaires ; et la revitalisation des structures abîmées des écoles et des écoles groupées du MEPSP pour assurer un développement professionnel continu (DPC). Toutefois, la livraison réale des éléments pédagogiques de base de l'intervention IAI du PAQUED entre 2010 et 2012 a été émaillée d'importantes difficultés techniques, logistiques et autres. Les leçons diai ciblant les élèves des 5e et 6e années devaient encore être offertes dans les écoles au moment de l'évaluation intermédiaire de miparcours, c est pourquoi les élèves de 6e ont été exclus de l'échantillon. Même si les leçons avaient été développées pour les élèves des 1 e à 4e années, il semble que des défauts de fabrication touchant la grande majorité des lecteurs radio et vidéo livrés aux écoles ont empêché la plupart des élèves d y être exposés. Même lorsque les radios fonctionnaient comme elles le devaient, le rapport entre enseignants et radios était trop élevé pour que la plupart des enseignants s'en servent régulièrement. En fait, le personnel du projet PAQUED interviewé pour l'examen de mi-parcours a spéculé qu'un maximum de 20 à 30 % des enseignants de l'intervention utilisait le matériel d'iai. 22 Lynd, M. (2012, septembre). Rapport final : examen de mi-parcours : projet d'amélioration de la Qualité de l'éducation (PAQUED). Washington, DC: USAID 23 Appelé Enseignement interactif par radio (EIR) (Interactive Radio Instruction (IRI) dans les rapports précédents ; PAQUED a mis à jour le nom afin de refléter les différents modes technologiques d administration de l enseignement. 32 Projet d'amélioration de la Qualité de l'education (PAQUED)

55 Enfin, alors que la conception du projet prévoyait que des inspecteurs du Ministère de l'éducation assurent des visites de suivi régulières dans les écoles, la combinaison de longues distances, insuffisance des infrastructures, et manque d'incitations financières a contribué à ce que les visites des écoles se produisent rarement, voire pas du tout. Avant même que les résultats de l étude EGRA/EGMA 2012 aient indiqué que l'intervention avait eu un impact minimal, l'examen de mi-parcours recommandait plusieurs modifications importantes à l'approche PAQUED qui devaient être mises en œuvre si l on voulait que le projet atteigne ses objectifs. Réalignement de l objet du PAQUED pour la période Au début de 2012, alors que les préparatifs de l étude EGRA et EGMA de mi-parcours commençaient sérieusement, le PAQUED a chargé à School to School International de procéder à un examen externe de mi-parcours pour que l on puisse se rendre compte de l'efficacité de la mise en œuvre à ce jour et des changements à effectuer afin de maximiser l'impact. 24 L'examen a révélé que le projet PAQUED était trop dispersé. Alors que PAQUED avait mérité des éloges pour ses multiples réussites, notamment avoir formé près de enseignants pendant deux insitutes d été ; développé rapidement près de 500 leçons d IAI ; développé et déployé ses modules de formation de mobilisation communautaire ; et réalisé une percée significative dans le domaine de la politique en s'associant étroitement avec le MEPSP, il a eu peine à fournir un soutien important pour la réalisation et la supervision de la réalisation de son intervention dans toutes les écoles du PAQUED. (Cela a été corroboré par les rapports EGRA et EGMA de mi-parcours, qui n ont essentiellement trouvé aucune amélioration statistiquement significative dans les résultats d'apprentissage deux ans après le lancement du projet). En outre, l'examen de mi-parcours a noté que le projet initialement conçu et mis en œuvre n'était pas très bien aligné avec la nouvelle stratégie d'éducation de l'usaid, en particulier l'objectif 1, qui met l'accent sur la lecture. L'EDC a proposé, et l'usaid a accepté, un réalignement des buts du PAQUED et quelques changements de fond à la stratégie de mise en œuvre. Le changement de fond le plus important a pris la forme d'une nouvelle intervention intensive axée sur la lecture devant être mise en œuvre dans un nombre considérablement réduit d'écoles pendant l anné scolaire finale du projet. Tout au long de ce rapport, les écoles qui ont reçu cette intervention plus intensive sont appelées les «écoles disposant d un programme de lecture». Éléments du réalignement préalable à l intervention PAQUED La section suivante décrit l'intervention du projet tel que mis en œuvre dans les écoles du PAQUED et les écoles accessibles au PAQUED ; elle examine avant tout les apports 24Lynd, M. (2012). Rapport final : examen de mi-parcours : Projet d'amélioration de la Qualité de l'éducation (PAQUED). Préparé par School to School International. Projet d'amélioration de la Qualité de l'education (PAQUED) 33

56 pour les élèves avant ceux destinés aux enseignants. La section suivante met en évidence les changements effectués à la suite du réalignement du projet et de l'introduction des écoles disposant d un programme de lecture ; elle présente également les apports pour les élèves et ensuite ceux pour les enseignants. Apports du PAQUED pour les élèves Comme le programme était designé au début pour soutenir le progromme scolaire déjà existante, les leçons d IAI pour les 1e et 2e années ne portaient pas réellement sur la lecture ; les élèves dans les salles de classe où le professeur mettait en œuvre le programme avec fidélité étaient exposés à une seule leçon de 30 minutes sur la lecture. Ils étaient aussi exposés à une seule leçon de 30 minutes sur la mathématique et à cinq leçons de 30 minutes sur le français et sur la préparation à la vie active. Les élèves ne recevaient pas de livres de lecture. Les leçons d'iai pour les 3e et 4e années portaient de façon plus concrète sur la lecture et la mathématique que les leçons des années précédentes. Le programme prévoyait 50 leçons de 30 minutes en lecture et 50 leçons de 30 minutes en mathématique, réparties sur 100 unités. Les unités étaient complétées à un rythme d'une toutes les deux semaines, ce qui signifie qu'un élève dont l enseignant appliquait consciencieusement le programme était exposé à une moyenne de 2,5 leçons, ou 1 heure et 15 minutes, de contenu lié à la lecture par semaine et à 2,5 leçons de contenu lié à la mathématique par semaine. Cependant, les élèves des 3e et 4e années n'ont pas reçu non plus de livres de lecture. Plus contrariant encore, les leçons de lecture ne concordaient pas avec les lacunes dans les compétences des élèves qui avaient été identifiées par l'egra 2010 parce que le développement du matériel devait commencer avant que la collecte de données, l analyse et les rapports de 2010 soient terminés. Le développement des leçons d IAI des 5e et 6e années a commencé après la remise des résultats d EGRA/EGMA En conséquence, les leçons de lecture étaient le reflet d une connaissance concrète des forces et des faiblesses des élèves de sixième année. Le contenu que les élèves des 5e et 6e années recevaient était similaire à celui fourni aux élèves des 3e et 4e années, entraînant un niveau similaire de 2,5 leçons par semaine (1 heure et 15 minutes) au cours desquelles ils étaient exposés à du matériel de lecture et de mathématique. Les élèves des 5e et 6e années n ont pas non plus reçu de livres de lecture. Les leçons d'iai pour les 5e et 6e années n avaient pas été données dans les classes avant octobre 2012 ; c'est-à-dire, alors que l évaluation intermédiaire EGRA/EGMA 2012 avait déjà été effectuée. L'absence d'apports significatifs aux élèves de sixième année pendant la préparation de l'egma/egra de 2012 a été la raison principale pour laquelle le PAQUED a choisi de ne pas évaluer les performances des élèves de 6e année en Tableau A1 illustre les apports qui ont été fournis aux élèves dans les écoles du PAQUED et les écoles accessibles au PAQUED pendant toute la durée du projet. 34 Projet d'amélioration de la Qualité de l'education (PAQUED)

57 Tableau A1. Intervention du PAQUED apports destinés aux élèves Apports Français et préparation à la vie active , les écoles du PAQUED , les écoles accessibles au PAQUED 1e et 2e années 3e et 4e années 5e et 6e années 1e et 2e années 3e et 4e années 5e et 6e années 5 leçons/semaine Leçons d IAI Français lecture (30 min/leçon) 1 leçon/semaine 2,5 leçons/semaine -- 1 leçon/semaine 2,5 leçons/semaine 2,5 leçons/semaine Compétences élémentaires en mathématique (30 min/leçon) 1 leçon/semaine 2,5 leçons/semaine -- 1 leçon/semaine 2,5 leçons/semaine 2,5 leçons/semaine Livres de lecture des élèves Aucun Aucun Aucun Aucun Aucun Aucun Kits d'apprentissage pour les élèves Ardoises, crayons, craies Cahiers, crayons, kits de géométrie -- Ardoises, crayons, craies Cahiers, crayons, kits de géométrie Cahiers, crayons, kits de géométrie Projet d'amélioration de la Qualité de l'education (PAQUED) 35

58 Apports du PAQUED pour les enseignants Les enseignants étaient le point central de l'intervention PAQUED. Ils ont reçu une formation par des voies multiples, que ce soit des ateliers de 10 jours à grande échelle ou des vidéos pédagogiques projetées sur des magnétoscopes Ran-10 lors de sessions d'apprentissage entre pairs au niveau des groupements d'écoles appelés forums d'échange. Les enseignants étaient destinés à recevoir des visites de suivi régulières assurées par des inspecteurs du ministère mais cela est arrivé si rarement pendant les deux premières années du projet que la responsabilité a été déplacée et réattribuée aux directeurs d'école et à d'autres membres du personnel pour les deux dernières années. Le Tableau A2 illustre les apports en formation fournis aux enseignants pour les 1e à 6e années dans les écoles du PAQUED et dans les écoles accessibles au PAQUED. Tableau A2. Intervention PAQUED apports en formation ciblant les enseignants Audio interactif Connais= sance du contenu Instruction vidéo Apports Formation individuelle sur l'utilisation de l'iai Visites de suivi Formation individuelle, langue française Formation individuelle, compétences en math Réunions de groupes Ran-10 Modules de formation vidéo , les écoles du PAQUED , les écoles accessibles au PAQUED 1e et 2e années 3e et 4e années 5e et 6e années 1e et 2e années 3e et 4e années 5e et 6e années 2 à 3 jours/an, avec encadrement par des inspecteurs Maximum de 1 visite par trimestre par les inspecteurs du ministère à 3 jours/an, avec une formation offerte par des inspecteurs et les directeurs d'école Maximum de 1 visite par trimestre par le personnel du PAQUED 10 jours, Institut d'été jours, Institut d'été de 2012 Au moins 1 par mois Apprentissage actif en IAI Préparation et utilisation de matériel didactique (pour le français et la mathématique) 1 magnétoscope Ran-10 par groupe Pas de nouveaux modules 36 Projet d'amélioration de la Qualité de l'education (PAQUED)

59 Les enseignants ont reçu des kits et des guides axés sur la vidéo pour préparer leur propre matériel didactique à partir du matériel disponible localement, l'accès aux lecteurs MP3 pré-chargés avec le contenu des leçons d IAI, des guides de l enseignant pour accompagner les plans de leçons d'iai et quelques apports axés sur la lecture. Le Tableau A3 détaille le matériel fourni aux enseignants pour les 1e à 6e années dans les écoles du PAQUED et dans les écoles accessibles au PAQUED. Apports Tableau A3. Intervention PAQUED apports en matériel ciblant les enseignants , les écoles accessibles au , les écoles du PAQUED PAQUED 1e et 2e 3e et 4e 5e et 6e 1e et 2e 3e et 4e 5e et 6e années années années années années années Kits de l'enseignant pour la fabrication de matériel didactique 1 par école Aucun kit craie uniquement IAI Lecteur MP3 avec une carte SD préchargée avec le contenu des leçons 1 lecteur MP3 pour 12 enseignants 1 lecteur MP3 pour 8 enseignants Guide de l'enseignant pour l IAI 1 guide pour 3 enseignants 1 guide pour 2 enseignants -- 1 guide pour 3 enseignants 1 guide pour 2 enseignants 1 guide par enseignant Lecture Cartes scénario (8 à 10 cartes par série) 1 série par enseignant -- 1 série par enseignant Projet d'amélioration de la Qualité de l'education (PAQUED) 37

60 Les Tableaux présentés ci-dessus décrivent les éléments de l'intervention PAQUED que les enseignants et les élèves dans les écoles du PAQUED étaient destinés à recevoir. Dans la pratique, la livraison du contenu des leçons d IAI a été entravée car des postes de radio étaient défectueux, les panneaux solaires ne chargeaient pas adéquatement les piles et les manivelles cassaient fréquemment suite à une utilisation trop vigoureuse. De même, des problèmes avec les piles sur les magnétoscopes Ran10 empêchaient les modules vidéo d être utilisés aussi souvent que prévu. Éléments du réalignement après l intervention «Programme de lecture» Les élèves et les enseignants dans les écoles disposant d un programme de lecture ont bénéficié d'un ensemble plus robuste d apports que les écoles dans les populations du PAQUED plus importantes. Ces apports, qui ont commencé à être fournis après le réalignement du projet en janvier 2013, sont décrits ci-dessous. Apports du programme de lecture ciblant les élèves Le changement de fond le plus important dans les apports fournis aux élèves a été l'introduction de textes pour l élève. Pour la première fois dans l intervention PAQUED, les enfants étaient exposés à des quantités importantes de matériel destiné à la lecture. L'utilisation des leçons d'iai a également été simplifiée, les leçons sur la langue française et sur la préparation à la vie active ayant été abandonnées. Le Tableau A4 détaille les apports pour les élèves fournis par l'intervention «Programme de lecture». Tableau A4. Programme de lecture apports ciblant les élèves , écoles disposant d un programme de lecture Apport 1e et 2e années 3e et 4e années 5e et 6e années Leçons d IAI Lecture (30 min/leçon) Compétences élémentaires en mathématique (30 min/leçon) 1 leçon/semaine 2,5 leçons/semaine 2,5 leçons/semaine 1 leçon/semaine 2,5 leçons/semaine 2,5 leçons/semaine Livres de lecture pour les élèves 1 pour 2 élèves N/A N/A Apports du programme de lecture ciblant les enseignants Le niveau de soutien accordé aux enseignants pour les 1e et 2e années a été considérablement augmenté par le programme de lecture. (Les enseignants des 3e à 6e années ont reçu très peu d'apports supplémentaires, mais ils ont continué à recevoir le même soutien que celui offert à leurs collègues des écoles accessibles au PAQUED). Ces enseignants des 1e et 2e années ont reçu des guides de l enseignant contenant des leçons 38 Projet d Amélioration de la Qualité de l Education (PAQUED)

61 de 30 minutes d instruction quotidienne de la lecture, des «grands livres» à utiliser lors des exercices de lecture à haute voix et des cartes avec l'alphabet. Ils ont reçu 18 jours de formation individuelle sur la pédagogie de la lecture (répartis à travers trois ateliers de formation de 10, 3 et 5 jours respectivement), renforcée par des visites mensuelles du personnel du PAQUED formé à la pédagogie de la lecture. Ils étaient également encouragés à participer plus régulièrement aux forums d'échange au niveau des écoles et au niveau des (groupements d écoles, et le contenu de ces forums a été modifié pour porter spécifiquement sur la lecture. Le Tableau A5 illustre ces changements. Tableau A5. Programme de lecture apports supplémentaires ciblant les enseignants , écoles disposant d un programme de lecture Apports Kits de l'enseignant pour la fabrication de matériel didactique 1e et 2e années 3e et 4e années 5e et 6e années Cartes avec l'alphabet IAI Lecteur MP3 accompagné d une carte SD préchargée avec le contenu des leçons 1 lecteur MP3 par classe Guide de l'enseignant pour l IAI 1 guide par enseignant Cartes scénario (8 à 10 cartes par série) 1 grand livre par enseignant par semaine (24 au total) Cartes scénario Guide de l'enseignant pour le programme de lecture 1 par enseignant 3 stratégies de lecture génériques mettant l'accent sur le vocabulaire et la compréhension Lecture Réunions d apprentissage avec des collègues au niveau des groupements d écoles (avec modules vidéo) 1 x par trimestre ; animateur formé à la pédagogie de la lecture -- Réunions d'apprentissage avec les collègues au niveau de l école 2 x par mois -- Formation 18 jours -- Projet d Amélioration de la Qualité de l Éducation (PAQUED) 39

62 Apports individuelle , écoles disposant d un programme de lecture 1e et 2e années 3e et 4e années 5e et 6e années Visites de suivi 1 par mois par du personnel qualifié du PAQUED Projet d Amélioration de la Qualité de l Education (PAQUED)

63 2. Conception de l étude et objectifs Conception de la recherche Chacune des études (2010, 2012 et 2014) comprenaient des échantillons suffisamment grands pour que les résultats soient représentatifs des trois provinces du PAQUED 25 et pour permettre la comparaison entre ces provinces. La capacité de permettre les comparaisons interprovinciales est importante en raison des différences systématiques entre les provinces étudiées par le PAQUED, notamment l'histoire récente avec les conflits, la géographie, l économie et les langues parlées. L'objectif de l'étude de 2014 et de ce rapport est de décrire les changements dans les performances des élèves en lecture et en mathématique, qui ont eu lieu dans les écoles du PAQUED entre 2010 et 2014 et dans les écoles accessibles au PAQUED entre 2012 et En comparant les écoles de traitement aux écoles témoins ayant des caractéristiques similaires à l'aide d'une approche de la différence des différences permettra de clarifier dans quelle mesure ces changements peuvent être attribués aux interventions d IAI, à la formation des enseignants et au programme de lecture du PAQUED. L'outil EGRA L'instrument EGRA est un ensemble de sous-tâches administré oralement pendant 15 à 20 minutes, conçu pour évaluer les compétences fondamentales en lecture qui permettent aux élèves de lire couramment. L'évaluation EGRA est conçue comme approche d'évaluation indépendante de la méthode d enseignement : l'instrument ne reflète pas de méthode particulière d'enseignement de la lecture (par exemple l'approche globale ou phonétique/syllabique). Au contraire, EGRA mesure les compétences de base qu'un enfant doit avoir pour finalement être capable de lire couramment et avec compréhension le but ultime de la lecture. Les sous-tâches EGRA reposent sur la recherche portant sur une approche globale de l'acquisition de la lecture dans différentes langues, y compris les cinq éléments essentiels : conscience phonémique, phonétique, maîtrise de la lecture, vocabulaire et compréhension. 26 Les évaluations EGRA sont adaptées à la langue ou aux langues et à la localité où elles sont administrées. L'EGRA français contient plusieurs sous-tâches avec des éléments sélectionnés sur la base des propriétés du français. Des mesures spécifiques évaluées en 25Notez que ceci est différent d une affirmation que les provinces échantillonnées sont représentatives de la RDC dans son ensemble. 26Les définitions sont adaptées du Rapport de la Commission nationale de lecture - enseigner à lire aux enfants : une évaluation factuelle de la littérature de recherche scientifique sur la lecture et ses implications pour l'enseignement de la lecture : rapports des sous-groupes, Eunice Kennedy Shriver National Institute of Child Health and Human Development, 2000, Publication n par le National Institutes of Health, disponible à Projet d Amélioration de la Qualité de l Éducation (PAQUED) 41

64 RDC comprenaient le vocabulaire, la conscience phonémique par l'identification du son initial, la Reconnaissance de graphèmes, la lecture de mots familiers et de mots inventés, la lecture et la compréhension de passages, la compréhension orale et la Écriture d une phrase complète. L EGRA en DRC a été conçue pour identifier quelles compétences de base manquaient aux élèves et pour lesquelles ils avaient des difficultés en lecture et également pour fournir cette information au MEPSP et au PAQUED. EGRA est un outil de diagnostic puissant, permettant d'évaluer les compétences qui ne peuvent être mesurées à l'aide d'un examen traditionnel au stylo et au crayon. L adaptation de l'instrument EGRA français à la République démocratique du Congo a eu lieu en décembre Les fonctionnaires du ministère de RDC et des experts linguistiques du Centre de Linguistique Théorique et Appliquée (CELTA) ont participé au processus d'adaptation de l instrument, qui était dirigé par le Dr. Souhila Messaoud- Galusi de RTI International. 27 L'instrument EGRA produit comprenait les sous-tâches suivantes : 28 La sous-tâche Vocabulaire évaluait le vocabulaire réceptif de base des élèves et leur compréhension des commandes de base. Dans cette sous-tâche non chronométrée, les élèves étaient invités à pointer vers des parties du corps (comme le «nez») et des objets alentours (par exemple, «gomme») et ils devaient suivre des commandes simples différenciées par des prépositions (telles que «mettre le crayon sous le papier» suivi par «mettre le crayon sur le papier»). Après la pratique de deux éléments, les élèves devaient identifier huit parties du corps, identifier six objets alentours et mettre un crayon à six endroits différents. Le score final était le nombre de mots et de commandes simples identifiés avec succès par les élèves, le score global maximal possible étant de 20 (huit points possibles pour les parties du corps, six points possibles pour les mots de l'environnement et six points possibles pour les termes spatiaux). Cette sous-tâche était administrée aux enfants des 2e et 4e années. La sous-tâche Identification du son initial évaluait la conscience phonémique des élèves (la capacité d'identifier et de manipuler explicitement les sons du langage). La conscience phonémique s'est avérée être l un des meilleurs indicateurs de l'acquisition de la lecture, elle est souvent utilisée afin d identifier les élèves à risque pour la lecture de difficultés à l'école primaire dans les pays développés. Dans cette sous-tâche, les élèves étaient invités à écouter un mot (par exemple «sac») et à identifier le premier son dans ce mot (dans ce cas, / s /). Après la pratique de deux éléments, les élèves recevaient 10 éléments de test. Le score final était le nombre de mots dont les élèves avaient identifié avec succès le son initial, avec une note maximale possible de 10. Cette sous-tâche était administrée aux enfants des 2e et 4e années. 27Les détails du processus d'adaptation sont décrits dans le rapport pilote, Pilote EGRA pour l évaluation initiale du PAQUED, RDC, préparé par RTI International pour l EDC, grâce au financement de l'usaid, Cinq des sous-tâches qui testaient les compétences plus avancées en lecture Lecture de mots familiers, Lecture de mots inventés, Maîtrise de la lecture à haute voix, Compréhension à la lecture et Écriture d une phrase complète n ont été administrées qu aux élèves de 4e année. 42 Projet d Amélioration de la Qualité de l Education (PAQUED)

65 La sous-tâche Reconnaissance de graphèmes a évalué les connaissances des élèves sur les relations graphème-son essentielles pour lire de nouveaux mots à haute voix. Dans cette sous-tâche chronométrée, les élèves ont pu voir un graphique contenant 10 lignes, chacune contenant 10 graphèmes (lettres individuelles ou combinaisons de lettres), disposés dans un ordre aléatoire. Les élèves ont été invités à dire à l'examinateur les sons ou les noms d autant de graphèmes que possible en une minute, ce qui produisait un score de lecture mesuré en graphèmes corrects par minute (cgpm). 29 Cette sous-tâche était administrée aux enfants des 2e et 4e années. La sous-tâche Lecture de mots familiers évaluait les compétences des élèves en lecture de mots très courants (les plus fréquemment utilisés en lecture et en écriture à l'âge de la cible dans la langue cible). Reconnaître des mots familiers est primordial pour apprendre à lire couramment. Dans cette sous-tâche chronométrée, les élèves pouvaient voir un graphique de 50 mots familiers, disposés en rangées de cinq et il leur était demandé de lire autant de mots que possible en une minute, ce qui produisait un score de lecture mesuré en mots corrects par minute (cwpm). 30 Cette sous-tâche était administrée uniquement aux enfants de 4e année. La sous-tâche Lecture de mots inventés évaluait les compétences des élèves quand il s agissait d'appliquer des règles de correspondance lettre-son pour décoder des mots non familiers. Pour s'assurer que les élèves prononçaient les sons des mots plutôt que de les reconnaître en les voyant, les administrateurs montraient aux élèves un graphique de 50 mots prononçables, mais inventés, des mots qui suivaient les schémas orthographiques du français. Les élèves devaient prononcer les sons d autant de mots inventés que possible en une minute, ce qui produisait un score de maîtrise mesuré en mots inventés corrects par minute (cnonwpm). Cette sous-tâche était administrée uniquement aux enfants de 4e année. Les sous-tâches associées Maîtrise de la lecture à haute voix et Compréhension à la lecture évaluaient l aisance des élèves à lire à haute voix un passage de texte adapté à leur niveau scolaire ; elles évaluaient également leur capacité à comprendre ce qu'ils avaient lu. Ces sous-tâches étaient administrées uniquement aux enfants de 4e année. Maîtrise de la lecture à haute voix : la capacité de lire des passages couramment est considérée comme un élément nécessaire pour la compréhension de la lecture. Dans cette sous-tâche, il a été donné aux élèves une histoire de 54 mots et il leur a 29Bien que la sous-tâche présente 100 graphèmes, il est possible pour les élèves d'obtenir des scores supérieurs à 100 graphèmes corrects par minute s ils terminent la sous-tâche en moins d'une minute. Le score est calculé en divisant le total des sons de lettres (graphèmes) correctement identifiés par le temps nécessaire pour achever la tâche et en multipliant le quotient par 60. Par exemple, un enfant identifiant correctement 100 graphèmes en 50 secondes recevrait un score de (100 lettres correctes 50 s) * 60 s = 120 graphèmes corrects par minute (cgpm). 30Bien que la sous-tâche présente 50 mots familiers, il est possible pour les élèves d obtenir des scores supérieurs à 50 mots corrects par minute (cwpm) s ils terminent la tâche en moins d'une minute. Le score est calculé en divisant le total des mots lus correctement par le temps nécessaire pour achever la tâche et en multipliant le quotient par 60. Par exemple, un enfant qui a lu tous les 50 mots correctement en 50 secondes recevrait un score de (50 mots corrects 50 s) * 60 s = 60 mots corrects par minute (cwpm). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 43

66 été demandé de la lire à haute voix en une minute. Le score de la Maîtrise de la lecture à haute voix mesurait les mots corrects par minute. 31 Compréhension à la lecture : Lorsque les élèves avaient terminé le passage, ou après la fin de la minute, le passage était supprimé. Les élèves devaient répondre oralement à cinq questions qui les obligeaient à se rappeler les faits essentiels du passage. Le score de la Compréhension à la lecture était le nombre de réponses correctes, avec un score maximum possible de 5. La compréhension à l audition est considérée comme une compétence essentielle pour la compréhension de la lecture car elle représente la capacité à donner un sens à la langue orale. Dans la sous-tâche Compréhension à l'audition, l'examinateur lisait un passage de 50 mots aux élèves. Cinq questions sur ce passage étaient posées oralement aux élèves. Le score de compréhension à l audition était le nombre total de réponses correctes, avec un score maximum possible de 5. Cette sous-tâche était administrée aux enfants des 2e et 4e années. La sous-tâche Écriture d une phrase complète évaluait les compétences des élèves en orthographe. Les élèves étaient autorisés à orthographier de mémoire ou à prononcer les sons des mots et appliquer les correspondances son-orthographe. Dans cette sous-tâche, l'examinateur lisait une courte phrase aux élèves («Mon ami s'appelle Bola.») et les élèves essayaient d'écrire la phrase. Les trois mots cibles qui recevaient un score étaient «mon», «ami» et «appelle». Le score était le nombre de mots correctement orthographiés. Cette sous-tâche était administrée uniquement aux enfants de 4e année. L administration de l'egra comprend une règle «d arrêt précoce» qui exige des évaluateurs qu ils interrompent l'administration d'une sous-tâche si un élève est incapable de répondre correctement à l un des éléments dans la première ligne (c.-à-d., les 10 premiers graphèmes, les cinq premiers mots ou la première ligne de l'histoire de Maîtrise de la lecture à haute voix). Cette règle avait été établie afin d'éviter de frustrer les enfants qui ne comprennent pas la sous-tâche ou qui n'ont pas les compétences pour répondre. Avant de mener l EGRA, les administrateurs devaient lire à chaque élève des informations explicites sur le test et sur son utilisation. Les élèves étaient invités à accepter de participer à l'évaluation. Pour prévenir la contamination des résultats de 2014 en raison à une fuite des protocoles de tests de 2012, des modifications mineures ont été apportées aux sous-tâches EGRA entre 2012 et À l'exception du passage de lecture à l audition et des questions associées de compréhension à la lecture, tous les éléments ont été conservés au fil des ans. Toutefois, les éléments figurant dans une sous-tâche donnée étaient redistribués dans un ordre aléatoire. Par exemple, le graphème «e» apparaît trois fois dans la sous-tâche Reconnaissance de graphèmes. En 2012, il tenait les 50 e, 66 e et 86 e positions ; suite à une redistribution aléatoire pour l'instrument de 2014, il est apparu en 1 re, 7 e et 85 e positions. 31 Cette mesure de maîtrise est calculée de la même façon que pour les scores de graphèmes corrects par minute (cgpm), les mots corrects par minute (cwpm) et les mots inventés corrects par minute (cnonwpm) scores, en divisant le nombre d'éléments lus correctement par le temps écoulé et en multipliant le quotient par 60 secondes. 44 Projet d Amélioration de la Qualité de l Education (PAQUED)

67 Le passage de lecture à haute voix de 2012 et les questions de compréhension associées ont été remplacés dans leur intégralité par un nouveau passage et de nouvelles questions. Pour conserver la validité de la comparaison des scores au fil des ans, une étude assimile a été réalisée pour évaluer la difficulté relative des deux passages et calculer un coefficient assimilant qui pourrait être utilisé pour convertir les scores sur les deux passages à une échelle commune. (Pour une discussion plus technique de ce processus, voir la section Assimilation de l'annexe III.) L'outil EGMA EGMA est un instrument administré oralement, qui teste les enfants individuellement et vise à évaluer les performances des élèves sur les compétences fondamentales en mathématique que les élèves sont censés maîtriser dans les premières années. L'instrument comprend des sous-tâches qui sont conçues pour effectuer les opérations suivantes : inclure les compétences clés qui, selon les programmes scolaires des pays en voie de développement et des pays développés, doivent être acquises dans les premières années scolaires ; refléter les compétences qui prédisent le mieux les performances futures, selon les études et les conseils scientifiques disponibles ; représenter la progression de compétences nécessaires pour mener à la maîtrise de la mathématique ; et cibler la compréhension conceptuelle et la maîtrise de la procédure. Bien que les chercheurs de RTI aient préparé un instrument EGMA de base qui sert de modèle, il nécessite une adaptation locale dans chaque pays dans lequel il est appliqué, souvent notamment la traduction des instructions de test. L adaptation de l'instrument EGMA pour la République démocratique du Congo a eu lieu en décembre Des fonctionnaires du ministère ont participé au processus d'adaptation de l instrument, qui était dirigé par le spécialiste de l'enseignement de la mathématique Aarnout Brombacher et qui nécessitait de veiller à ce que les sous-tests EGMA correspondent aux programmes de la RDC pour les années scolaires ciblées. 32 L'instrument EGMA en résultant comprenait les sous-tâches suivantes : Maîtrise du comptage oral. L'évaluation de la Maîtrise du comptage oral cible la capacité des enfants à produire les chiffres couramment. Dans cette sous-tâche, les enfants sont invités à compter aussi loin que possible. Le score est basé sur le dernier nombre correct que l'enfant dit avant de commettre une erreur ou à la fin d'une minute. En RDC en 2e année, les enfants devaient compter par un. En 4e année, les enfants devaient compter par un, puis par dix. En 6e année, les enfants devaient compter par dix, puis par vingt-cinq. Correspondance un pour un. La correspondance un pour un se réfère au comptage des objets. Cette sous-tâche vise la capacité des enfants à reconnaître les éléments dont ils ont 32 Les détails du processus d'adaptation sont décrits dans le rapport pilote, Pilote EGMA pour l évaluation initiale du PAQUED, RDC, préparé par RTI International pour l EDC, grâce au financement de l'usaid, Projet d Amélioration de la Qualité de l Éducation (PAQUED) 45

68 besoin pour compter et marquer mentalement les éléments qu'ils ont déjà comptés. Il s'agit d'une sous-tâche chronométrée car le but est d'obtenir une mesure de la maîtrise. En 2e année, une feuille de stimulation avec 30 cercles a été présentée aux enfants et il leur a été demandé de les compter. En 4e année, une feuille de stimulation avec 80 cercles et une deuxième feuille de stimulation avec 300 cercles disposés en groupes de 10 ont été présentées aux enfants. Cette tâche n'était pas administrée aux élèves de 6e. Identification des nombres. L identification des nombres évalue les connaissances et les capacités de l élève à identifier les symboles écrits. Ici, la feuille de stimulation se composait de symboles chiffrés présentés dans une grille. Les élèves étaient invités à identifier les numéros à haute voix. L'instrument de 2e année comprend les nombres à un, deux ou trois chiffres. L'instrument de 4e année portait sur les nombres comprenant jusqu'à cinq chiffres et l'instrument de 6e année comprenait ceux jusqu'à six chiffres, les fractions courantes et les pourcentages. Discrimination de quantités (nombre). La discrimination de quantités (nombre) évalue la capacité de l'élève à porter des jugements sur les différences en comparant les quantités, représentées par des nombres. La difficulté des nombres inclus dépendait du niveau scolaire, comme pour l'identification des nombres ci-dessus. Nombre manquant (nombre manquant). Le nombre manquant (nombre manquant) évalue la capacité de l'élève à distinguer et à compléter des séries numériques. Chaque élément de cette sous-tâche se composait de quatre nombres dans une séquence numérique et d un espace réservé (une ligne vide) pour un nombre suivant ou manquant. Il était demandé à l enfant de nommer le nombre manquant. Les nombres utilisés et la complexité de la séquence étaient presque les mêmes pour les 2e, 4e et 6e années, ce qui permettait de bien constater la progression scolaire. Problèmes de mots. Les problèmes de mots évaluent la compréhension conceptuelle des opérations de base de l'élève. Il a été présenté aux enfants des problèmes de mots oraux qui s appliquaient à eux et on leur a demandé de les résoudre. Les enfants ont reçu un matériel de manipulation pour les aider à résoudre les problèmes. Opérations de base problèmes d addition, soustraction, multiplication et division. Cette sous-tâche évalue la compétence procédurale de l'élève dans ces opérations de base. Dans cette sous-tâche, on présente aux enfants des additions, soustractions, multiplications et divisions qu ils doivent résoudre. Pour la RDC, la complexité des problèmes varie selon le niveau scolaire de sorte que la 2e année n apprend que les additions et les soustractions alors que les 4e et 6e années reçoivent aussi des problèmes de multiplication et division. Les élèves des 4e et 6e années devaient résoudre des problèmes par écrit, alors que les élèves de 2e année étaient invités à donner la réponse oralement. Contexte de l'élève, interviews de l enseignant et du directeur d'école En plus d'administrer les instruments EGRA et EGMA, les évaluateurs ont posé à tous les élèves une autre série de questions sur leur situation familiale, leur foyer et sur de simples d indicateurs de leur statut socio-économique. Les évaluateurs ont également mené des entrevues structurées avec les enseignants des élèves et avec le directeur de l'école pour 46 Projet d Amélioration de la Qualité de l Education (PAQUED)

69 en savoir plus sur les pratiques de classe et les facteurs environnementaux qui avaient pu intervenir dans le processus d'apprentissage. Toutes les informations d'identification ont été effacées des entrevues et les données résultantes ont été incorporées dans les analyses de régression présentées dans ce rapport. Formation des évaluateurs Les évaluateurs qui administraient les instruments EGRA et EGMA ont complété un stage de 11 jours, qui comprenait trois jours de pratique dans les écoles avec les enfants. Plusieurs candidats ont été invités à des sessions de formation et furent choisis pour participer au processus de collecte de données. Les évaluateurs ont été sélectionnés de façon compétitive selon plusieurs facteurs, y compris leur aisance avec la modalité de collecte des données (logiciels Tangerine sur une tablette Nexus 7), leur capacité d'administrer les instruments en restant fidèles au protocole et leur rapport avec les élèves. L'exigence la plus fondamentale, cependant, était que tous les évaluateurs sélectionnés aient obtenu des scores de fiabilité inter évaluateurs (IRR) de plus de 90 % au cours de plusieurs évaluations. (Pour plus de détails, voir l'annexe II). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 47

70 3. Limitations Le présent rapport présente les données et analyses qui font l'objet de plusieurs limitations. Certaines sont dues à des différences entre la vision originale (2009) pour le projet et la vision après réalignement (2013) ; certaines sont fonction de l'évolution des normes du système éducatif de la RDC depuis 2010, où l'adaptation de l'instrument EGRA est effectuée ; et d'autres sont attribuables aux changements de conception de l échantillonnage entre la base de référence (2010) et l examen de mi-parcours (2012). Mauvais alignement de l'intervention et de l'évaluation Aligné avec le programme scolaire national de RDC, les apports portant sur la qualité d éducation étaient axés sur le français en tant que contenu important et ils étaient dans la lignée des approches pédagogiques et linguistiques généralement favorisées en France, la lecture était traitée simplement comme un élément dans la matière du français dans son ensemble. Les apports portant sur la lecture, prévus par la conception du projet initial, étaient relativement rares. Comme il est indiqué dans la Section 1 : éléments du réalignement avant l intervention PAQUED, les leçons d IAI étaient destinés comme complément du programme scolaire nationale déjà exisante, et il y avait seulement le temps d inclure 30 minutespar semaine portait explicitement sur l'acquisition des compétences en lecture. Les aptitudes fondamentales nécessaires pour apprendre à lire en français couramment n étaient pas enseignées. Au lieu de cela, l'accent était sur le développement de leurs compétences linguistiques orales. EGRA était une méthode relativement nouvelle à l'époque, et le niveau des apports qui seraient nécessaires pour obtenir des changements observables dans les résultats en lecture dans le contexte congolais via un programme axé principalement sur la langue orale n'était pas bien connu. En conséquence, l'egra tel qu'il a été adapté en 2009 ne contenait pas autant de sous-tâches de langue orale que s il était réadapté aujourd'hui pour évaluer une intervention de style PAQUED de l époque des environs de Essentiellement, tandis que les tâches de lecture étaient appropriées pour les élèves dans chacune des trois catégories évaluées, il apparaît clairement à présent que le niveau des apports du projet axés sur la lecture n était vraiment pas approprié à celui qui serait nécessaire pour obtenir des améliorations significatives. 48 Projet d Amélioration de la Qualité de l Education (PAQUED)

71 Attentes scolaires des capacités de lecture des élèves de 2e année Au moment du lancement de projet, la politique de l'éducation nationale de la RDC exigeait que les deux premières années d'enseignement primaire (premier degré) se déroulent dans l'une des quatre langues nationales. (Selon l'emplacement de l'école, la langue appropriée peut être le Ciluba, Kikongo, Lingala ou Kiswahili. 33 ) Le français est une matière enseignée au cours de ces deux premières années et devient la langue d'enseignement en 3e année. Même si un programme basé sur les compétences en lecture était absent du programme scolaire national en français à travers l'ensemble du cycle primaire, on s attendait néanmoins à ce que les élèves de 3e année et au-delà puissent lire avec compréhension en français. Le résultat, dans la pratique, de cette politique nationale (qui a depuis été révisée) était que l'on n'attendait pas des élèves de 2e année qu'ils puissent lire en français. Durant l'adaptation d'egra au contexte congolais, il était donc considéré comme inutile d inclure des mesures bien déterminées des capacités des élèves de 2e année dans les domaines du décodage (la sous-tâche Mots inventés), de la reconnaissance globale (la sous-tâche Mots familiers) et de la lecture de texte connecté (la sous-tâche Maîtrise de la lecture à haute voix). Les sous-tâches qui auraient permis à cette étude de fournir une meilleure compréhension des changements dans les compétences en lecture des élèves de 2e année au fil du temps ont donc été exclues de l'instrument de 2e année. Parce que l'intervention de lecture qui avait été mise en œuvre après le réalignement en 2013 était axée principalement sur les enseignants et les élèves des 1e et 2e années, avoir des données sur les performances des élèves sur un éventail plus large de compétences en lecture aurait permis une meilleure compréhension de l'impact du programme. Changements dans la conception de l'échantillonnage L'intervention PAQUED mise en œuvre dans les écoles disposant d un programme de lecture après le réalignement du projet en 2013 comprenait un accent plus précis sur la lecture et une concentration beaucoup plus importante d'apports dans chaque école que l'intervention initiale. Des conclusions générales quant à la pertinence de l'expérience du programme de lecture pour le plus vaste système éducatif en République démocratique du Congo ne peuvent pas s appuyer sur les données collectées et présentées dans cette étude. Les échantillons non probabilistes tels que les écoles disposant d'un programme de lecture font l'objet de polarisations inconnues et des inférences statistiques applicables à la population cible ne peuvent donc pas être induites. Une étude plus vaste et plus rigoureuse serait nécessaire et est justifiée compte tenu des résultats de cette exploration en cours. 33Dans la pratique, la grande majorité des écoles soutenues par le gouvernement n ont pas accès aux matériels didactiques et d apprentissage appropriés dans la langue nationale de leur région. (Les écoles qui sont conventionnées catholiques écoles publiques dont le gouvernement a confié la gestion aux autorités de l'église catholique sont souvent l'exception parce qu elles sont en mesure d'apporter des ressources supplémentaires pour équiper leurs enseignants et les élèves en matériels didactiques et d apprentissage dans la langue nationale.) Projet d Amélioration de la Qualité de l Éducation (PAQUED) 49

72 Chapitre C met l'accent sur les écoles accessibles au PAQUED, en examinant les changements dans les compétences en lecture et en mathématique des élèves des 2e et 4e années sur une période de deux ans dans un sous-ensemble d écoles de l'intervention PAQUED qui étaient plus facilement accessibles par les ressources et le personnel du projet. Les résultats présentés dans cette section du rapport sont donc seulement généralisables à d'autres écoles dans les trois provinces du PAQUED qui répondent à des critères similaires de sécurité et d'accessibilité et non à la plus large population d'écoles du PAQUED ou la plus large population d'écoles de la RDC. La sous-population en cause les environ 618 écoles «accessibles» dans le cadre de l'échantillonnage représente environ 21 % de la population de l'objectif initial de écoles de l'intervention PAQUED. Chapitre D porte sur les écoles du PAQUED, en examinant les changements dans les compétences en lecture et en mathématique des élèves des 2e, 4e et 6e années sur une période de quatre ans. Les résultats présentés dans cette section peuvent être généralisés à l'échelle provinciale. Le Tableau A6 ci-dessous fournit une représentation visuelle des études dont les résultats sont présentés dans ce rapport. Étude PAQUED (2e, 4e, et 6e années) Écoles accessibles au PAQUED (2e et 4e années) Programme de lecture (2e et 4e années) Tableau A6. Les populations étudiées et les analyses autorisées Groupes de traitement Évaluation Écoles du PAQUED Écoles témoins Écoles accessibles au PAQUED Écoles témoins accessibles Écoles disposant d'un programme de lecture Indicateur initial Indicateur initial Indicateur final Indicateur final Évaluation ponctuelle Croissance relative des compétences dans les écoles du PAQUED par rapport aux écoles témoins sur la période Croissance relative des compétences dans les écoles accessibles au PAQUED par rapport aux écoles témoins accessibles sur la période Résultats en 2014 La Figure A1 à la page suivante fournit deux représentations visuelles des populations scolaires évaluées à la date finale d EGRA et EGMA en La partie supérieure de l'image comprend une carte des subdivisions éducatives dans lesquelles les écoles ont été évaluées, codée par avec des codes de couleur selon la ou les populations dont les écoles se trouvaient dans cette subdivision. Le bas de l'image fournit la représentation à l'échelle de la taille relative des populations étudiées et les échantillons choisis (par exemple, le rapport entre la surface gris clair Population : écoles du PAQUED et la surface gris 50 Projet d Amélioration de la Qualité de l Education (PAQUED)

73 foncé Population : 618 écoles accessibles au PAQUED est de 3,000:618, ou ~4,85:1). Dans la carte et la visualisation, l Étude A fait référence aux écoles du PAQUED et témoins ; l Étude B fait référence aux écoles accessibles au PAQUED et aux écoles témoins accessibles ; et les écoles disposant d'un programme de lecture sont imbriquées dans la forme de l Étude B parce qu'elles constituaient un sous-ensemble des écoles accessibles au PAQUED. Figure A1. Subdivisions contenant les écoles évaluées à la date finale et taille relative des populations étudiées Projet d Amélioration de la Qualité de l Éducation (PAQUED) 51

74 Chapitre B : résultats et analyse des compétences en lecture des élèves dans les écoles disposant d'un programme de lecture Chapitre B présente les résultats et les analyses des péformances en lecture des écoles disposant d un programme de lecture. La manque d un groupe témoin et d un contrefactuel qui permettrait l analyse à expliquer la tendance seculaire- l augmentation anticipée dans les péformances des eleves qui devrait se produire au fils de temps- limite la discussion détaillée de la pérformance dans les 44 écoles à considerer les résultats de Cependant, à la demande d EDC, Annexe IV : Les écoles disposant d un programme de lecture : Les Comparaisons a été rajouté à ce rapport. Il examine le changement au fils de temps dans les sous-groupes (n=20) des écoles disposant d un programme de lecture qui étaiaent évalués en 2012 et Statistiques descriptives Après l achèvement de l évaluation EGRA 2012 du PAQUED, l'edc a sélectionné 44 écoles «accessibles» à travers les trois provinces pour qu elles bénéficient d un programme de lecture intensif supplémentaire. Ces écoles disposant d un programme de lecture ont reçu une intervention modifiée dont il est question plus en détail au Chapitre A, Éléments de l intervention du «Programme de lecture» après le réalignement. Des 44 écoles disposant d un programme de lecture, 20 ont été échantillonnées et évaluées au cours de l'egra/egma 2012 ; elles servent de groupe de comparaison pour les analyses des changements dans les compétences des écoles disposant d un programme de lecture au fil du temps. Toutes les 44 écoles disposant d un programme de lecture ont été incluses dans l'échantillon choisi en Les données ont enfin été recueillies dans les 43 écoles disposant d un programme de lecture. Le Tableau B1 affiche la taille de l'échantillon prévu par province et par classe. 52 Projet d Amélioration de la Qualité de l Education (PAQUED)

75 Province Tableau B1. Échantillon prévu par province et par classe 34 Nombre d'élèves Nombre d'écoles 2e année 4e année Nombre total d'élèves Bandundu Équateur Orientale Total En raison des difficultés de collecte de données (par exemple l'absentéisme des élèves le jour de l'évaluation qui a empêché de recueillir un échantillon complet dans une classe donnée, et des évaluations incomplètes des élèves), 41 cas d'élèves n ont pas été collectés ou retirés des ensembles de données, laissant un total de élèves. Cela représente une perte de données totale de seulement 4 %, ce qui est dans les limites acceptables. Le Tableau B2 affiche l'échantillon réel d élèves, par province et par classe, utilisé dans les analyses subséquentes dans le présent rapport. Province Tableau B2. Échantillon réel par province et par classe 36 Nombre d'élèves Nombre d'écoles 2e année 4e année Nombre total d'élèves Bandundu Équateur Orientale Total Le Tableau B3 affiche la proportion d'écoles dans chaque groupe par type de gestion scolaire. Comme ce tableau l indique, les écoles gérées par des catholiques et celles gérées par des protestants étaient le type prédominant au sein de cet échantillon 34 Tout au long de ce rapport, il es possible que les sommes données dans les tableaux ne soient pas égales à 100 % en raison des chiffres arrondis. 35 Il y avait seulement 11 écoles disposant d un programme de lecture dans la province Orientale. 36 Tout au long de ce rapport, il est possible que les sommes données dans les tableaux ne soient pas égales à 100 % en raison des chiffres arrondis. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 53

76 (ensemble n = 13 et 19, respectivement). Environ 19 % des écoles étaient gérées par le gouvernement. Province Tableau B3. Type de gestion scolaire, par province (n = 43) Gérée par le gouvernement Catholique Protestante Kimbanguiste Islamique Total des écoles Bandundu Équateur Orientale Total Échantillon de 2014 Comme indiqué plus haut, l'échantillon final de 2014 comprenait élèves échantillonnés dans 43 écoles dans trois provinces. Alors que la plupart des élèves (40 %) provenaient de la province du Bandundu et le moins d élèves (26 %) de la province Orientale, l'échantillon d'élèves était environ le même pour les élèves des deux sexes et de différents niveaux scolaires. Le Tableau B4 décrit les caractéristiques générales de l'échantillon d'élèves. Tableau B4. Caractéristiques générales de l'échantillon global des élèves (n = 1 103) Variable Nombre d'élèves Pour cent Province Classe Sexe Bandundu % Équateur % Orientale % % % Filles % Garçons % 54 Projet d Amélioration de la Qualité de l Education (PAQUED)

77 Les Tableaux B5 et B6 montrent comment les élèves ont répondu à une série de questions visant les indicateurs socio-économiques (SES) au sujet des possessions dans la maison. Bien qu il ait été demandé aux élèves bien d autres questions que celles énumérées dans les tableaux ci-dessous, les questions présentées dans ce rapport ont été jugées du plus grand intérêt théorique et le plus susceptibles d'avoir un impact sur les compétences des élèves. Puisqu'il a fréquemment été démontré que les SES des élèves ont une influence sur les résultats des élèves, les analyses de régression, présentées plus loin dans ce rapport, comprennent un composite des SES dans leurs modèles. 37 Tableau B5. Indicateurs SES des élèves (n = 1 103) Élément SES Nombre d'élèves Pourcentage Radio % Téléphone % Électricité à la maison % Télévision % Réfrigérateur % Toilettes intérieures % Vélo % Moto % Canoë % Véhicule à moteur % Tableau B6. Réponses des élèves à certaines questions à caractère démographique (n = 1 097) Province Nombre d'élèves L élève a un livre à de lecture en classe Total dans la province Pour cent de la province Bandundu % Équateur % Orientale % 37Avoir plusieurs variables indépendantes hautement corrélées (par exemple les questions liées aux SES indiquées dans le Tableau B5) peut produire des estimations instables ; celles d'un plus petit nombre de composantes principales donneront un meilleur test et/ou frd estimations plus stables des coefficients de régression. Par conséquent, aux fins des analyses de régression incorporant les SES, les réponses des élèves aux questions au sujet des possessions dans la maison ont été fusionnées en une seule variable à l'aide de l'analyse en composantes principales (PCA). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 55

78 Province Nombre d'élèves Total dans la province Pour cent de la province Quelqu'un dans la maison de l'élève sait lire Bandundu % Équateur % Orientale % L élève a au moins un livre à la maison Bandundu % Équateur % Orientale % L élève a fréquenté la maternelle Bandundu % Équateur % Orientale % Si l'enseignant assigne des devoirs, l'élève a quelqu'un à la maison pour l aider Bandundu % Équateur % Orientale % Comme indiqué au Tableau B6, les pourcentages d'élèves dans les trois provinces étaient à peu près comparables, qu ils aient eu un livre de lecture en classe ou que quelqu'un chez eux ait pu lire. Toutefois, les élèves dans le Bandundu semblaient être plus susceptibles que les élèves des autres provinces de signaler qu ils avaient un livre à la maison. À l'inverse, les élèves dans la province de l Équateur étaient plus susceptibles d'avoir été à la maternelle. Le Tableau B7 montre des rapports des élèves sur eux-mêmes quant à la langue utilisée à la maison. Parce que les élèves avaient la possibilité d'indiquer plus d'une langue, les réponses des élèves dépassent le nombre total d'élèves dans l'échantillon. 56 Projet d Amélioration de la Qualité de l Education (PAQUED)

79 Province Tableau B7. Indication par l'élève de la langue parlée à la maison Français Nombre / % Kikongo Nombre / % Lingala Nombre / % Kiswahili Nombre / % Autre Nombre / % Total des rapports d élèves Bandundu 59 / 10 % 372 / 64 % 87 / 15 % 2 / 0 % 58 / 10 % 578 Équateur 68 / 16 % 0 / 0 % 332 / 79 % 2 / 0 % 17 / 4 % 419 Orientale 73 / 21 % 0 / 0 % 187 / 55 % 77 / 23 % 5 / 2 % 342 Total 200 / 15 % 372 / 28 % 606 / 45 % 81 / 6 % 80 / 6 % Il n est peut-être pas surprenant que, étant donné les différences dans les langues prédominantes dans les provinces, plus d'élèves dans le Bandundu aient déclaré parler Kikongo à la maison qu une autre langue, alors que plus d'élèves dans les provinces de l Équateur et Orientale ont déclaré parler le Lingala à la maison. L utilisation du français à la maison varie d'un total de 59 (Bandundu) à 73 rapports d'élèves (Orientale). Les enseignants devaient également répondre à une série de questions lorsqu ils testaient les élèves. Les Tableaux B8 et B9 décrivent les caractéristiques générales et les réponses pertinentes (les réponses qui seront incluses dans les analyses de régression subséquentes) de l'échantillon des enseignants. Tableau B8. Caractéristiques générales de l'échantillon des enseignants (n = 86) Nombre Variable Pour cent d'enseignants Province Bandundu % Équateur % Orientale % Classe % % Sexe Filles % Garçons % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 57

80 Comme on le voit dans le Tableau B8, l'échantillon des enseignants comprend plus de femmes (64 %) que d hommes (35 %). Bien que les 32 écoles dans la province de l'équateur aient été échantillonnées, les données étaient seulement disponibles pour 30 enseignants. Notez que, dans les provinces du Bandundu et Orientale, deux enseignants ont été échantillonnés dans chaque école, comme prévu. Tableau B9. Réponses des enseignants à des questions choisies du sondage (n = 86) Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Dans quelle langue parlez-vous et écrivez-vous le mieux? Autre Français Kikongo Lingala Kiswahili Bandundu 0 / 0 % 23 / 68 % 11 / 32 % 0 / 0 % 0 / 0 % 34 Équateur 0 / 0 % 18 / 60 % 0 / 0 % 12 / 40 % 0 / 0 % 30 Orientale 2 / 9 % 13 / 59 % 0 / 0 % 6 / 27 % 1 / 5 % 22 Quel est votre niveau de 38 D4 D6 G3 L2 scolarité le plus élevé? Bandundu 8 / 24 % 26 / 76 % 0 / 0 % 0 / 0 % 34 Équateur 5 / 17 % 22 / 73 % 3 / 10 % 0 / 0 % 30 Orientale 3 / 14 % 16 / 73 % 2 / 9 % 1 / 5 % 22 Autre que la formation du PAQUED, au cours des deux dernières années, combien de fois avez-vous reçu une formation dans l école pour l'enseignement de la langue française? Jamais 1 fois 2 fois ou plus Pas de réponse Bandundu 7 / 21 % 4 / 12 % 12 / 35 % 11 / 32 % 34 Équateur 0 / 0 % 5 / 17 % 16 / 53 % 9 / 30 % 30 Orientale 0 / 0 % 2 / 9 % 5 / 23 % 15 / 68 % 22 Comment qualifiez-vous les compétences de vos élèves en français? Faibles Moyennes Solides Pas de réponse Bandundu 4 / 12 % 12 / 35 % 18 / 53 % 0 / 0 % 34 Équateur 6 / 20 % 18 / 60 % 6 / 20 % 0 / 0 % D4 = 4 ans de l'enseignement postprimaire ; enseignement secondaire incomplet (pas un diplôme d'études secondaires) D6 = 6 ans d'enseignement postprimaire ; ont terminé leurs études secondaires (diplôme d'études secondaires) G3 = 3 ans d'études postsecondaires ; achèvement de la première moitié d'un cycle d'études dans un institut supérieur (un baccalauréat dans le système éducatif français) L2 = 5 ans d'études postsecondaires ; achèvement d'un cycle complet d'études dans un institut supérieur ou un programme universitaire (une maîtrise dans le système éducatif français) 58 Projet d Amélioration de la Qualité de l Education (PAQUED)

81 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Orientale 5 / 23 % 12 / 55 % 5 / 23 % 0 / 0 % 22 Comment qualifiez-vous les compétences de vos élèves en mathématique? Faibles Moyennes Solides Pas de réponse Bandundu 4 / 12 % 12 / 35 % 18 / 53 % 0 / 0 % 34 Équateur 6 / 20 % 16 / 53 % 7 / 23 % 1 / 3 % 30 Orientale 3 / 14 % 12 / 55 % 7 / 32 % 0 / 0 % 22 Combien de fois avez-vous reçu une visite par le personnel du PAQUED dans le courant de l année scolaire dernière? Pas de réponse Bandundu 9 / 27 % 11 / 32 % 3 / 9 % 9 / 27 % 2 / 6 % 34 Équateur 6 / 20 % 8 / 27 % 7 / 23 % 6 / 20 % 3 / 10 % 30 Orientale 1 / 5 % 5 / 25 % 1 / 5 % 7 / 32 % 8 / 36 % 22 Combien de fois avez-vous participé à un forum d'échange d'enseignants au niveau du groupement d écoles? Au moins 1 fois par trimestre Au moins 1 fois par mois Autre Pas de réponse Bandundu 7 / 21 % 13 / 38 % 1 / 3 % 13 / 38 % 34 Équateur 4 / 13 % 7 / 23 % 2 / 7 % 17 / 57 % 30 Orientale 9 / 41 % 2 / 9 % 1 / 5 % 10 / 46 % 22 Combien de fois avez-vous participé à un forum d'échange d'enseignants à l'école? Au moins 1 fois par trimestre Au moins 1 fois par mois Autre Pas de réponse Bandundu 5 / 15 % 17 / 50 % 1 / 3 % 11 / 32 % 34 Équateur 5 / 17 % 18 / 60 % 1 / 3 % 6 / 20 % 30 Orientale 3 / 14 % 14 / 64 % 0 / 0 % 5 / 23 % 22 Si vous avez participé à des forums d'échange d enseignants, quels modules vidéo ont été utilisés? * Leçons d IAI Matériel didactique Aucun des modules utilisés Bandundu 14 / 41 % 12 / 35 % 12 / 35 % 34 Équateur 16 / 53 % 17 / 57 % 4 / 13 % 30 Orientale 12 / 55 % 15 / 68 % 2 / 9 % 22 Quelles ressources avez-vous reçues du projet PAQUED? * Guide d'iai Guide d'activités de lecture Livres à lire à haute voix Textes de l'élève Craie Projet d Amélioration de la Qualité de l Éducation (PAQUED) 59

82 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Bandundu 28 / 82 % 33 / 97 % 30 / 88 % 30 / 88 % 31 / 91 % 34 Équateur 22 / 73 % 19 / 63 % 19 / 63 % 16 / 53 % 17 / 57 % 30 Orientale 2 / 9 % 1 / 5 % 14 / 64 % 14 / 64 % 5 / 23 % 22 Combien de radios votre école a- t-elle reçu du projet PAQUED? Autre Pas de réponse Bandundu 5 / 15 % 13 / 38 % 13 / 38 % 1 / 3 % 2 / 6 % 34 Équateur 3 / 10 % 19 / 63 % 3 / 10 % 1 / 3 % 4 / 13 % 30 Orientale 0 / 0 % 2 / 9 % 3 / 14 % 8 / 36 % 9 / 41 % 22 Si vous avez utilisé un kit du PAQUED, lequel avez-vous utilisé? Fabrication de matériel Kit scolaire Kit de classe Pas de réponse Bandundu 24 / 71 % 32 / 94 % 30 / 88 % 0 / 0 % 34 Équateur 8 / 27 % 23 / 77 % 16 / 53 % 1 / 3 % 30 Orientale 11 / 50 % 20 / 91 % 12 / 55 % 0 / 0 % 22 Avez-vous suivi les leçons interactives d IAI dans votre école? Oui Non Bandundu 30 / 88 % 4 / 12 % 34 Équateur 26 / 87 % 4 / 13 % 30 Orientale 19 / 86 % 3 / 14 % 22 * Parce que plusieurs réponses ont été permises par enseignant, les pourcentages n équivalent pas nécessairement à 100. Comme illustré dans le Tableau B9, la plupart des enseignants dans toutes les provinces ont rapporté mieux parler et écrire en français ; relativement moins d enseignants ont déclaré que le Kikongo, le Lingala, le Kiswahili étaient leurs langues les plus fortes, bien que des schémas de préférence de langue soient apparus par province. La plupart des enseignants ont signalé D6 comme étant le plus haut niveau de scolarité qu ils aient atteint, avec moins d enseignants déclarant n avoir achevé que par le biais de D4. Très peu d'enseignants ont indiqué avoir terminé les niveaux G3 ou L2 d'éducation. Des enseignants qui ont répondu, la plupart a déclaré avoir assisté à au moins deux formations dans la classe (à l'exception des formations du PAQUED) et avoir reçu deux ou trois visites du personnel du PAQUED. Fait intéressant, les enseignants ont tous catégorisé les compétences de leurs élèves en français et en mathématique, avec plus d'enseignants dans les provinces de l Équateur et Orientale jugeant les élèves moyens dans les deux sujets et les enseignants dans le Bandundu qualifiant les élèves de moyens ou bons. De manière prometteuse, parmi les enseignants qui ont répondu à cette question, la majorité a déclaré 60 Projet d Amélioration de la Qualité de l Education (PAQUED)

83 avoir participé aux forums d'échange au niveau de l école et à celui du groupement d écoles au moins tous les mois. L'utilisation de modules vidéo dans les forums d échange était quelque peu incohérente. Les enseignants dans le Bandundu étaient plus susceptibles que leurs homologues dans d'autres provinces de signaler l absence d utilisation de vidéos. Toutefois, les enseignants dans les provinces de l Équateur et Orientale ont utilisé aussi bien les vidéos des leçons d'iai que les vidéos de développement de matériel de façon à peu près égale. La plupart des enseignants dans le Bandundu et l Équateur ont indiqué avoir reçu un ensemble de matériel du PAQUED, bien que les enseignants de la province Orientale aient indiqué avoir reçu beaucoup moins de matériel. Dans l'ensemble, les kits scolaires et des classes semblent être légèrement préférés au kit de fabrication de matériels. Enfin, la plupart des enseignants ont déclaré utiliser les leçons interactives d'iai. Les Tableaux B10 et B11 décrivent les caractéristiques générales et les réponses pertinentes (les réponses qui seront incluses dans les analyses de régression subséquentes) de l'échantillon de directeurs d'école. Tableau B10. Caractéristiques générales de l'échantillon de directeurs d'école (n = 42) Nombre de Variable Pour cent directeurs d'école Province Bandundu % Équateur % Orientale % Sexe Féminin % Masculin % Comme indiqué dans le Tableau B10, les directeurs d'école étaient surtout des hommes (76 % contre 24 % de femmes). Ces proportions sont les mêmes dans les différentes provinces, comme le montre le Tableau 17 ci-dessous. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 61

84 Tableau B11. Réponses des directeurs d'école à des questions choisies du sondage (n = 42) Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Quel est le sexe du directeur d'école? Féminin Masculin Bandundu 4 / 24 % 13 / 77 % 17 Équateur 3 / 20 % 12 / 80 % 15 Orientale 3 / 30 % 7 / 70 % 10 Combien de fois avez-vous reçu une visite par le personnel du PAQUED dans le courant de l année scolaire dernière? Pas de réponse Bandundu 0 / 0 % 4 / 24 % 2 / 12 % 11 / 65 % 0 / 0 % 17 Équateur 0 / 0 % 3 / 20 % 4 / 27 % 7 / 47 % 1 / 7 % 15 Orientale 1 / 10 % 2 / 20 % 1 / 10 % 6 / 60 % 0 / 0 % 10 Le Tableau B11 montre également que la majorité des enseignants dans le Bandundu et la province Orientale a déclaré avoir reçu un minimum de six visites par du personnel du PAQUED l'année précédant l'enquête, par rapport à la province de l'équateur où 27 % des enseignants ont déclaré quatre à cinq visites et 20 % deux à trois visites. Résultats des sous-tâches EGRA Le Tableau 18 montre l ensemble des zéros et des scores moyens avec et sans les élèves ayant zéro à la fin de l étude en 2014 pour chaque sous-tâche. Un élève reçoit un zéro à une sous-tâche si cet élève (1) ne tente même pas de répondre à un exercice de la tâche même s il est encouragé à essayer, ou (2) tente des exercices mais n en a aucun de correct. Dans les sous-tâches où relativement peu d'élèves ont un zéro, la différence entre les moyennes qui comprennent ces zéros et celles qui les excluent n'est pas grande. Toutefois, pour les sous-tâches où une grande partie des élèves ont un zéro, la différence peut être importante et il est souvent utile de considérer les deux moyennes lorsque l on tente de comprendre les performances des élèves. 62 Projet d Amélioration de la Qualité de l Education (PAQUED)

85 Tableau B12. Pourcentage de zéros et scores moyens en pourcentages globaux par classe et sous-tâche à la fin de l étude Classe Sous-tâche % zéros Moyenne comprenant les zéros 39 Moyenne excluant les zéros 2 Vocabulaire 2 % 9,71 9,88 4 Vocabulaire 0 % 11,97 12,02 2 Compréhension à l audition 49 % ,48 4 Compréhension à l audition 33 % ,67 2 Identification du son initial 66 % 2,09 6,08 4 Identification du son initial 53 % 2,84 6,09 2 Reconnaissance de graphèmes 22 % 15,02 19,38 4 Reconnaissance de graphèmes 11 % 25,64 28,72 4 Lecture de mots familiers 53 % 8,75 18,42 4 Lecture de mots inventés 58 % 6,62 15,70 4 Maîtrise de la lecture à haute voix 40 % 15,79 26,47 4 Compréhension à la lecture 77 % 0,49 2,17 4 Écriture d une phrase complète 38 % 1,07 1,72 Dans les sous-tâches avec des faibles pourcentages de zéros comme le Vocabulaire et, dans une moindre mesure, Connaissance du son d un graphème les différences entre les moyennes ne sont pas grandes. Les différences entre moyennes qui incluent et excluent les élèves avec des zéros sont importantes dans les sous-tâches comme Identification du son initial, les tâches de lecture de deux mots et la Compréhension à la lecture. Dans l'ensemble, comme prévu, les scores moyens des élèves sont plus élevés en 4e année qu en 2e année pour les sous-tâches qui ont été administrées dans les deux années. La quantité relative d'augmentation, cependant, indique une carence continue en compétences même dans l année supérieure. La présence des proportions importantes de zéros même en 4e année indique par ailleurs que les résultats des élèves sont inférieurs aux résultats nécessaires pour atteindre les connaissances à maîtriser en fin de 4e année. 39 Les scores possibles maximaux pour les sous-tâches non chronométrées sont les suivants : Vocabulaire (20), Compréhension à l'audition (5), Identification de son initial (10), Compréhension à la lecture (5) et Écriture d une phrase complète (3). Pour les sous-tâches chronométrées, il n'y a aucune limite supérieure théorique au score de maîtrise, mais le nombre d'éléments pour chaque sous-tâche est le suivant : Reconnaissance des graphèmes (100), Lecture de mots familiers (50), Lecture de mots inventés (50) et Maîtrise de la lecture à haute voix (54). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 63

86 Les paragraphes suivants du présent rapport fournissent des détails supplémentaires sur chacune des sous-tâches EGRA représentées dans ce rapport. Vocabulaire La sous-tâche Vocabulaire présentait 20 mots de vocabulaire aux enfants. Les personnes chargées de recueillir les données demandaient aux enfants d'identifier plusieurs parties du corps et des objets et de déplacer des objets dans des différentes directions. Par conséquent, ce sous-test est une évaluation du vocabulaire réceptif de base en français. Le type de vocabulaire évalué est dans le programme d études de la RDC pour le français en première année. Le programme d'études indique que l'enseignement devrait inclure des mots courants et que les élèves doivent être capables d'accomplir un geste ou une action selon les instructions données en français par l'enseignant. Le Tableau B13 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche Vocabulaire. Tableau B13. Pourcentage de zéros en Vocabulaire et pourcentage d'éléments tentés, par catégorie et par province % d'éléments Score moyen % zéros tentés Classe Province Bandundu 2 % 0 % 39 % 52 % 7,72 10,33 2 Équateur 0 % 2 % 44 % 49 % 8,73 9,74 Orientale 0 % 3 % 44 % 46 % 8,88 9,20 Bandundu 0 % 0 % 53 % 62 % 10,64 12,42 4 Équateur 0 % 0 % 52 % 56 % 10,39 11,10 Orientale 0 % 1 % 61 % 61 % 12,17 12,15 Comme indiqué dans le Tableau B13, même en 2012, très peu d'élèves (la plus grande proportion étant de 2 % des élèves de 2e année de Bandundu) ont eu un zéro pour cette sous-tâche, suggérant que les élèves avaient au moins un niveau minimal de compétences orales en français. De même, à travers les années et les provinces, en moyenne, les élèves pouvaient tenter près de 50 % ou plus du vocabulaire à la fin de l étude. Malgré les zéros, les scores moyens, même à la fin de l étude, pour les élèves de 4e année restent faibles (même dans le groupe le plus haut, avec des réponses correctes à seulement 12,42, soit 62 % des éléments). Cela indique des lacunes continues dans les compétences en français oral. Il est certain qu''en 4e année, les élèves devraient avoir acquis le niveau de base des compétences en français oral qui leur permettraient de répondre à un vocabulaire simple. 64 Projet d Amélioration de la Qualité de l Education (PAQUED)

87 Comme décrit au Chapitre A du rapport, la sous-tâche Vocabulaire comportait trois sections, chacune composée de différents types de mots de vocabulaire : les parties du corps humain (p. ex. tête, pied), des objets de la classe (p. ex. crayon, gomme) et des prépositions (p. ex. sous, plus). Comme on le voit dans le Tableau B14, à travers l'ensemble des années et des provinces, les élèves ont obtenu le plus haut pourcentage de bonnes réponses lors de l'identification des objets de la classe et le plus faible pourcentage de bonnes réponses lors de l'identification des prépositions. La difficulté avec les prépositions est à prévoir lorsque les élèves ne maîtrisent pas encore une langue, même si une plus grande familiarité avec le vocabulaire des objets de la classe laisse entendre que les élèves utilisent principalement le français dans la salle de classe au moins de temps à autre. Tableau B14. Scores moyens pour le Vocabulaire par type de mot de vocabulaire, par classe et par province Classe Province Parties du corps humain (8 éléments) Objets de la classe (6 éléments) Prépositions (6 éléments) n Moyenne ( %) n Moyenne ( %) n Moyenne ( %) Bandundu 218 4,94 (62 %) 218 4,27 (71 %) 218 2,49 (42 %) 2 Équateur 190 5,09 (64 %) 190 4,24 (71 %) 190 1,94 (32 %) Orientale 145 4,41 (55 %) 145 4,25 (71 %) 145 2,19 (37 %) Bandundu 218 6,01 (75 %) 218 4,88 (81 %) 218 3,55 (59 %) 4 Équateur 189 5,65 (71 %) 189 4,68 (78 %) 189 2,23 (37 %) Orientale 142 5,44 (68 %) 142 4,67 (78 %) 142 3,32 (55 %) Étant donné que les élèves ne maîtrisent pas dans l ensemble ce niveau de vocabulaire français, il est intéressant d'explorer les niveaux de compétence entre filles et garçons. Le Tableau B15 fournit une comparaison des scores moyens pour cette sous-tâche par classe, province et sexe. Tableau B15. Comparaison des scores moyens en Vocabulaire par classe, province et sexe Début de l'étude en 2012 Fin de l'étude en 2014 Classe Sous-tâche Province Sexe Moyenne (SE) Valeurp Moyenne (SE) Valeur-p 2 Vocabulaire Bandundu Garçons 8,25 (0,84) 9,92 (0,48) Filles 7,93 (0,89) 0,65 10,66 (0,35) 0,25 Équateur Garçons 8,09 (0,23) 8,71 (0,42) Projet d Amélioration de la Qualité de l Éducation (PAQUED) 65

88 Classe Sous-tâche Province Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne (SE) Valeurp Moyenne (SE) Valeur-p Filles 8,43 (0,36) 0,49 10,42 (0,35) 0,01 Orientale Garçons 8,45 (0,36) 9,51 (0,59) Filles 8,63 (0,68) 0,74 8,92 (0,35) 0,45 Bandundu Garçons 11,38 (0,79) 12,29 (0,36) Filles 11,30 (0,83) 0,95 12,53 (0,25) 0,62 4 Vocabulaire Équateur Garçons 9,35 (0,86) 10,09 (0,31) Filles 9,92 (0,82) 0,59 11,68 (0,27) 0,00 Orientale Garçons 12,26 (1,08) 12,21 (0,39) Filles 12,64 (0,91) 0,48 12,10 (0,37) 0,85 Alors que deux différences entre sexes sont significatives au seuil p < 0,05 (2e et 4e années dans la province de l Équateur, les deux sont en faveur des filles), le nombre de tests d'hypothèse présentés dans ce rapport nécessite un seuil plus restrictif afin d'éviter des erreurs de type À ce niveau plus restrictif (p < 0,0006), aucune de ces différences n'est statistiquement significative. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0 20 éléments), on peut à nouveau constater que relativement peu d'élèves ont eu un zéro, mais aussi que relativement peu ont obtenu des notes parfaites pour cette sous-tâche. En évitant les effets de plafonnement, cet instrument pouvait encore montrer une croissance supplémentaire. Les Figures B1 et B2 illustrent ces répartitions par classe. 40 Des erreurs de type 1 dans les statistiques se produisent lorsqu'il est censé y avoir une différence alors qu il n y en a pas. (Autrement dit, une erreur de type 1 est le rejet de l'hypothèse nulle alors qu elle est en fait vraie). En raison du grand nombre de comparaisons de moyennes effectuées pour cette section (Chapitre B) du rapport, la correction de Bonferroni a servi à déterminer le seuil de signification pour ces analyses. Ce chapitre contient 78 tests t (comparaison des résultats entre les sexes au sein des groupes de traitement, par province), et en conséquence le seuil de signification a été établi à p < 0,05 / 78 = 0,0006 pour les tests t. 66 Projet d Amélioration de la Qualité de l Education (PAQUED)

89 Figure B1. Scores de 2e année pour le Vocabulaire à la fin de l étude par province Figure B2. Scores de 4e année pour le Vocabulaire à la fin de l étude par province Ce qui est encourageant, c'est que tandis que la répartition pour la 2e année montre que la plupart des élèves a eu un score dans la plage de 5 à 16 éléments, cette répartition est décalée vers le haut pour la 4e année, où la plupart des élèves ont eu un score entre 9 et 16 éléments. Identification du son initial Dans la sous-tâche Identification du son initial, les élèves écoutaient des mots individuels, par ex. «sac» et ils étaient invités à identifier le premier son (c.-à-d., Projet d Amélioration de la Qualité de l Éducation (PAQUED) 67

90 phonème) de ce mot (dans ce cas, / s /). Cette sous-tâche comprenait 10 éléments, pour un résultat maximum possible de 10. Les 5 premiers éléments (p. ex. sac, jour, date, lac et voiture) étaient présentés à tous les élèves. Les élèves qui identifiaient le premier son d'au moins un de ces mots recevait les 5 éléments restants (p. ex. balle, tour, par, vol et fil). Le Tableau B16 montre le pourcentage de zéros et le pourcentage des éléments tentés pour la sous-tâche Identification du son initial. Tableau B16. Pourcentage de zéros et pourcentage d'éléments tentés par classe et par province pour l Identification du son initial Classe Province % d'éléments % zéros Score moyen tentés Bandundu 69 % 48 % 11 % 30 % 1,09 2,98 2 Équateur 56 % 56 % 17 % 31 % 1,66 3,14 Orientale 75 % 86 % 10 % 7 % 0,99 0,72 Bandundu 54 % 34 % 28 % 39 % 2,80 3,87 4 Équateur 33 % 36 % 36 % 45 % 3,54 4,50 Orientale 56 % 81 % 18 % 9 % 1,78 0,90 Comme indiqué dans le Tableau B16, la sous-tâche Identification du son initial était difficile pour les élèves en 2012 et en 2014 ; même en 4e année, les pourcentages de zéros à la fin de l étude allaient de 34 % dans le Bandundu à 81 % en province Orientale. De même, les élèves pouvaient généralement tenter relativement peu d éléments, particulièrement en province Orientale (pourcentage d'éléments tentés en 2e année = 7 % et en 4e année = 9 %). Les scores moyens étaient faibles également, le plus haut niveau de compétence pour cette tâche était parmi les élèves de 4e année à la fin de l étude dans la province de l Équateur, qui ont pu identifier en moyenne 4,5 éléments. Le Tableau B17 fournit une comparaison des scores moyens pour cette sous-tâche par classe, province et sexe. 68 Projet d Amélioration de la Qualité de l Education (PAQUED)

91 Tableau B17. Comparaison des scores moyens en Identification du son initial par classe, province et sexe Classe Sous-tâche Province Sexe Début de l'étude en 2012 Moyenne (SE) Valeur-p Fin de l'étude en 2014 Moyenne (SE) Valeur-p Bandundu Garçons 1,67 (0,31) 2,75 (0,38) Filles 0,99 (0,22) 0,17 3,17 (0,32) 0,45 2 Identification du son initial Équateur Garçons 1,70 (0,60) 2,55 (0,41) Filles 1,77 (0,64) 0,93 3,54 (0,35) 0,10 Orientale Garçons 0,55 (0,16) 0,86 (0,33) Filles 0,47 (0,21) 0,71 0,60 (0,20) 0,52 Bandundu Garçons 2,27 (0,81) 3,93 (0,39) Filles 2,85 (0,55) 0,46 3,82 (0,35) 0,84 4 Identification du son initial Équateur Garçons 4,06 (0,62) 2,94 (0,56) Filles 3,95 (0,76) 0,90 5,39 (0,31) 0,00 Orientale Garçons 0,79 (0,19) 0,93 (0,31) Filles 1,65 (0,50) 0,21 0,87 (0,24) 0,89 Au seuil plus restrictif (p < 0,0006), aucune différence statistiquement significative n est apparue entre les filles et les garçons. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0 10 éléments), on peut à nouveau constater la difficulté que les élèves ont eue à identifier le son initial. Les Figures B3 et B4 illustrent ces répartitions par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 69

92 Figure B3. Scores de 2e année pour l Identification du son initial à la fin de l étude par province Figure B4. Scores de 4e année pour l Identification du son initial à la fin de l étude par province Comme l'illustrent les figures B3 et B4, des pourcentages élevés des élèves de ces deux années ont eu un zéro pour cette sous-tâche à la fin de l étude. Les scores dans les deux années ont eu tendance à être uniformément répartis sur les autres catégories de scores, 70 Projet d Amélioration de la Qualité de l Education (PAQUED)

93 avec une élévation dans la catégorie la plus élevée des scores (9 10 éléments corrects) pour les élèves du Bandundu et de l Équateur en 4e année. Compréhension à l audition Pour la sous-tâche Compréhension à l audition, les élèves des 2e et 4e années ont écouté un bref passage et répondu aux cinq questions visant à évaluer leur compréhension de base du passage. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves qui ont pu répondre aux questions de compréhension, selon le nombre d'élèves qui ont tenté de répondre à chaque question. Le Tableau B18 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche de Compréhension à l audition. Tableau B18. Pourcentage de zéros en Compréhension à l audition et pourcentage d'éléments tentés par classe et par province % d'éléments Score moyen % zéros tentés Classe Province Bandundu 65 % 37 % 8 % 32 % 0,40 1,62 2 Équateur 62 % 37 % 14 % 32 % 0,71 1,14 Orientale 62 % 54 % 13 % 21 % 0,64 1,07 Bandundu 49 % 29 % 17 % 39 % 0,84 1,93 4 Équateur 50 % 46 % 22 % 29 % 1,11 1,46 Orientale 21 % 28 % 33 % 37 % 1,64 1,87 Comme on pouvait le prévoir, compte tenu des performances relativement faibles pour la sous-tâche Vocabulaire, les élèves ont eu de faibles résultats pour la sous-tâche Compréhension à l audition. À la fin de l étude, en 2e année, dans les différentes conditions de traitement, le pourcentage des élèves ayant zéro variait de 37 % à 54 %. Bien que les pourcentages de zéros en 4e année aient été inférieurs à ceux de la 2e année, ils étaient toujours élevés et variaient de 28 % à 46 %. Que tant d'élèves aient été incapables de répondre correctement à ne fût-ce qu une des questions posées montre une faible maîtrise globale de la langue française. Même en 4e année, il n'y avait aucune province dans laquelle les élèves pouvaient répondre correctement aux deux questions de compréhension en moyenne. Le Tableau B19 fournit une comparaison des scores moyens pour cette sous-tâche par classe, province et sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 71

94 Tableau B19. Comparaison des scores moyens pour la Compréhension à l audition par classe, province et sexe Classe Sous-tâche Province Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne (SE) Valeurp Moyenne (SE) Valeurp Bandundu Garçons 0,52 (0,15) 1,41 (0,14) Filles 0,53 (0,12) 0,92 1,80 (0,14 0,09 2 Compréhension à l audition Équateur Garçons 1,05 (0,27) 0,79 (0,13) Filles 0,89 (0,24) 0,63 1,37 (0,16) 0,02 Orientale Garçons 0,47 (0,10) 1,09 (0,21) Filles 0,54 (0,22) 0,78 1,06 (0,14) 0,91 Bandundu Garçons 1,04 (0,17) 1,58 (0,15) Filles 0,98 (0,15) 0,82 2,22 (0,15) 0,01 4 Compréhension à l audition Équateur Garçons 1,35 (0,24) 1,01 (0,20) Filles 1,37 (0,33) 0,94 1,71 (0,15) 0,01 Orientale Garçons 1,36 (0,34) 2,01 (0,20) Filles 1,75 (0,47) 0,53 1,76 (0,16) 0,39 Au seuil plus restrictif (p < 0,0006), aucune différence statistiquement significative n est apparue entre les filles et les garçons. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0 5 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. Les Figures B5 et B6 illustrent ces répartitions par classe. 72 Projet d Amélioration de la Qualité de l Education (PAQUED)

95 Figure B5. Scores de 2e année en Compréhension à l audition à la fin de l étude par province Figure B6. Scores de 4e année en Compréhension à l audition à la fin de l étude par province Comme illustré dans les Figures B5 et B6, une grande proportion d'élèves a eu zéro pour cette sous-tâche à la fin de l étude en 2e année, particulièrement dans les provinces de l'equateur et Orientale. En 2e année, aucun groupe n'avait plus de 20 % des élèves avec des résultats entre 1 et 5 éléments. En 4e année, les scores étaient répartis plus uniformément avec des élèves dans la province Orientale, en particulier, réduisant la proportion de zéros mais ils avaient encore des résultats inférieurs à ceux nécessaires pour démontrer la maîtrise de la langue française. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 73

96 Reconnaissance de graphèmes Dans la sous-tâche Reconnaissance de graphèmes, les élèves voyaient un tableau de 100 éléments qui présentait dans un ordre aléatoire, les lettres de l'alphabet, mais aussi les digrammes courants de deux lettres. Ils devaient produire les sons pour autant de graphèmes que possible en une minute. Cette tâche utilisait la règle d'arrêt précoce et elle était abandonnée pour les élèves qui ne parvenaient à produire aucun des sons pour les 10 lettres de la première ligne. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'éléments que les élèves ont tentés et le nombre de sons ou de noms de graphèmes que les élèves ont pu produire correctement en une minute. Le Tableau B20 montre le pourcentage de zéros et le pourcentage d'éléments tentés pour la sous-tâche Reconnaissance de graphèmes. Classe Tableau B20. Pourcentage de zéros en Reconnaissance de graphèmes et pourcentage d'éléments tentés par classe et par province % d'éléments Score moyen % zéros tentés Province Bandundu 12 % 14 % 33 % 47 % 8,64 15,40 2 Équateur 16 % 17 % 28 % 53 % 6,14 18,95 Orientale 17 % 33 % 34 % 39 % 7,31 12,31 Bandundu 4 % 7 % 57 % 60 % 19,87 23,90 4 Équateur 6 % 8 % 60 % 69 % 20,50 30,20 Orientale 3 % 16 % 67 % 58 % 24,90 24,15 Comme indiqué précédemment, pour cette sous-tâche, les élèves ont eu une grille de 100 lettres/graphèmes pour lesquelles ils devaient produire des sons dans les 60 secondes ; même produire des sons à un rythme d'un par seconde donnait lieu à des scores moyen de 60. À la fin de l étude en 4e année, entre les provinces, les moyennes des élèves variaient de 23,90 à 30,20, indiquant que, en général, les élèves les plus performants produisaient des sons de lettres à un rythme d'un toutes les deux secondes. Les moyennes des élèves de 2e année étaient inférieures et les zéros étaient nombreux, en particulier dans la province Orientale. Le Tableau B21 fournit une comparaison des scores moyens pour cette sous-tâche par classe, province et sexe. 74 Projet d Amélioration de la Qualité de l Education (PAQUED)

97 Tableau B21. Comparaison des scores moyens en Reconnaissance de graphèmes par classe, province et sexe Class e Sous-tâche Province Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne (SE) Valeur-p Moyenne (SE) Valeur-p Bandundu Garçons 11,23 (2,08) 14,82 (1,70) Filles 9,19 (1,50) 0,34 15,88 (1,44) 0,66 2 Conscience des graphèmes Équateur Garçons 7,80 (1,25) 16,88 (1,67) Filles 6,54 (1,82) 0,66 20,32 (1,63) 0,18 Orientale Garçons 6,08 (0,95) 13,75 (1,83) Filles 3,40 (0,62) 0,10 11,03 (1,25) 0,28 Bandundu Garçons 18,59 (2,11) 24,14 (1,36) Filles 22,78 (3,37) 0,37 23,71 (1,27) 0,84 4 Identification des graphèmes Équateur Garçons 23,57 (3,39) 25,77 (2,39) Filles 18,69 (3,76) 0,26 32,71 (1,60) 0,03 Orientale Garçons 26,16 (6,32) 25,56 (2,25) Filles 20,89 (5,33) 0,54 23,03 (1,88) 0,43 Aucune différence statistiquement significative entre les sexes n est apparue sur le seuil plus restrictif (p < 0,0006) pour aucune classe ni aucune des trois provinces. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-100 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. Les Figures B7 et B8 illustrent ces répartitions par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 75

98 Figure B7. Scores de 2e année en Reconnaissance de graphèmes à la fin de l étude par province Figure B8. Scores de 4e année en Reconnaissance de graphèmes à la fin de l étude par province Comme illustré dans les Figures B7 et B8, une grande proportion d'élèves a réussi entre 0 et 20 lettres à la minute pour cette sous-tâche à la fin de la 2e année, et quelques élèves ont obtenu un score supérieur à 40. En 4e année, moins de zéros ont été observés, avec la majorité des élèves ayant un score entre 1 et 60 lettres par minute. Cette répartition fait apparaître une tendance prometteuse, bien que beaucoup d'élèves semblent encore avoir des difficultés avec le son de graphèmes et avec la connaissance du nom et qu'ils n aient pas complètement acquis les automatismes pour cette compétence. 76 Projet d Amélioration de la Qualité de l Education (PAQUED)

99 Lecture de mots familiers La sous-tâche Lecture de mots familiers n a été administrée qu'aux élèves de 4e année. Dans cette sous-tâche, un graphique de 50 mots familiers (par exemple, tu et ami) a été montré aux élèves et ils devaient lire autant de mots que possible en une minute. Cette sous-tâche était interrompue avant la fin de la minute pour les élèves qui étaient incapables de lire les cinq premiers mots. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables d'identifier correctement les mots et le nombre de mots que les élèves pouvaient identifier correctement en une minute (mots corrects par minute). Le Tableau B22 montre le pourcentage de zéros et le pourcentage des éléments tentés pour la sous-tâche Lecture de mots familiers. Tableau B22. Pourcentage de zéros en Lecture de mots familiers et pourcentage d'éléments tentés pour la 4e année, par province % d'éléments Score moyen % zéros tentés Classe Province Bandundu 37 % 53 % 27 % 26 % 6,73 7,67 4 Équateur 29 % 47 % 34 % 37 % 8,51 10,86 Orientale 39 % 56 % 42 % 28 % 12,53 8,29 Comme indiqué dans le Tableau B22, lire des mots familiers semble être une tâche difficile pour les élèves, avec 56 % des élèves obtenant zéro à la fin de l étude. Parallèlement, les élèves dans les provinces ont tenté moins de la moitié des mots possibles tant en 2012 qu en Les scores moyens à la fin de l étude étaient faibles dans toutes les provinces, allant de 7,67 mots par minute dans le Bandundu à 8,29 mots par minute en province Orientale. Une tendance intéressante à noter est la diminution des résultats au fil du temps dans le groupe de la province Orientale, dans lequel le nombre de zéros a augmenté, le pourcentage d éléments tentés a diminué et les scores moyens ont diminué. Il n'y a aucune justification immédiate de cette tendance, même si c'est un élément à considérer lors de la préparation d évaluations futures. Le Tableau B23 fournit une comparaison des scores moyens pour cette sous-tâche en 4e année, par province et par sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 77

100 Tableau B23. Comparaison des scores moyens en Lecture de mots familiers pour la 4e année par province et par sexe Classe Sous-tâche Province Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne (SE) Valeurp Moyenne (SE) Valeurp Bandundu Garçons 6,97 (0,97) 7,51 (1,07) Filles 7,32 (2,56) 0,90 7,80 (0,83) 0,85 4 Lecture de mots familiers Équateur Garçons 12,40 (3,08) 8,52 (1,86) Filles 11,09 (3,39) 0,78 12,18 (1,10) 0,12 Orientale Garçons 10,47 (4,42) 10,11 (1,45) Filles 7,46 (3,89) 0,59 6,84 (1,33) 0,16 Aucune différence statistiquement significative entre les sexes dans toutes les provinces n'est apparue en 2012 ou en Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-50 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. La Figure B9 illustre ces répartitions en 4e année. Figure B9. Scores de 4e année en Lecture de mots familiers à la fin de l étude par province 78 Projet d Amélioration de la Qualité de l Education (PAQUED)

101 Tel qu'illustré dans la Figure B9, des pourcentages importants d élèves (plus de 50 % pour les provinces du Bandundu et Orientale et plus de 40 % pour l'équateur) ont un résultat de zéro mot par minute dans cette sous-tâche, bien que les scores variaient entre 1 et 30 mots par minute. Très peu d'élèves étaient capables de lire plus de 30 mots / minute, ce qui indique une absence d'automaticité avec cette compétence. Lecture de mots inventés La sous-tâche Lecture de mots inventés a également été administrée uniquement aux élèves de 4e année. Dans cette sous-tâche, les élèves recevaient un graphique de 50 mots inventés (p. ex. tal et vor) et ils devaient lire autant de mots que possible en une minute. Cette sous-tâche était interrompue avant la fin de la minute pour les élèves qui étaient incapables de lire les cinq premiers mots. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables d'identifier correctement les mots et le nombre de mots que les élèves pouvaient identifier correctement un une minute (mots corrects par minute [cnonwpm]). Le Tableau B24 montre le pourcentage de zéros et d éléments tentés pour la sous-tâche Lecture de mots inventés. Tableau B24. Pourcentage de zéros en Lecture de mots inventés et pourcentage d'éléments tentés pour la 4e année, par province % d'éléments Score moyen % zéros tentés Classe Province Bandundu 48 % 58 % 21 % 22 % 5,13 5,84 4 Équateur 33 % 50 % 26 % 34 % 6,39 9,39 Orientale 50 % 63 % 35 % 22 % 9,36 5,50 Comme avec la sous-tâche Lecture de mots familiers, les scores des élèves pour la soustâche Lecture de mots inventés étaient assez faibles. Dans les groupes divers, les zéros dans les provinces étaient d'entre 50 % et 63 % à la fin l étude (fait intéressant, dans les provinces, les proportions de zéros étaient inférieures en 2012). En général, les élèves dans les provinces du Bandundu et Orientale avaient des pourcentages d'éléments tentés et des scores moyens particulièrement faibles. Cependant, même dans la province du Bandundu, les élèves en moyenne pouvaient lire moins de 10 mots en une minute à la fin de l étude. Ce taux indique des difficultés persistantes avec l'aptitude de décodage. Le Tableau B25 fournit une comparaison des scores moyens pour cette sous-tâche en 4e année, par province et par sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 79

102 Tableau B25. Comparaison des scores moyens en Lecture de mots inventés pour la 4e année par province et par sexe Classe Soustâche Province Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne Valeurp Valeurp (SE) Moyenne (SE) Bandundu Garçons 6,08 (0,90) 5,82 (0,87) Filles 5,10 (2,09) 0,68 5,85 (0,61) 0,98 4 Lecture de mots inconnus Équateur Garçons 9,47 (2,67) 6,54 (1,40) Filles 7,49 (2,52) 0,56 11,00 (1,23) 0,03 Orientale Garçons 8,41 (3,47) 7,16 (1,10) Filles 5,77 (3,05) 0,57 4,18 (0,89) 0,08 Aucune différence statistiquement significative n'a émergé entre les sexes dans les provinces en 2012 ou en 2014 (avec le seuil le plus restrictif p < 0,0006). Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-50 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. La Figure B10 illustre ces répartitions en 4e année. Figure B10. Scores de 4e année en Lecture de mots inventés à la fin de l étude par province 80 Projet d Amélioration de la Qualité de l Education (PAQUED)

103 Comme l'illustre la Figure B10, comme pour la lecture des mots familiers, une grande proportion d'élèves a eu zéro mot par minute pour la sous-tâche des mots inventés, bien qu'un peu moins de la moitié ait pu lire entre 1 et 30 mots inventés par minute. Très peu d'élèves était capables de lire plus de 30 mots / minute, indiquant une fois de plus une absence d'automaticité avec cette compétence. Maîtrise de la lecture à haute voix La sous-tâche Maîtrise de la lecture à haute voix n a été administrée qu'aux élèves de 4e année. Dans cette sous-tâche, les élèves recevaient un passage contenant 50 mots et ils devaient lire autant du passage qu'ils le pouvaient en une minute. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables de lire les mots et le nombre de mots que les élèves pouvaient lire correctement en une minute. Le Tableau B26 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche Maîtrise de la lecture à haute voix. Tableau B26. Pourcentage de zéros en Maîtrise de la lecture à haute voix et pourcentage d éléments tentés pour la 4e année, par province % d'éléments Score moyen % zéros tentés Classe Province Bandundu 50 % 43 % 22 % 35 % 8,01 12,34 4 Équateur 44 % 30 % 28 % 52 % 10,36 21,34 Orientale 51 % 45 % 42 % 39 % 16,49 15,14 Comme le montre le Tableau B26, les scores moyens à la fin de l étude pour cette soustâche variaient de 12,34 dans le Bandundu à 21,34 dans la province de l Équateur. Des scores plus élevés pour cette sous-tâche sont généralement attendus, par comparaison à la sous-tâche Lecture de mots familiers, parce que lire des phrases connectées est normalement plus rapide que lire des mots isolés. Cependant, même des scores moyens de 21 mots / minute indiquent que les élèves lisaient, en moyenne, un mot environ toutes les trois secondes. Ce taux de vitesse de lecture indique que l'attention est accordée à la lecture de mots individuels qui, en 4e année, devrait être automatique (c'est-à-dire moins de 1 seconde par mot). L automaticité libérerait l attention pour la compréhension. Le Tableau B27 présente une comparaison des scores moyens pour cette sous-tâche en 4e année, par province et par sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 81

104 Tableau B27. Comparaison des scores moyens en Maîtrise de la lecture à haute voix pour la 4e année par province et par sexe Classe Sous-tâche Province Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne (SE) Valeurp Moyenne (SE) Valeurp Bandundu Garçons 7,67 (1,42) 12,76 (1,64) Filles 10,73 (4,50) 0,54 11,99 (1,23) 0,73 4 Maîtrise de la lecture à haute voix Équateur Garçons 15,43 (4,24) 17,54 (2,44) Filles 13,99 (3,93) 0,80 23,49 (1,95) 0,08 Orientale Garçons 12,85 (5,78) 16,99 (2,19) Filles 10,12 (5,69) 0,74 13,67 (2,66) 0,38 Aucune différence statistiquement significative n'est apparue dans l'une des trois provinces en 2012 ou en Explorer les répartitions des scores sur l'ensemble des scores (0-55 éléments) montre encore une fois la difficulté que les élèves ont eue avec cette sous-tâche. La Figure B11 illustre ces répartitions en 4e année. Figure B11. Scores de la 4e année en Maîtrise de la lecture à haute voix à la fin de l étude par province La Figure 11 montre que plus de 40 % des élèves dans les provinces du Bandundu et Orientale et près de 30 % des élèves dans la province de l Équateur ont eu un zéro pour cette sous-tâche. À l'exception de l'équateur, moins d'un tiers des élèves pouvait lire entre 82 Projet d Amélioration de la Qualité de l Education (PAQUED)

105 11 et 40 mots, indiquant qu'ils avaient développé leur connaissance des relations graphèmes-son. Une petite proportion d'élèves dans chaque province lisait de 41 à 55 mots, ce qui est considéré comme étant presque la lecture courante pour des textes de ce niveau scolaire. Bien que le taux global ne soit pas suffisamment élevé pour permettre une compréhension efficace, il montre une tendance positive dans l'ensemble des groupes. Compréhension à la lecture Après avoir lu le passage dans la sous-tâche Maîtrise de la lecture à haute voix, des questions ont été posées aux élèves de 4e année afin d évaluer leur compréhension de base du passage. Les questions posées aux élèves étaient uniquement en rapport avec la partie du passage qu'ils avaient lue. Les scores indiqués pour la sous-tâche de Compréhension à la lecture comprennent les pourcentages d'élèves capables de répondre à des questions de compréhension, d'après le nombre d'élèves qui a tenté de répondre à chaque question. 41 Le Tableau B28 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche de Compréhension à la lecture. Tableau B28. Pourcentage de zéros en Compréhension à la lecture et pourcentage d éléments tentés pour la 4e année, par province % d'éléments Score moyen % zéros tentés Classe Province Bandundu 88 % 80 % 5 % 11 % 0,17 0,44 4 Équateur 81 % 69 % 10 % 17 % 0,37 0,70 Orientale 78 % 80 % 14 % 11 % 0,56 0,40 Comme indiqué dans le Tableau B28, dans tous les groupes, la plupart des élèves ont tenté sans succès ou ont répondu à des questions de compréhension. Dans les provinces du Bandundu et Orientale, 80 % des élèves avait zéro, même à la fin de l étude. Les pourcentages d éléments tentés et des scores moyens étaient proportionnellement faibles, variant entre 11 % et 17 % à la fin de l étude. Comme mentionné précédemment, les élèves ont seulement reçu des questions de compréhension qui correspondaient au texte qu'ils pouvaient lire. Comme nous l avons vu dans la section sur la Maîtrise de la lecture à haute voix du présent rapport, les élèves n étaient en moyenne capables de lire qu entre 12 et 21 mots. Par conséquent, en moyenne deux questions au maximum ont été posées aux élèves. Sur ces deux questions, le taux de compréhension était relativement faible. 41Les élèves recevaient seulement des questions qui correspondaient à des lignes du passage qu'ils avaient pu lire dans la minute. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 83

106 Cela correspond à leurs faibles résultats dans les sous-tâches de Vocabulaire et de compréhension à l audition. Le Tableau B29 présente une comparaison des scores moyens pour cette sous-tâche en 4e année, par province et par sexe. Tableau B29. Comparaison des scores moyens en Compréhension à la lecture en 4e année par province et par sexe Début de l'étude en Class e Sous-tâche Province Sexe Moyenne (SE) 2012 Fin de l'étude en 2014 Valeurp Moyenne Valeurp (SE) Bandundu Garçons 0,18 (0,14) 0,42 (0,09) Filles 0,21 (0,08) 0,89 0,45 (0,06) 0,80 4 Compréhension à la lecture Équateur Garçons 0,44 (0,15) 0,43 (0,15) Filles 0,46 (0,16) 0,93 0,86 (0,12) 0,04 Orientale Garçons 0,47 (0,26) 0,59 (0,13) Filles 0,43 (0,28) 0,91 0,25 (0,08) 0,06 Aucune différence statistiquement significative n'est apparue entre les sexes dans les différentes provinces en utilisant le seuil plus restrictif (p < 0,0006). Explorer les répartitions des scores sur l'ensemble des scores (0-5 éléments) montre encore une fois la difficulté que les élèves ont eue avec cette sous-tâche. La Figure B12 illustre ces répartitions en 4e année. 84 Projet d Amélioration de la Qualité de l Education (PAQUED)

107 Figure B12. Scores de la année en Compréhension à la lecture à la fin de l étude par province Étant donné les scores globaux faibles pour la sous-tâche Maîtrise de la lecture à haute voix, les élèves ont reçu un nombre limité de questions de compréhension. Les élèves qui ont eu zéro à la sous-tâche de Compréhension à la lecture comprennent les élèves qui n'ont pas lu assez loin dans le passage pour recevoir la première question et ceux qui ont reçu des questions, mais qui n'y ont pas répondu correctement. Comme le montre la figure, la grande majorité des élèves a eu un zéro pour cette sous-tâche, et la répartition des scores descend à presque zéro pour cent pour les élèves ayant répondu correctement aux cinq questions. Une autre façon instructive d'examiner la relation entre la maîtrise de la lecture à haute voix et la compréhension à la lecture est d'examiner quels niveaux de maîtrise de la lecture correspondent à des niveaux donnés de compréhension à la lecture, tel qu'affiché dans la Figure B13. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 85

108 Figure B13. Correspondance globale entre la Maîtrise de la lecture à haute voix et la Compréhension à la lecture en 4e année Des tracés en rectangle et moustaches conviennent bien pour montrer les différences entre les groupes. Comme l'illustre la Figure B13, pour être dans le «groupe 4» (c.-à-d. après avoir répondu correctement à quatre questions), la médiane des mots lus correctement (indiqués par la ligne horizontale épaisse) était à peu près de 60 mots par minute. Les fines lignes horizontales sont les «moustaches» et elles représentent l'éventail des mots corrects par minute lus par les élèves dans les 25e à 75e percentiles dans le groupe 4 ; dans ce cas, les élèves dans le 25e percentile ont lu 42 mots par minute et les élèves dans le 75e percentile ont lu 90 mots par minute. Ensemble, ces tracés en rectangle et moustaches montrent les augmentations médianes des mots corrects par minute pour chaque groupe et l'éventail des mots lus correctement qui se rétrécit. Bien qu il existe de nombreuses valeurs hors norme, dans l'ensemble, les élèves lisant entre 30 et 40 mots par minute tendent à répondre correctement à une question de compréhension, alors que les scores en maîtrise de la lecture à haute voix de 60 à 70 mots par minute correspondent aux scores de 4 et 5 en compréhension à la lecture. Écriture d une phrase complète Pour la sous-tâche Écriture d une phrase complète, les élèves de 4e année ont tenté d'écrire une courte phrase («Mon ami s'appelle Bola.»), qui leur a été lue trois fois par les évaluateurs. Les trois mots cibles qui valaient un score étaient mon, ami et appelle. Les scores indiqués pour cette sous-tâche comprennent le nombre de mots correctement orthographiés. 86 Projet d Amélioration de la Qualité de l Education (PAQUED)

109 Tableau B30. Pourcentage de zéros en Écriture d une phrase complète et pourcentage d éléments tentés, pour la 4e année par province Classe Province % d'éléments Score moyen % zéros tentés Bandundu 53 % 49 % 26 % 30 % 0,79 0,89 4 Équateur 21 % 30 % 41 % 43 % 1,22 1,29 Orientale 46 % 32 % 41 % 37 % 1,24 1,09 Le Tableau B30 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche de Écriture d une phrase complète. Les scores de zéro pour cette sous-tâche n'étaient pas aussi répandus que pour les autres sous-tâches, ce qui indique que les élèves dans l ensemble ont une capacité d'appliquer leurs connaissances de graphèmes pour orthographier correctement certains mots courants. Les pourcentages de zéros les plus élevés ont été observés dans le Bandundu, avec 49 % des élèves obtenant un zéro à la fin de l étude. Il n'est pas surprenant que les pourcentages d'éléments tentés aient été également les plus faibles dans ce groupe par rapport à d'autres provinces. Pour la plupart, les élèves ont pu écrire environ un mot correctement, avec des scores moyens allant de 0,89 à Bandundu à 1,29 dans la province de l Équateur. Le Tableau B31 offre une comparaison des scores moyens pour cette sous-tâche en 4e année, par province et par sexe. Tableau B31. Comparaison des scores moyens en Écriture d une phrase complète en 4e année par province et par sexe Début de l'étude en Classe Soustâche Province Sexe Moyenne (SE) 2012 Fin de l'étude en 2014 Moyenne Valeurp Valeur-p (SE) Bandundu Garçons 0,83 (0,21) 0,92 (0,11) Filles 0,80 (0,24) 0,92 0,88 (0,24) 0,80 4 Écriture d une phrase complète Équateur Garçons 1,74 (0,25) 1,02 (0,14) Filles 1,20 (0,17) 0,06 1,43 (0,10) 0,03 Orientale Garçons 0,93 (0,29) 1,11 (0,13) Filles 1,03 (0,29) 0,66 1,08 (0,12) 0,84 Aucune différence statistiquement significative n'est apparue entre les sexes dans les différentes provinces en utilisant le seuil plus restrictif (p < 0,0006). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 87

110 Explorer les répartitions des scores sur toute la gamme des scores possibles (0-3 éléments) montre encore une fois la difficulté que les élèves ont eue avec cette soustâche. La Figure B14 illustre ces répartitions en 4e année. Figure B14. Scores de 4e année en Écriture d une phrase complète à la fin de l étude par province Au sein de la sous-tâche Écriture d une phrase complète, les élèves ont été cotés sur la Écriture d une phrase complète entièrement correcte de trois mots dans une phrase plus longue. Comme illustré à la Figure B14, les scores des élèves étaient relativement uniformément répartis sur un ou deux mots corrects. Dans l'ensemble, moins d'un quart des élèves a pu écrire correctement tous les trois mots. Analyses des caractéristiques des élèves Une série de tests du chi carré a été exécutée pour déterminer dans quelle mesure les caractéristiques des élèves concernés sont en corrélation avec les résultats des élèves. Parce que les plus grands gains d'alphabétisation des élèves semblaient être dans la soustâche Reconnaissance de graphèmes, cette compétence, telle que mesurée à la fin de l'étude, a été utilisée comme un indicateur des compétences des élèves. En outre, compte tenu des niveaux relativement faibles des résultats, même dans la sous-tâche Reconnaissance de graphèmes, seuls les élèves performants (c'est-à-dire ceux ayant des scores dans le quintile supérieur pour cette sous-tâche) ont été inclus dans les analyses suivantes. Le Tableau B32 montre les pourcentages pondérés, les statistiques du chi carré et les valeurs p pour chacune des caractéristiques des élèves identifiées précédemment dans ce rapport comme étant d un intérêt théorique à cet effet. 88 Projet d Amélioration de la Qualité de l Education (PAQUED)

111 Tableau B32. Analyses du chi carré des caractéristiques des élèves de 2e année avec des résultats élevés pour la sous-tâche de Reconnaissance de graphèmes Caractéristique de l'élève Pourcentages pondérés L élève a un livre de lecture en classe Élèves non performants Élèves performants Total Non 80 % 67 % 77 % Oui 20 % 33 % 23 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 17,8137 F basé sur la conception (1,00 ; 38,00) = 6,8924 p = 0,012 Quelqu'un dans la maison de l'élève sait lire Non 21 % 4 % 18 % Oui 79 % 96 % 83 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 38,8329 F basé sur la conception (1,00 ; 38,00) = 31,3480 p = 0,000 L élève a au moins un livre à la maison Non 79 % 76 % 79 % Oui 21 % 24 % 22 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 1,2495 F basé sur la conception (1,00 ; 38,00) = 0,5243 p = 0,473 L élève a fréquenté la maternelle Non 67 % 54 % 65 % Oui 33 % 46 % 35 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 13,7297 F basé sur la conception (1,00 ; 38,00) = 6,0163 p = 0,019 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 89

112 Caractéristique de l'élève Pourcentages pondérés Si l'enseignant assigne des devoirs, l'élève a quelqu'un à la maison pour l aider Non 49 % 46 % 48 % Oui 51 % 54 % 52 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 0,6986 F basé sur la conception (1,00 ; 38,00) = 0,1559 p = 0,695 L élève parle français à la maison Non 84 % 73 % 82 % Oui 16 % 27 % 18 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 15,9614 F basé sur la conception (1,00 ; 38,00) = 7,0746 p = 0,011 Le Tableau B32 illustre qu'une caractéristique des élèves de 2e année a eu une corrélation significative (à p < 0,002) avec des performances élevées dans la sous-tâche Reconnaissance de graphèmes : Avoir quelqu'un à la maison capable de lire était en corrélation de façon significative avec les performances élevées dans la sous-tâche. Les analyses de régression logistique ont été également exécutées sur les caractéristiques de ces élèves afin d'approfondir leur relation avec les performances des élèves, en gardant comme constantes la province, le sexe et le niveau socio-économique (SES) des élèves. Des relations statistiquement significatives qui ont émergé de ces analyses sont présentées dans le Tableau B33. Tableau B33. Régressions logistiques des caractéristiques des élèves de 2e année Caractéristique Valeur-p Quelqu'un dans la maison de l'élève sait lire 0,0000* * significatif à p < 0,002 Lorsque l on garde comme constantes la province, le sexe et le niveau socio-économique de l élève, les caractéristiques de cet élève restent statistiquement significatives en 2e 90 Projet d Amélioration de la Qualité de l Education (PAQUED)

113 année : avoir accès à quelqu'un à la maison qui sait lire est en corrélation avec les performances améliorées dans la sous-tâche Reconnaissance de graphèmes. Le Tableau B34 montre les pourcentages pondérés, les statistiques du chi carré et les valeurs p de la 4e année pour chacune des caractéristiques des élèves identifiées précédemment dans ce rapport comme étant d un intérêt théorique à cet effet. Tableau B34. Analyses du chi carré des caractéristiques de l élève de 4e année avec les performances élevées de l élève dans la sous-tâche de Reconnaissance de graphèmes Caractéristique de l'élève Pourcentages pondérés L élève a un livre à de lecture en classe Élèves non performants Élèves performants Total Non 74 % 73 % 74 % Oui 26 % 27 % 26 % Total 100 % 100 % 100 % Pearson : Chi2(1) non corrigé = 0,1431 F axé sur la conception (1,00 ; 38,00) = 0,0594 p = 0,809 Quelqu'un dans la maison de l'élève sait lire Non 14 % 6 % 13 % Oui 86 % 95 % 87 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 12,3023 F axé sur la conception (1,00 ; 38,00) = 4,3741 p = 0,043 L élève a au moins un livre à la maison Non 85 % 64 % 80 % Oui 15 % 36 % 20 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 47,4511 F axé sur la conception (1,00 ; 38,00) = 20,2986 p = 0,000 L élève a fréquenté la maternelle Non 63 % 48 % 60 % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 91

114 Caractéristique de l'élève Pourcentages pondérés Oui 37 % 52 % 40 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 16,1145 F axé sur la conception (1,00 ; 38,00) = 6,8436 p = 0,013 Si l'enseignant assigne des devoirs, l'élève a quelqu'un à la maison pour l aider Non 54 % 44 % 52 % Oui 46 % 56 % 48 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 5,8808 F axé sur la conception (1,00 ; 38,00) = 1,9575 p = 0,170 L élève parle français à la maison Non 83 % 56 % 78 % Oui 17 % 44 % 22 % Total 100 % 100 % 100 % Pearson : chi2(1) non corrigé = 73,1886 F axé sur la conception (1,00 ; 38,00) = 31,1533 p = 0,000 Dans l'ensemble, les pourcentages dans chaque cellule de chaque caractéristique étaient semblables à ceux de la 2e année, avec quelques exceptions notables. En 4e année, avoir un livre à la maison corrélait de façon significative avec des performances élevées dans la sous-tâche. En 4e année, parler français à la maison corrélait de façon significative avec des performances élevées dans la sous-tâche. Une interprétation possible du fait que l'accès à un livre de lecture en classe était corrélé avec des performances élevées pour les élèves de 2e, mais pas pour les élèves de 4e année consiste à considérer les autres soutiens en place. Dans les écoles disposant d un programme de lecture, tandis que tous les élèves des six années avaient reçu des livres, ce sont seulement les enseignants des 1e et 2e années qui ont reçu un soutien, un encadrement et du matériel pédagogique amélioré. L'absence d'une corrélation entre l'accès aux livres en 4e année et les performances élevées peut provenir du fait qu il 92 Projet d Amélioration de la Qualité de l Education (PAQUED)

115 manquait aux enseignants de 4e année le matériel de formation et le matériel didactique nécessaires pour qu'ils aident leurs élèves à tirer parti des livres mis à leur disposition. Les analyses de régression logistique ont été également exécutées sur les caractéristiques de ces élèves afin d'approfondir leur relation avec les performances des élèves, en gardant comme constantes la province, le sexe et le niveau socio-économique (SES) des élèves (Tableau B35). Ces analyses ont montré les relations statistiquement significatives suivantes, qui correspondent en grande partie aux résultats des tests du chi-carré. Tableau B35. Régressions logistiques caractéristiques des élèves de 4e année Caractéristique Valeur-p L élève a au moins un livre à la maison 0,0001* L élève parle français à la maison 0,0000* * significatif à p < 0,002 Analyses des caractéristiques des enseignants Deux indices de facteur de composantes principales ont été créés pour explorer la relation entre les caractéristiques de l'enseignant et les résultats des élèves dans la sous-tâche Reconnaissance de graphèmes, qui a généré les facteurs composites suivants : 1. Participation des enseignants. Cela comprend la fréquence des visites signalées par du personnel du PAQUED, la participation des enseignants à des forums d'échange au niveau des groupements d écoles et la participation des enseignants à des forums d'échange à l'école ; et 2. Accès des enseignants au matériel. Cela comprend les ressources que l'enseignant a reçues du PAQUED, le nombre de radios reçues du PAQUED et le nombre de kits du PAQUED que l'enseignant a déclaré avoir utilisé. Les analyses de régression sur ces deux composites a montré que la participation des enseignants a eu un impact substantiel sur les performances des élèves (p = 0,0387). À l'inverse, l'accès des enseignants au composite du matériel ne contribue pas significativement aux performances des élèves, à p < 0,05. Les analyses de régression logistique ont également été exécutées sur ces caractéristiques des enseignants afin d'approfondir leur relation avec les performances des élèves, en gardant comme constantes la province, le sexe et le niveau socio-économique (SES) des Projet d Amélioration de la Qualité de l Éducation (PAQUED) 93

116 élèves (Tableau B36). 42 Ces analyses ont montré les relations statistiquement significatives suivantes. Tableau B36. Régressions logistiques des caractéristiques des enseignants Caractéristique Valeur-p Expression orale et écrite les meilleures en Kikongo 0,0000* Avec le niveau de scolarité D6 0,0007* Avec le niveau de scolarité G3 0,0000* Après avoir participé à plus d'une heure de formation en cours d'emploi non-paqued 0,0057* En considérant les compétences des élèves en français comme moyennes 0,0000* En considérant les compétences des élèves en français comme bonnes 0,0016* En considérant les compétences des élèves en mathématique comme moyennes 0,0000* En considérant les compétences des élèves en mathématique comme bonnes * significatif à p < 0,0063 0,0000* Ces relations ne sont pas immédiatement intuitives. Une étude plus poussée est justifiée pour déterminer exactement quelles caractéristiques des enseignants ont l'impact le plus important sur le progrès des élèves. Analyses des caractéristiques des directeurs d'école Il a été émis l'hypothèse que le sexe des directeurs d'école peut influer sur la mesure dans laquelle ils ont participé aux forums d échange et suivi les leçons interactives d'iai. Cependant, ce n'était pas le cas. Aucune relation significative entre ces facteurs et le sexe du directeur d'école n est apparue. 3. Résumé et conclusions Aucune tendance cohérente et statistiquement significative n est apparue à partir des analyses présentées ici sur les écoles disposant d un programme de lecture lors de la ventilation des données par région ou par sexe. Toutefois, certains signes prometteurs sont visibles. Dans l'ensemble, les résultats des élèves en 4e année dépassaient ceux de la 2e année, bien qu une enquête plus approfondie soit nécessaire dans les cas où les résultats ont diminué au fil du temps, que ce soit en raison d erreurs liées aux tests ou à 42 En raison du grand nombre de tests effectués pour cette section (Chapitre B) du rapport, la correction de Bonferroni a servi à déterminer le seuil de signification pour ces analyses. Cette section contient 8 tests ; l'application de la correction de Bonferroni à ces résultats d'analyses en p < 0,05 / (8) = 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

117 d autres facteurs dans la salle de classe. Bien que n étant pas statistiquement significative à la valeur-p la plus restrictive (p < 0,0006), une tendance pour les filles à dépasser les garçons à la fin de l étude alors qu aucune différence n apparaissait au départ (2012) indique que le type d'intervention utilisée dans ces écoles peut encourager la participation accrue des filles ou améliorer l'efficacité de l'expérience d'apprentissage pour les filles et devrait être étudiée plus avant dans les implémentations ultérieures. Dans cette optique, les performances globales des élèves, même à la fin de l'étude, sont inférieures à celles nécessaires pour répondre aux critères nationaux dans l'ensemble de toutes les sous-tâches. Même pour les compétences orales telles que le vocabulaire, la conscience phonémique et la compréhension à l audition, les élèves n'ont pas démontré les compétences orales requises en français pour lire efficacement en français. Les scores moyens des élèves pour la Reconnaissance de graphèmes et de mots, ainsi que la lecture de texte connecté, étaient également inférieurs à ceux nécessaires pour lire facilement et en comprenant. Les Tableau B37 et la Figure B15 illustrent ces résultats. Tableau B37. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence nationaux 43 Classe Aptitudes de lecture ou de pré-lecture Inférieures aux critères de référence Dans la fourchette des critères de référence Supérieures aux critères de référence n ( %) N ( %) n ( %) Compréhension à l audition Conscience phonémique 437 (79,2 %) 39 (7 %) 78 (13,8 %) 2 Graphèmes 510 (92,2 %) 21 (3,9 %) 23 (3,9 %) Mots familiers Maîtrise de la lecture à haute voix Compréhension Compréhension à l audition 368 (66,1 %) 72 (13,9 %) 109 (20 %) Conscience phonémique Graphèmes 433 (79,3 %) 72 (13,7 %) 44 (6,9 %) Mots familiers 521 (95,2 %) 6 (0,9 %) 8 (1,3 %) Maîtrise de la lecture à haute voix 440 (80,3 %) 46 (8,8 %) 63 (11 %) Compréhension 504 (92,1 %) 25 (4,6 %) 20 (3,3 %) 43 Le n pour chaque niveau scolaire présent dans ce tableau est le suivant : 2e année = 554 ; 4 année = 549. Chaque n présenté est non pondéré et chaque pourcentage présenté est pondéré. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 95

118 Figure B15. Performances des élèves dans les écoles disposant d un programme de lecture par rapport aux critères de référence de la RDC Même si des différences significatives dans les performances des élèves ne ressortent pas de ces analyses, les indications selon lesquelles des éléments de l'intervention étaient corrélés avec l amélioration des résultats d'apprentissage sont prometteuses. Par exemple, avoir des professeurs qui avaient participé au programme (tel que mesuré par l'engagement dans les forums, l'accueil des visites de formation et l'accueil des visites du personnel du programme) améliorait les résultats des élèves dans la sous-tâche Reconnaissance de graphèmes. De même, avoir accès à des livres en classe corrélait de façon significative avec les performances des élèves en 2e et 4e années. Il est également encourageant que d'autres formes de soutien aux élèves bien qu étant des formes sur lesquelles les écoles ne peuvent souvent exercer aucune influence directe comme fréquenter l'école maternelle, avoir des livres à la maison et avoir quelqu'un à la maison qui sait lire, corrélaient avec les performances des élèves. Ces analyses montrent les domaines à étudier davantage et ceux où une amélioration des élèves est nécessaire, mais elles permettent également d'identifier les types de soutien qui semblent être bénéfiques et qui doivent être poursuivis et renforcés lors de la mise en œuvre de programmes éducatifs ultérieurs. 96 Projet d Amélioration de la Qualité de l Education (PAQUED)

119 Chapitre C : résultats et analyse des performances des élèves en lecture dans les écoles accessibles du PAQUED et les écoles témoins accessibles Le Chapitre C et D présente les résultats et l'analyse des performances des élèves pour les mesures d'egra pour les deux plus grandes populations des écoles dans lesquelles le PAQUED est intervenu. Etant donné que le PAQUED s attendait à ce que les écoles qui étaient le plus accessibles soient plus susceptibles de recevoir l'appui solide du programme et donc de démontrer des gains importants, l'analyse des performances des élèves dans les écoles accessibles au PAQUED (et leur groupe de comparaison, les écoles témoins accessibles) est présentée dans le Chapitre C. L'analyse des performances des élèves dans le groupe beaucoup plus important des écoles d'intervention du PAQUED (avec les écoles témoins associées comme comparaison) est presenté dans le Chapitre D. 1. Performances des élèves selon les mesures EGRA dans toutes les écoles accessibles au PAQUED et les écoles témoins accessibles Éléments descriptifs Pour déterminer l'échantillon d'écoles accessibles au PAQUED, RTI a choisi au hasard six subdivisions dans chaque province parmi les subdivisions que le PAQUED avait identifiées comme étant admissibles à l'aide des critères de Ici encore, les critères de 2012 pour l'admissibilité de la subdivision exigeaient que la subdivision contienne au moins six écoles «accessibles», l'accessibilité de l'école étant définie comme étant située à moins de 20 km d'un centre urbain. RTI a choisi au hasard quatre écoles accessibles au PAQUED dans chacune des six subdivisions. Douze écoles (la moitié de celles choisies) ont servi d écoles échantillon. L autre moitié était destinée à servir d'écoles de remplacement s il était impossible pour les écoles échantillon de participer ou si les écoles échantillon étaient inexistantes ou peu disposées à participer. Les écoles qui ont servi d'écoles témoins accessibles en 2012 ont à nouveau été incluses au même titre en Le Tableau C1 affiche la taille de l'échantillon d'écoles prévues par province et par année d étude. 75 écoles au total devaient être retenues pour l échantillon : 39 du PAQUED et 36 témoins. Le Tableau C2 montre l'échantillon d élèves prévues par province et par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 97

120 Tableau C1. Échantillon d'écoles prévues par province Province Écoles Écoles accessible témoins au accessibles PAQUED Total Bandundu Équateur Orientale [22] 27 Total Tableau C2. Échantillon d'élèves prévus par province et par classe Province/classe Élèves témoins accessibles Élèves accessibles au PAQUED Total Bandundu e année e année Équateur e année e année Orientale e année e année Total e année e année Seules cinq subdivisions dans la province Orientale satisfaisaient à la condition d'admissibilité, à savoir avoir un minimum de six écoles «accessibles». Afin d atteindre la taille d'échantillon nécessaire, trois écoles ont été échantillonnées par subdivision dans la province Orientale plutôt que deux écoles par subdivision, comme dans les autres provinces. 98 Projet d Amélioration de la Qualité de l Education (PAQUED)

121 Toutes les 75 écoles ont été testées et sont présentes dans les analyses suivantes. Dans l'ensemble, à travers les écoles et les provinces, une quinzaine d'élèves supplémentaires a été testée, produisant un échantillon de élèves. Le Tableau C3 affiche l'échantillon d élèves réel utilisé dans les analyses subséquentes du présent rapport, par province et par classe. témoins accessible s Tableau C3. Échantillon réel par province et par classe 2e année 4e année accessibles au PAQUED Total des élèves de 2e année témoins accessibles accessibles au PAQUED Total des élèves de 4e année Bandundu Équateur Orientale Le Tableau C4 affiche la proportion d'écoles dans chaque groupe par type de gestion de l'école. Comme l'indique ce tableau, les écoles protestantes gérées étaient le type prédominant au sein de cet échantillon (ensemble n = 20), suivies par les écoles catholiques (n = 19). Environ 21 % des écoles étaient gérées par le gouvernement. Tableau C4. Type de gestion de l école, par province (n = 82) Province Gérée par le gouvernement Catholique Islamique Kimbanguiste Protestante Autre Manquant Total des écoles Bandundu Équateur Orientale Total Échantillon de 2014 Comme indiqué, l'échantillon de 2014 comprenait élèves échantillonnés dans 75 écoles dans trois provinces. Alors que la plupart des élèves (41 %) provenait de la province Orientale et la minorité (26 %) de la province Orientale, l'échantillon d'élèves était environ réparti à parts égales entre le sexe et le niveau scolaire. Le Tableau C5 décrit les caractéristiques générales de l'échantillon d élèves. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 99

122 Tableau C5. Caractéristiques générales de l'échantillon global des élèves (n = 1 965) Province Variable Nombre d'élèves Pour cent Bandundu % Équateur % Orientale % Classe % % Sexe Filles % Garçons % Les Tableaux C6 et C7 montrent comment les élèves ont répondu à une série de questions visant les indicateurs socio-économiques (SES) sur les possessions dans la maison. Bien que les élèves aient reçu plus de questions que celles énumérées ici, il a été estimé que les questions suivantes étaient du plus grand intérêt théorique et qu elles seraient le plus susceptible d'avoir un impact sur les performances des élèves. Parce qu il a fréquemment été démontré que les facteurs socio-économiques ont un impact sur les résultats des élèves, des analyses de régression signalées plus loin dans ce rapport comprennent un composite des SES dans leurs modèles Avoir plusieurs variables indépendantes hautement corrélées (par exemple les questions d indicateurs socioéconomiques apparaissant dans le Tableau C6), peut produire des estimations instables. Réduire les variables indépendantes à un plus petit nombre de composantes principales produira un meilleur test et/ou des estimations plus stables des coefficients de régression. Par conséquent, afin que les analyses de régression incorporent les SES, les réponses des élèves aux questions au sujet des possessions dans la maison ont été fusionnées en une seule variable à l'aide de l ACP (analyse en composantes principales). 100 Projet d Amélioration de la Qualité de l Education (PAQUED)

123 Tableau C6. Indicateurs SES des élèves (n = 1 965) Élément SES Nombre d'élèves Pourcentage Radio % Téléphone % Électricité à la maison % Télévision % Réfrigérateur % Toilettes intérieures % Vélo % Moto % Canoë % Véhicule à moteur % Tableau C7. Sélection de réponses d élèves aux questions démographiques (n = 1 097) Province Nombre d'élèves L élève a un livre à de lecture en classe Total dans la province Pour cent de la province Bandundu % Équateur % Orientale % Quelqu'un dans la maison de l'élève sait lire Bandundu % Équateur % Orientale % L élève a au moins un livre à la maison Bandundu % Équateur % Orientale % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 101

124 Province Nombre d'élèves Total dans la province Pour cent de la province L élève a fréquenté la maternelle Bandundu % Équateur % Orientale % Si l'enseignant assigne des devoirs, l'élève a quelqu'un à la maison pour l aider Bandundu % Équateur % Orientale % Comme indiqué au Tableau C7, les élèves dans les trois provinces ont été plus ou moins comparables pour ce qui était d avoir un livre de lecture en classe et d avoir quelqu'un à la maison capable de lire. Cependant, il était un peu moins probable que les élèves de la province de l Équateur déclarent qu ils avaient un livre à la maison par rapport aux élèves des autres provinces. Les élèves de la province Orientale semblent être un peu moins susceptibles d'avoir fréquenté la maternelle, bien que plus susceptibles d'être aidés pour faire leurs devoirs à la maison. Le Tableau C8 indique les propres déclarations des élèves sur la langue utilisée à la maison. Les élèves avaient le choix d'indiquer plus d'une langue. Donc, les réponses des élèves dépassent le nombre total d'élèves dans l'échantillon. Province Tableau C8. Indication par les élèves de la langue parlée à la maison Français Nombre / % Kikongo Nombre / % Lingala Nombre / % Kiswahili Nombre / % Autre Nombre / % Total des rapports d élèves Bandundu 37 / 4 % 420 / 44 % 110 / 11 % 2 / 0 % 392 / 41 % 961 Équateur 82 / 8 % 2 / 0 % 458 / 47 % 4 / 0 % 424 / 44 % 970 Orientale 53 / 4 % 0 / 0 % 429 / 33 % 316 / 24 % 498 / 38 % Total Il n est peut-être pas surprenant que, étant donné les différences dans les langues prédominantes dans les provinces, plus d'élèves dans le Bandundu aient déclaré parler plus le Kikongo à la maison qu une autre langage, alors que plus d'élèves dans les provinces de l Équateur et Orientale ont déclaré parler le Lingala à la maison. 102 Projet d Amélioration de la Qualité de l Education (PAQUED)

125 L utilisation du français à la maison varie entre 4 % (Bandundu et Orientale) et 8 % (Equateur), selon les rapports des élèves. Les enseignants devaient également répondre à une série de questions au moment où ils testaient les élèves et les Tableaux C9 et C10 décrivent les caractéristiques générales et les réponses pertinentes au sondage (les réponses qui seront incluses dans les analyses de régression subséquentes) de l'échantillon des enseignants. Tableau C9. Caractéristiques générales de l'échantillon d'enseignants (n = 154) Nombre Variable Pour cent d'enseignants Province (n = 154) Bandundu % Équateur % Orientale % Classe (n = 153) % % % % % % Sexe (n = 154) Féminin % Masculin % Comme on le voit dans le Tableau C9, l'échantillon d'enseignants comprend plus d'hommes (55 %) que de femmes (45 %). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 103

126 Tableau C10. Sélection de réponses d enseignants aux questions du sondage (n = 86) 46 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Dans quelle langue parlezvous et écrivez-vous le mieux? Autre/aucune réponse Français Kikongo Lingala Kiswahili Bandundu 3 / 7 % 27 / 61 % 14 / 32 % 0 / 0 % 0 / 0 % 44 Équateur 0 / 0 % 31 / 65 % 0 / 0 % 17 / 35 % 0 / 0 % 48 Orientale 8 / 13 % 31 / 50 % 0 / 0 % 13 / 21 % 10 / 16 % 62 Quel est votre niveau de scolarité? 47 D4 D6 PP5 CSP ou CAP G3 Bandundu 5 / 11 % 36 / 82 % 0 / 0 % 0 / 0 % 3 / 7 % 44 Équateur 9 / 19 % 37 / 77 % 1 / 2 % 0 / 0 % 1 / 2 % 48 Orientale 20 / 32 % 32 / 52 % 0 / 0 % 2 / 3 % 8 / 13 % 62 Autre que la formation du PAQUED, au cours des deux dernières années, combien de fois avez-vous reçu une formation dans l école pour l'enseignement de la langue française? Jamais 1 fois 2 fois ou plus Pas de réponse Bandundu 3 / 7 % 8 / 18 % 13 / 30 % 20 / 46 % 44 Équateur 3 / 6 % 9 / 18 % 10 / 21 % 26 / 54 % 48 Orientale 5 / 8 % 10 / 16 % 11 / 18 % 36 / 63 % 62 Comment qualifiez-vous les compétences de vos élèves en français? Faibles Moyennes Solides Pas de réponse Bandundu 8 / 19 % 24 / 55 % 10 / 23 % 2 / 5 % 44 Équateur 10 / 21 % 20 / 42 % 16 / 36 % 2 / 5 % 48 Orientale 9 / 15 % 34 / 55 % 12 / 19 % 7 / 11 % Tout au long de ce rapport, les sommes données dans les tableaux ne peuvent pas égaler 100 % car les chiffres sont arrondis. 47 D4 = 4 ans d'enseignement post-primaire PP5 = 5 ans d'enseignement post-primaire ; une sorte de diplôme de formation professionnelle spécialisée, mais pas l achèvement de l'enseignement secondaire D6 = 6 ans d'enseignement post-primaire ; achèvement de l'enseignement secondaire CSP ou CAP = Cycle de Spécialisation Professionnelle G3 = 3 ans d'études post-secondaires ; achèvement de la première moitié d'un cycle d'études dans un institut supérieur 104 Projet d Amélioration de la Qualité de l Education (PAQUED)

127 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Comment qualifiez-vous les compétences de vos élèves en math? Faibles Moyennes Solides Pas de réponse Bandundu 3 / 7 % 15 / 34 % 24 / 55 % 2 / 5 % 44 Équateur 4 / 8 % 19 / 40 % 22 / 46 % 3 / 6 % 48 Orientale 1 / 2 % 25 / 40 % 29 / 47 % 7 / 11 % 62 Combien de fois avez-vous reçu une visite par le personnel du PAQUED dans le courant de l année scolaire dernière? Pas de réponse Bandundu 2 / 5 % 2 / 5 % 0 / 0 % 2 / 5 % 38 / 86 % 44 Équateur 1 / 2 % 2 / 4 % 1 / 2 % 2 / 4 % 42 / 86 % 48 Orientale 4 / 6 % 6 / 10 % 0 / 0 % 4 / 6 % 48 / 77 % 62 Combien de fois avez-vous participé à un forum d'échange d'enseignants au niveau du groupement d écoles? Au moins une fois par trimestre Au moins une fois par mois Autre Pas de réponse Bandundu 7 / 16 % 5 / 11 % 1 / 2 % 31 / 70 % 44 Équateur 4 / 8 % 2 / 4 % 1 / 2 % 41 / 85 % 48 Orientale 4 / 6 % 6 / 10 % 3 / 5 % 49 / 79 % 62 Combien de fois avez-vous participé à un forum d'échange d'enseignants à l'école? Au moins une fois par trimestre Au moins une fois par mois Autre Pas de réponse Bandundu 4 / 9 % 7 / 16 % 0 / 0 % 33 / 75 % 44 Équateur 2 / 4 % 10 / 21 % 0 / 0 % 36 / 75 % 48 Orientale 10 / 16 % 7 / 11 % 1 / 2 % 44 / 71 % 62 Si vous avez participé à des forums d'échange d enseignants, quels modules vidéo ont été utilisés? * Leçons d IAI Matériel didactique Aucun des modules utilisés Bandundu 8 / 18 % 8 / 18 % 8 / 18 % 20 / 46 % 44 Équateur 6 / 13 % 4 / 8 % 5 / 10 % 33 / 69 % 48 Orientale 11 / 18 % 8 / 13 % 6 / 10 % 37 / 60 % 62 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 105

128 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province Quelles ressources avez-vous reçues du projet PAQUED? * Guide d'iai Guide d'activités de lecture Livres à lire à haute voix Textes de l'élève Craie Bandundu 18 / 25 % 15 / 21 % 9 / 13 % 9 / 13 % 20 / 28 % 71 Équateur 10 / 22 % 11 / 24 % 8 / 17 % 5 / 11 % 12 / 26 % 46 Orientale 23 / 22 % 26 / 25 % 16 / 15 % 15 / 14 % 26 / 25 % 106 Combien de radios votre école a-t-elle reçu du projet PAQUED? Autre Pas de réponse Bandundu 17 / 39 % 3 / 7 % 0 / 0 % 0 / 0 % 24 / 55 % 44 Équateur 7 / 15 % 5 / 10 % 0 / 0 % 0 / 0 % 36 / 13 % 48 Orientale 12 / 19 % 13 / 21 % 1 / 2 % 0 / 0 % 36 / 58 % 62 Si vous avez utilisé un kit du PAQUED, lequel avez-vous utilisé? * Fabrication de matériel Kit scolaire Kit de classe Pas de réponse Bandundu 10 / 23 % 15 / 34 % 14 / 32 % 5 / 11 % 44 Équateur 5 / 10 % 7 / 15 % 10 / 21 % 26 / 54 % 48 Orientale 12 / 19 % 18 / 29 % 8 / 13 % 24 / 39 % 62 Avez-vous suivi les leçons interactives d IAI dans votre école? Oui Non Pas de réponse Bandundu 16 / 36 % 5 / 11 % 23 / 52 % 44 Équateur 16 / 33 % 10 / 21 % 22 / 46 % 48 Orientale 27 / 44 % 9 / 15 % 26 / 42 % 62 * Parce que plusieurs réponses ont été permises par enseignant, les pourcentages n équivalent pas nécessairement à 100. Comme on le voit dans le Tableau C10, la plupart des enseignants dans les provinces ont déclaré mieux parler et écrire en français ; relativement moins d'enseignants ont déclaré que le Kikongo, le Lingala, le Kiswahili étaient leurs langues les plus fortes, bien que des schémas de préférence de langue soient apparus par province. La plupart des enseignants ont signalé D6 comme étant le plus haut niveau de scolarité qu ils aient atteint, avec moins d enseignants répondant D4. Parmi les enseignants qui ont fourni des réponses à ces questions, la plupart a déclaré avoir assisté à au moins deux formations dans la classe (à l'exception des formations du PAQUED) et avoir reçu 2 ou 3 visites du personnel du PAQUED. Fait intéressant, les enseignants ont à peu près tous catégorisé les compétences 106 Projet d Amélioration de la Qualité de l Education (PAQUED)

129 de leurs élèves en français et en mathématique. Parmi les professeurs qui ont répondu à cette question, les enseignants ont principalement déclaré participer à des forums d'échange une fois par trimestre ou une fois par mois. L utilisation de modules vidéo dans les forums d'échange a eu des réponses mixtes. Les enseignants dans le Bandundu étaient plus susceptibles que leurs homologues des autres provinces de rapporter l'utilisation de modules vidéo, à l'exception des enseignants de la province Orientale, dont 18 % ont déclaré avoir utilisé les leçons d'iai. Les enseignants à travers les provinces avaient une fréquence assez égale quant à l utilisation de différents types de matériels du PAQUED. Les enseignants dans le Bandundu ont déclaré utiliser chacun des kits plus que les autres enseignants. Enfin, parmi les professeurs qui ont répondu à cette question, la plupart des enseignants ont déclaré utiliser les leçons interactives d'iai. Les Tableaux C11 et C12 décrivent les caractéristiques générales et les réponses pertinentes au sondage (les réponses qui seront incluses dans les analyses de régression subséquente) de l'échantillon des directeurs d'école. Tableau C11. Caractéristiques générales de l'échantillon des directeurs d'école (n = 81) Nombre de Variable Pour cent directeurs d'école Province Bandundu % Équateur % Orientale % Sexe Féminin % Masculin % Comme indiqué ci-dessus dans la Tableau C11, les directeurs d'école étaient surtout des hommes (85 % contre 15 % de femmes). Cette constatation est la même dans les différentes provinces, comme indiqué dans le Tableau C12 ci-dessous. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 107

130 Tableau C12. Réponses choisies des directeurs d'école aux questions du sondage (n = 42) Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la province De quel sexe est le directeur d'école? Féminin Masculin Bandundu 5 / 21 % 19 / 79 % 24 Équateur 2 / 8 % 24 / 92 % 26 Orientale 5 / 16 % 26 / 84 % 31 Combien de fois avez-vous reçu une visite par le personnel du PAQUED dans le courant de l année scolaire dernière? Pas de réponse Bandundu 3 / 13 % 4 / 17 % 2 / 8 % 1 / 4 % 14 / 58 % 24 Équateur 2 / 8 % 2 / 8 % 0 / 0 % 2 / 8 % 20 / 77 % 26 Orientale 3 / 10 % 3 / 10 % 1 / 3 % 3 / 10 % 21 / 68 % 31 Il n est ressorti aucune tendance claire au sujet des visites du PAQUED et la majorité des directeurs d'école n a pas répondu à cette question. 2. Résultats des sous-tests EGRA Le Tableau C13 montre les zéros et les scores moyens globaux les deux excluant et incluant les élèves avec des zéros à la fin de l'étude en 2014 pour chaque sous-tâche. Un élève reçoit un zéro pour une sous-tâche s'il (1) ne tente même pas de répondre à un élément de la tâche, ou (2) s il essaie mais n'obtient pas de réponse correcte. Pour les sous-tâches où relativement peu d'élèves ont eu un zéro, la différence entre les moyennes qui comprennent ces zéros et celles qui ne les comprennent pas n'est pas grande. Toutefois, pour les sous-tâches où une grande partie des élèves avait des zéros, la différence peut être importante et il est souvent utile de considérer les deux moyennes pour tenter de déterminer les performances des élèves. Tableau C13. Pourcentages de zéros et de scores moyens globaux par sous-tâche, classe et groupe à la fin de l étude Sous-tâche Classe Groupe % zéros Moyenne comprenant les zéros Moyenne excluant les zéros Vocabulaire 2 accessibles 1 % 9,43 9, Projet d Amélioration de la Qualité de l Education (PAQUED)

131 Sous-tâche Classe Groupe % zéros au PAQUED Moyenne comprenant les zéros Moyenne excluant les zéros témoins accessibles 2 % 8,29 8,43 4 accessibles au PAQUED 0 % 12,09 12,15 témoins accessibles 0 % 11,38 11,39 Compréhension à l audition 2 4 accessibles au PAQUED 52 % 1,06 2,23 témoins accessibles 58 % 0,88 2,12 accessibles au PAQUED 35 % 1,83 2,80 témoins accessibles 46 % 1,35 2,49 Identification du son initial 2 4 accessibles au PAQUED 70 % 1,32 4,47 témoins accessibles 76 % 1,23 5,03 accessibles au PAQUED 56 % 2,65 5,98 témoins accessibles 64 % 2,11 5,84 Identification de 2 accessibles 30 % 9,11 13,06 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 109

132 Sous-tâche Classe Groupe % zéros graphèmes au PAQUED Moyenne comprenant les zéros Moyenne excluant les zéros témoins accessibles 39 % 7,58 12,49 4 accessibles au PAQUED 9 % 26,16 28,63 témoins accessibles 14 % 21,90 25,36 Lecture de mots familiers 4 accessibles au PAQUED 50 % 9,28 18,62 témoins accessibles 58 % 7,58 17,95 Lecture de mots inventés 4 accessibles au PAQUED 55 % 7,26 16,13 témoins accessibles 57 % 7,61 17,54 Maîtrise de la lecture à haute voix 4 accessibles au PAQUED 38 % 15,68 25,30 témoins accessibles 50 % 12,54 24,99 Compréhension à la lecture 4 accessibles au PAQUED 80 % 0,45 2,27 témoins accessibles 82 % 0,31 1,67 Écriture d une phrase 4 accessibles 40 % 1,02 1, Projet d Amélioration de la Qualité de l Education (PAQUED)

133 Sous-tâche Classe Groupe % zéros complète au PAQUED Moyenne comprenant les zéros Moyenne excluant les zéros témoins accessibles 40 % 1,04 1,73 Pour les sous-tâches avec de faibles pourcentages de zéros comme le Vocabulaire et, dans une moindre mesure, la Connaissance des sons de graphèmes les différences entre les moyennes ne sont pas grandes. Les différences entre les moyennes qui incluent et excluent les élèves avec des zéros se remarquent pour les sous-tâches comme la Compréhension à l audition, l Identification du son initial, les tâches de lecture de deux mots et la Compréhension à la lecture. Dans l'ensemble, comme prévu, les scores moyens des élèves sont plus élevés en 4e année qu'en 2e année, pour les sous-tâches qui ont été administrées dans les deux niveaux scolaires. Cependant, la quantité relative d'augmentation indique une carence continue dans les compétences, même au niveau supérieur. La présence d'une proportion importante de zéros, même en 4e année, indique également des performances des élèves inférieures à celles qui sont nécessaires pour atteindre les connaissances à maîtriser en fin de 4e année. Les paragraphes suivants du présent chapitre fournissent des détails supplémentaires sur chacune des sous-tâches d EGRA représentées dans le présent rapport. Vocabulaire La sous-tâche Vocabulaire présentait 20 mots de vocabulaire aux enfants. Les personnes chargées de recueillir les données ont demandé aux enfants d'identifier plusieurs parties du corps et des objets et de déplacer des objets dans des différentes directions. Par conséquent, cette sous-tâche est une évaluation du vocabulaire français de base, axée sur les types de mots et de concepts trouvés dans l'environnement des élèves. Le type de vocabulaire évalué est dans le programme d études de la RDC pour le français en première année. Le programme d'études indique que l'enseignement devrait inclure des mots courants et que les élèves doivent être capables d'accomplir un geste ou une action selon les instructions données en français par l'enseignant. Le Tableau C14 montre le pourcentage de zéros et le pourcentage des éléments tentés pour la sous-tâche de Vocabulaire. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 111

134 Tableau C14. Pourcentage de zéros et pourcentage d éléments tentés pour le Vocabulaire par catégorie et par province Classe Province Groupe % zéros % d'éléments tentés Score moyen Bandundu témoins accessibles 0 % 1 % 34 % 37 % 6,90 7,34 accessibles au PAQUED 1 % 0 % 39 % 46 % 7,75 9,23 Équateur témoins accessibles 1 % 1 % 44 % 45 % 8,76 9,00 2 accessibles au PAQUED 1 % 4 % 44 % 44 % 8,72 8,74 Orientale témoins accessibles 2 % 2 % 34 % 42 % 6,73 8,32 accessibles au PAQUED 1 % 0 % 46 % 50 % 9,21 10,09 Bandundu témoins accessibles 0 % 0 % 47 % 50 % 9,36 10,03 accessibles au PAQUED 0 % 0 % 54 % 61 % 10,70 12,23 Équateur témoins accessibles 0 % 0 % 56 % 57 % 11,24 11,43 4 accessibles au PAQUED 0 % 2 % 52 % 57 % 10,35 11,38 Orientale témoins accessibles 0 % 0 % 50 % 62 % 10,00 12,31 accessibles au PAQUED 0 % 0 % 62 % 62 % 12,44 12,37 Comme indiqué dans le Tableau C14, même en 2012, très peu d'élèves (la plus grande proportion étant de 2 % en 2e année pour l'équateur) ont eu un zéro pour cette soustâche, indiquant que les élèves avaient au moins un niveau minimum de compétences orales en français. De même, à travers les niveaux scolaires et les provinces, les élèves en moyenne ont pu tenter de répondre à près de 50 % ou plus du vocabulaire à la fin de 112 Projet d Amélioration de la Qualité de l Education (PAQUED)

135 l'étude (à l'exception des élèves de 2e année des écoles témoins accessibles dans le Bandundu). Nonobstant les zéros, les scores moyens, même à la fin de l étude, et pour les élèves de 4e année, restent faibles (même dans le groupe supérieur, répondant correctement à 12,42 seulement, ou 62 % d'éléments), ce qui indique des lacunes continues dans les aptitudes orales en langue française. En 4e année, les élèves doivent avoir acquis le niveau de base des compétences orales en français qui leur permettraient de répondre à un vocabulaire simple. Le Tableau C15 reflète une comparaison des différences de 2012 à la fin de l étude (2014) dans tous les groupes d'écoles témoins accessibles et d'écoles accessibles au PAQUED. Il n en est ressorti aucune différence statistiquement significative pour les résultats de la différence dans les différences (DID) au seuil p < 0,008, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. 48 Tableau C15. Analyses de la différence dans les différences en Vocabulaire par classe, région et groupe 2e année Région Groupe Début de l'étude en 2012 Moyenne Fin de l'étude en 2014 Erreurtype (Et) Moyenne E-t DID Ampleur de l'effet (AE) Bandundu témoins accessibles 6,90 0,33 7,34 0,37 accessibles au PAQUED 7,75 0,50 9,23 0,66 1,04 0,21 Équateur témoins accessibles 8,76 0,68 9,00 0,91 accessibles au PAQUED 8,72 0,33 8,74 0,46-0,23-0,04 Orientale témoins accessibles 6,73 0,39 8,32 0,45 48 Des erreurs de type 1 dans les statistiques se produisent lorsqu'il est censé y avoir une différence alors qu il n y en a pas. (Autrement dit, une erreur de type 1 est le rejet de l'hypothèse nulle alors qu elle est en fait vraie.) En raison du grand nombre de comparaisons de la différence dans les différences effectuées pour cette section (Chapitre C, section 1) du rapport, la correction de Bonferroni a servi à déterminer le seuil de signification pour les diverses analyses. Cette section contient 6 tests de DID pour les sous-tâches administrées aux 2e et 4e années et 3 test de DID pour les soustâches administrées uniquement à la 4e année. Application de la correction de Bonferroni à ces résultats d'analyses avec p < 0,05 / (6) = 0,008 pour les sous-tâches Vocabulaire, Identification du son initial, Compréhension à l audition et Reconnaissance de graphèmes et p < (0,05) / (3) = 0,017 pour les sous-tâches Lecture de mots familiers, de mots inventés, Maîtrise de la lecture à haute voix, Compréhension à la lecture et Écriture d une phrase complète. Veuillez consulter l'annexe 1 pour une analyse plus approfondie de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 113

136 2e année Région Groupe Début de l'étude en 2012 Moyenne Fin de l'étude en 2014 Erreurtype (Et) Moyenne E-t DID Ampleur de l'effet (AE) accessibles au PAQUED 9,21* 0,47 10,09 0,45-0,70-0,15 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 9,36 0,37 10,03 0,39 accessibles au PAQUED 10,70 0,41 12,23 0,73 0,86 0,16 Équateur témoins accessibles 11,24 0,59 11,43 0,64 accessibles au PAQUED 10,35 0,38 11,38 0,46 0,84 0,14 Orientale témoins accessibles 10,00 0,62 12,31 0,41 accessibles au PAQUED 12,44 0,55 12,37 0,35-2,38-0,43 Étant donné que les élèves, dans l'ensemble, n on pas maîtrisé ce niveau de vocabulaire français, il est intéressant d'explorer les niveaux de compétences entre filles et garçons. Le Tableau C16 fournit une comparaison des scores moyens pour cette sous-tâche par classe, province et sexe. Tableau C16. Comparaison des scores moyens en Vocabulaire par classe, province, groupe et sexe Début de l'étude en 2e année 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t Bandundu témoins accessibles Garçons 6,66 0,42 8,35 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

137 Filles 7,14 0,35 6,46 0,42 accessibles au PAQUED Garçons 7,75 0,46 9,16 0,45 Filles 7,76 0,60 9,34 1,10 témoins accessibles Garçons 8,47 0,62 9,38 1,01 Équateur Filles 9,13 0,85 8,63 0,91 accessibles au PAQUED Garçons 8,73 0,42 9,41 0,42 Filles 8,72 0,35 8,22 0,53 témoins accessibles Garçons 6,95 0,45 8,06 0,49 Orientale Filles 6,53 0,41 8,58 0,57 accessibles au PAQUED Garçons 9,11 0,51 10,18 0,57 Filles 9,30 0,48 9,99 0,59 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 9,66 0,70 10,65 0,38 Bandundu Filles 9,09 0,25 9,43 0,55 accessibles au PAQUED Garçons 10,90 0,45 12,90 0,51 Filles 10,47 0,53 11,62 0,92 Équateur témoins accessibles Garçons 11,72 0,62 11,03 0,58 Filles 10,59 0,65 11,92 0,85 Garçons 10,17 0,47 11,83 0,60 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 115

138 accessibles au PAQUED Filles 10,51 0,41 10,98 0,61 témoins accessibles Garçons 10,84 0,64 12,82 0,42 Orientale Filles 9,22 0,65 11,83 0,54 accessibles au PAQUED Garçons 12,66 0,52 12,54 0,46 Filles 12,20 0,64 12,18 0,40 Le nombre de tests d'hypothèses présent dans ce chapitre nécessite un seuil beaucoup plus restrictif afin d'éviter des erreurs de type Au niveau p < 0,002, aucune différence statistiquement significative n'est apparue entre filles et garçons. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-20 éléments), on peut à nouveau constater que relativement peu d'élèves ont eu un zéro, mais aussi que relativement peu ont obtenu des notes parfaites pour cette sous-tâche. Les Figures C1 et C2 illustrent ces répartitions par classe. 49 En raison du grand nombre de comparaisons de moyennes effectuées pour cette section (Chapitre C, section 1) du rapport, la correction de Bonferroni a servi à déterminer le seuil de signification pour ces analyses. Cette section contient 24 tests pour la comparaison des moyennes pour les sous-tâches administrées aux élèves des 2e et 4e années et 12 essais pour la comparaison des moyennes pour les sous-tâches administrées à la 4e année uniquement. Application de la correction de Bonferroni à ces analyses avec p < 0,05 / (24) = 0,002 pour les sous-tâches Vocabulaire, Identification du son initial, Compréhension à l audition et Reconnaissance de graphèmes et p < (0,05) / (12) = 0,004 pour les sous-tâches Lecture de mots familiers, de mots inventés, Maîtrise de la lecture à haute voix, Compréhension à la lecture et Écriture d une phrase complète. 116 Projet d Amélioration de la Qualité de l Education (PAQUED)

139 Figure C1. Scores de 2e année en Vocabulaire à la fin de l'étude par province Figure C2. Scores de 4e année en Vocabulaire à la fin de l'étude par province Ce qui est encourageant, c'est que, bien que la répartition pour la 2e année montre que la plupart des élèves se situent dans la fourchette de 5 à 12 éléments, la répartition est décalée vers le haut pour la 4e année, où la plupart des élèves ont obtenu entre 9 et 16 points. Identification du son initial Dans la sous-tâche Identification du son initial, les élèves écoutaient des mots individuels, tels que «sac» et ils devaient identifier le premier son (c.-à-d., phonème) de ce mot (dans ce cas, / s /). Cette sous-tâche était composée de 10 éléments, pour un Projet d Amélioration de la Qualité de l Éducation (PAQUED) 117

140 résultat possible maximum de 10. Les cinq premiers éléments (sac, jour, date, lac et voiture) étaient présentés à tous les élèves. Les élèves qui ont réussi à identifier le premier son d'au moins un de ces mots recevait les 5 éléments restants (p. ex. balle, tour, par, vol et fil). Le Tableau C17 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche Identification du son initial. Tableau C17. Pourcentage de zéros pour l Identification du son initial et pourcentage d éléments tentés par catégorie et par province % d'éléments Score moyen % zéros tentés Classe Province Groupe Bandundu témoins accessibles 78 % 75 % 12 % 12 % 1,03 1,20 accessibles au PAQUED 76 % 68 % 11 % 13 % 1,09 1,32 2 Équateur Orientale témoins accessibles 64 % 53 % 17 % 27 % 1,66 2,73 accessibles au PAQUED 60 % 54 % 17 % 28 % 1,66 2,79 témoins accessibles 65 % 93 % 7 % 1 % 0,70 0,11 accessibles au PAQUED 65 % 83 % 11 % 5 % 1,03 0,50 Bandundu témoins accessibles 62 % 59 % 20 % 22 % 2,00 2,22 4 accessibles au PAQUED 47 % 45 % 29 % 32 % 2,84 3,20 Équateur témoins accessibles 37 % 48 % 35 % 34 % 3,43 3,40 42 % 39 % 36 % 43 % 3,54 4, Projet d Amélioration de la Qualité de l Education (PAQUED)

141 Classe Province Groupe accessibles au PAQUED % d'éléments Score moyen % zéros tentés Orientale témoins accessibles 54 % 81 % 15 % 10 % 1,50 0,95 accessibles au PAQUED 46 % 81 % 19 % 8 % 1,81 0,83 Comme indiqué dans le Tableau C17, la sous-tâche Identification du son initial était difficile pour les élèves en 2012 et Même en 4e année, les pourcentages de zéros à la fin de l étude variait de 39 % dans la province de l Équateur à 81 % en province Orientale. De même, les élèves ont généralement tenté relativement peu d éléments, particulièrement en province Orientale (pourcentage d'éléments tentés en 2e année = 1 % et en 4e année = 8 %). Les scores moyens étaient également faibles. Le plus haut niveau de compétence pour cette tâche a été parmi les élèves de 4e année à la fin de l'étude en province Orientale, qui ont identifié, en moyenne, moins d'un élément. Le Tableau C18 reflète une comparaison des différences de 2012 à 2014 dans les groupes témoins accessibles et dans les groupes accessibles au PAQUED. Aucune différence statistiquement significative n'est apparue pour les résultats DID au seuil p < 0,008, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. Tableau C18. Analyses de la différence dans les différences pour l Identification du son initial par classe, région et groupe 2e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 1,03 0,29 1,20 0,24 accessibles au PAQUED 1,09 0,20 1,32 0,37 0,06 0,01 Équateur témoins accessibles 1,66 0,35 2,73 0,52 accessibles au PAQUED 1,66 0,25 2,79 0,61 0,05 0,01 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 119

142 Orientale témoins accessibles 0,70 0,12 0,11 0,05 accessibles au PAQUED 1,03 0,19 0,50 0,25 0,05 0,03 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 2,00 0,34 2,22 0,31 accessibles au PAQUED 2,84 0,37 3,20 0,40 0,14 0,03 Équateur témoins accessibles 3,43 0,45 3,40 0,42 accessibles au PAQUED 3,54 0,51 4,31 0,40 0,80 0,12 Orientale témoins accessibles 1,50 0,23 0,95 0,22 accessibles au PAQUED 1,81 0,23 0,83 0,28-0,44-0,12 Le Tableau C19 présente une comparaison des scores moyens pour cette sous-tâche par classe, province, groupe et sexe. Tableau C19. Comparaison des scores moyens pour l'identification du son initial par classe, province, groupe et sexe Début de l'étude en 2e année 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 1,18 0,43 1,64 0,43 Bandundu Filles 0,89 0,22 0,81 0,15 accessibles au PAQUED Garçons 1,03 0,21 1,34 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

143 Filles 1,15 0,34 1,28 0,73 témoins accessibles Garçons 1,52 0,43 2,80 0,64 Filles 1,84 0,57 2,66 0,57 Équateur accessibles au PAQUED Garçons 1,81 0,36 2,59 0,50 Filles 1,52 0,30 2,94 0,77 témoins accessibles Garçons 0,49 0,17 0,11 0,08 Filles 0,90 0,15 0,12 0,04 Orientale accessibles au PAQUED Garçons 1,15 0,26 0,82 0,41 Filles 0,93 0,18 0,11 0,06 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 2,27 0,44 2,96 0,47 Filles 1,75 0,36 1,50 0,34 Bandundu accessibles au PAQUED Garçons 2,81 0,43 3,93 0,45 Filles 2,88 0,48 2,53 0,47 témoins accessibles Garçons 3,44 0,53 3,61 0,45 Filles 3,43 0,47 3,14 0,61 Équateur accessibles au PAQUED Garçons 3,51 0,64 4,74 0,61 Filles 3,58 0,47 3,93 0,36 Orientale témoins accessibles Garçons 1,62 0,28 0,99 0,31 Filles 1,38 0,27 0,91 0,25 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 121

144 accessibles au PAQUED Garçons 2,00 0,31 0,89 0,38 Filles 1,61 0,27 0,75 0,20 Aucune différence statistiquement significative entre les sexes n est apparue en utilisant le seuil p < 0,002. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-10 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. Les Figures C3 et C4 illustrent ces répartitions par classe. Figure C3. Scores de 2e année en Identification du son initial à la fin de l'étude par province 122 Projet d Amélioration de la Qualité de l Education (PAQUED)

145 Figure C4. Scores de la 4e année en Identification du son initial à la fin de l étude par province Tel qu'illustré, des pourcentages élevés des élèves de ces deux années ont eu un zéro pour cette sous-tâche à la fin de l étude. Les scores dans les deux années ont eu tendance à être uniformément répartis sur les autres catégories de scores, avec une élévation dans la catégorie la plus élevée des scores (9-10 éléments corrects) pour les élèves de 4e année dans les provinces du Bandundu et de l Équateur. Compréhension à l audition Pour la sous-tâche Compréhension à l audition, les élèves des 2e et 4e années ont écouté un bref passage et répondu à cinq questions visant à évaluer leur compréhension de base du passage. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables de répondre à des questions de compréhension, selon le nombre d'élèves qui ont tenté de répondre à chaque question. Le Tableau C20 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche de Compréhension à l audition. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 123

146 Tableau C20. Pourcentage de zéros en Compréhension à l audition et pourcentage d'éléments tentés par classe et par province Classe Province Groupe % d'éléments Score moyen % zéros tentés Bandundu témoins accessibles 84 % 74 % 7 % 13 % ,64 accessibles au PAQUED 78 % 48 % 8 % 27 % 0,41 1,37 2 Équateur Orientale témoins accessibles 75 % 52 % 10 % 21 % 0,49 1,03 accessibles au PAQUED 71 % 67 % 14 % 12 % 0,72 0,61 témoins accessibles 83 % 53 % 4 % 18 % 0,21 0,92 accessibles au PAQUED 59 % 51 % 14 % 17 % 0,71 0,87 Bandundu témoins accessibles 70 % 57 % 12 % 19 % 0,61 0,95 accessibles au PAQUED 57 % 34 % 17 % 39 % 0,85 1,96 4 Équateur témoins accessibles 49 % 48 % 30 % 24 % 1,49 1,18 accessibles au PAQUED 53 % 50 % 22 % 21 % 1,09 1,05 Orientale témoins accessibles 55 % 35 % 16 % 36 % 0,78 1,80 26 % 25 % 35 % 43 % 1,75 2, Projet d Amélioration de la Qualité de l Education (PAQUED)

147 Classe Province Groupe accessibles au PAQUED % d'éléments Score moyen % zéros tentés Comme on pouvait le prévoir, compte tenu des performances relativement faibles pour la sous-tâche Vocabulaire, les élèves ont eu de faibles résultats pour la sous-tâche de Compréhension à l audition. À la fin de l étude en 2e année, dans les groupes de traitement, le pourcentage des élèves ayant zéro variait de 48 % à 74 %. Les pourcentages de zéros en 4e année sont plus faibles, mais restent élevés, entre 25 % et 57 %. Que tant d'élèves aient été incapables de répondre correctement à une question posée montre une faible maîtrise globale de la langue française. Même en 4e année, il y n'avait aucun groupe d'élèves qui ait été en mesure de répondre correctement aux deux questions de compréhension. Le Tableau C21 reflète une comparaison des différences de 2012 à 2014 dans les groupes témoins accessibles et dans les groupes accessibles au PAQUED. Aucune différence statistiquement significative n'est apparue pour les résultats DID au seuil p < 0,008, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. Tableau C21. Analyses de la différence dans les différences pour la Compréhension à l audition par classe, région et groupe 2e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 0,37 0,10 0,64 0,12 accessibles au PAQUED 0,41 0,09 1,37 0,27 0,69 0,36 Équateur témoins accessibles 0,49 0,15 1,03 0,28 accessibles au PAQUED 0,72 0,16 0,61 0,06-0,66-0,33 Orientale témoins accessibles 0,21 0,06 0,92 0,16 accessibles 0,71 0,15 0,87 0,14-0,54-0,36 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 125

148 au PAQUED 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 0,61 0,12 0,95 0,12 accessibles au PAQUED 0,85 0,10 1,96 0,30 0,78 0,39 Équateur témoins accessibles 1,49 0,41 1,18 0,30 accessibles au PAQUED 1,09 0,21 1,05 0,11 0,27 0,09 Orientale témoins accessibles 0,78 0,12 1,80 0,21 accessibles au PAQUED 1,75 0,27 2,17 0,38-0,60-0,25 Le Tableau C22 présente une comparaison des scores moyens pour cette sous-tâche par classe, province, groupe et sexe. Tableau C22. Comparaison des scores moyens pour la Compréhension à l audition par classe, province, groupe et sexe Début de l'étude en 2e année 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 0,46 0,12 0,76 0,18 Bandundu Filles 0,28 0,10 0,53 0,10 accessibles au PAQUED Garçons 0,38 0,09 1,46 0,26 Filles 0,43 0,11 1,23 0,31 Équateur témoins accessibles Garçons 0,46 0,11 1,11 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

149 2e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t Filles 0,54 0,23 0,95 0,23 accessibles au PAQUED Garçons 0,77 0,22 0,72 0,10 Filles 0,68 0,14 0,52 0,13 témoins accessibles Garçons 0,28 0,09 0,78 0,15 Orientale Filles 0,15 0,05 1,06 0,22 accessibles au PAQUED Garçons 0,75 0,17 0,94 0,15 Filles 0,67 0,16 0,79 0,16 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 0,75 0,15 1,01 0,18 Bandundu Filles 0,48 0,13 0,89 0,15 accessibles au PAQUED Garçons 0,96 0,10 1,91 0,24 Filles 0,72 0,12 2,02 0,38 témoins accessibles Garçons 1,54 0,47 0,89 0,23 Équateur Filles 1,42 0,36 1,52 0,40 accessibles au PAQUED Garçons 1,12 0,22 0,95 0,16 Filles 1,07 0,23 1,13 0,17 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 127

150 2e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 0,94 0,16 2,13 0,23 Orientale Filles 0,62 0,14 1,47 0,30 accessibles au PAQUED Garçons 1,79 0,28 2,30 0,41 Filles 1,70 0,29 2,02 0,37 Aucune différence statistiquement significative entre les sexes n est apparue en utilisant le seuil p < 0,002. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0 5 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. Les Figures C5 et C6 illustrent ces répartitions par classe. Figure C5. Scores de la 2e année en Compréhension à l audition à la fin de l'étude par province 128 Projet d Amélioration de la Qualité de l Education (PAQUED)

151 Figure C6. Scores de la 4e année en Compréhension à l audition à la fin de l'étude par province Comme illustré dans les Figures C5 et C6, un gros pourcentage d'élèves a eu zéro pour cette sous-tâche à la fin de l étude en 2e année. En 4e année, les scores étaient répartis plus uniformément mais ils étaient encore inférieurs à ceux nécessaires pour démontrer la maîtrise de la langue française. Reconnaissance de graphèmes Dans la sous-tâche Reconnaissance de graphèmes, les élèves voyaient un tableau de 100 éléments qui présentait dans un ordre aléatoire, les lettres de l'alphabet, mais aussi les digrammes courants de deux lettres et ils devaient produire les sons pour le plus de digrammes possibles en une minute. Cette sous-tâche était interrompue avant la fin de la minute pour les élèves qui étaient incapables de produire les sons des dix lettres de la première rangée. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables de produire correctement des nombres de graphèmes et le nombre de sons de graphèmes que les élèves pouvaient produire correctement dans la minute. Le Tableau C23 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche Reconnaissance de graphèmes. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 129

152 Tableau C23. Pourcentage de zéros et pourcentage d éléments tentés pour la Reconnaissance de graphèmes et scores moyens par classe et province Classe Province Groupe % zéros % d'éléments tentés Score moyen Bandundu témoins accessibles 24 % 33 % 27 % 22 % 6,45 5,42 accessibles au PAQUED 17 % 19 % 34 % 30 % 8,73 9,26 2 Équateur Orientale témoins accessibles 32 % 39 % 27 % 32 % 6,74 11,34 accessibles au PAQUED 29 % 55 % 28 % 22 % 6,10 8,65 témoins accessibles 18 % 43 % 30 % 25 % 6,64 6,07 accessibles au PAQUED 10 % 33 % 35 % 30 % 7,41 9, Projet d Amélioration de la Qualité de l Education (PAQUED)

153 Classe Province Groupe % zéros % d'éléments tentés Score moyen Bandundu témoins accessibles 6 % 19 % 53 % 45 % 17,60 13,80 accessibles au PAQUED 5 % 5 % 57 % 58 % 19,98 26,09 4 Équateur Orientale témoins accessibles 8 % 15 % 65 % 54 % 24,79 23,17 accessibles au PAQUED 8 % 18 % 60 % 55 % 20,29 24,42 témoins accessibles 5 % 8 % 63 % 62 % 22,65 26,77 accessibles au PAQUED 3 % 8 % 67 % 62 % 25,18 27,39 Comme indiqué précédemment, pour cette sous-tâche, les élèves ont reçu une grille de 100 lettres/graphèmes dont ils devaient produire les sons ou les noms dans les 60 secondes. Même produire les sons à un rythme d'un son par seconde se traduisait par un score moyen de 60. À la fin de l'étude en 4e année, dans les différents groupes, les moyennes des élèves variaient de 13,80 à 27,39 maximum, indiquant que les meilleurs élèves produisaient les sons de lettres à un rythme d'un son toutes les deux secondes. Les moyennes des élèves de 2e année étaient plus faibles. En outre, les zéros étaient assez élevés, notamment dans la province d Équateur. Le Tableau C24 reflète une comparaison des différences de 2012 à 2014 dans les groupes témoins accessibles et dans les groupes accessibles au PAQUED. Aucune différence statistiquement significative n'est apparue pour les résultats DID au seuil p < 0,008, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 131

154 Tableau C24. Analyses de la différence dans les différences pour la Reconnaissance de graphèmes par classe, région et groupe 2e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 6,45 0,76 5,42 0,87 accessibles au PAQUED 8,73 1,07 9,26 1,63 1,56 0,13 Équateur témoins accessibles 6,74 0,95 11,34 2,98 accessibles au PAQUED 6,10 0,74 8,65 3,44-2,05-0,10 Orientale témoins accessibles 6,64 0,88 6,07 0,98 accessibles au PAQUED 7,41 0,87 9,16 1,54 2,33 0,20 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 17,60 0,82 13,80 0,95 accessibles au PAQUED 19,98 1,47 26,09 4,50 9,91 0,50 Équateur témoins accessibles 24,79 2,67 23,17 3,26 accessibles au PAQUED 20,29 1,61 24,42 3,45 5,75 0,18 Orientale témoins accessibles 22,65 1,27 26,77 1,58 accessibles au PAQUED 25,18 2,13 27,39 2,45-1,90-0, Projet d Amélioration de la Qualité de l Education (PAQUED)

155 Le Tableau C25 fournit une comparaison des scores moyens pour cette sous-tâche par classe, province et sexe. Tableau C25. Comparaison des scores moyens pour la Reconnaissance de graphèmes par classe, province et sexe 2e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 6,40 1,08 7,27 1,41 Bandundu Filles 6,50 0,84 3,80 0,55 accessibles au PAQUED Garçons 8,38 1,35 10,89 1,68 Filles 9,10 1,17 6,73 2,34 témoins accessibles Garçons 6,83 0,93 12,24 2,99 Équateur Filles 6,62 1,73 10,44 3,46 accessibles au PAQUED Garçons 6,81 0,95 9,76 3,52 Filles 5,40 0,92 7,77 3,50 témoins accessibles Garçons 8,66 1,25 5,93 1,03 Orientale Filles 4,77 0,66 6,20 1,27 accessibles au PAQUED Garçons 8,22 1,19 13,35 * 1,93 Filles 6,67 0,82 4,17 0,75 4e année Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t Bandundu témoins accessibles Garçons 20,18 1,48 16,83 1,48 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 133

156 Filles 15,24 1,20 10,84 1,23 accessibles au PAQUED Garçons 20,34 1,76 27,35 2,37 Filles 19,54 2,23 24,93 7,09 témoins accessibles Garçons 25,49 3,12 23,09 2,86 Équateur Filles 23,87 2,78 23,27 4,47 accessibles au PAQUED Garçons 22,11 1,86 29,50 4,91 Filles 18,70 1,92 19,89 2,75 témoins accessibles Garçons 26,40 1,99 29,90 2,25 Orientale Filles 19,14 1,63 23,75 1,75 accessibles au PAQUED Garçons 27,64 2,12 29,72 4,16 * significatif à p < 0,002 Filles 22,57 3,17 24,77 1,75 Une différence statistiquement significative entre les sexes est apparue en utilisant le seuil p < 0,002 ; les garçons dans les écoles accessibles au PAQUED dans la province Orientale ont surpassé les filles à la fin de l étude en (Il n'y avait pas une telle différence au début de l étude en 2012.) Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-100 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. Les Figures C7 et C8 illustrent ces répartitions par classe. 134 Projet d Amélioration de la Qualité de l Education (PAQUED)

157 Figure C7. Scores de 2e année en Reconnaissance de graphèmes à la fin de l'étude par province Figure C8. Scores de 4e année en Reconnaissance de graphèmes à fin de l'étude par province Comme illustré dans les Figures C7 et C8, un grand pourcentage des élèves de 2e a réussi entre zéro et 20 lettres par minute pour cette sous-tâche à la fin de l'étude, avec seulement quelques élèves ayant obtenu un score supérieur à 40. En 4e année, moins de zéros ont été observés, avec la majorité des élèves ayant un score entre 1 et 60 lettres par minute. Cette répartition fait apparaître une tendance prometteuse, bien que beaucoup Projet d Amélioration de la Qualité de l Éducation (PAQUED) 135

158 d'élèves semblent encore avoir des difficultés avec la connaissance des lettres et ne pas avoir complètement atteint l automaticité avec cette compétence. Lecture de mots familiers La sous-tâche Lecture de mots familiers n a été administrée qu aux élèves de 4e année. Dans cette tâche, un graphique de 50 mots familiers (p.ex. tu et ami) était montré aux élèves et ils devaient lire autant de mots que possible en une minute. Cette sous-tâche était interrompue avant la fin de la minute pour les élèves qui étaient incapables de lire les cinq premiers mots. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables d'identifier correctement les mots et le nombre de mots que les élèves pouvaient identifier correctement en une minute (mots corrects par minute). Le Tableau C26 montre le pourcentage de zéros et le pourcentage des éléments tentés pour la sous-tâche Lecture de mots familiers. Tableau C26. Pourcentage de zéros pour la Lecture de mots familiers et pourcentage d'éléments tentés pour la 4e année, par province % d'éléments Score moyen % zéros tentés Classe Province Groupe Bandundu témoins accessibles 56 % 74 % 19 % 13 % 4,38 2,56 accessibles au PAQUED 42 % 53 % 28 % 24 % 6,84 7,25 4 Équateur Orientale témoins accessibles 34 % 57 % 35 % 26 % 8,67 7,90 accessibles au PAQUED 38 % 59 % 33 % 24 % 8,50 7,23 témoins accessibles 28 % 47 % 41 % 38 % 10,93 11,00 accessibles au PAQUED 28 % 40 % 43 % 40 % 12,73 13, Projet d Amélioration de la Qualité de l Education (PAQUED)

159 Comme indiqué dans le Tableau C26, lire des mots familiers semblait être une tâche difficile pour ces élèves, jusqu'à 74 % des élèves en fin de l'étude obtenant zéro. Parallèlement, les élèves dans les provinces ont tenté moins de la moitié des mots possibles tant en 2012 qu en Les scores moyens à la fin de l étude étaient aussi faibles, allant de 2,56 mots par minute dans le Bandundu à 13,36 mots par minute dans la province Orientale. Le Tableau C27 reflète une comparaison des différences de 2012 à 2014 dans les groupes témoins accessibles et dans les groupes accessibles au PAQUED. Aucune différence statistiquement significative n'est apparue pour les résultats DID au seuil p < 0,017, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. Tableau C27. Analyses de la différence dans les différences de Lecture de mots familiers par région et par groupe Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 4,38 0,50 2,56 0,55 accessibles au PAQUED 6,84 1,15 7,25 2,51 2,22 0,19 Équateur témoins accessibles 8,67 1,41 7,90 2,68 accessibles au PAQUED 8,50 1,28 7,23 1,59-0,49-0,02 Orientale témoins accessibles 10,93 1,41 11,00 1,25 accessibles au PAQUED 12,73 2,16 13,36 2,91 0,56 0,03 Le Tableau C28 présente une comparaison des scores moyens pour cette sous-tâche en 4e année, par province, par groupe et par sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 137

160 Tableau C28. Comparaison des scores moyens de Lecture de mots familiers pour la 4e année par province, groupe et sexe Région Groupe Sexe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne E-t Moyenne E-t témoins accessibles Garçons 5,98 0,93 4,11 1,05 Bandundu Filles 2,92 0,60 1,05 0,37 accessibles au PAQUED Garçons 7,35 1,33 7,09 1,71 Filles 6,23 1,56 7,38 4,03 témoins accessibles Garçons 9,12 1,50 7,11 2,17 Équateur Filles 8,08 1,58 8,85 3,66 accessibles au PAQUED Garçons 9,29 1,56 10,00 2,42 Filles 7,81 1,76 4,77 1,07 témoins accessibles Garçons 14,43 * 1,97 12,69 1,69 Orientale Filles 7,65 1,32 9,38 1,50 accessibles au PAQUED Garçons 14,06 1,98 16,80 3,93 * significatif au seuil de p < 0,004 Filles 11,32 3,09 9,49 2,47 Une différence statistiquement significative entre les sexes est apparue en utilisant le seuil p < 0,004 ; les garçons dans les écoles témoins accessibles dans la province Orientale ont surpassé les filles au début de l étude en (Il ne restait pas une telle différence à la fin de l étude en 2014.) Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-50 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. La Figure C9 illustre ces répartitions en 4e année. 138 Projet d Amélioration de la Qualité de l Education (PAQUED)

161 Figure C9. Scores de 4e année en Lecture de mots familiers à la fin de l'étude par province Tel qu'illustré dans la Figure C9, un pourcentage important d élèves (plus de 50 % pour les provinces du Bandundu et Orientale et plus de 40 % pour la province de l'équateur) ont un résultat de zéro mot par minute dans cette sous-tâche, bien que les scores variaient entre 1 et 30 mots par minute. Très peu d'élèves étaient capables de lire plus de 30 mots / minute, ce qui indique une absence d'automaticité avec cette compétence. Lecture de mots inventés La sous-tâche Lecture de mots inventés n a été administrée qu aux élèves de 4e année. Dans cette sous-tâche, les élèves ont reçu un graphique de 50 mots inventés (p. ex., tal et vor) et ils devaient lire autant de mots que possible en une minute. Cette sous-tâche était interrompue avant la fin de la minute pour les élèves qui étaient incapables de lire les cinq premiers mots. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables d'identifier correctement les mots et le nombre de nonmots que les élèves ont pu identifier correctement un une minute (mots corrects par minute [cnonwpm]). Le Tableau C29 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche Lecture de mots inventés. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 139

162 Tableau C29. Pourcentage de zéros pour la Lecture de mots inventés et pourcentage d'éléments tentés pour la 4e année, par province Classe Province Groupe % d'éléments Score moyen % zéros tentés Bandundu témoins accessibles 64 % 77 % 15 % 11 % 3,39 1,99 accessibles au PAQUED 56 % 59 % 21 % 19 % 5,20 5,55 4 Équateur Orientale témoins accessibles 39 % 54 % 32 % 27 % 7,53 10,65 accessibles au PAQUED 51 % 65 % 25 % 20 % 6,33 5,90 témoins accessibles 35 % 44 % 34 % 38 % 8,38 9,21 accessibles au PAQUED 38 % 42 % 35 % 38 % 9,48 10,47 Comme avec la sous-tâche Lecture de mots familiers, les scores des élèves pour la soustâche Lecture de mots inventés étaient assez faibles. Dans les groupes, les zéros pour les différentes provinces allaient de 42 % à 77 % à la fin l étude (fait intéressant, dans les provinces, les proportions de zéros étaient inférieures en 2012). En général, les élèves dans les provinces du Bandundu et d'équateur avaient des pourcentages d'éléments tentés et des scores moyens particulièrement faibles. Cependant, même à la fin de l étude dans la province du Bandundu, en moyenne, les élèves pouvaient lire moins de 10 mots en une minute. Ce taux indique des difficultés persistantes avec l'aptitude de décodage. Le Tableau C30 reflète une comparaison des différences de 2012 à 2014 dans les groupes témoins accessibles et dans les groupes accessibles au PAQUED. Aucune différence statistiquement significative n'est apparue pour les résultats DID au seuil p < 0,017, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. 140 Projet d Amélioration de la Qualité de l Education (PAQUED)

163 Tableau C30. Analyses de la différence dans les différences en Lecture de mots inventés par région et par groupe Région Groupe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 3,39 0,45 1,99 0,40 accessibles au PAQUED 5,20 0,86 5,55 1, ,19 Équateur témoins accessibles 7, ,65 4,09 accessibles au PAQUED 6,33 0,99 5, ,55-0,13 Orientale témoins accessibles 8,38 1,06 9,21 1,00 accessibles au PAQUED 9,48 1,49 10,47 2,07 0,16 0,01 Le Tableau C31 fournit une comparaison des scores moyens pour cette sous-tâche en 4e année, par province, par groupe et par sexe. Tableau C31. Comparaison des scores moyens en Lecture de mots inventés pour la 4e année par province, par groupe et par sexe Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 4,76 0,75 3,22 0,78 Bandundu Filles 2,13 0,46 0,78 0,28 accessibles au PAQUED Garçons 5,90 0,97 5,01 1,13 Filles 4,37 1,27 6,04 3,62 Équateur témoins Garçons 8,12 1,41 12,71 6,75 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 141

164 Région Groupe Sexe accessibles Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne E-t Moyenne E-t Filles 6,75 1,43 8,16 3,30 accessibles au PAQUED Garçons 7,45 1,44 7,45 1,78 Filles 5,36 1,47 4,54 0,98 témoins accessibles Garçons 11,20 1,61 10,97 1,32 Orientale Filles 5,75 0,98 7,52 1,21 accessibles au PAQUED Garçons 10,80 1,47 13,17 3,01 Filles 8,09 2,14 7,42 1,49 Aucune différence statistiquement significative n'a émergé entre les sexes dans les provinces en 2012 ou 2014 en utilisant le seuil p < 0,004. Si l on examine la répartition des scores sur toute la gamme des scores possibles (0-50 éléments), on peut à nouveau constater la difficulté que les élèves ont eue avec cette soustâche. La Figure C10 illustre ces répartitions en 4e année. 142 Projet d Amélioration de la Qualité de l Education (PAQUED)

165 Figure C10. Scores de 4e année en Lecture de mots inventés à la fin de l'étude par province Comme l'illustre la Figure C10, comme pour la lecture des mots familiers, une grande proportion d'élèves a eu comme résultat zéro mot par minute pour cette sous-tâche, bien qu'un peu moins de la moitié ait pu lire entre 1 et 30 mots en une minute. Très peu d'élèves étaient capables de lire plus de 30 mots / minute, indiquant une fois de plus une absence d'automaticité avec cette compétence. Maîtrise de la lecture à haute voix La sous-tâche Maîtrise de la lecture à haute voix n a été administrée qu aux élèves de 4e année. Dans cette tâche, les élèves ont reçu un passage contenant 54 mots et ils devaient lire autant du passage qu'ils le pouvaient dans la minute. Les scores indiqués pour cette sous-tâche comprennent les pourcentages d'élèves capables de lire les mots oralement et le nombre de mots que les élèves pouvaient lire correctement en une minute. Le Tableau C32 montre le pourcentage de zéros et le pourcentage d éléments tentés pour la sous-tâche Maîtrise de la lecture à haute voix. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 143

166 Tableau C32. Pourcentage de zéros en Maîtrise de la lecture à haute voix et pourcentage d éléments tentés pour la 4e année par province Classe Province Groupe % d'éléments Score moyen % zéros tentés Bandundu témoins accessibles 68 % 71 % 14 % 17 % 3,86 4,28 accessibles au PAQUED 55 % 40 % 22 % 38 % 8,20 12,88 4 Équateur Orientale témoins accessibles 43 % 53 % 36 % 30 % 15,72 12,73 accessibles au PAQUED 57 % 52 % 28 % 33 % 10,09 12,68 témoins accessibles 41 % 31 % 38 % 52 % 13,25 18,42 accessibles au PAQUED 38 % 26 % 42 % 55 % 16,89 21,42 Comme on le voit dans le Tableau C32, les scores moyens à la fin de l étude pour cette sous-tâche variaient de 4,28 dans le Bandundu et 21,42 dans la province Orientale. Globalement, il n est pas inhabituel que les scores soient plus élevés pour cette soustâche que pour la sous-tâche Lecture de mots familiers parce que la lecture de mots dans un texte qui s y rapporte est normalement plus facile que la lecture de mots isolés. Cela dit, même les scores moyens de 21 mots / minute indiquent que les élèves ont lu, en moyenne, un mot environ toutes les trois secondes. Ce taux de vitesse de lecture indique que de l'attention est accordée à la lecture des mots individuels qui, en 4e année, devrait être automatique pour que l élève puisse se concentrer sur la compréhension du texte qu il lit. Le Tableau C33 reflète une comparaison des différences de 2012 à 2014 dans les groupes témoins accessibles et dans les groupes accessibles au PAQUED. Aucune différence statistiquement significative n'est apparue pour les résultats DID au seuil p < 0,017, indiquant que les deux groupes ont progressé à des taux comparables au fil du temps. 144 Projet d Amélioration de la Qualité de l Education (PAQUED)

167 Tableau C33. Analyses de la différence dans les différences pour la Maîtrise de la lecture à haute voix par région et par groupe Région Groupe Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne E-t Moyenne E-t DID AE Bandundu témoins accessibles 3,86 0,78 4,28 0,89 accessibles au PAQUED 8,20 1,62 12,88 4,31 4,27 0,28 Équateur témoins accessibles 15,72 2,93 12,73 4,27 accessibles au PAQUED 10,09 1,78 12,68 2,06 5,57 0,12 Orientale témoins accessibles 13,25 1,80 18,42 1,88 accessibles au PAQUED 16,89 3,03 21,42 3,75-0,64-0,02 Le Tableau C34 fournit une comparaison des scores moyens pour cette sous-tâche en 4e année, par province, par groupe et par sexe. Tableau C34. Comparaison des scores moyens en Maîtrise de la lecture à haute voix pour la 4e année par province, par groupe et par sexe Début de l'étude en 2012 Fin de l'étude en 2014 Région Groupe Sexe Moyenne E-t Moyenne E-t témoins accessibles Garçons 6,16 1,30 6,92 1,66 Bandundu Filles 1,78 0,52 1,70 0,55 accessibles au PAQUED Garçons 8,41 1,69 12,74 2,44 Filles 7,94 2,50 13,01 6,50 Équateur témoins Garçons 13,42 2,98 12,17 3,66 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 145

168 Région Groupe Sexe accessibles Début de l'étude en 2012 Fin de l'étude en 2014 Moyenne E-t Moyenne E-t Filles 18,78 3,68 13,41 5,65 accessibles au PAQUED Garçons 10,27 1,93 15,17 2,89 Filles 9,94 2,69 10,46 1,76 témoins accessibles Garçons 17,53 * 2,39 21,51 2,30 Orientale Filles 9,28 1,73 15,45 2,26 accessibles au PAQUED Garçons 18,13 2,70 25,97 4,62 * significatif à p < 0,004 Filles 15,57 4,57 16,29 3,78 Une différence statistiquement significative entre les sexes est apparue en utilisant le seuil p < 0,004 ; les garçons dans les écoles témoins accessibles dans la province Orientale ont surpassé les filles au début de l étude en (Il ne restait pas une telle différence à la fin de l étude en 2014.) Explorer les répartitions des scores sur l'ensemble des scores (0-55 éléments) montre encore une fois la difficulté que les élèves ont eue avec cette sous-tâche. La Figure C11 illustre ces répartitions en 4e année. 146 Projet d Amélioration de la Qualité de l Education (PAQUED)

169 Figure C11. Scores de 4e année en Maîtrise de la lecture à haute voix à la fin de l'étude par province Comme indiqué précédemment, la lecture de mots dans un texte qui s y rapporte est normalement plus facile que la lecture de mots isolés, ce qui se reflète dans la Figure C11. Bien que plus de 40 % des élèves dans les provinces du Bandundu et Orientale, et près de 30 % d'élèves dans la province de l Équateur, aient eu zéro pour cette sous-tâche, plus de la moitié des élèves de chaque province ont pu lire entre 1 à 55 mots. Bien que le taux global ne soit pas suffisamment élevé pour permettre une compréhension efficace, il montre une tendance positive dans l'ensemble des groupes. Compréhension du Texte Lu Après avoir lu le passage de l'exercice Lecture de Texte, les élèves de quatrième ont dû répondre à cinq questions afin d'évaluer leur compréhension basique du passage qu'ils avaient lu. Les résultats de cet exercice reprennent le pourcentage d'élèves capables de répondre aux questions de compréhension, en fonction du nombre d'élèves ayant tenté de répondre à chaque question. 50 Le Tableau C35 montre le pourcentage de résultats nuls et le pourcentage de réponses tentées pour l'exercice de Compréhension du Texte Lu. 50 Les élèves devaient seulement répondre à des questions couvrant les lignes du passage qu'ils avaient pu lire en une minute. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 147

170 Tableau C35. Compréhension du Texte Lu : Résultats nuls et pourcentage de réponses tentées pour les quatrièmes par Province Classe Province Groupe % Résultats nuls % Réponses Résultat moyen Bandundu Témoins Accessibles 89 % 95 % 19 % 2 % 0,13 0,06 PAQUED Accessibles 89 % 84 % 27 % 8 % 0,17 0,34 4 Équateur Orientale Témoins Accessibles 73 % 77 % 37 % 10 % 0,63 0,41 PAQUED Accessibles 83 % 84 % 41 % 7 % 0,35 0,30 Témoins Accessibles 78 % 76 % 43 % 10 % 0,34 0,39 PAQUED Accessibles 67 % 72 % 41 % 16 % 0,59 0,68 Comme le montre le Tableau C35, la plupart des élèves des différents groupes ont été incapables de répondre correctement à la moindre question de compréhension. Dans toutes les provinces, presque 80 % des élèves ont obtenu un score de zéro - même à la fin de l'étude. Les pourcentages de réponses tentées et les résultats moyens étaient tout aussi bas, soit entre 2 % et 16 % à la fin de l'étude. Comme mentionné plus haut, les élèves ne devaient répondre qu'à des questions couvrant la partie du texte qu'ils avaient eu le temps de lire, et comme démontré dans la section Lecture de Texte de ce rapport, en moyenne, les élèves ont été capables de lire entre quatre et 21 mots. En conséquence, les élèves ont en la possibilité de répondre, en moyenne, à deux questions maximum. Néanmoins, même pour ces deux questions, le taux de compréhension était relativement bas. Le Tableau C36 montre l'évolution entre 2012 et 2014 au sein des groupes Témoins Accessibles et PAQUED Accessibles. Aucune différence statistiquement significative n'est apparue dans les résultats EDD pour une valeur p < 0,017, ce qui indique que les deux groupes ont évolué à une vitesse comparable. 148 Projet d Amélioration de la Qualité de l Education (PAQUED)

171 Tableau C36. Compréhension du Texte Lu : analyse de l écart des différences par Région et par Groupe Région Groupe Début 2012 Fin 2014 Moyenne ET Moyenne ET EDD TE Bandundu Témoins Accessibles 0,13 0,04 0,06 0,02 PAQUED Accessibles 0,17 0,05 0,34 0,18 0,25 0,37 Équateur Témoins Accessibles 0,63 0,21 0,41 0,19 PAQUED Accessibles 0,35 0,06 0,30 0,08 0,17 0,08 Orientale Témoins Accessibles 0,34 0,06 0,39 0,10 PAQUED Accessibles 0,59 0,14 0,68 0,32 0,03 0,03 Le Tableau C37 contient une comparaison des moyennes pour cet exercice pour les quatrièmes par province, groupe et sexe. Tableau C37. Compréhension du Texte Lu : comparaison des résultats moyens pour les quatrièmes par Province, Groupe et Sexe Région Groupe Sexe Début 2012 Fin 2014 Moyenne ET Moyenne ET Témoins Accessibles Garçons 0,17 0,05 0,10 0,04 Bandundu Filles 0,10 0,04 0,03 0,02 PAQUED Accessibles Garçons 0,16 0,06 0,26 0,14 Filles 0,18 0,06 0,42 0,29 Témoins Accessibles Garçons 0,60 0,25 0,43 0,19 Équateur Filles 0,68 0,21 0,40 0,21 PAQUED Accessibles Garçons 0,38 0,09 0,30 0,13 Filles 0,33 0,09 0,31 0,08 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 149

172 Région Groupe Sexe Début 2012 Fin 2014 Moyenne ET Moyenne ET Témoins Accessibles Garçons 0,58 0,10 0,52 0,11 Orientale Filles 0,13 0,06 0,28 0,12 PAQUED Accessibles Garçons 0,64 0,14 0,85 0,35 Filles 0,54 0,20 0,49 0,34 Aucune différence statistiquement significative n'est apparue entre les sexes dans aucune province en 2012 ni en 2014 pour une valeur p < 0,004. L'analyse de la distribution des résultats à travers le champ des résultats (de 0 à 5) montre une nouvelle fois la difficulté éprouvée par les élèves pour cet exercice. La Figure C12 réprésente ces distributions pour les quatrièmes. Figure C12. Compréhension du Texte Lu : résultats des quatrièmes en 2014 par Province En raison des mauvais résultats d'ensemble pour l'exercice de Lecture de Texte, les élèves n'ont dû répondre qu'à un nombre limité de questions de compréhension. Les élèves avec un résultat nul pour l'exercice de Compréhension du Texte Lu comprennent ceux qui n'ont pas eu le temps de lire assez loin dans le passage pour recevoir la première question et ceux qui ont reçu des questions, mais n'y ont pas répondu correctement. Comme le 150 Projet d Amélioration de la Qualité de l Education (PAQUED)

173 montre la Figure C12, une grande majorité des élèves ont obtenu un résultat nul pour cet exercice, et la distribution des résultats montre que presque 0 % des élèves ont correctement répondu aux cinq questions. Il est également intéressant d'étudier la relation entre Lecture de Texte et Compréhension du Texte Lu en observant à quel niveau de Lecture de Texte correspond chaque niveau de Compréhension du Texte Lu, comme le montre la Figure C13. Figure C13. Correspondance générale entre Lecture de Texte et Compréhension du Texte Lu pour les quatrièmes La Figure C13 illustre parfaitement la relation entre Lecture de Texte et Compréhension du Texte Lu. Même si quelques données aberrantes existent, les élèves capables de lire entre 30 et 40 mots par minute ont tendance à répondre correctement à une question de compréhension, alors que les résultats de Lecture de Texte d'entre 60 et 70 mots par minute correspondent à des résultats de Compréhension du Texte Lu de 4 et 5. Écriture d une Phrase Complète Pour l'exercice d Écriture d une Phrase Complète, les examinateurs ont lu une phrase courte à des élèves de quatrième («Mon ami s'appelle Bola.») et les élèves ont tenté d'écrire la phrase. Les trois mots pris en compte pour l'évaluation étaient «mon», «ami», et «appelle». Les résultats de cet exercice reprennent le nombre de mots correctement orthographiés. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 151

174 Tableau C38. Écriture d une Phrase Complète : Résultats nuls et pourcentage de mots écrits pour les quatrièmes par Province Classe Province Groupe % Résultats nuls % Mots écrits Résultat moyen Bandundu Témoins Accessibles 65 % 49 % 19 % 27 % 0,57 0,79 PAQUED Accessibles 53 % 40 % 27 % 32 % 0,80 0,94 4 Équateur Orientale Témoins Accessibles 39 % 47 % 37 % 31 % 1,09 0,92 PAQUED Accessibles 34 % 44 % 41 % 34 % 1,23 0,99 Témoins Accessibles 29 % 28 % 43 % 44 % 1,30 1,30 PAQUED Accessibles 32 % 36 % 41 % 38 % 1,23 1,14 Le Tableau C38 montre le pourcentage de résultats nuls et le pourcentage de mots écrits pour l'exercice d Écriture d une Phrase Complète. Il est intéressant de remarquer que les résultats nuls pour cet exercice ont été moins répandus que pour l'exercice de Compréhension du Texte Lu, ce qui suggère que les élèves ont été de manière générale capables d'écrire correctement au moins certaines parties de certains mots. Les plus hauts pourcentages de résultats nuls ont été observés au Bandundu, avec 49 % des élèves en Sans surprise, les pourcentages de mots écrits y étaient également moins élevés que dans les autres provinces. En général, les élèves ont été capables d'écrire approximativement un mot correctement, les résultats moyens allant de 0,79 au Bandundu à 1,30 dans la Province orientale. Le Tableau C39 reflète la comparaison des différences entre 2012 et 2014 pour les groupes Témoins Accessibles et PAQUED Accessibles. Aucune différence statistiquement significative n'est apparue dans les résultats EDD pour une valeur p < 0,017, ce qui indique que les deux groupes ont évolué à une vitesse comparable. 152 Projet d Amélioration de la Qualité de l Education (PAQUED)

175 Tableau C39. Écriture d une Phrase Complète : analyses de l écart des différences par Région et par Groupe Région Groupe Début 2012 Fin 2014 Moyenne ET Moyenne ET EDD TE Bandundu Témoins Accessibles 0,57 0,07 0,79 0,09 PAQUED Accessibles 0,80 0,10 0,94 0,20-0,08-0,05 Équateur Témoins Accessibles 1,09 0,10 0,92 0,16 PAQUED Accessibles 1,23 0,12 0,99 0,13-0,07-0,04 Orientale Témoins Accessibles 1,30 0,13 1,30 0,09 PAQUED Accessibles 1,23 0,13 1,14 0,24-0,11-0,07 Le Tableau C40 montre une comparaison des résultats moyens pour cet exercice pour les quatrièmes par province et par sexe. Tableau C40. Écriture d une Phrase Complète : comparaison des moyennes pour les quatrièmes par Province et par Sexe Région Groupe Sexe Début 2012 Fin 2014 Moyenne ET Moyenne ET Témoins Accessibles Garçons 0,79 0,10 0,99 0,13 Bandundu Filles 0,36 0,07 0,56 0,12 PAQUED Accessibles Garçons 0,93 0,10 1,01 0,11 Filles 0,66 0,16 0,89 0,30 Témoins Accessibles Garçons 1,08 0,11 0,92 0,15 Équateur Filles 1,10 0,13 0,91 0,23 PAQUED Accessibles Garçons 1,46 0,17 1,11 0,17 Filles 1,01 0,12 0,87 0,12 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 153

176 Région Groupe Sexe Début 2012 Fin 2014 Moyenne ET Moyenne ET Témoins Accessibles Garçons 1,30 0,12 1,39 0,10 Orientale Filles 1,29 0,21 1,20 0,15 PAQUED Accessibles Garçons 1,28 0,14 1,22 0,32 Filles 1,18 0,15 1,03 0,21 Une différence statistiquement significative est apparue entre les sexes pour une valeur p < 0,004 ; les garçons des écoles Témoins Accessibles du Bandundu ont obtenu des meilleurs résultats que les filles au début de l'étude en (Cette différence a disparu à la fin de l'étude en 2014.) L'analyse de la distribution des résultats dans le champ des résultats (de 0 à 3) montre encore la difficulté des élèves avec cet exercice. La Figure C14 illustre ces distributions pour les quatrièmes. Figure C14. Écriture d une Phrase Complète : résultats des quatrièmes en 2014 par Province Pour l'exercice d Écriture d une Phrase Complète, les élèves ont été évalués sur l'orthographe correcte de trois mots au sein d'une phrase plus longue. Comme le montre la Figure C14, le nombre d'élèves ayant correctement orthographié un et deux mots est 154 Projet d Amélioration de la Qualité de l Education (PAQUED)

177 assez similaire. Moins d'un quart des élèves ont été capables d'écrire correctement les trois mots. Analyse des caractéristiques des élèves Une série de tests chi carré ont été effectués pour déterminer à quel point certaines caractéristiques d'un élève peuvent être liées à ses résultats. Comme les améliorations les plus nettes chez les élèves ont été observées dans l'exercice de Connaissance des Graphèmes, ce sont les résultats de 2014 pour cette tâche qui ont servi d'indicateur de la compétence des élèves. De plus, étant donné les niveaux de performance assez faibles même pour cet exercice, seuls les élèves aux plus hautes notes (c.-à-d. les 20 % les plus performants) ont été inclus dans les analyses suivantes. Le Tableau C41 montre les pourcentages pondérés, les statistiques chi carré et les valeurs p pour chaque caractéristique pertinente de l'élève de quatrième. Tableau C41. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes, écoles PAQUED Accessibles et Témoins Accessibles Caractéristique de l'élève Pourcentages pondérés L'élève a un manuel en classe Élèves non performants Élèves performants Total Non 84 % 87 % 85 % Oui 16 % 13 % 15 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 1,8317 F basé sur le modèle (1,00, 18,00) = 0,1608 p = 0,693 Un membre du foyer de l'élève sait lire Non 15 % 9 % 13 % Oui 85 % 91 % 87 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 13,2008 F basé sur le modèle (1,00, 18,00) = 1,6525 p = 0,215 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 155

178 Caractéristique de l'élève Pourcentages pondérés L'élève a au moins un livre chez lui Non 81 % 82 % 81 % Oui 19 % 19 % 19 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 0,0035 F basé sur le modèle (1,00, 18,00) = 0,0007 p = 0,979 L'élève est allé à l'école maternelle Non 64 % 53 % 61 % Oui 36 % 47 % 40 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 18,9831 F basé sur le modèle (1,00, 18,00) = 4,4247 p = 0,050 L'élève a quelqu'un pour l'aider avec ses devoirs Non 52 % 59 % 55 % Oui 48 % 41 % 45 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 6,6378 F basé sur le modèle (1,00, 18,00) = 0,5957 p = 0,450 L'élève parle français chez lui Non 93 % 85 % 91 % Oui 7 % 15 % 9 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 31,9373 F basé sur le modèle (1,00, 18,00) = 6,1600 p = 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

179 Le Tableau C41 montre qu'aucune caractéristique des élèves de quatrième n'a eu un lien significatif (pour une valeur p < 0,0025) avec de bons résultats à l'exercice de Connaissance des Graphèmes. 51 Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les mêmes province, sexe et statut socioéconomique. Ces analyses n'ont démontré aucun lien significatif. Le Tableau C42 montre les pourcentages pondérés, les statistiques chi carré et les valeurs p pour chaque caractéristique pertinente de l'élève de quatrième. Tableau C42. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes, écoles PAQUED Accessibles et Témoins Accessibles Caractéristique de l'élève Pourcentages pondérés L'élève a un manuel en classe Élèves non performants Élèves performants Total Non 81 % 90 % 84 % Oui 19 % 10 % 16 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 22,6288 F basé sur le modèle (1,00, 18,00) = 3,6761 p = 0,071 Un membre du foyer de l'élève sait lire Non 10 % 8 % 9 % Oui 90 % 92 % 91 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 1,8168 F basé sur le modèle (1,00, 18,00) = 0,2176 p = 0,646 L'élève a au moins un livre chez lui Non 78 % 80 % 78 % 51 En raison du grand nombre de tests menés pour cette section (Chapitre C, section 1) du rapport, la correction de Bonferroni a été utilisée pour déterminer le seuil d'importance de ces analyses. Cette section contient 20 tests ; la correction de Bonferroni pour ces analyses nous donne une valeur p < 0,05 / (20) = 0,0025. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 157

180 Caractéristique de l'élève Pourcentages pondérés Oui 22 % 20 % 22 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 1,7250 F basé sur le modèle (1,00, 18,00) = 0,4550 p = 0,509 L'élève est allé à l'école maternelle Non 70 % 41 % 61 % Oui 30 % 59 % 39 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 137,1445 F basé sur le modèle (1,00, 18,00) = 33,9531 p = 0,000 L'élève a quelqu'un pour l'aider avec ses devoirs Non 60 % 61 % 60 % Oui 40 % 39 % 40 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 0,4736 F basé sur le modèle (1,00, 18,00) = 0,0605 p = 0,809 L'élève parle français chez lui Non 88 % 80 % 86 % Oui 12 % 20 % 14 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 23,8792 F basé sur le modèle (1,00, 18,00) = 1,6559 p = 0,214 Une seule caractéristique s'est révélée significativement liée à des bons résultats pour cet exercice pour une valeur p < 0,0025 : être allé à l'école maternelle. Les élèves qui sont allés à l'école maternelle ont plus de chance d'obtenir de bons résultats à cet exercice. 158 Projet d Amélioration de la Qualité de l Education (PAQUED)

181 Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les mêmes provinces, sexe et SSE. Ces analyses ont révélé la relation statistiquement significative suivante (Tableau C43). Tableau C43. Régressions logistiques des caractéristiques des élèves de quatrième Caractéristique Valeur p L'élève est allé à l'école maternelle 0,0000* * significatif pour une valeur p < 0,0025 Analyse des caractéristiques de l'enseignant Deux facteurs composants principaux ont été établis pour explorer le lien entre les caractéristiques de l'enseignant et les résultats de l élève à l'exercice de Connaissance des Graphèmes : 1. Participation de l'enseignant - qui reprend la fréquence des visites de membres du personnel PAQUED, la participation de l'enseignant à des forums d'échange avec d autres écoles et au sein de la sienne ; et 2. Matériel à la disposition de l'enseignant - qui reprend les ressources reçues de la part du PAQUED, le nombre de radios reçues par le PAQUED et le nombre de kits PAQUED que l'enseignant dit utiliser. L'analyse de régression de ces éléments a montré qu'aucun des deux n'avait un impact substantiel sur les résultats de l'élève. Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les mêmes provinces, sexe et SSE. 52 Ces analyses ont montré les liens statistiquement significatifs suivants (Tableau C44). 52 En raison du grand nombre de tests menés pour cette section (Chapitre C, section 1) du rapport, la correction de Bonferroni a été utilisée pour déterminer le seuil d'importance de ces analyses. Cette section contient 7 tests ; la correction de Bonferroni pour ces analyses nous donne une valeur p < 0,05 / (7) = 0,0071. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 159

182 Tableau C44. Régressions logistiques pour les caractéristiques des enseignants Caractéristique Valeur p Meilleures expressions écrite et orale en Kikongo 0,0006* Considérant les compétences de l'élève en français comme bonnes Considérant les compétences de l'élève en mathématiques comme moyennes Considérant les compétences de l'élève en mathématiques comme bonnes 0,0022* 0,0022* 0,0012* Recevant 3 à 5 visites de membres du PAQUED 0,0000* Participant à des forums d'échanges en petits groupes à une autre fréquence qu'1x/trimerstre ou 1x/mois 0,0070* Ayant reçu trois radios 0,0050* * significatif pour une valeur p < 0,0071 Ces relations ne sautent pas immédiatement aux yeux, et d'autres analyses visant à déterminer exactement quelles caractéristiques des enseignants influencent le plus les résultats de l'élève sont donc justifiées. Analyse des caractéristiques du directeur Certains ont avancé l'idée que le sexe du directeur avait une influence sur la participation des enseignants aux forums d'échange et aux leçons IAI. Un lien significatif a été établi entre le sexe du directeur et la participation aux forums d'échanges avec d autres écoles (p < 0,001) et à l'échelle de l'école (p < 0,05). Aucun autre lien significatif n'a été observé. 3. Résumé et conclusions Aucune tendance statistique systématique significative n'a émergé des analyses présentées dans Chapitre C, qui se focalise sur les écoles PAQUED Accessibles, et ce que l'on traite les données par région ou par sexe. Néanmoins, des tendances prometteuses peuvent être observées. De manière générale, les résultats des élèves de quatrième étaient meilleurs que ceux des deuxièmes, bien qu'une enquête approfondie soit nécessaire dans les cas où les résultats se sont dégradés au fil du temps (erreurs dans les tests ou autres facteurs dans la classe). Une seule différence significative a émergé entre les filles et les garçons à la fin de l'étude en la meilleure performance des garçons de deuxième à l'exercice de Connaissance des Graphèmes pour les écoles PAQUED Accessibles dans la Province orientale. Bien que ces chiffres représentent une légère réduction du nombre d'exercices où les garçons faisaient mieux que les filles au début de l'étude (4è Témoins Accessibles du Bandundu en Écriture d une Phrase Complète, 4è Témoins Accessibles 160 Projet d Amélioration de la Qualité de l Education (PAQUED)

183 en Mots Familiers et en Lecture de Texte), il vaut probablement mieux ne pas en tirer trop de conclusions, étant donné les dizaines de tests qui n'ont montré aucune tendance systématique. D'autre part, de manière générale, les résultats des élèves, même à la fin de l'étude, sont en dessous des références nationales pour tous les exercices. Même en ce qui concerne les compétences en matière de vocabulaire, comme la connaissance phonémique et les compréhensions à l'audition, les élèves n'ont pas montré les connaissances orales suffisantes pour lire et comprendre le français. Les résultats moyens des élèves en Connaissance des Graphèmes et des mots, ainsi qu'en lecture de texte, étaient également en dessous des standards nécessaires pour lire et comprendre aisément. Le Tableau C45 et la Figure C15 illustrent ces résultats. Tableau C45. Résultats des élèves dans les écoles PAQUED Accessibles par rapport aux références nationales 53 Classe Compétence en lecture ou pré-lecture En dessous de la moyenne Dans la moyenne Au-dessus de la moyenne N (%) N (%) N (%) Compréhension du Texte Lu Connaissance phonémique 897 (89,2 %) 36 (3,1 %) 61 (7,7 %) Graphèmes 978 (98,3 %) 6 (1 %) 10 (0,7 %) Mots familiers Lecture de Texte à haute voix Compréhension Compréhension du Texte Lu 769 (68,8 %) 70 (10,1 %) 132 (21 %) Connaissance phonémique Graphèmes 812 (74,3 %) 113 (19,4 %) 46 (6,3 %) Mots familiers 940 (95,5 %) 9 (1,1 %) 12 (2,3 %) Lecture de Texte à haute voix 813 (79,1 %) 81 (10,4 %) 77 (10,5 %) Compréhension 935 (92,4 %) 16 (3,5 %) 20 (4 %) 53 La valeur n pour chaque classe présentée dans ce tableau est la suivante : 2è = 994 ; 4è = 971. Chaque n présenté est non pondéré, et chaque pourcentage présenté est pondéré. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 161

184 Figure C15. Résultats des élèves des écoles PAQUED Accessibles par rapport aux moyennes nationales en RDC Ces analyses montrent les zones à étudier plus en profondeur et où les compétences des élèves doivent être améliorées, mais elles identifient aussi les types de support qui semblent être bénéfiques et qui doivent être prolongés et renforcés dans le cadre de projets éducatifs futurs. 162 Projet d Amélioration de la Qualité de l Education (PAQUED)

185 Chapitre D : Résultats et analyses des pérformances des élèves en lecture dans les écoles PAQUED et Témoins 1. Résultats des élèves au test EGRA dans les écoles PAQUED et Témoins Description La conception de l'étude permet au PAQUED d'identifier les bénéfices éducatifs dans les écoles où le PAQUED est intervenu entre 2010 et L'analyse présentée dans cette étude comprend ces comparaisons pour des élèves de deuxième, de quatrième et de sixième. Pour établir cet échantillon, RTI à choisi au hasard six subdivisions dans chaque province parmi celles que PAQUED avait considérées éligibles selon les critères de Les critères de 2010 stipulaient que les subdivisions ne devaient pas se situer dans une zone inondable, se trouver à plus de trois jours du centre de la province, ni présenter un haut risque de sécurité. RTI a choisi au hasard six écoles dans chacune des six subdivisions puis identifié trois à quatre écoles par subdivision dont les caractéristiques étaient similaires à celles des écoles PAQUED. RTI a choisi des écoles Témoins au hasard dans cette liste. Le Tableau D1 montre l'échantillon d'écoles visées par province et par classe. Un total de 144 écoles ont été choisies pour être étudiées : 108 PAQUED et 36 Témoins. Le Tableau D2 montre l'échantillon d'élèves visés par province et par classe. Un total de élèves ont été choisis pour être testés (1 872 par classe). Tableau D1. Échantillon d'écoles prévu par Province et par Classe Province Écoles Témoins Écoles PAQUED Total Bandundu Équateur Orientale Total Projet d Amélioration de la Qualité de l Éducation (PAQUED) 163

186 Tableau D2. Échantillon d'élèves prévu par Province et par Classe (n = 5 616) Bandundu Province/Classe Écoles Témoins Écoles PAQUED Total Équateur Orientale Total En raison des difficultés rencontrées lors des tests - comme le taux l'absentéisme des élèves le jour prévu élèves sur n'ont pas été testés. Le Tableau D3 montre l'échantillon réel d'écoles, et le Tableau D4 l'échantillon réel d'élèves, utilisés dans les analyses de ce rapport par province et par classe. 164 Projet d Amélioration de la Qualité de l Education (PAQUED)

187 Tableau D3. Échantillon réel d'écoles par Province et par Classe Province Écoles Témoins Écoles PAQUED Total Bandundu Équateur Orientale Total Tableau D4. Échantillon réel d'élèves par Province et par Classe (n = 5 255) 2è 4è 6è Témoin Témoins PAQUED Témoins PAQUED s PAQUED Total des élèves Bandundu Équateur Orientale Le Tableau D5 montre la proportion d'écoles dans chaque groupe selon le type de direction de l'école. Comme l'indique ce tableau, les écoles catholiques étaient les plus représentées parmi cet échantillon (valeur totale n = 50), suivies par les écoles publiques (n = 37). Tableau D5. Type d'école, par Groupe (n = 145) Province Publiques Catholique s Kimbanguist es Islamiq ues Protestant es Manquant es Nombre total d'écoles Bandundu Équateur è Orientale Total Échantillon 2014 Comme indiqué plus tôt, l'échantillon 2014 reprenait élèves de 124 écoles parmi les trois provinces. Un pourcentage identique (35 %) d'élèves provenait d'équateur et de Projet d Amélioration de la Qualité de l Éducation (PAQUED) 165

188 Province orientale, tandis que 30 % des élèves provenaient de Bandundu. Les élèves ont été choisi de manière relativement égale en termes de classes et de sexe. Le Tableau D6 décrit les caractéristiques générales de l'échantillon d'élèves. Tableau D6. Caractéristiques générales de l'échantillon d'élèves (n = 5 255) Variable Nombre d'élèves Pourcentage Province Bandundu % Équateur % Orientale % Classe 2è % 4è % 6è % Sexe Filles % Garçons % Les Tableaux D7 et D8 montrent la façon dont les élèves ont répondu à une série de questions visant des indicateurs SSE concernant leurs possessions matérielles. Bien que les élèves aient répondu à des questions plus nombreuses que celles reprises dans ce rapport, celles développées ci-dessous ont été considérées comme plus susceptibles d'influencer les résultats des élèves. Comme de nombreuses études ont déjà montré l'impact du statut socioéconomique sur les performances des élèves, des analyses de régression développées plus loin dans ce rapport reprennent un élément socioéconomique dans leurs modèles L'utilisation de plusieurs variables indépendantes très liées (comme les questions relatives au statut socioéconomique montrées dans le Tableau D7) peut engendrer des estimations instables ; en diminuer le nombre améliorera la qualité du test et/ou produira des estimations de coefficients de régression plus stables. Ainsi, dans le cadre des analyses de régression incluant le statut socioéconomique, les réponses des élèves aux questions concernant les possessions matérielles ont été refondus en une seule variable par le biais d'un ACP. 166 Projet d Amélioration de la Qualité de l Education (PAQUED)

189 Tableau D7. Indicateurs SSE de l'élève (n = 5 255) Élément SSE Nombre d'élèves Pourcentage Radio % Téléphone % Électricité % Télévision % Réfrigérateur % Toilettes intérieures % Vélo % Moto % Canoë % Véhicule motorisé % Tableau D8. Réponses des élèves aux questions démographiques (n = 5 204) Province L'élève a un manuel en classe Nombre d'élèves Total dans la Province Pourcentage de la Province Bandundu % Équateur % Orientale % Un membre du foyer de l'élève sait lire Bandundu % Équateur % Orientale % L'élève a au moins un livre chez lui Bandundu % Équateur % Orientale % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 167

190 Province Nombre d'élèves Total dans la Province Pourcentage de la Province L'élève est allé à l'école maternelle Bandundu % Équateur % Orientale % L'élève a quelqu'un pour l'aider avec ses devoirs Bandundu % Équateur % Orientale % Comme le montre le Tableau D8, le nombre d'élèves possédant un manuel en classe est relativement similaire dans les trois provinces, bien que le pourcentage d'élèves était plus élevé au Bandundu que dans les autres provinces. Le nombre d'élèves ayant un livre ou quelqu'un sachant lire à la maison s'est révélé moins élevé en Équateur que dans les autres provinces. Les élèves au Bandundu ont été à l'école maternelle en plus grand nombre (31 % contre 17 % en Équateur et 13 % en Province orientale), tandis que la Province orientale contenait le plus haut pourcentage d'élèves déclarant avoir quelqu'un à la maison pour les aider dans leurs devoirs. Le Tableau D9 reflète les réponses des élèves à propos de la langue parlée dans leur foyer. Les élèves ont pu choisir plus d'une langue. Le nombre de réponses des élèves est ainsi plus élevé que le nombre total d'élèves dans l'échantillon. Tableau D9. Langue parlée à la maison Province Français Nombre / % Kikongo Nombre / % Lingala Nombre / % Kiswahili Nombre / % Autres Nombre / % Total Bandundu 89 / 5 % 740 / 38 % 619 / 32 % 5 / 0 % 472 / 25 % Équateur 118 / 5 % 4 / 0 % / 51 % 5 / 0 % 961 / 43 % Orientale 101 / 4 % 1 / 0 % / 40 % 756 / 27 % 817 / 29 % Total 308 / 4 % 745 / 11 % / 41 % 766 / 11 % / 32 % Sans réelle surprise, étant donné les différences de langues principales à travers les provinces, la langue la plus parlée chez les élèves du Bandundu était le Kikongo, alors 168 Projet d Amélioration de la Qualité de l Education (PAQUED)

191 qu'il s'agissait du Lingala dans la Province orientale et en Équateur. L'utilisation du français à la maison variait entre 89 élèves (au Bandundu) et 118 élèves (en Équateur). Les enseignants ont également répondu à une série de questions pendant le test des élèves. Les Tableaux D10 et D11décrivent les caractéristiques générales et les réponses pertinentes au sondage (réponses qui seront incluses dans les analyses de régression subséquentes) de l'échantillon d'enseignants. Tableau D10. Caractéristiques générales de l'échantillon d'enseignants (n = 389) Nombre Variable Pourcentage d'enseignants Province (n = 389) Bandundu % Équateur % Orientale % Classe (n = 404)* % % % 4è % % % Sexe (n = 389) Filles % Garçons % *Certains enseignants enseignaient dans plusieurs classes. Le nombre de réponses est ainsi supérieur au nombre total d'enseignants dans cet échantillon. Comme le montre le Tableau D10, l'échantillon d'enseignants comprend bien plus d'hommes (75 %) que de femmes (25 %). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 169

192 Tableau D11. Réponses des enseignants aux questions du sondage (n = 389) Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la Province Dans quelle langue parlezvous et écrivez-vous le mieux? Autre / Pas de réponse Français Kikongo Lingala Kiswahili Bandundu 4 / 4 % 64 / 57 % 33 / 29 % 12 / 11 % 0 / 0 % 113 Équateur 4 / 3 % 88 / 62 % 0 / 0 % 50 / 35 % 0 / 0 % 142 Orientale 8 / 6 % 58 / 43 % 0 / 0 % 35 / 26 % 33 / 25 % 134 Quel est votre plus haut niveau d'éducation? 55 D4 D6 PP5 CSP ou CAP G3 Bandundu 12 / 11 % 95 / 86 % 0 / 0 % 3 / 3 % 0 / 0 % 110 Équateur 29 / 21 % 107 / 76 % 1 / 1 % 0 / 0 % 1 / 0 % 138 Orientale 27 / 21 % 92 / 72 % 6 / 5 % 3 / 2 % 0 / 0 % 128 À part la formation PAQUED, combien de fois avez-vous reçu une formation sur l'enseignement de la langue française au cours de ces deux dernières années? Jamais 1 fois 2 fois ou + Pas de réponse Bandundu 4 / 4 % 18 / 16 % 33 / 29 % 58 / 51 % 113 Équateur 15 / 11 % 19 / 13 % 49 / 35 % 59 / 42 % 142 Orientale 10 / 8 % 24 / 18 % 46 / 34 % 54 / 40 % 134 Comment qualifiez-vous les connaissances de vos élèves en français? Faibles Moyenne s Bonnes Pas de réponse Bandundu 24 / 21 % 63 / 56 % 23 / 21 % 3 / 3 % 113 Équateur 22 / 16 % 85 / 60 % 31 / 22 % 4 / 3 % 142 Orientale 24 / 18 % 83 / 62 % 24 / 18 % 3 / 2 % D4 = 4 ans d'éducation secondaire PP5 = 5 ans d'éducation secondaire ; type de diplôme professionnel spécialisé, mais cycle secondaire non terminé D6 = 6 ans d'éducation secondaire ; cycle secondaire terminé CSP ou CAP = Cycle spécialisation professionnelle ou Contrat d'aptitude professionnelle G3 = 3 ans d'éducation supérieure ; première moitié d'un cycle d'études supérieures terminée 170 Projet d Amélioration de la Qualité de l Education (PAQUED)

193 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la Province Comment qualifiez-vous les connaissances de vos élèves en mathématiques? Faibles Moyenne s Bonnes Pas de réponse Bandundu 7 / 6 % 52 / 46 % 51 / 45 % 3 / 3 % 113 Équateur 13 / 9 % 85 / 60 % 40 / 28 % 4 / 3 % 142 Orientale 9 / 7 % 68 / 51 % 54 / 40 % 3 / 2 % 134 Combien de fois avez-vous reçu la visite de personnel PAQUED au cours de l'année dernière? ou + Pas de réponse Bandundu 10 / 9 % 15 / 13 % 1 / 1 % 0 / 0 % 87 / 77 % 113 Équateur 14 / 10 % 3 / 2 % 1 / 1 % 0 / 0 % 124 / 87 % 142 Orientale 23 / 17 % 15 / 11 % 2 / 2 % 2 / 2 % 92 / 67 % 134 Combien de fois avez-vous participé à un forum d'échange pour enseignants avec d'autres établissements? Au moins une fois par trimestre Au moins une fois par mois Autre Pas de réponse Bandundu 26 / 23 % 17 / 15 % 2 / 2 % 68 / 60 % 113 Équateur 10 / 7 % 13 / 9 % 3 / 2 % 116 / 82 % 142 Orientale 26 / 19 % 9 / 7 % 6 / 5 % 93 / 69 % 134 Combien de fois avez-vous participé à un forum d'échange pour enseignants au sein de l'école? Au moins une fois par trimestre Au moins une fois par mois Autre Pas de réponse Bandundu 9 / 8 % 18 / 16 % 5 / 4 % 81 / 72 % 113 Équateur 6 / 4 % 27 / 19 % 5 / 4 % 104 / 73 % 142 Orientale 30 / 22 % 23 / 17 % 4 / 3 % 77 / 58 % 134 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 171

194 Province Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la Province Si vous avez participé à des forums d'échange pour enseignants, quels modules vidéo ont été montrés?* Leçons IAI Matériel d'enseig nement Aucun Bandundu 14 / 22 % 3 / 5 % 47 / 73 % 64 Équateur 26 / 43 % 25 / 42 % 9 / 15 % 60 Orientale 49 / 54 % 34 / 37 % 8 / 9 % 91 Quelles ressources avezvous reçues de la part du PAQUED?* Guide IAI Manuel d'activité s de lecture Manuel de lecture à haute voix Textes pour les élèves Craies Bandundu 40 / 19 % 52 / 25 % 38 / 18 % 33 / 16 % 47 / 22 % 210 Équateur 79 / 41 % 25 / 13 % 20 / 10 % 17 / 9 % 53 / 27 % 194 Orientale 77 / 25 % 68 / 22 % 46 / 15 % 37 / 12 % 76 / 25 % 304 Combien de radios votre école a-t-elle reçues de la part du PAQUED? Autre Pas de réponse Bandundu 65 / 58 % 3 / 3 % 0 / 0 % 0 / 0 % 45 / 40 % 113 Équateur 62 / 44 % 5 / 4 % 0 / 0 % 0 / 0 % 75 / 53 % 142 Orientale 77 / 58 % 15 / 11 % 4 / 3 % 0 / 0 % 38 / 28 % 134 Avez-vous utilisé un kit PAQUED? Si oui, lequel? Fabrication de matériel Kit pour l'école Kit pour la classe Pas de réponse Bandundu 49 / 38 % 45 / 35 % 35 / 27 % 1 / 1 % 130 Équateur 33 / 30 % 39 / 35 % 38 / 34 % 2 / 2 % 112 Orientale 53 / 34 % 57 / 36 % 47 / 30 % 0 / 0 % 157 Avez-vous suivi des leçons IAI dans votre école? Oui Non Pas de réponse Bandundu 60 / 53 % 21 / 19 % 32 / 28 % 113 Équateur 64 / 45 % 47 / 33 % 31 / 22 % 142 Orientale 74 / 55 % 30 / 22 % 30 / 22 % 134 *Étant donné que les enseignants pouvaient choisir plusieurs réponses, la somme des pourcentages ne vaut pas toujours Projet d Amélioration de la Qualité de l Education (PAQUED)

195 Comme le montre le Tableau D11, la plupart des enseignants de toutes les provinces affirmaient parler et écrire le mieux en français ; relativement peu d'enseignants ont déclaré la même chose pour le Kikongo, le Lingala ou le Kiswahili, même si des modes sont apparues par province au niveau de la langue préférée. La plupart des enseignants ont affirmé avoir un niveau d'études D6 ; un plus petit nombre a coché D4 et un cercle très restreint a choisi PP5, CSP/CAP ou G3. Parmi les enseignants qui ont répondu à ces questions, la plupart ont affirmé avoir participé à au moins deux formations internes (autres que PAQUED) et avoir reçu au moins une visite de personnel PAQUED. Il est intéressant de remarquer que les enseignants se sont généralement accordé à déclarer que le niveau de leurs élèves en français et en mathématiques étaient moyen. Il est également encourageant de noter que parmi les enseignants qui ont répondu à la question, la plupart ont affirmé avoir participé à des forums d'échange au sein de l'école et avec d'autres établissements, bien que la fréquence de ces rassemblements dépende de la province. L'utilisation de modules vidéo lors de forums d'échange était quelque peu mitigée ; 73 % des enseignants au Bandundu ont indiqué ne pas en avoir utilisé, alors que ce pourcentage était bien plus bas dans la Province orientale (9 %) et en Équateur (15 %). Les enseignants de toutes les provinces ont déclaré avoir reçu un éventail de matériel PAQUED, alors que le pourcentage de manuels IAI reçus était plus important en Équateur que dans les autres provinces. L'utilisation de différents types de kits pour les salles de classe était plutôt bien répartie. Enfin, la plupart des enseignants ont déclaré utiliser des leçons IAI. Les Tableaux D12 et D13 décrivent les caractéristiques générales et les réponses pertinentes au sondage (réponses qui seront incluses dans les analyses de régression subséquentes) de l'échantillon de directeurs d'école. Tableau D12. Caractéristiques générales de l'échantillon de directeurs (n = 142) Nombre de Variable Pourcentage directeurs Province Bandundu % Équateur % Orientale % Sexe Femme 12 9 % Homme % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 173

196 Comme le montre le Tableau D12, les directeurs d'école étaient majoritairement des hommes (92 % contre 9 %) Cette statistique se vérifie dans chaque province, comme le montre le Tableau D13. Province Tableau D13. Réponses des directeurs au sondage (n = 142) Nombre / % Nombre / % Nombre / % Nombre / % Nombre / % Total dans la Province Quel est le sexe du directeur? Femme Homme Bandundu 2 / 4 % 44 / 96 % 46 Équateur 3 / 6 % 46 / 94 % 49 Orientale 7 / 15 % 40 / 85 % 47 Combien de fois avez-vous reçu la visite de personnel PAQUED au cours de l'année dernière? Pas de réponse Bandundu 5 / 11 % 10 / 22 % 5 / 11 % 26 / 57 % 46 Équateur 2 / 4 % 5 / 10 % 1 / 2 % 41 / 84 % 49 Orientale 9 / 19 % 15 / 32 % 3 / 6 % 20 / 43 % 47 Le Tableau D13 montre également que parmi ceux qui ont répondu à cette question, la majorité des directeurs du Bandundu et de la Province orientale ont déclaré avoir reçu au moins deux visites de personnel PAQUED l'année dernière, alors que seulement six directeurs ont déclaré la même chose en Équateur. 2. Résultats des exercices EGRA Le Tableau D14 montre le nombre de résultats nuls et les moyennes (en comptant, puis sans compter les résultats nuls) à la fin de l'étude en 2014 pour chaque exercice. Un élève reçoit un résultat nul pour un exercice si cet élève (1) a été incapable de répondre à la moindre question, ou (2) n'a répondu correctement à aucune question. Pour les exercices où peu d élèves ont obtenu un résultat nul, la différence entre les moyennes qui comprennent ou non ces résultats nuls est minime. Néanmoins, pour les exercices où une grande proportion des élèves ont obtenu un résultat nul, la différence peut être importante, et il est souvent utile de prendre en compte les deux moyennes au moment de déterminer la performance des élèves. 174 Projet d Amélioration de la Qualité de l Education (PAQUED)

197 Tableau D14. Pourcentage général de résultats nuls et Moyennes par Classe et par Exercice en 2014 Exercice Classe Groupe % Résultats nuls Moyenne sans les résultats nuls Moyenne avec les résultats nuls 2 Témoins 4 % 6,98 7,24 PAQUED 3 % 7,57 7,81 Vocabulaire 4 Témoins 0 % 9,83 9,85 PAQUED 0 % 9,94 9,97 6 Témoins 0 % 12,73 12,76 PAQUED 0 % 12,66 12,66 2 Témoins 80 % 0,96 4,78 PAQUED 83 % 0,67 3,87 Identification du Son Initial 4 Témoins 66 % 1,93 5,72 PAQUED 68 % 1,67 5,25 6 Témoins 47 % 3,67 6,87 PAQUED 55 % 2,70 5,95 Compréhension du Texte Lu 2 4 Témoins 72 % 0,55 1,97 PAQUED 73 % 0,53 1,92 Témoins 58 % 0,84 1,98 PAQUED 53 % 0,92 1,95 6 Témoins 29 % 1,71 2,40 PAQUED 30 % 1,72 2,45 Connaissance des Graphèmes 2 4 Témoins 52 % 5,00 10,33 PAQUED 53 % 4,13 8,74 Témoins 14 % 18,44 21,49 PAQUED 16 % 16,36 19,39 6 Témoins 1 % 38,32 38,64 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 175

198 Exercice Classe Groupe % Résultats nuls Moyenne sans les résultats nuls Moyenne avec les résultats nuls PAQUED 4 % 33,83 35,37 Lecture des Mots Familiers 4 6 Témoins 65 % 4,59 13,13 PAQUED 70 % 3,88 12,91 Témoins 22 % 20,14 25,82 PAQUED 28 % 16,57 22,96 Lecture des Mots Inventés 4 6 Témoins 71 % 3,86 13,16 PAQUED 71 % 3,38 11,62 Témoins 24 % 15,98 21,13 PAQUED 33 % 12,63 18,77 Lecture de Texte 4 6 Témoins 54 % 9,36 20,45 PAQUED 55 % 8,23 18,20 Témoins 14 % 34,44 40,02 PAQUED 21 % 28,66 36,40 Compréhension du Texte Lu 4 6 Témoins 89 % 0,24 2,07 PAQUED 92 % 0,14 1,80 Témoins 58 % 0,88 2,13 PAQUED 61 % 0,78 1,98 Écriture d une Phrase Complète 4 6 Témoins 49 % 0,84 1,65 PAQUED 50 % 0,79 1,60 Témoins 19 % 1,65 2,02 PAQUED 24 % 1,47 1,93 Pour les exercices aux faibles pourcentages de résultats nuls (comme Vocabulaire et dans une moindre mesure Connaissances des Graphèmes en sixième), la différence entre les moyennes n'est pas très importante. En ce qui concerne les autres exercices, la différence entre les moyennes avec et sans les résultats nuls est notable. Comme prévu, le résultat 176 Projet d Amélioration de la Qualité de l Education (PAQUED)

199 moyen des élèves était meilleur en sixième qu'en quatrième, et en quatrième qu'en deuxième, pour les exercices soumis aux élèves de toutes les classes. La modeste amélioration entre les classes suggère néanmoins une faiblesse récurrente dans les capacités des élèves, même au plus haut niveau. Le grand nombre de résultats nuls, même en sixième, indique d'ailleurs que le niveau général se situe sous les moyennes nationales. Les sous-sections suivantes apportent de plus amples détails à propos des exercices EGRA abordés dans ce chapitre. Vocabulaire L'exercice de Vocabulaire comportait 20 mots de vocabulaire. Les examinateurs ont demandé aux élèves d'identifier quelques membres du corps humain ainsi que des objets et de les déplacer dans un certain nombre de directions. Cet exercice a permis d'évaluer le vocabulaire basique des élèves, en se focalisant sur les types de mots et sur les concepts présents dans leur environnement. Le type de vocabulaire évalué est issu du programme de français en première en RDC. Le programme indique que les élèves doivent connaître des mots courants et être capable d'agir selon les instructions données en français par l'enseignant. Le Tableau D15 montre le pourcentage de résultats nuls et le pourcentage de mots tentés pour l'exercice de Vocabulaire. Tableau D15. Vocabulaire : Résultats nuls et pourcentage de tentatives, par Classe et Province % Résultats nuls % Réponses Résultat moyen Classe Province Groupe Bandundu Témoins 3 % 12 % 32 % 28 % 6,45 5,69 PAQUED 1 % 8 % 31 % 31 % 6,15 6,12 2 Équateur Témoins 1 % 1 % 28 % 36 % 5,53 7,22 PAQUED 2 % 4 % 31 % 42 % 6,21 8,40 Orientale Témoins 1 % 0 % 36 % 39 % 7,25 7,72 PAQUED 1 % 0 % 35 % 39 % 7,08 7,72 4 Bandundu Équateur Témoins 1 % 0 % 43 % 43 % 8,59 8,58 PAQUED 0 % 1 % 43 % 43 % 8,47 8,53 Témoins 0 % 1 % 42 % 48 % 8,43 9,67 PAQUED 0 % 1 % 44 % 50 % 8,78 9,94 Orientale Témoins 0 % 0 % 55 % 56 % 10,91 11,20 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 177

200 Classe Province Groupe % Résultats nuls % Réponses Résultat moyen PAQUED 0 % 0 % 52 % 53 % 10,34 10,59 Bandundu Témoins 0 % 0 % 59 % 61 % 11,73 12,30 PAQUED 0 % 0 % 56 % 59 % 11,22 11,78 6 Équateur Témoins 0 % 1 % 55 % 63 % 10,92 12,53 PAQUED 0 % 0 % 56 % 60 % 11,12 11,97 Orientale Témoins 0 % 0 % 69 % 67 % 13,89 13,39 PAQUED 0 % 0 % 74 % 69 % 14,75 13,78 Comme le montre le Tableau D15, même en 2010, très peu d'élèves (le maximum est de 3 % pour les deuxièmes du Bandundu) ont obtenu un résultat nul pour cet exercice, ce qui suggère que les élèves possédaient au moins un niveau minimum de compétences orales en français. Cela dit, à la fin de l'étude, les élèves de deuxième étaient seulement capables de tenter d'écrire quelques mots (entre 28 % et 42 %) et d'en orthographier correctement moins de dix en moyenne. Les résultats en quatrième étaient meilleurs, mais même à la fin de l'étude en sixième, les élèves ne maîtrisaient pas cet exercice ; la meilleure moyenne (13,78) venait de la Province orientale (groupe PAQUED). En sortant de sixième, les élèves sont censés avoir acquis un niveau oral en français leur permettant de répondre à des questions simples. Le Tableau D16 reflète une comparaison des différences entre 2010 et 2014 dans les groupes Témoins et PAQUED. Aucune différence statistique n'a émergé des résultats EDD pour une valeur p < 0,006, ce qui indique que les deux groupes ont évolué à une vitesse comparable En statistique, des erreurs de type I signifient qu'une différence n'existe pas là où l'on pensait en trouver une. (En d'autres termes, une erreur de type I signifie que le chercheur rejette l'hypothèse nulle alors qu'elle existe.) En raison du grand nombre de comparaisons d écart des différences menées pour cette section (Chapitre C, section 2) du rapport, la correction Bonferroni a été utilisée pour déterminer le seuil d'importance des différentes analyses. Cette section contient 9 tests EDD pour les exercices soumis aux trois classes et 6 tests EDD pour les exercices soumis seulement aux quatrièmes et aux sixièmes. Appliquer la correction de Bonferroni à ces analyses donne une valeur p < 0,05 / (9) = 0,006 pour les exercices de Vocabulaire, d'identification du Son Initial, de Compréhension à l'audition et de Connaissance des Graphèmes et une valeur p < (0,05) / (9) = 0,008 pour les exercices de Mots Familiers, de Mots Inventés, de Lecture du Texte, de Compréhension du Texte Lu et d'écriture d'une Phrase Complète. Voir l'annexe I pour une description plus complète de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. 178 Projet d Amélioration de la Qualité de l Education (PAQUED)

201 Tableau D16. Vocabulaire : Analyse de l écart des différences par Classe, Province et Groupe 2è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 6,45 1,05 5,69 1,12 PAQUED 6,15 0,58 6,12 0,69 0,72 0,15 Équateur Témoins 5,53 0,21 7,22 0,83 PAQUED 6,21 0,20 8,40 0,76 0,50 0,10 Orientale Témoins 7,25 0,52 7,72 0,68 PAQUED 7,08 0,62 7,72 0,56 0,17 0,04 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 8,59 0,91 8,58 0,72 PAQUED 8,47 0,41 8,53 0,66 0,08 0,01 Équateur Témoins 8,43 0,39 9,67 0,77 PAQUED 8,78 0,31 9,94 0,67-0,07-0,02 Orientale Témoins 10,91 0,76 11,20 0,87 PAQUED 10,34 0,85 10,59 0,51-0,03-0,01 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 11,73 0,42 12,30 0,76 PAQUED 11,22 0,22 11,78 0,72 0,00 0,00 Équateur Témoins 10,92 0,45 12,53 0,80 PAQUED 11,12 0,35 11,97 0,60-0,78-0,18 Orientale Témoins 13,89 0,62 13,39 0,75 PAQUED 14,75 0,70 13,78 0,35-0,47-0,12 Ces résultats révèlent que les élèves n'ont en moyenne pas atteint ce niveau de vocabulaire en français, et il est intéressant d'étudier les différences de compétence entre Projet d Amélioration de la Qualité de l Éducation (PAQUED) 179

202 les garçons et les filles. Le Tableau D17 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. 57 Tableau D17. Vocabulaire : Comparaison des moyennes par Classe, Province, Groupe et Sexe Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Témoins Garçons 6,74 1,17 5,46 0,94 Bandundu Filles 5,99 0,85 5,90 1,58 PAQUED Garçons 5,96 0,31 6,14 0,72 Filles 6,29 0,85 6,09 0,71 Témoins Garçons 5,82 0,37 7,29 1,00 2 Équateur Filles 5,20 0,17 7,16 0,76 PAQUED Garçons 6,36 0,24 8,75 0,72 Filles 6,02 0,19 8,00 0,85 Témoins Garçons 7,36 0,54 8,53 0,65 Orientale Filles 7,15 0,63 6,86 0,74 PAQUED Garçons 7,00 0,68 8,26 0,65 Filles 7,12 0,58 7,12 0,46 Témoins Garçons 9,19 1,11 8,30 0,65 4 Bandundu Filles 7,97 0,75 8,83 1,10 PAQUED Garçons 8,63 0,36 8,79 0,63 Filles 8,28 0,51 8,20 0,78 Témoins Garçons 9,30* 0,40 9,40 0,91 Équateur Filles 7,22 0,30 9,97 0,65 PAQUED Garçons 8,69 0,23 10,34 0,79 57 Cette section contient 36 tests de comparaison de moyennes pour les exercices soumis aux trois classes et 24 pour les exercices soumis uniquement aux quatrièmes et aux sixièmes. Appliquer la correction de Bonferroni à ces analyses donne une valeur p < 0,05 / (36) = 0,001 pour les exercices de Vocabulaire, d'identification du Son Initial, de Compréhension à l'audition et de Connaissance des Graphèmes et une valeur p < (0,05) / (24) = 0,002 pour les exercices de Mots Familiers, de Mots Inventés, de Lecture du Texte, de Compréhension du Texte Lu et d'écriture d'une Phrase Complète. Voir l'annexe I pour une description plus complète de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. 180 Projet d Amélioration de la Qualité de l Education (PAQUED)

203 Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Filles 8,85 0,44 9,53 0,59 Témoins Garçons 11,05 1,07 11,47 0,85 Orientale Filles 10,75 0,69 10,81 0,99 PAQUED Garçons 11,09 0,98 10,85 0,57 Filles 9,22 0,70 10,30 0,49 Témoins Garçons 12,27* 0,45 12,27 0,80 Bandundu Filles 11,02 0,37 12,33 1,19 PAQUED Garçons 11,46 0,39 11,93 0,46 Filles 11,04 0,19 11,63 1,10 Témoins Garçons 11,08 0,63 12,29 0,75 6 Équateur Filles 10,51 0,59 12,80 0,85 PAQUED Garçons 11,20 0,20 12,47 0,56 Filles 11,01 0,69 11,28 0,68 Témoins Garçons 14,32 0,73 13,84 0,66 Orientale Filles 13,56 0,59 12,77 1,02 PAQUED Garçons 14,93 0,74 14,11 0,39 Filles 14,40 0,66 13,34 0,36 *La différence est statistiquement significative pour p < 0,001. En examinant les niveaux de compétences des filles et des garçons, seules deux différences significatives ont émergé pour une valeur p < 0,001 : (1) les garçons de quatrième dans les écoles Témoins d'équateur faisaient mieux que les filles au départ en 2010, et (2) les garçons des écoles Témoins du Bandundu faisaient mieux que les filles au départ en (Dans les deux cas, cette différence avait disparu à la fin de l'étude en 2014.) Explorer les distributions des résultats par rapport aux résultats possibles (de 0 à 20) permet à nouveau de remarquer que relativement peu d'élèves ont obtenu un résultat nul, mais que le nombre de résultats parfaits est aussi peu élevé. Les Figures D1 à D3 illustrent ces distributions par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 181

204 Figure D1. Résultats des deuxièmes en Vocabulaire en 2014 par Province 0.6 Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1-4 Items 5-8 Items 9-12 Items Items Items Figure D2. Résultats des quatrièmes en Vocabulaire en 2014 par Province 0.6 Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1-4 Items 5-8 Items 9-12 Items Items Items 182 Projet d Amélioration de la Qualité de l Education (PAQUED)

205 Figure D3. Résultats des sixièmes en Vocabulaire en 2014 par Province 0.6 Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1-4 Items 5-8 Items 9-12 Items Items Items L'élément encourageant de cette analyse réside dans le fait que si la plupart des élèves de deuxième ont obtenu entre 5 et 16, ce nombre augmente pour les quatrièmes et augmente encore chez les sixièmes, la plupart de ces derniers ayant obtenu un résultat entre 9 et 16 et de plus en plus d'entre eux réalisant des scores parfaits. Identification du Son Initial Dans l'exercice d'identification du Son Initial, les élèves ont écouté des mots uniques, comme «sac», puis ont dû en identifier le premier son, ou phonème (dans ce cas, /s/). Cet exercice contenait 10 mots, et le score maximum était donc de 10. Les cinq premiers mots (sac, jour, date, lac et car) ont été soumis à tous les élèves. Les élèves capables d'identifier le premier son d'au moins un de ces mots ont reçu les cinq autres (balles, tour, par, vol et fil). Le Tableau D18 montre le pourcentage de résultats nuls et le pourcentage de mots tentés pour l'exercice d'identification du Son Initial. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 183

206 Tableau D18. Identification du Son Initial : Résultats nuls et pourcentage de tentatives, par Classe et Province Classe Province Groupe % Résultats nuls % Réponses Résultat moyen Témoins 72 % 81 % 9 % 9 % 0,82 0,90 Bandundu PAQUED 76 % 83 % 7 % 6 % 0,64 0,64 2 Témoins 87 % 71 % 4 % 15 % 0,33 1,55 Équateur PAQUED 75 % 72 % 12 % 13 % 1,09 1,30 Témoins 82 % 88 % 4 % 3 % 0,37 0,34 Orientale PAQUED 86 % 90 % 4 % 2 % 0,40 0,24 Témoins 44 % 66 % 33 % 20 % 3,12 1,96 Bandundu PAQUED 51 % 67 % 24 % 17 % 2,23 1,70 4 Témoins 53 % 53 % 30 % 28 % 2,94 2,84 Équateur PAQUED 44 % 58 % 37 % 27 % 3,55 2,68 Témoins 62 % 88 % 12 % 4 % 1,16 0,43 Orientale PAQUED 72 % 77 % 12 % 8 % 1,14 0,81 Témoins 35 % 42 % 42 % 42 % 4,08 4,18 Bandundu PAQUED 30 % 51 % 39 % 27 % 3,66 2,74 6 Témoins 37 % 31 % 43 % 50 % 4,17 5,03 Équateur PAQUED 34 % 47 % 47 % 38 % 4,63 3,81 Témoins 57 % 75 % 20 % 11 % 1,87 1,12 Orientale PAQUED 53 % 64 % 24 % 17 % 2,39 1,66 Comme le montre le Tableau D18, l'exercice d'identification du Son Initial s'est avéré difficile pour les élèves, tant en 2010 qu'en Même en sixième, les pourcentages de résultats nuls en 2014 se situaient entre 31 % en Équateur et 75 % en Province orientale. De la même manière, en 2014, les élèves ont tenté de répondre à relativement peu de mots, surtout en Province orientale (2-3 % de tentatives en deuxième ; 4-8 % en quatrième ; et % en sixième). Les moyennes étaient également basses ; la plus 184 Projet d Amélioration de la Qualité de l Education (PAQUED)

207 haute appartient aux élèves de sixième des écoles Témoins d'équateur en 2014 qui étaient capables d'identifier 5 éléments (50 %) en moyenne. Le Tableau D19 reflète une comparaison des différences entre 2010 et 2014 au sein des groupes Témoins et PAQUED. Tableau D19. Identification du Son Initial : Analyse de l écart des différences par Classe, Province et Groupe 2è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 0,82 0,26 0,90 0,31 EDD PAQUED 0,64 0,15 0,64 0,23-0,08-0,03 Équateur Témoins 0,33 0,20 1,55 0,69 PAQUED 1,09 0,22 1,30 0,28-1,00-0,31 Orientale Témoins 0,37 0,11 0,34 0,23 PAQUED 0,40 0,12 0,24 0,08-0,13-0,09 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 3,12 1,12 1,96 0,40 PAQUED 2,23 0,39 1,70 0,30 0,63 0,12 Équateur Témoins 2,94 0,37 2,84 1,02 PAQUED 3,55 0,50 2,68 0,46-0,76-0,14 Orientale Témoins 1,16 0,26 0,43 0,18 PAQUED 1,14 0,22 0,81 0,16 0,40 0,14 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 4,08 0,83 4,18 0,53 PAQUED 3,66 0,49 2,74 0,35-1,03-0,18 Équateur Témoins 4,17 0,67 5,03 0,88 PAQUED 4,63 0,31 3,81 0,57-1,67-0,30 Orientale Témoins 1,87 0,59 1,12 0,28 PAQUED 2,39 0,27 1,66 0,23 0,01 0,00 TE Projet d Amélioration de la Qualité de l Éducation (PAQUED) 185

208 Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,006, ce qui indique que les deux groupes ont évolué de manière similaire. Pour explorer plus en profondeur les différences entre les groupes Témoins et PAQUED, le Tableau D20 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Tableau D20. Identification du Son Initial : Comparaison des moyennes par Classe, Province, Groupe et Sexe Début 2010 Fin 2014 Classe Province Groupe Sexe Moyenne ET Moyenne ET Témoins Garçons 0,94 0,36 0,59 0,24 Bandundu Filles 0,64 0,20 1,19 0,47 PAQUED Garçons 0,76 0,24 0,61 0,23 Filles 0,55 0,09 0,68 0,29 Témoins Garçons 0,31 0,18 1,17 0,70 2 Équateur Filles 0,34 0,27 1,91 0,85 PAQUED Garçons 1,11 0,27 1,54 0,27 Filles 1,05 0,22 1,02 0,33 Témoins Garçons 0,20 0,07 0,43 0,36 Orientale Filles 0,51 0,17 0,24 0,14 PAQUED Garçons 0,29 0,08 0,26 0,07 Filles 0,51 0,16 0,21 0,11 Témoins Garçons 3,43 1,24 1,42 0,39 Bandundu Filles 2,89 1,03 2,44 0,55 PAQUED Garçons 2,17 0,38 2,05 0,36 4 Filles 2,27 0,46 1,26 0,36 Témoins Garçons 3,13 0,48 2,26 1,11 Équateur Filles 2,69 0,47 3,46 1,00 PAQUED Garçons 3,76 0,49 3,12 0,48 Filles 3,35 0,60 2,23 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

209 Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Témoins Garçons 1,37 0,61 0,61 0,34 Orientale Filles 0,98 0,24 0,16 0,10 PAQUED Garçons 1,42 0,26 0,94 0,19 Filles 0,75 0,16 0,66 0,18 Témoins Garçons 4,31 0,70 3,51 0,80 Bandundu Filles 3,78 1,05 4,84 0,74 PAQUED Garçons 3,69 0,53 2,79 0,43 Filles 3,61 0,48 2,69 0,35 Témoins Garçons 4,33 0,70 4,74 1,15 6 Équateur Filles 3,77 0,70 5,35 0,68 PAQUED Garçons 4,80 0,21 4,06 0,50 Filles 4,38 0,51 3,48 0,69 Témoins Garçons 2,37 0,55 1,39 0,48 Orientale Filles 1,45 0,64 0,75 0,10 PAQUED Garçons 2,43 0,27 1,75 0,25 Filles 2,31 0,38 1,53 0,25 Aucune différence statistiquement significative entre les sexes n'a émergé pour cet exercice pour une valeur p < 0,001. Explorer les distributions des résultats par rapport aux résultats possibles (de 0 à 10) montre une nouvelle fois la difficulté éprouvée par les élève face à cet exercice. Les Figure D4 à D6 illustrent ces distributions par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 187

210 Figure D4. Résultats des deuxièmes en Identification du Son Initial en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1-2 Items 3-4 Items 5-6 Items 7-8 Items 9-10 Items Figure D5. Résultats des quatrièmes en Identification du Son Initial en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1-2 Items 3-4 Items 5-6 Items 7-8 Items 9-10 Items 188 Projet d Amélioration de la Qualité de l Education (PAQUED)

211 Figure D6. Résultats des sixièmes en Identification du Son Initial en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1-2 Items 3-4 Items 5-6 Items 7-8 Items 9-10 Items Comme le montrent ces figures, un pourcentage important des élèves ont obtenu un résultat nul en 2014 dans toutes les classes. Cependant, en sixième, la distribution des résultats s'est éloignée de zéro. Même s'il apparaît que les élèves, même ceux de sixième en 2014, ne maîtrisent toujours pas cette capacité importante dans l'optique d'apprendre à lire, ces figures suggèrent néanmoins une amélioration prometteuse qui pourra servir de référence à l'avenir. Compréhension à l Audition Pour l'exercice de Compréhension à l'audition, les élèves ont écouté un court passage puis ont dû répondre à cinq questions afin d'évaluer leur compréhension basique de ce passage. Les résultats de cet exercice comprennent le pourcentage d'élèves capables de répondre aux questions de compréhension, en fonction du nombre d'élèves ayant tenté de répondre à chaque question. Le Tableau D21 montre le pourcentage de résultats nuls et celui de réponses tentées pour l'exercice de Compréhension à l'audition. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 189

212 Tableau D21. Compréhension à l'audition : Résultats nuls et pourcentage de tentatives par Classe et Province Classe Province Groupe % Résultats nuls % Réponses Résultat moyen Bandundu Témoins 60 % 69 % 21 % 19 % 1,04 0,96 PAQUED 60 % 77 % 16 % 7 % 0,79 0,35 2 Équateur Témoins 77 % 71 % 5 % 9 % 0,25 0,44 PAQUED 80 % 70 % 5 % 14 % 0,24 0,72 Orientale Témoins 61 % 75 % 12 % 7 % 0,61 0,37 PAQUED 56 % 72 % 17 % 10 % 0,83 0,48 Bandundu Témoins 55 % 63 % 18 % 13 % 0,91 0,66 PAQUED 46 % 58 % 17 % 15 % 0,86 0,74 4 Équateur Témoins 59 % 60 % 9 % 14 % 0,45 0,68 PAQUED 58 % 58 % 10 % 18 % 0,52 0,90 Orientale Témoins 43 % 48 % 17 % 25 % 0,84 1,27 PAQUED 34 % 46 % 24 % 20 % 1,17 1,02 Bandundu Témoins 20 % 30 % 28 % 33 % 1,39 1,65 PAQUED 19 % 31 % 26 % 31 % 1,29 1,57 6 Équateur Témoins 29 % 28 % 18 % 31 % 0,90 1,55 PAQUED 32 % 39 % 18 % 30 % 0,90 1,50 Orientale Témoins 7 % 28 % 35 % 40 % 1,74 2,02 PAQUED 10 % 20 % 40 % 40 % 1,98 2,00 Comme pouvaient le laisser présager les résultats relativement mauvais à l'exercice de Vocabulaire, les élèves ont rencontré des difficultés lors de la Compréhension à l'audition. La diminution de résultats nuls entre la deuxième et la sixième est encourageante, les pourcentages finaux variant entre 20 % (Province orientale) et 39 % (Équateur). Néanmoins, ces pourcentages, combinés aux faibles moyennes (en 2014 chez les sixièmes, entre 1,50 et 2,02 sur 5) et aux pourcentages de tentatives de réponses 190 Projet d Amélioration de la Qualité de l Education (PAQUED)

213 relativement bas, renforcent l'idée que les élèves de toutes les classes manquent de compétences orales basiques en français. Le Tableau D22 reflète une comparaison des différences entre 2010 et 2014 dans les groupes Témoins et PAQUED. Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,006, ce qui indique que les deux groupes ont évolué de manière similaire. Tableau D22. Compréhension à l'audition : Analyse de l écart des différences par Classe, Province et Groupe 2è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 1,04 0,66 0,96 0,45 PAQUED 0,79 0,32 0,35 0,09-0,37-0,18 Équateur Témoins 0,25 0,14 0,44 0,14 PAQUED 0,24 0,05 0,72 0,23 0,29 0,20 Orientale Témoins 0,61 0,20 0,37 0,16 PAQUED 0,83 0,29 0,48 0,18-0,10-0,07 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 0,91 0,53 0,66 0,21 PAQUED 0,86 0,23 0,74 0,10 0,13 0,07 Équateur Témoins 0,45 0,12 0,68 0,24 PAQUED 0,52 0,09 0,90 0,21 0,15 0,10 Orientale Témoins 0,84 0,25 1,27 0,50 PAQUED 1,17 0,19 1,02 0,32-0,58-0,36 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 1,39 0,38 1,65 0,33 PAQUED 1,29 0,21 1,57 0,23 0,02 0,01 Équateur Témoins 0,90 0,12 1,55 0,37 PAQUED 0,90 0,11 1,50 0,30-0,05-0,03 Orientale Témoins 1,74 0,23 2,02 0,50 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 191

214 PAQUED 1,98 0,24 2,00 0,24-0,26-0,14 Le Tableau D23 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Tableau D23. Compréhension à l'audition : comparaison des moyennes par Classe, Province, Groupe et Sexe Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Témoins Garçons 1,33 0,85 0,56 0,17 Bandundu Filles 0,55 0,28 1,31 0,69 PAQUED Garçons 0,80 0,26 0,34 0,10 Filles 0,78 0,41 0,36 0,10 Témoins Garçons 0,33 0,18 0,36 0,09 2 Équateur Filles 0,15 0,10 0,51 0,25 PAQUED Garçons 0,23 0,05 0,75 0,24 Filles 0,24 0,05 0,69 0,23 Témoins Garçons 0,64 0,23 0,49 0,16 Orientale Filles 0,59 0,20 0,24 0,17 PAQUED Garçons 0,78 0,35 0,62 0,24 Filles 0,86 0,23 0,33 0,12 Témoins Garçons 0,93 0,61 0,54 0,12 Bandundu Filles 0,91 0,47 0,76 0,37 PAQUED Garçons 0,94 0,22 0,78 0,12 4 Filles 0,81 0,28 0,68 0,11 Témoins Garçons 0,44 0,14 0,53 0,23 Équateur Filles 0,47 0,13 0,85 0,22 PAQUED Garçons 0,53 0,10 1,05 0,23 Filles 0,51 0,12 0,74 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

215 Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Témoins Garçons 0,98 0,24 1,15 0,41 Orientale Filles 0,71 0,29 1,43 0,64 PAQUED Garçons 1,24 0,18 1,16 0,35 Filles 1,08 0,23 0,86 0,30 Témoins Garçons 1,46 0,36 1,37 0,23 Bandundu Filles 1,32 0,42 1,94 0,54 PAQUED Garçons 1,27 0,23 1,46 0,12 Filles 1,32 0,20 1,68 0,35 Témoins Garçons 0,89 0,14 1,63 0,44 6 Équateur Filles 0,94 0,15 1,46 0,33 PAQUED Garçons 0,93 0,10 1,70 0,35 Filles 0,86 0,17 1,22 0,29 Témoins Garçons 1,75 0,32 2,03 0,44 Orientale Filles 1,75 0,15 2,02 0,68 PAQUED Garçons 2,09 0,24 2,17 0,25 Filles 1,77 0,25 1,78 0,28 Une nouvelle fois, aucune différence statistiquement significative entre les sexes n'a émergé pour une valeur p < 0,001. L'analyse des distributions des résultats au sein des résultats possibles (de 0 à 5) montre à nouveau les difficultés rencontrées par les élèves dans cet exercice. Les Figures D7 à D9 illustrent ces distributions par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 193

216 Figure D7. Résultats des deuxièmes en Compréhension à l'audition en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1 Item 2 Items 3 Items 4 Items 5 Items Figure D8. Résultats des quatrièmes en Compréhension à l'audition en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1 Item 2 Items 3 Items 4 Items 5 Items 194 Projet d Amélioration de la Qualité de l Education (PAQUED)

217 Figure D9. Résultats des sixièmes en Compréhension à l'audition en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1 Item 2 Items 3 Items 4 Items 5 Items Comme montré antérieurement, un large pourcentage des élèves de deuxième ont obtenu un résultat nul pour cet exercice en 2014, qu'ils proviennent des groupes Témoins ou PAQUED. Au sein des sixièmes, les résultats étaient beaucoup plus variés (une tendance prometteuse par rapport aux deuxièmes) mais toujours inférieurs aux critères de maîtrise de la langue française. Connaissance des Graphèmes Pour l'exercice de Connaissance de Graphèmes, les élèves ont reçu un tableau de 100 éléments contenant dans le désordre les lettres de l'alphabet ainsi que des graphèmes communs à deux lettres. Ils ont reçu l'instruction de donner les sons ou les noms d'autant de graphèmes que possible en une minute. L'exercice s'arrêtait avant la fin de la minute pour les élèves incapables de produire le moindre son parmi les 10 éléments de la première ligne. Les résultats pour cet exercice comprennent le pourcentage d'élèves capables de générer correctement des graphèmes et le nombre de sons ou de noms de graphèmes correctement générés par les élèves en une minute. Le Tableau D24 montre les pourcentages de résultats nuls et d'éléments tentés pour l'exercice de Connaissance des Graphèmes. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 195

218 Tableau D24. Connaissance des Graphèmes : Résultats nuls et pourcentage de tentatives par Classe et Province Classe Province Groupe % Résultats nuls % Réponses Résultat moyen Témoins 26 % 40 % 21 % 21 % 4,34 5,98 Bandundu PAQUED 35 % 54 % 20 % 13 % 3,57 3,49 2 Équateur Témoins 40 % 64 % 18 % 13 % 3,77 4,04 PAQUED 30 % 60 % 27 % 18 % 5,39 5,49 Témoins 51 % 46 % 17 % 18 % 3,53 5,34 Orientale PAQUED 34 % 47 % 23 % 14 % 4,15 3,49 Témoins 8 % 10 % 49 % 46 % 15,53 14,44 Bandundu PAQUED 8 % 15 % 50 % 42 % 14,18 14,01 4 Équateur Témoins 6 % 19 % 50 % 50 % 16,21 19,98 PAQUED 7 % 26 % 56 % 48 % 20,05 17,36 Témoins 4 % 11 % 51 % 52 % 13,56 19,52 Orientale PAQUED 6 % 8 % 59 % 47 % 17,67 16,62 Témoins 1 % 1 % 72 % 70 % 32,03 32,87 Bandundu PAQUED 2 % 4 % 72 % 67 % 29,54 30,16 6 Équateur Témoins 1 % 1 % 74 % 81 % 33,08 42,42 PAQUED 2 % 8 % 74 % 70 % 36,11 31,66 Témoins 3 % 0 % 80 % 72 % 37,10 36,58 Orientale PAQUED 1 % 1 % 85 % 75 % 39,23 37,78 Comme indiqué plus tôt, pour cet exercice, les élèves ont reçu une grille de 100 lettres/graphèmes desquels ils devaient générer les sons en moins de 60 secondes. Cela signifie que même en générant un son par seconde, le résultat moyen serait de 60. En 2014, les moyennes des différents groupes de sixième variaient entre 30,16 et 42,42, ce qui montre que les élèves les plus performants ont été capables de générer un son toutes les secondes et demi. Ces chiffres montrent une amélioration significative par rapport aux élèves de deuxième, capables de générer des graphèmes à un rythme de 3,49 à 5,96 gcpm 196 Projet d Amélioration de la Qualité de l Education (PAQUED)

219 (respectivement un son toutes les 17 secondes et toutes les 10 secondes environ), ainsi qu'une aptitude grandissante pour cette compétence. Le Tableau D25 reflète une comparaison des différences entre 2010 et 2014 dans les groupes Témoins et PAQUED. Une seule différence statistiquement significative a émergé des résultats EDD pour une valeur p < 0,006, ce qui indique que les groupes ont évolué de manière comparable. (L'unique différence résidait dans la performance des élèves de sixième des écoles Témoins d'équateur, qui s'est améliorée entre 2010 et 2014, contrairement à celle des écoles PAQUED, qui s est dégradée. L analyse de l écart des différences résultante était statistiquement significative.) Tableau D25. Connaissance des Graphèmes : Analyse de l écart des différences par Classe, Province et Groupe 2è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 4,34 0,63 5,98 1,96 PAQUED 3,57 0,31 3,49 0,57-1,73-0,19 Équateur Témoins 3,77 0,49 4,04 1,92 PAQUED 5,39 0,79 5,49 0,78-0,17-0,01 Orientale Témoins 3,53 1,14 5,34 2,15 PAQUED 4,15 0,89 3,49 0,45-2,47-0,28 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 15,53 2,38 14,44 2,22 PAQUED 14,18 0,90 14,01 1,61 0,92 0,04 Équateur Témoins 16,21 1,61 19,98 2,29 PAQUED 20,05 1,71 17,36 1,21-6,46-0,30 Orientale Témoins 13,56 3,70 19,52 2,87 PAQUED 17,67 2,02 16,62 2,13-7,01-0,36 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 32,03 2,22 32,87 3,31 PAQUED 29,54 1,97 30,16 3,76-0,23-0,01 Équateur Témoins 33,08 1,98 42,42* 3,51 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 197

220 PAQUED 36,11 1,28 31,66 1,18-13,79-0,60 Orientale Témoins 37,10 1,69 36,58 3,42 * significatif pour une valeur p < 0,006 PAQUED 39,23 1,67 37,78 2,00-0,93-0,04 Le Tableau D26 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Tableau D26. Connaissance des Graphèmes : Moyennes par Classe, Province, Groupe et Sexe Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Témoins Garçons 4,98 0,64 4,54 0,57 Bandundu Filles 3,28 0,69 7,27 3,35 PAQUED Garçons 3,95 0,70 3,82 0,43 Filles 3,21 0,61 3,14 0,89 Témoins Garçons 4,67 0,86 4,10 1,91 2 Équateur Filles 2,56 0,62 3,97 1,99 PAQUED Garçons 5,77 0,66 6,34 0,93 Filles 4,93 1,19 4,50 1,07 Témoins Garçons 3,65 1,53 7,42 2,73 Orientale Filles 3,42 1,22 3,13 1,51 PAQUED Garçons 4,73 0,46 4,22 0,76 Filles 3,52 1,36 2,69 0,37 Témoins Garçons 18,45 2,60 15,64 2,31 4 Bandundu Filles 12,47 1,83 13,37 3,47 PAQUED Garçons 16,82 1,44 15,29 1,56 Filles 12,11 1,25 12,39 2,10 Équateur Témoins Garçons 20,14 2,04 23,71* 2,26 Filles 10,72 0,86 15,85 2, Projet d Amélioration de la Qualité de l Education (PAQUED)

221 Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET PAQUED Garçons 23,21 2,32 19,53 1,49 Filles 16,67 1,59 15,11 1,41 Témoins Garçons 15,07 3,85 22,03 2,74 Orientale Filles 12,07 4,08 15,90 3,67 PAQUED Garçons 19,19 2,23 19,62 2,50 Filles 15,42 1,78 13,20 1,93 Témoins Garçons 35,88 3,04 32,61 3,94 Bandundu Filles 27,16 1,70 33,13 5,57 PAQUED Garçons 31,61 1,59 29,28 1,65 Filles 27,89 3,14 31,06 6,20 Témoins Garçons 33,67 1,47 42,88 3,06 6 Équateur Filles 31,65 3,28 41,93 4,54 PAQUED Garçons 38,27 1,59 35,35 1,96 Filles 33,06 1,40 26,60 1,33 Témoins Garçons 38,84 2,04 37,84 3,27 Orientale Filles 35,38 2,09 34,84 4,40 PAQUED Garçons 40,08 1,90 40,45 1,85 Filles 37,54 1,60 34,21 2,74 Une seule différence statistiquement significative entre les sexes a émergé pour une valeur p < 0,001 ; les garçons de quatrième des écoles Témoins de Province orientale ont fait mieux que les filles en (Cette différence n'était pas présente en 2010.) L'analyse des distributions des résultats par rapport aux résultats possibles (de 0 à 100) montre une nouvelle fois la difficulté éprouvée par les élèves face à cet exercice. Les Figures D10 à D12 illustrent ces distributions par classe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 199

222 Figure D10. Résultats des deuxièmes en Connaissance de Graphèmes en 2014 par Province Figure D11. Résultats des quatrièmes en Connaissance de Graphèmes en 2014 par Province 200 Projet d Amélioration de la Qualité de l Education (PAQUED)

223 Figure D12. Résultats des sixièmes en Connaissance de Graphèmes en 2014 par Province Comme le montrent les Figures D10 à D12, une grande partie des élèves de deuxième ont obtenu en 2010 un résultat situé entre 0 et 20 pour cet exercice, avec un nombre restreint d'élèves obtenant plus de 40. Les quatrièmes ont réalisé moins de résultats nuls, la majorité des élèves obtenant entre 1 et 60 ; les sixièmes, quant à eux, ont en majorité obtenu entre 21 et 60, une mince proportion d'élèves Témoins et PAQUED obtenant un résultat nul. Même si cette distribution est encourageante, cette compétence aurait idéalement dû être maîtrisée par les deuxièmes en Lecture des Mots Familiers L'exercice de Lecture des Mots Familiers n'a été soumis qu'aux élèves de quatrième et de sixième. Pour cet exercice, les élèves ont reçu une liste de 50 mots familiers (par ex., «tu» et «ami») et ont dû en lire autant que possible en une minute. Cet exercice a été interrompu avant la fin de la minute pour les élèves incapables de lire un seul des cinq premiers mots. Les résultats pour cet exercice comprennent le pourcentage d'élèves capables d'identifier correctement des mots et le nombre de mots correctement identifiés par les élèves en une minute (c.-à-d. mcpm). Le Tableau D27 montre les pourcentages de résultats nuls et de réponses données pour l'exercice de Lecture des Mots Familiers. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 201

224 Tableau D27. Lecture des Mots Familiers : Résultats nuls et pourcentage de tentatives par Classe et Province Classe Province Groupe % Résultats nuls % Réponses Résultat moyen Témoins 37 % 80 % 34 % 9 % 8,33 2,05 Bandundu PAQUED 39 % 74 % 29 % 10 % 4,85 2,55 4 Équateur Témoins 16 % 66 % 29 % 18 % 6,86 4,76 PAQUED 12 % 72 % 44 % 18 % 9,06 4,55 Témoins 41 % 50 % 29 % 25 % 6,75 6,59 Orientale PAQUED 12 % 66 % 53 % 17 % 12,61 3,94 Témoins 13 % 32 % 54 % 44 % 16,38 14,15 Bandundu PAQUED 8 % 34 % 54 % 42 % 14,42 14,68 6 Équateur Témoins 0 % 12 % 58 % 63 % 18,48 23,73 PAQUED 3 % 34 % 60 % 46 % 20,04 13,77 Témoins 1 % 29 % 72 % 51 % 23,27 19,67 Orientale PAQUED 1 % 19 % 79 % 57 % 27,26 20,14 Comme le montre le Tableau D27, la lecture de mots familiers a été une tâche compliquée pour ces élèves, la plupart des sixièmes n'étant pas capables de lire les deux tiers des mots en Comme pour les autres exercices, il existe des différences notables entre les résultats des quatrièmes et ceux des sixièmes, donnée qui est prometteuse. Néanmoins, avec des moyennes allant de 13,77 à 23,73 en sixième en 2014, les élèves peuvent encore grandement s'améliorer dans cet exercice qui devrait idéalement avoir été maîtrisé des années auparavant. Le Tableau D28 reflète une comparaison des différences entre 2010 et 2014 au sein des groupes Témoins et PAQUED. Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,008, ce qui indique que les deux groupes ont évolué de manière similaire. 202 Projet d Amélioration de la Qualité de l Education (PAQUED)

225 Tableau D28. Lecture des Mots Familiers : Analyses de l écart des différences par Classe, Province et Groupe 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 8,33 3,49 2,05 0,99 EDD PAQUED 4,85 0,81 2,55 0,55 3,98 0,33 Équateur Témoins 6,86 1,56 4,76 1,42 PAQUED 9,06 0,77 4,55 0,60-2,41-0,19 Orientale Témoins 6,75 3,70 6,59 1,99 PAQUED 12,61 2,90 3,94 0,80-8,52-0,67 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 16,38 2,77 14,15 3,02 EDD PAQUED 14,42 1,11 14,68 3,81 2,50 0,11 Équateur Témoins 18,48 1,24 23,73 5,15 PAQUED 20,04 0,80 13,77 0,99-11,52-0,67 Orientale Témoins 23,27 2,40 19,67 4,55 PAQUED 27,26 3,50 20,14 1,36-3,53-0,18 TE TE Le Tableau D29 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Tableau D29. Lecture des Mots Familiers : Comparaison des moyennes par Classe, Province, Groupe et Sexe Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET Témoins Garçons 11,56 3,39 1,78 0,72 4 Bandundu Filles 5,26 2,79 2,29 1,66 PAQUED Garçons 5,32 1,08 3,21 0,68 Filles 4,30 0,82 1,71 0,46 Équateur Témoins Garçons 9,23 1,75 5,55 1,82 Filles 3,29 1,05 3,91 1,30 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 203

226 Classe Province Groupe Sexe Début 2010 Fin 2014 Moyenne ET Moyenne ET PAQUED Garçons 10,56 0,80 5,79 0,78 Filles 7,41 0,99 3,26 0,64 Témoins Garçons 8,17 3,64 7,55 1,96 Orientale Filles 5,54 4,28 5,21 2,23 PAQUED Garçons 13,46 3,08 5,51 1,13 Filles 11,16 2,69 2,14 0,69 Témoins Garçons 18,57 3,22 16,40 2,90 Bandundu Filles 13,28 2,79 11,92 5,53 PAQUED Garçons 16,48 0,97 13,28 1,69 Filles 12,79 1,93 16,13 6,14 Témoins Garçons 19,08 0,81 24,90 4,72 6 Équateur Filles 16,94 2,76 22,47 6,22 PAQUED Garçons 21,84 1,52 16,40 1,10 Filles 17,29 1,78 10,18 1,99 Témoins Garçons 24,96 2,17 20,61 4,25 Orientale Filles 21,62 2,48 18,39 5,39 PAQUED Garçons 28,55 3,79 23,71* 1,61 * significatif pour une valeur p < 0,002 Filles 25,06 3,36 15,37 1,43 Une seule différence statistiquement significative entre les sexes a émergé pour une valeur p < 0,002 ; les garçons de sixième des écoles PAQUED de Province orientale ont fait mieux que les filles en (Cette différence n'était pas présente en 2010.) L'analyse des distributions des résultats par rapport aux résultats possibles (de 0 à 50) montre une nouvelle fois la difficulté des élèves face à cet exercice. Les Figures D13 et D14 illustrent ces distributions. 204 Projet d Amélioration de la Qualité de l Education (PAQUED)

227 Figure D13. Résultats des quatrièmes en Lecture des Mots Familiers en 2014 par Province Figure D14. Résultats des sixièmes en Lecture des Mots Familiers en 2014 par Province Comme le montrent les Figures D13 et D14, un grand pourcentage (50 % du groupe Témoin de Province orientale et plus pour les autres groupes) des élèves de quatrième ont obtenu un résultat nul pour cet exercice, bien que ces résultats varient entre 1 et 30 mots par minute. En sixième, la distribution était plus étalée ; presque 20 % des élèves Témoins en Équateur et en Province orientale lisant entre 41 et 50 mots par minute. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 205

228 Lecture des Mots Inventés L'exercice de Lecture des Mots Inventés n'a également été soumis qu'aux élèves de quatrième et de sixième. Pour cet exercice, les élèves ont reçu une liste de 50 mots inventés (par ex., «tal» et «vor») et ont dû lire autant de mots que possible en une minute. Cet exercice a été interrompu avant la fin de la minute pour les élèves incapables de lire un seul des cinq premiers mots. Les résultats pour cet exercice comprennent le pourcentage d'élèves capables d'identifier correctement des mots et le nombre de mots correctement identifiés par les élèves en une minute (c.-à-d. mcpm). Le Tableau D30 montre les pourcentages de résultats nuls et de mots donnés pour l'exercice de Lecture des Mots Inventés. Tableau D30. Lecture des Mots Inventés : Résultats nuls et pourcentage de tentatives par Classe et Province % Résultats nuls % Réponses Résultat moyen Classe Province Groupe Bandundu Témoins 74 % 83 % 15 % 9 % 3,25 2,20 PAQUED 74 % 77 % 12 % 9 % 2,11 2,02 4 Équateur Témoins 70 % 74 % 12 % 15 % 2,92 3,81 PAQUED 48 % 72 % 26 % 16 % 5,23 3,94 Orientale Témoins 73 % 54 % 16 % 22 % 3,79 5,42 PAQUED 50 % 67 % 31 % 16 % 6,72 3,54 Bandundu Témoins 34 % 30 % 39 % 40 % 10,99 11,91 PAQUED 36 % 39 % 40 % 35 % 10,11 10,68 6 Équateur Témoins 17 % 19 % 44 % 56 % 12,64 18,70 PAQUED 19 % 41 % 45 % 38 % 13,74 10,46 Orientale Témoins 17 % 28 % 56 % 45 % 16,74 15,24 PAQUED 11 % 22 % 70 % 51 % 21,29 15,66 Comme pour l'exercice de Lecture des Mots Familiers, les résultats obtenus par les élèves en Lecture des Mots Inventés étaient plutôt bas. Dans les différents groupes, les résultats nuls ont varié en 2014 selon les provinces entre 54 % et 83 % en quatrième, et entre 19 % et 41 % en sixième. Les moyennes en 2014 au Bandundu étaient particulièrement faibles tant pour les groupes Témoins que PAQUED ; les résultats étaient meilleurs dans la Province orientale. 206 Projet d Amélioration de la Qualité de l Education (PAQUED)

229 Le Tableau D31 reflète une comparaison des différences entre 2010 et 2014 das les groupes Témoins et PAQUED. Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,008, ce qui indique que les deux groupes ont évolué de manière similaire. Tableau D31. Lecture des Mots Inventés : Analyse de l écart des différences par Classe, Province et Groupe 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 3,25 1,42 2,20 1,24 EDD PAQUED 2,11 0,34 2,02 0,38 0,96 0,10 Équateur Témoins 2,92 0,82 3,81 1,31 PAQUED 5,23 0,52 3,94 0,58-2,17-0,21 Orientale Témoins 3,79 2,20 5,42 1,67 PAQUED 6,72 2,29 3,54 0,66-4,81-0,44 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 10,99 1,74 11,91 2,63 TE PAQUED 10,11 1,09 10,68 2,80-0,35-0,02 Équateur Témoins 12,64 1,23 18,70 3,63 PAQUED 13,74 0,60 10,46 0,77-9,33-0,61 Orientale Témoins 16,74 1,91 15,24 3,21 PAQUED 21,29 2,30 15,66 1,19-4,15-0,25 Le Tableau D32 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 207

230 Tableau D32. Lecture des Mots Inventés : Comparaison des moyennes par Classe, Province, Groupe et Sexe Début 2010 Fin 2014 Classe Province Groupe Sexe Moyenne ET Moyenne ET 4 6 Bandundu Équateur Orientale Bandundu Équateur Orientale * significatif pour une valeur p < 0,002 Témoins Garçons 4,39 1,83 1,61 0,65 Filles 2,04 0,98 2,73 2,12 PAQUED Garçons 2,43 0,60 2,53 0,43 Filles 1,80 0,41 1,39 0,41 Témoins Garçons 4,27 0,95 4,44 1,79 Filles 1,04 0,38 3,12 1,09 PAQUED Garçons 6,56 0,89 4,64 0,70 Filles 3,84 0,44 3,22 0,58 Témoins Garçons 4,07 1,93 6,05 1,57 Filles 3,41 2,83 4,52 1,97 PAQUED Garçons 7,95 2,73 4,95 0,96 Filles 4,93 1,74 1,94 0,42 Témoins Garçons 12,74 1,83 13,32 2,39 Filles 8,79 1,95 10,50 4,73 PAQUED Garçons 11,33 0,75 9,83 1,31 Filles 9,12 1,83 11,54 4,40 Témoins Garçons 13,34 0,82 19,35 2,85 Filles 10,95 2,16 18,00 5,10 PAQUED Garçons 15,48 1,07 13,34 1,26 Filles 11,28 1,24 6,54 1,23 Témoins Garçons 17,02 2,30 16,07 3,06 Filles 16,51 2,12 14,11 3,78 PAQUED Garçons 22,23 2,49 18,42* 1,35 Filles 19,74 2,14 11,96 1,29 Une seule différence statistiquement significative a émergé pour une valeur p < 0,002 ; les garçons de sixième des écoles PAQUED de Province orientale ont fait mieux que les filles en (Cette différence n'était pas présente en 2010.) L'analyse des distributions des résultats par rapport aux résultats possibles (de 0 à 50) montre une nouvelle fois la difficulté des élèves face à cet exercice. Les Figures D15 et D16illustrent ces distributions. 208 Projet d Amélioration de la Qualité de l Education (PAQUED)

231 FigureD15. Résultats des quatrièmes en Lecture des Mots Inventés en 2014 par Province Figure D16. Résultats des sixièmes en Lecture des Mots Inventés en 2014 par Province Comme l'ont montré les Figures D15et D16, et comme c'était le cas en Lecture des Mots Familiers, un large pourcentage des élèves ont obtenu un résultat de zéro non-mot par minute en quatrième ; quelques élèves seulement ont franchi la barre des 30 non-mots par minute. Même si la distribution des résultats était plus équilibrée en sixième, le nombre d'élèves capables de lire plus de 30 non-mots par minute est resté très limité. Cependant, le nombre d'élèves capables de lire entre 1 et 30 non-mots par minute était plus élevé en sixième qu'en quatrième. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 209

232 Lecture de Texte L'exercice de Lecture de Texte a uniquement été soumis aux élèves de quatrième et de sixième. Pour cet exercice, les élèves ont reçu un passage contenant 54 mots et ont dû en lire le plus possible en moins d'une minute. Les résultats pour cet exercice comprennent le pourcentage d'élèves capables de lire des mots à haute voix ainsi que le nombre de mots correctement prononcés par les élèves en moins d'une minute. Le Tableau D33 montre les pourcentages de résultats nuls et d'éléments lus pour l'exercice de Lecture de Texte. Tableau D33. Lecture de Texte : Résultats nuls et pourcentage de tentatives par Classe et Province % Résultats nuls % Réponses Résultat moyen Classe Province Groupe Bandundu Témoins 72 % 71 % 17 % 15 % 5,40 4,32 PAQUED 65 % 60 % 19 % 20 % 4,41 5,52 4 Équateur Témoins 68 % 54 % 18 % 30 % 5,59 10,46 PAQUED 59 % 59 % 28 % 28 % 8,77 9,51 Orientale Témoins 71 % 38 % 22 % 37 % 6,72 12,09 PAQUED 53 % 49 % 38 % 30 % 11,20 8,41 Bandundu Témoins 44 % 27 % 43 % 56 % 16,55 24,43 PAQUED 36 % 26 % 47 % 52 % 15,50 24,72 6 Équateur Témoins 22 % 8 % 59 % 74 % 24,64 40,75 PAQUED 25 % 30 % 57 % 55 % 25,40 24,42 Orientale Témoins 17 % 11 % 70 % 64 % 30,78 33,16 PAQUED 10 % 11 % 82 % 70 % 39,42 34,63 Comme le montre le Tableau D33, les moyennes en 2014 variaient entre 24,42 (écoles Témoins d'équateur) et 40,75 (écoles PAQUED d'équateur) en sixième. Le fait que les élèves aient obtenu de meilleurs résultats pour cet exercice qu'en Lecture des Mots Familiers n'est pas surprenant ; il est généralement plus facile de lire des mots dans un texte suivi que des termes isolés. Cela dit, même une moyenne de 41 mots par minute ne représente qu'un mot toutes les secondes et demi. Cette vitesse de lecture suggère que les élèves se concentrait sur la lecture de chaque mot, alors qu'en sixième, cette attention devrait être dirigée sur la compréhension générale du texte. 210 Projet d Amélioration de la Qualité de l Education (PAQUED)

233 Le Tableau D34 reflète une comparaison des différences entre 2010 et 2014 dans les groupes Témoins et PAQUED. Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,008, ce qui indique que les deux groupes ont évolué de manière similaire. Tableau D34. Lecture de Texte : Analyse de l écart des différences par Classe, Province et Groupe 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 5,40 1,75 4,32 2,31 EDD PAQUED 4,41 0,99 5,52 0,88 2,19 0,12 Équateur Témoins 5,59 1,19 10,46 2,47 PAQUED 8,77 0,78 9,51 1,09-4,13-0,20 Orientale Témoins 6,72 3,73 12,09 3,77 PAQUED 11,20 3,46 8,41 1,60-8,15-0,43 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 16,55 3,31 24,43 5,22 PAQUED 15,50 1,95 24,72 5,98 1,35 0,04 Équateur Témoins 24,64 3,40 40,75 6,92 PAQUED 25,40 1,74 24,42 1,79-17,10-0,59 Orientale Témoins 30,78 3,28 33,16 6,93 PAQUED 39,42 4,54 34,63 2,03-7,17-0,23 TE Le Tableau D35 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 211

234 Tableau D35. Lecture de Texte : Comparaison des moyennes par Classe, Province, Groupe et Sexe Début 2010 Fin 2014 Classe Province Groupe Sexe Moyenne ET Moyenne ET Témoins Garçons 7,61 2,43 3,05 1,16 Bandundu Filles 3,02 1,19 5,45 3,93 PAQUED Garçons 4,75 1,46 6,53 0,97 Filles 4,05 0,74 4,25 1,01 Témoins Garçons 7,64 1,83 11,55 2,39 4 Équateur Filles 2,74 1,27 9,25 3,27 PAQUED Garçons 10,74 1,25 11,68 1,55 Filles 6,81 1,35 7,26 1,70 Témoins Garçons 7,01 3,13 13,47 3,73 Orientale Filles 6,30 5,21 10,09 4,31 PAQUED Garçons 12,47 3,72 10,73 1,98 Filles 9,49 3,21 5,76 1,46 Témoins Garçons 19,10 3,54 25,03 4,39 Bandundu Filles 13,19 3,87 23,83 9,28 PAQUED Garçons 16,40 1,51 22,62 2,70 Filles 14,77 2,86 26,86 9,38 Témoins Garçons 25,64 2,51 42,76 6,02 6 Équateur Filles 22,21 5,42 38,61 9,37 PAQUED Garçons 27,25 2,32 29,82 2,32 Filles 22,78 3,24 17,03 2,41 Témoins Garçons 31,23 3,48 33,84 5,90 Orientale Filles 30,45 3,85 32,23 8,78 PAQUED Garçons 41,19 4,92 39,63* 2,65 Filles 36,48 4,43 27,95 1, Projet d Amélioration de la Qualité de l Education (PAQUED)

235 Une seule différence statistiquement significative a émergé pour une valeur p < 0,002 ; les garçons de sixième des écoles PAQUED de Province orientale ont fait mieux que les filles en (Cette différence n'existait pas en 2010.) L'analyse des distributions des résultats par rapport aux résultats possibles (de 0 à 55) montre une nouvelle fois la difficulté éprouvée par les élèves face à cet exercice. Les Figure D17 et D18 illustrent ces distributions. Figure D17. Résultats des quatrièmes en Lecture de Texte en 2014 par Province Projet d Amélioration de la Qualité de l Éducation (PAQUED) 213

236 Figure D18. Résultats des sixièmes en Lecture de Texte en 2014 par Province À nouveau, alors qu'une grande partie des élèves de quatrième ont obtenu un résultat nul, la distribution en sixième est plus éloignée de zéro, allant de 41 à 55 mots par minute. Il est intéressant de remarquer que même en sixième, presque 30 % des élèves du Bandundu (écoles Témoins et PAQUED) et d'équateur (écoles PAQUED) ne parvenaient toujours pas à lire le moindre mot correctement. Néanmoins, de manière générale, le fait que les élèves lisent à un rythme approchant celui requis pour comprendre le texte est encourageant. Compréhension du Texte Lu Après avoir lu le passage de l'exercice de Lecture de Texte, les élèves ont dû répondre à cinq questions afin d'évaluer leur compréhension basique de ce passage. Les résultats pour l'exercice de Compréhension du Texte Lu comprennent le pourcentage d'élèves capables de répondre à des questions de compréhension, par rapport au nombre d'élèves ayant tenté de répondre à chaque question. 58 Le Tableau D36 montre les pourcentages de résultats nuls et de questions tentées pour l'exercice de Compréhension du Texte Lu. Tableau D36. Compréhension du Texte Lu : Résultats nuls et pourcentage de tentatives par Classe et Province % Résultats nuls % Réponses Résultat moyen Classe Province Groupe Bandundu Témoins 87 % 96 % 10 % 3 % 0,23 0,13 58 Les élèves devaient seulement répondre aux questions couvrant les lignes du passage qu'ils avaient pu lire en une minute. 214 Projet d Amélioration de la Qualité de l Education (PAQUED)

237 Classe Province Groupe % Résultats nuls % Réponses Résultat moyen PAQUED 86 % 95 % 10 % 2 % 0,18 0,08 Équateur Témoins 77 % 91 % 17 % 3 % 0,40 0,15 PAQUED 67 % 89 % 22 % 6 % 0,63 0,22 Orientale Témoins 86 % 79 % 9 % 11 % 0,22 0,48 PAQUED 73 % 94 % 17 % 3 % 0,44 0,09 Bandundu Témoins 67 % 59 % 16 % 21 % 0,48 0,85 PAQUED 70 % 65 % 16 % 18 % 0,48 0,77 6 Équateur Témoins 46 % 57 % 28 % 19 % 1,04 0,87 PAQUED 46 % 72 % 27 % 13 % 1,08 0,53 Orientale Témoins 65 % 59 % 13 % 20 % 0,51 0,93 PAQUED 52 % 49 % 18 % 23 % 0,69 1,00 Comme le montre le Tableau D36, la plupart des élèves des différents groupes ont été incapables de répondre correctement, voire de tenter de répondre à la moindre question de compréhension. Dans toutes les provinces, plus de 40 % des élèves ont obtenu un résultat nul - même en Les pourcentages de questions tentées et les moyennes étaient aussi bas les uns que les autres, variant entre 13 % et 23 % en 2014 chez les sixièmes. Comme écrit précédemment, les élèves n'ont reçu des questions de compréhension que pour la partie du texte qu'ils avaient pu lire. Les élèves avaient de manière générale été capables de lire jusqu'à 41 mots. Ainsi, ils ont en moyenne dû répondre à quatre questions. Néanmoins, le taux de compréhension pour ces questions est resté relativement bas. Le Tableau D37 reflète une comparaison des différences entre 2010 et 2014 pour les groupes Témoins et PAQUED. Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,008, ce qui indique que les deux groupes ont évolué de manière similaire. Tableau D37. Compréhension du Texte Lu : Analyse de l écart des différences par Classe, Province et Groupe 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 0,23 0,09 0,13 0,11 EDD TE Projet d Amélioration de la Qualité de l Éducation (PAQUED) 215

238 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE PAQUED 0,18 0,05 0,08 0,03 0,01 0,01 Équateur Témoins 0,40 0,12 0,15 0,08 PAQUED 0,63 0,10 0,22 0,08-0,16-0,13 Orientale Témoins 0,22 0,13 0,48 0,24 PAQUED 0,44 0,11 0,09 0,03-0,60-0,74 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 0,48 0,08 0,85 0,31 PAQUED 0,48 0,16 0,77 0,30-0,08-0,05 Équateur Témoins 1,04 0,12 0,87 0,30 PAQUED 1,08 0,16 0,53 0,13-0,38-0,24 Orientale Témoins 0,51 0,07 0,93 0,39 PAQUED 0,69 0,10 1,00 0,14-0,11-0,08 Le Tableau D38 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Tableau D38. Compréhension du Texte Lu : Comparaison des moyennes par Classe, Province, Groupe et Sexe Début 2010 Fin 2014 Classe Province Groupe Sexe Moyenne ET Moyenne ET Témoins Garçons 0,37 0,15 0,02 0,01 Bandundu Filles 0,09 0,05 0,23 0,19 PAQUED Garçons 0,18 0,05 0,09 0,03 4 Filles 0,18 0,08 0,07 0,03 Témoins Garçons 0,53 0,15 0,14 0,09 Équateur Filles 0,23 0,09 0,16 0,08 PAQUED Garçons 0,86 0,14 0,28 0,10 Filles 0,39 0,06 0,17 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

239 Début 2010 Fin 2014 Classe Province Groupe Sexe Moyenne ET Moyenne ET Témoins Garçons 0,23 0,11 0,47 0,28 Orientale Filles 0,17 0,10 0,49 0,23 PAQUED Garçons 0,44 0,12 0,11 0,05 Filles 0,45 0,13 0,06 0,03 Témoins Garçons 0,51 0,12 0,64 0,15 Bandundu Filles 0,44 0,09 1,06 0,54 PAQUED Garçons 0,60 0,22 0,51 0,10 Filles 0,39 0,14 1,03 0,46 Témoins Garçons 1,05 0,12 0,87 0,37 6 Équateur Filles 1,02 0,19 0,87 0,27 PAQUED Garçons 1,16 0,19 0,68 0,17 Filles 0,97 0,13 0,32 0,08 Témoins Garçons 0,65 0,06 1,02 0,37 Orientale Filles 0,36 0,07 0,81 0,46 PAQUED Garçons 0,66 0,08 1,09 0,17 Filles 0,74 0,17 0,90 0,14 Aucune différence statistiquement significative entre les sexes n'a émergé dans aucune province pour une valeur p < 0,002. L'analyse de la distribution des résultats par rapport aux résultats possibles (de 0 à 5) montre une nouvelle fois la difficulté éprouvée par les élèves face à cet exercice. Les Figures D19 et D20 illustrent cette distribution. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 217

240 Figure D19. Résultats des quatrièmes en Compréhension du Texte Lu en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1 Item 2 Items 3 Items 4 Items 5 Items Figure D20. Résultats des sixièmes en Compréhension du Texte Lu en 2014 par Province Proportion d'élèves Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Bandundu Equateur Orientale Control PAQUED 0 Items 1 Item 2 Items 3 Items 4 Items 5 Items Étant donné les résultats généralement bas pour l'exercice de Lecture de Texte, les élèves ont reçu un nombre limité de questions de compréhension. Les élèves ayant obtenu un résultat nul à l'exercice de Compréhension du Texte Lu incluent également ceux qui n'ont pas pu lire une partie assez importante du texte pour recevoir la première question de compréhension. Comme le montrent les Figures D19 et D20, une écrasante majorité des élèves ont obtenu un résultat nul pour cet exercice en quatrième. Même en sixième, plus 218 Projet d Amélioration de la Qualité de l Education (PAQUED)

241 de la moitié des élèves ont obtenu un résultat nul dans tous les groupes, sauf les élèves PAQUED de Province orientale. Les Figures D21 et D22 montrent à quel niveau de lecture correspond chaque niveau de compréhension ; cette analyse nous donne un autre aperçu de la relation entre lecture et compréhension. Figure D21. Correspondance entre Lecture de Texte et Compréhension du Texte Lu chez les quatrièmes Figure D22. Correspondance entre Lecture de Texte et Compréhension du Texte Lu chez les sixièmes Projet d Amélioration de la Qualité de l Éducation (PAQUED) 219

242 Les Figures D21 etd22 illustrent clairement la relation entre les niveaux de lecture et de compréhension. Même si de nombreuses données aberrantes apparaissent, de manière générale, les élèves de quatrième lisant entre 30 et 40 mots par minute ont eu tendance à répondre correctement à une question de compréhension, tandis que ceux capables d'en lire entre 60 et 70 donnaient quatre à cinq bonnes réponses. En sixième, les résultats entre 40 et 50 en Lecture de Texte correspondaient à une bonne réponse de compréhension ; ceux situés entre 70 et 80 correspondaient à des résultats de quatre à cinq bonnes réponses. Écriture d'une Phrase Complète Pour l'exercice d'écriture d'une Phrase Complète, les examinateurs ont lu une phrase courte aux élèves («Mon ami s'appelle Bola.»), tandis que les élèves tentaient de l'écrire. Les trois mots évalués étaient «mon», «ami», et «appelle». Les résultats de cet exercice reprennent le nombre de mots correctement orthographiés. Tableau D39. Écriture d'une Phrase Complète : Résultats nuls et pourcentage de tentatives par Classe et Province % Résultats nuls % Réponses Résultat moyen Classe Province Groupe Bandundu Témoins 5 % 61 % 35 % 21 % 2,03 0,59 PAQUED 4 % 54 % 33 % 25 % 1,98 0,71 4 Équateur Témoins 7 % 44 % 32 % 34 % 1,91 0,97 PAQUED 4 % 44 % 34 % 34 % 2,03 0,97 Orientale Témoins 10 % 48 % 26 % 28 % 1,51 0,81 PAQUED 5 % 55 % 37 % 23 % 2,07 0,68 Bandundu Témoins 1 % 22 % 50 % 46 % 2,97 1,39 PAQUED 0 % 27 % 48 % 49 % 2,85 1,46 6 Équateur Témoins 3 % 15 % 46 % 65 % 2,76 1,93 PAQUED 0 % 27 % 47 % 44 % 2,83 1,32 Orientale Témoins 1 % 21 % 50 % 47 % 2,90 1,42 PAQUED 1 % 20 % 57 % 54 % 3,23 1, Projet d Amélioration de la Qualité de l Education (PAQUED)

243 Le Tableau D39 montre les pourcentages de résultats nuls et de mots écrits pour l'exercice d'écriture d'une Phrase Complète. Il est intéressant de remarquer que le nombre de résultats nuls était plus important en 2014 qu'en En 2014, les élèves de sixième du Bandundu ont obtenu le plus haut pourcentage de résultats nuls, avec 22 % pour les élèves Témoins et 27 % pour les élèves PAQUED. Ces données reflètent la difficulté générale imposée par l'exercice d Écriture d une Phrase Complète, même en sixième. Une autre statistique intéressante est la diminution des moyennes tant pour les quatrièmes que pour les sixièmes entre 2010 et Ces éléments seront donc particulièrement dignes d'intérêt lors des tests suivants. Le Tableau D40 reflète une comparaison des différences entre 2010 et 2014 dans les groupes Témoins et PAQUED. Aucune différence statistiquement significative n'a émergé des résultats EDD pour une valeur p < 0,008, ce qui indique que les deux groupes ont évolué de manière similaire. Tableau D40. Écriture d'une Phrase Complète : Analyse de l écart des différences par Classe, Province et Groupe 4è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET Bandundu Témoins 2,03 0,19 0,59 0,13 EDD PAQUED 1,98 0,09 0,71 0,07 0,18 0,10 Équateur Témoins 1,91 0,32 0,97 0,14 PAQUED 2,03 0,15 0,97 0,11-0,12-0,07 Orientale Témoins 1,51 0,25 0,81 0,16 PAQUED 2,07 0,15 0,68 0,08-0,69-0,50 6è Début 2010 Fin 2014 Province Groupe Moyenne ET Moyenne ET EDD TE Bandundu Témoins 2,97 0,09 1,39 0,19 PAQUED 2,85 0,16 1,46 0,18 0,19 0,11 Équateur Témoins 2,76 0,27 1,93 0,21 PAQUED 2,83 0,20 1,32 0,11-0,68-0,42 Orientale Témoins 2,90 0,18 1,42 0,21 PAQUED 3,23 0,20 1,60 0,07-0,15-0,10 TE Le Tableau D41 procure une comparaison des moyennes pour cet exercice par classe, province, groupe et sexe. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 221

244 Tableau D41. Écriture d'une Phrase Complète : Comparaison des moyennes par Classe, Province, Groupe et Sexe. Début 2010 Fin 2014 Classe Province Groupe Sexe Moyenne ET Moyenne ET Témoins Garçons 2,24 0,22 0,66 0,20 Bandundu Filles 1,83 0,14 0,53 0,21 PAQUED Garçons 2,14 0,17 0,88 0,10 Filles 1,89 0,17 0,50 0,09 Témoins Garçons 2,17 0,28 1,10 0,14 4 Équateur Filles 1,56 0,27 0,82 0,20 PAQUED Garçons 2,19 0,23 1,07 0,14 Filles 1,87 0,09 0,84 0,12 Témoins Garçons 1,53 0,24 0,96 0,19 Orientale Filles 1,48 0,27 0,59 0,21 PAQUED Garçons 2,22 0,16 0,75 0,08 Filles 1,84 0,15 0,61 0,12 Témoins Garçons 3,11 0,14 1,50 0,18 Bandundu Filles 2,79 0,08 1,26 0,34 PAQUED Garçons 2,98 0,12 1,49 0,08 Filles 2,75 0,22 1,44 0,37 Témoins Garçons 2,82 0,18 1,79 0,24 6 Équateur Filles 2,61 0,46 2,07 0,22 PAQUED Garçons 2,94 0,27 1,43 0,13 Filles 2,66 0,14 1,15 0,10 Témoins Garçons 2,75 0,19 1,42 0,18 Orientale Filles 2,97 0,24 1,42 0,28 PAQUED Garçons 3,28 0,19 1,81 0,10 Filles 3,17 0,22 1,30 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

245 Aucune différence statistiquement significative entre les sexes n'a émergé dans aucune province pour une valeur p < 0,002. L'analyse de la distribution des résultats dans le champ des résultats (de 0 à 3) montre encore la difficulté des élèves avec cet exercice. Les Figures D23 et D24 illustrent cette distribution. Figure D23. Résultats des quatrièmes en Écriture d'une Phrase Complète en 2014 par Province Figure D24. Résultats des sixièmes en Écriture d'une Phrase Complète en 2014 par Province Projet d Amélioration de la Qualité de l Éducation (PAQUED) 223

246 Pour l'exercice d'écriture d'une Phrase Complète, les élèves ont été évalués sur l'orthographe de trois mots au sein d'une phrase plus longue. Comme le montrent les Figures D23 et D24, les résultats des quatrièmes ont été relativement bien distribués entre un et deux mots corrects. En tout, moins de 20 % des élèves ont été capables d'écrire les trois termes correctement. Néanmoins, les résultats ont été meilleurs en sixième dans tous les groupes. Analyse des caractéristiques des élèves Une série de tests chi carré ont été effectués pour déterminer à quel point certaines caractéristiques d'un élève peuvent être liées à ses résultats. Comme les meilleurs résultats ont été observés dans l'exercice de Connaissance des Graphèmes, ce sont les résultats de 2014 pour cette tâche qui ont servi d'indicateur de la compétence des élèves. De plus, étant donné les résultats relativement mauvais des élèves pour cet exercice, seuls les élèves aux meilleures notes (c.-à-d., les 20 % les plus performants) ont été pris en compte pour les analyses suivantes. Le Tableau D42 montre les pourcentages pondérés, les statistiques chi carré et les valeurs p pour chaque caractéristique pertinente de l'élève. Tableau D42. Analyse chi carré des caractéristiques des élèves de deuxième performants dans l'exercice de Connaissance des Graphèmes Caractéristique de l'élève Pourcentages pondérés L'élève a un manuel en classe Élèves non performants Élèves performants Total Non 93 % 87 % 92 % Oui 7 % 14 % 9 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 47,9186 F basé sur le modèle (1,00, 25,00) = 4,1631 p = 0,052 Un membre du foyer de l'élève sait lire Non 23 % 18 % 22 % Oui 77 % 82 % 78 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 13,7059 F basé sur le modèle (1,00, 25,00) = 0,8649 p = 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

247 Caractéristique de l'élève Pourcentages pondérés L'élève a au moins un livre chez lui Non 88 % 86 % 88 % Oui 12 % 14 % 12 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 3,4217 F basé sur le modèle (1,00, 25,00) = 0,2210 p = 0,642 L'élève est allé à l'école maternelle Élèves non performants Élèves performants Total Non 84 % 76 % 82 % Oui 16 % 24 % 18 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 36,0098 F basé sur le modèle (1,00, 25,00) = 2,8658 p = 0,103 L'élève a quelqu'un pour l'aider avec ses devoirs Non 45 % 59 % 49 % Oui 55 % 41 % 51 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 64,9685 F basé sur le modèle (1,00, 25,00) = 7,0944 p = 0,013 L'élève parle français chez lui Non 95 % 91 % 94 % Oui 5 % 10 % 6 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 32,2163 F basé sur le modèle (1,00, 25,00) = 2,4737 p = 0,128 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 225

248 Le Tableau D42 montre qu'aucune relation statistiquement significative n'a pu être établie entre ces caractéristiques pour les élèves performants dans l'exercice de Connaissance des Graphèmes pour une valeur p < 0,002. Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les mêmes province, sexe et SSE. Ces analyses n'ont dévoilé aucune relation statistiquement significative. Le Tableau D43 montre les pourcentages pondérés, les statistiques chi carré et les valeurs p pour chaque caractéristique pertinente de l'élève de quatrième. Tableau D43. Analyse chi carré des caractéristiques des élèves de quatrième performants dans l'exercice de Connaissance des Graphèmes Caractéristique de l'élève Pourcentages pondérés L'élève a un manuel en classe Élèves non performants Élèves performants Total Non 84 % 87 % 85 % Oui 16 % 13 % 15 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 4,2111 F basé sur le modèle (1,00, 25,00) = 0,4345 p = 0,516 Un membre du foyer de l'élève sait lire Non 19 % 21 % 20 % Oui 81 % 79 % 80 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 1,4686 F basé sur le modèle (1,00, 25,00) = 0,1651 p = 0,688 L'élève a au moins un livre chez lui Non 80 % 83 % 81 % Oui 20 % 17 % 19 % 226 Projet d Amélioration de la Qualité de l Education (PAQUED)

249 Caractéristique de l'élève Pourcentages pondérés Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 4,6050 F basé sur le modèle (1,00, 25,00) = 0,3469 p = 0,561 L'élève est allé à l'école maternelle Non 84 % 76 % 82 % Oui 16 % 25 % 18 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 45,3706 F basé sur le modèle (1,00, 25,00) = 3,3816 p = 0,078 L'élève a quelqu'un pour l'aider avec ses devoirs Non 57 % 55 % 56 % Oui 44 % 45 % 44 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 1,2380 F basé sur le modèle (1,00, 25,00) = 0,0581 p = 0,811 L'élève parle français chez lui Non 96 % 82 % 93 % Oui 4 % 18 % 7 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 283,1895 F basé sur le modèle (1,00, 25,00) = 34,1842 p = 0,000 Le Tableau D43 montre que le fait que l'élève de quatrième parle français chez lui était une caractéristique reliée directement (pour une valeur p < 0,002) à des bons résultats dans l'exercice de Connaissance des Graphèmes. Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les Projet d Amélioration de la Qualité de l Éducation (PAQUED) 227

250 mêmes province, sexe et SSE. Ces analyses, présentés en tableau D44, ont dévoilé les relations statistiques significatives suivantes. Tableau D44. Régression logistique des caractéristiques des élèves de quatrième Caractéristique Valeur p L'élève parle français chez lui 0,000* * significatif pour une valeur p < 0,002 Le Tableau D45 montre les pourcentages pondérés, les statistiques chi carré et les valeurs p pour chaque caractéristique pertinente de l'élève de sixième. Tableau D45. Analyse chi carré des caractéristiques des élèves de sixième performants dans l'exercice de Connaissance des Graphèmes Caractéristique de l'élève L'élève a un manuel en classe Pourcentages pondérés Élèves non performants Élèves performants Total Non 85 % 75 % 82 % Oui 15 % 25 % 18 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 73,6352 F basé sur le modèle (1,00, 25,00) = 5,8873 p = 0,023 Un membre du foyer de l'élève sait lire Non 16 % 10 % 14 % Oui 85 % 90 % 86 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 25,3480 F basé sur le modèle (1,00, 25,00) = 4,5932 p = 0,042 L'élève a au moins un livre chez lui Élèves non performants Élèves performants Total Non 77 % 74 % 76 % Oui 24 % 26 % 24 % 228 Projet d Amélioration de la Qualité de l Education (PAQUED)

251 Caractéristique de l'élève Pourcentages pondérés Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 4,1864 F basé sur le modèle (1,00, 25,00) = 0,2058 p = 0,654 L'élève est allé à l'école maternelle Non 84 % 74 % 81 % Oui 16 % 26 % 19 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 70,5736 F basé sur le modèle (1,00, 25,00) = 3,8185 p = 0,062 L'élève a quelqu'un pour l'aider avec ses devoirs Non 62 % 60 % 61 % Oui 39 % 40 % 39 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 0,4927 F basé sur le modèle (1,00, 25,00) = 0,0284 p = 0,867 L'élève parle français chez lui Non 93 % 89 % 91 % Oui 7 % 12 % 9 % Total 100 % 100 % 100 % Pearson : Chi carré non-corrigé (1) = 24,5393 F basé sur le modèle (1,00, 25,00) = 2,4188 p = 0,132 Comme le montre le Tableau D45, chez les sixièmes, aucune caractéristique n'a pu être liée à de bons résultats dans l'exercice de Connaissance des Graphèmes pour une valeur p < 0,002. Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les Projet d Amélioration de la Qualité de l Éducation (PAQUED) 229

252 mêmes province, sexe et SSE. Ces analyses n'ont montré aucune relation statistiquement significative. Analyse des caractéristiques de l'enseignant Deux facteurs composants principaux ont été établis pour explorer le lien entre les caractéristiques de l'enseignant et les résultats de l'élève à l'exercice de Connaissance des Graphèmes : 1. Participation de l'enseignant - qui reprend la fréquence des visites de membres du personnel PAQUED, la participation de l'enseignant à des forums d'échange avec d autres écoles et au sein de son école ; et 2. Matériel à la disposition de l'enseignant - qui reprend les ressources reçues de la part du PAQUED, le nombre de radios reçues par le PAQUED et le nombre de kits PAQUED que l'enseignant dit utiliser. Des analyses de régression pour ces deux facteurs n'ont montré aucun impact substantiel sur les résultats de l'élève. Des analyses de régression logistique ont également été menées sur ces caractéristiques pour explorer plus en profondeur leur relation avec les résultats des élèves, pour les mêmes province, sexe et SSE. Ces analyses n'ont montré aucune relation statistiquement significative. Analyse des caractéristiques du directeur Certains ont avancé l'idée que le sexe du directeur avait une influence sur la participation des enseignants aux forums d'échange et aux leçons IAI, mais cette hypothèse n'a pas été vérifiée. Aucun lien significatif entre le sexe du directeur et la participation de l'enseignant aux forums d'échanges et aux leçons IAI n'a émergé. 3. Résumé et conclusions En général, aucune tendance statistique systématique n'a émergé des analyses présentées dans cette section sur les résultats des élèves aux évaluations EGRA dans les écoles PAQUED, même en répartissant ceux-ci par région ou par sexe. Néanmoins, des tendances prometteuses peuvent être observées. En règle générale, les performances des élèves augmentent avec l'âge (deuxième < quatrième < sixième) ; cependant, une enquête approfondie sera nécessaire dans les cas où les résultats se sont dégradés au fil du temps (erreurs dans les tests ou autres facteurs dans la classe). Les résultats généraux des élèves en 2014 sont insuffisants pour rivaliser avec les moyennes nationales, et ce pour tous les exercices. Même en ce qui concerne les aptitudes orales comme le vocabulaire, la connaissance des sons et la compréhension à l'audition, les élèves n'ont pas montré les compétences nécessaires à une lecture efficace du français. Les moyennes des élèves en Connaissance des Graphèmes et de mots, ainsi 230 Projet d Amélioration de la Qualité de l Education (PAQUED)

253 qu'en lecture de texte, étaient également en dessous des standards nécessaires pour lire et comprendre aisément. Le Tableau D46 et la Figure D25 illustrent ces conclusions. Tableau D46. Performances des élèves dans les écoles PAQUED par rapport aux moyennes nationales 59 Classe Compétence en lecture ou pré-lecture Compréhension à l'audition En dessous de la moyenne Dans la moyenne Au-dessus de la moyenne n (%) n (%) n (%) 2 Connaissances Phonologiques 1647 (92,1 %) 50 (2,6 %) 98 (5,4 %) Graphèmes 1769 (98,3 %) 9 (0,5 %) 17 (1,2 %) Mots Familiers Lecture de Texte Compréhension 4 Compréhension à l'audition 1541 (87,5 %) 96 (5,6 %) 108 (6,9 %) Connaissances Phonologiques Graphèmes 1602 (89,6 %) 88 (6,6 %) 55 (3,8 %) Mots Familiers 1715 (98,5 %) 5 (0,1 %) 19 (1 %) Lecture de Texte 1597 (88,3 %) 73 (6,8 %) 75 (4,9 %) 6 Compréhension 1688 (95,9 %) 23 (2 %) 34 (2,1 %) Compréhension à l'audition 1277 (69,9 %) 201 (12,3 %) 237 (17,8 %) Connaissances Phonologiques Graphèmes Mots Familiers Lecture de Texte 1507 (80,4 %) 111 (8,8 %) 97 (10,8 %) Compréhension 1551 (86,7 %) 92 (7,2 %) 72 (6 %) 59 La valeur n pour chaque classe présentée dans ce tableau est la suivante : 2è = 1795 ; 4è = 1745 ; 6è = Chaque n présenté est non pondéré, et chaque pourcentage présenté est pondéré. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 231

254 Figure D25. Performances des élèves des écoles PAQUED par rapport aux moyennes de RDC L'unique caractéristique présentant un lien significatif avec les bons résultats dans l'exercice de Connaissance des Graphèmes était le fait que l'élève parle français chez lui, mais cela ne valait que pour les quatrièmes. 232 Projet d Amélioration de la Qualité de l Education (PAQUED)

255 Chapitre E : Résultats et analyse de la performance des élèves en mathématiques dans les écoles Programme de Lecture, PAQUED Accessibles, et Témoins Accessibles Chapitre E présente les résultats EGMA pour les écoles PAQUED Accessibles, Témoins Accessibles, et le programme de lecture. (Chapitre F présente les résultats EGMA pour les écoles paqued et la populaiton témoins.) Les résultats EGRA pour les écoles Programme de Lecture ont été présentés dans le chapitre B en raison de la différence substantielle entre l'aide à la lecture qu'ils ont reçue et celle que les écoles PAQUED et PAQUED Accessibles ont reçue. Néanmoins, en ce qui concerne les mathématiques, toutes les écoles ont reçu la même aide. Les résultats des écoles Programme de Lecture ont donc été incorporés à ceux des écoles PAQUED Accessibles et Témoins Accessibles. Il est toutefois essentiel de noter que seules les différences entre les résultats (1) des écoles PAQUED Accessibles et Témoins Accessibles et (2) des écoles PAQUED et Témoins ont été évaluées. Si les écoles Programme de Lecture ont été incluses dans les tableaux et les graphiques des écoles Accessibles, la manière dont les écoles ont été choisies empêche une comparaison adéquate entre leurs différents résultats. Ce chapitre est divisé en deux sections : présentation (1) des résultats EGMA dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles ; (2) des résultats EGMA par sexe dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles. De manière générale, très peu de différences ont été observées dans les résultats en mathématiques à travers les groupes. De plus, il est arrivé à de nombreuses reprises que des écoles témoins surpassent les écoles dans lesquelles le programme a été mené. L'analyse des résultats EGMA est ainsi beaucoup plus courte que celle des résultats EGRA. 1. Résultats EGMA dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles Des résultats EGMA détaillés sont présentés pour chacune des province - Bandundu, Équateur et Province orientale. Étant donné que les tendances dégagées sont similaires dans toutes les régions, elles sont résumées ci-dessous. En général, à part pour l'exercice de Division en quatrième, les élèves des groupes Programme de Lecture et PAQUED Accessible ont fait légèrement mieux que ceux du groupe Témoin Accessible. Cependant, les différences étaient rarement statistiquement Projet d Amélioration de la Qualité de l Éducation (PAQUED) 233

256 significatives. Les résultats des élèves des groupes Programme de Lecture, PAQUED Accessible et Témoins Accessible ont été en réalité assez similaires. Les exercices EGMA peuvent être divisés en deux groupes : (1) les exercices qui évaluent la connaissance procédurale (par ex., Identification des Nombres et Comparaison des Quantités) et (2) les exercices qui évaluent la connaissance conceptuelle (par ex., Chiffre Manquant, Problèmes, Addition, Soustraction, Multiplication et Division). Une tendance claire a émergé à travers les différents groupes et différentes classes : les élèves se sont mieux débrouillés dans les exercices procéduraux, et le pourcentage de résultats nuls y a été bien plus faible que pour les exercices plus conceptuels. Cette observation valait aussi pour l'étude EGMA de 2012 qui a servi de point de départ pour les écoles PAQUED Accessibles et Témoins Accessibles. 60 Même si les exercices EGMA en deuxième et en quatrième avaient quelques éléments en commun, la majorité des exercices ont été adaptés à la classe en termes de difficulté. La seule exception était l'exercice de Chiffre Manquant pour lequel un seul élément différait entre les classes. Dans cette optique, les résultats généralement similaires dans tous les exercices (sauf celui de Chiffre Manquant) entre les deuxièmes et les quatrièmes sont dus au fait que les questions étaient posées selon la classe de l'élève. Autrement dit, les résultats des élèves de deuxième et de quatrième étaient comparables si l'on tient compte du fait que les exercices étaient adaptés aux différentes classes. Les élèves de quatrième ont ainsi obtenu des résultats similaires à ceux de deuxième pour les éléments adaptés à la classe - ils ont rencontré plus de difficultés avec les exercices conceptuels. L'analyse des améliorations des groupes qui ont reçu de l'aide par rapport aux groupes Témoins offre un aperçu de l'impact du traitement. Étant donné la manière dont les groupes Programme de Lecture ont été choisis, il n'y avait pas de réel groupe Témoin avec lequel comparer leurs résultats ; ils ont donc été écartés de la comparaison et de l'analyse. Néanmoins, il est possible d'observer l'amélioration dans le temps (EDD) entre les groupes PAQUED Accessibles et Témoins Accessibles pour déterminer l'impact des interventions IAI. Les tableaux suivants résument pour chaque région les résultats EDD entre 2012 et 2014 pour ces deux groupes en deuxième et en quatrième. Dans de nombreux exercices, une tendance à l'amélioration a pu être observée entre 2012 et L'analyse EDD montre cependant que l'amélioration n'était pas plus importante chez les élèves PAQUED Accessibles, ce qui signifie que les améliorations apparentes ne peuvent être attribuées aux activités du programme. L'impression générale à travers les régions est qu'aucune tendance statistiquement significative n'a émergé dans les résultats des élèves PAQUED Accessibles et Témoins Accessibles en D'autre part, les données de 2012 et de 2014 pour les groupes 60 Pour plus de détails, voir Brombacher, A., Davies, C., Ralaingita, W., Slade, T., & Costello, M. (2013). PAQUED : DRC - EGMA midterm report. Washington DC : USAID. Version anglaise disponible sur Projet d Amélioration de la Qualité de l Education (PAQUED)

257 PAQUED Accessibles et Témoins Accessibles n'ont fourni aucune preuve de l'effet du programme dans le temps. EGMA au Bandundu Le Tableau E1 résume les pourcentages d'élèves des deux classes et des trois groupes (Programme de Lecture, PAQUED Accessibles et Témoins Accessibles) ayant obtenu un résultat nul (élèves incapables de répondre correctement à une seule question d'un exercice) ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Les différences présentes dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002, sauf pour le pourcentage de résultats nuls en Problèmes en deuxième. 61 Tableau E1. EGMA au Bandundu : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe Exercice (2014) Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition % Résultats nuls 2è % Résultats nuls % Moyennes % Moyennes Programme de Lecture 2 % 58 % 0 % 70 % PAQUED Accessibles 3 % 56 % 1 % 70 % Témoins Accessibles 1 % 48 % 0 % 57 % Programme de Lecture 1 % 67 % 1 % 69 % PAQUED Accessibles 2 % 66 % 0 % 68 % Témoins Accessibles 1 % 63 % 0 % 58 % Programme de Lecture 10 % 31 % 4 % 47 % PAQUED Accessibles 14 % 25 % 3 % 43 % Témoins Accessibles 16 % 24 % 5 % 39 % Programme de Lecture 18 % 47 % 16 % 47 % PAQUED Accessibles 25 % 45 % 32 % 41 % Témoins Accessibles 37 %* 34 % 20 % 42 % Programme de Lecture 19 % 59 % 12 % 52 % PAQUED Accessibles 24 % 53 % 7 % 59 % 4è 61 En statistique, des erreurs de type I signifient qu'une différence n'existe pas là où l'on pensait en trouver une. (En d'autres termes, une erreur de type I signifie que le chercheur rejette l'hypothèse nulle alors qu'elle existe.) En raison du grand nombre de comparaisons menées pour ces sections (Chapitre D, sections 1-2) du rapport, la correction Bonferroni a été utilisée pour déterminer le seuil d'importance des différentes analyses. Cette section contient 48 tests de comparaison de moyennes pour les exercices soumis aux trois classes et 24 pour les moyennes des exercices soumis uniquement aux quatrièmes et aux sixièmes. Appliquer la correction de Bonferroni à ces analyses donne une valeur p < 0,05 / (48) = 0,001 pour les exercices d'identification des Nombres, de Comparaison des Quantités, de Chiffre Manquant, de Problèmes, d Addition et de Soustraction et une valeur p < (0,05) / (24) = 0,002 pour les exercices de Multiplication et de Division. Voir l'annexe I pour une description plus complète de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 235

258 Exercice (2014) Soustraction Multiplication Division * < 0,001 ; < 0,002 2è 4è % Résultats nuls % Moyennes % Résultats nuls % Moyennes Témoins Accessibles 28 % 45 % 22 % 40 % Programme de Lecture 27 % 50 % 31 % 41 % PAQUED Accessibles 42 % 42 % 25 % 52 % Témoins Accessibles 44 % 31 % 39 % 42 % Programme de Lecture 47 % 29 % PAQUED Accessibles 54 % 34 % Témoins Accessibles 47 % 24 % Programme de Lecture 38 % 26 % PAQUED Accessibles 23 % 21 % Témoins Accessibles 45 % 32 % La Figure E1 montre, par classe, les moyennes pour chaque groupe et pour chaque exercice. Il apparaît clairement que les élèves ont obtenu de meilleurs résultats pour les exercices évaluant les connaissances procédurales (par ex., Identification des Nombres et Comparaison des Quantités) que pour les autres exercices. La différence entre les résultats des deuxièmes et des quatrièmes pour l'exercice de Chiffre Manquant est due au fait que l'exercice était majoritairement le même pour les deux classes Les exercices EGMA sont généralement ajustés en fonction de la classe. Autrement dit, les versions des deuxièmes, des quatrièmes et des sixièmes d'un exercice n'auraient que quelques éléments en commun. L'exercice de Chiffre Manquant est l'exception à la règle ; la majorité des éléments y est identique pour toutes les classes. Ainsi, alors que les pourcentages des élèves ont été plutôt constants dans les autres exercices car ils avaient été adaptés à leur niveau, les résultats en Chiffre Manquant s'améliorent de classe en classe en raison de la difficulté quasi identique de l'exercice pour tous les élèves. 236 Projet d Amélioration de la Qualité de l Education (PAQUED)

259 Figure E1. EGMA au Bandundu : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Exercice Le Tableau E2 résume l EDD pour les groupes PAQUED Accessibles et Témoins Accessibles entre 2012 et 2014 pour les deux classes. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,008 ou p < 0,017. L'impression générale est qu'aucun impact réel ne peut être attribué au programme. 63 Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Tableau E2. EGMA au Bandundu : EDD 2012/2014 des Moyennes par Classe 2è 4è EDD EDD PAQUED Accessibles 49,40 % 56,30 % 71,20 % 70,30 % 3,70 % Témoins Accessibles 45,20 % 48,30 % 60,10 % 56,80 % 2,40 % PAQUED Accessibles 50,20 % 66,10 % 60,50 % 67,80 % 0,80 % Témoins Accessibles 47,70 % 62,90 % 54,30 % 58,50 % PAQUED Accessibles 15,70 % 24,90 % 31,30 % 42,60 % 2,50 % Témoins Accessibles 17,10 % 23,80 % 26,20 % 39,20 % PAQUED Accessibles 29,00 % 29,80 % 59,30 % 41,00 % 6,40 % Témoins Accessibles 28,30 % 22,70 % 56,10 % 42,30 % 3,20 % -1,60 % -4,40 % Addition PAQUED Accessibles 49,00 % 52,70 % 7,80 % 44,60 % 58,90 % 4,90 % 63 En raison du grand nombre de comparaisons de l écart des différences menées dans ces sections (Chapitre E, sections 1-2) du rapport, la correction de Bonferroni a été utilisée pour déterminer le seuil d'importance des différentes analyses. Ces sections contiennent 6 tests d écart des différences pour les exercices soumis à toutes les classes et 2 pour les exercices soumis uniquement aux quatrièmes et aux sixièmes. Appliquer la correction de Bonferroni à ces analyses donne une valeur p < 0,05 / (6) = 0,008 pour les exercices d'identification des Nombres, de Comparaison des Quantités, de Chiffre Manquant, de Problèmes, d Addition et de Soustraction et une valeur p < (0,05) / (3) = 0,017 pour les exercices de Multiplication et de Division. Voir l'annexe I pour une description plus complète de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. 64 Les valeurs de l écart des différences sont données selon la valeur évaluée. Pour les résultats en Lecture, ces valeurs changeaient selon l'exercice. Pour les résultats en Mathématiques, c'est le pourcentage de la moyenne qui a été donné ; les résultats EDD sont ainsi présentés sous forme de pourcentages. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 237

260 Exercice Soustraction Multiplication Division 2è 4è EDD EDD Témoins Accessibles 49,50 % 45,30 % 30,90 % 40,30 % PAQUED Accessibles 45,00 % 42,00 % 36,50 % 51,80 % 9,20 % Témoins Accessibles 43,60 % 31,40 % 29,20 % 42,10 % 2,40 % PAQUED Accessibles 18,00 % 33,90 % Témoins Accessibles 14,30 % 23,70 % 6,40 % PAQUED Accessibles 22,00 % 21,50 % Témoins Accessibles 18,50 % 31,50 % -13,50 % * < 0,008 ; < 0,017 EGMA en Équateur Le Tableau E3 résume les pourcentages d'élèves des deux classes et des trois groupes (Programme de Lecture, PAQUED Accessible et Témoins Accessible) ayant obtenu un résultat nul (élèves incapables de répondre correctement à une seule question) ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Les différences présentées dans ce tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002. Tableau E3. EGMA en Équateur : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe 65 Exercice (2014) % Résultats nuls 2è % Moyennes % Résultats nuls 4è % Moyennes Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Programme de Lecture 3 % 56 % 1 % 65 % PAQUED Accessibles 3 % 53 % 0 % 63 % Témoins Accessibles 7 % 50 % 1 % 60 % Programme de Lecture 1 % 68 % 2 % 65 % PAQUED Accessibles 6 % 62 % 1 % 67 % Témoins Accessibles 2 % 65 % 1 % 63 % Programme de Lecture 9 % 28 % 5 % 43 % PAQUED Accessibles 15 % 28 % 4 % 46 % Témoins Accessibles 11 % 35 % 8 % 44 % Programme de Lecture 16 % 48 % 12 % 58 % PAQUED Accessibles 17 % 51 % 13 % 52 % Témoins Accessibles 22 % 44 % 9 % 50 % Addition Programme de Lecture 17 % 60 % 11 % 48 % 65 Un test d'importance n'a été mené que pour les différences entre les écoles PAQUED Accessibles et Témoins Accessibles. 238 Projet d Amélioration de la Qualité de l Education (PAQUED)

261 Exercice (2014) % Résultats nuls 2è % Moyennes % Résultats nuls 4è % Moyennes PAQUED Accessibles 20 % 47 % 12 % 54 % Témoins Accessibles 14 % 58 % 12 % 49 % Programme de Lecture 26 % 50 % 29 % 50 % Soustraction Multiplication Division PAQUED Accessibles 33 % 41 % 34 % 46 % Témoins Accessibles 20 % 48 % 27 % 50 % Programme de Lecture 41 % 39 % PAQUED Accessibles 42 % 36 % Témoins Accessibles 37 % 44 % Programme de Lecture 25 % 33 % PAQUED Accessibles 28 % 30 % Témoins Accessibles 26 % 38 % * < 0,001 ; < 0,002 La Figure E2 montre, par classe, la moyenne pour chaque groupe et pour chaque exercice. Il apparaît clairement que les élèves ont obtenu de meilleurs résultats pour les exercices évaluant les connaissances procédurales (par ex., Identification des Nombres et Comparaison des Quantités) que pour les autres exercices. La différence de résultats entre les deuxièmes et les quatrièmes pour l'exercice de Chiffre Manquant est due au fait que la majorité des éléments de cet exercice étaient les mêmes pour les deux classes. Figure E2. EGMA en Équateur : Pourcentage des Moyennes 2014 par Exercice, Classe et Groupe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Projet d Amélioration de la Qualité de l Éducation (PAQUED) 239

262 Le Tableau E4 résume l EDD des groupes PAQUED Accessibles et Témoins Accessibles entre 2012 et 2014 pour les deux classes. 66 Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,008 ou p < 0,017. L'impression générale est qu'aucun impact significatif n'est attribuable au programme. Tableau E4. EGMA en Équateur : EDD 2012/2014 des Moyennes par Classe 2è 4è Exercice EDD EDD Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division * < 0,008 ; < 0,017 PAQUED Accessibles 44,60 % 53,00 % 65,70 % 62,50 % 1,90 % Témoins Accessibles 43,10 % 49,50 % 67,00 % 60,30 % PAQUED Accessibles 54,50 % 62,50 % 64,40 % 66,80 % -0,40 % Témoins Accessibles 56,50 % 64,90 % 60,30 % 63,00 % PAQUED Accessibles 18,20 % 28,30 % 29,40 % 45,70 % -9,10 % Témoins Accessibles 15,70 % 34,90 % 31,60 % 44,10 % PAQUED Accessibles 26,10 % 33,80 % 44,50 % 51,80 % 8,60 % Témoins Accessibles 30,30 % 29,50 % 55,90 % 50,20 % PAQUED Accessibles 42,40 % 47,30 % 39,50 % 54,20 % -5,70 % Témoins Accessibles 47,40 % 57,90 % 44,10 % 49,10 % PAQUED Accessibles 34,80 % 40,90 % 43,10 % 45,90 % -6,70 % Témoins Accessibles 35,10 % 47,90 % 51,70 % 50,10 % PAQUED Accessibles 22,50 % 35,70 % Témoins Accessibles 26,20 % 44,40 % PAQUED Accessibles 26,30 % 30,10 % Témoins Accessibles 36,20 % 38,40 % 3,60 % -0,30 % 3,70 % 13,00 % 9,70 % 4,40 % -4,90 % 1,60 % 66 L EDD (l écart des différences) considère l'évolution dans le temps des résultats de deux groupes intéressants - dans ce cas-ci, PAQUED Accessibles et Témoins Accessibles. L'évolution des résultats attribuable à l'intervention (plutôt qu'à un autre facteur environnemental) est la différence entre l'évolution du groupe traité par rapport à celle du groupe témoin. L EDD est exprimée dans une unité de mesure de changement - dans ce cas-ci, %. Un EDD négatif indique que l'amélioration a été plus importante dans le groupe témoin que dans le groupe traité. 240 Projet d Amélioration de la Qualité de l Education (PAQUED)

263 EGMA en Province orientale Le Tableau E5 résume les pourcentages d'élèves des deux classes et des trois groupes (Programme de Lecture, PAQUED Accessible et Témoins Accessible) ayant obtenu un résultat nul (élèves incapables de répondre correctement à une seule question) ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Les différences présentées dans ce tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002. Tableau E5. EGMA en Province orientale Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe 2è 4è Exercice (2014) % Résultats nuls % Moyennes % Résultats nuls % Moyennes Programme de Lecture 4 % 48 % 0 % 68 % Identification des Nombres PAQUED Accessibles 2 % 58 % 0 % 70 % Témoins Accessibles 1 % 56 % 0 % 73 % Programme de Lecture 16 % 55 % 0 % 68 % Comparaison des Quantités PAQUED Accessibles 0 % 72 % 1 % 77 % Témoins Accessibles 3 % 69 % 2 % 73 % Programme de Lecture 17 % 20 % 5 % 44 % Chiffre Manquant PAQUED Accessibles 7 % 25 % 1 % 49 % Témoins Accessibles 12 % 23 % 3 % 47 % Programme de Lecture 63 % 14 % 28 % 27 % Problèmes PAQUED Accessibles 40 % 23 % 28 % 29 % Témoins Accessibles 45 % 26 % 19 % 37 % Programme de Lecture 27 % 50 % 5 % 63 % Addition PAQUED Accessibles 15 % 63 % 6 % 59 % Témoins Accessibles 16 % 60 % 4 % 68 % Programme de Lecture 44 % 33 % 13 % 64 % Soustraction PAQUED Accessibles 33 % 54 % 17 % 58 % Témoins Accessibles 41 % 41 % 10 % 72 % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 241

264 2è 4è Exercice (2014) % Résultats nuls % Moyennes % Résultats nuls % Moyennes Programme de Lecture 27 % 48 % Multiplication PAQUED Accessibles 30 % 44 % Témoins Accessibles 29 % 45 % Programme de Lecture 19 % 53 % Division PAQUED Accessibles 15 % 43 % Témoins Accessibles 31 % 55 % * < 0,001 ; < 0,002 La Figure E3 montre, par classe, les moyennes pour chaque groupe et chaque exercice. Il apparaît clairement que les élèves ont obtenu de meilleurs résultats pour les exercices évaluant les connaissances procédurales (par ex., Identification des Nombres et Comparaison des Quantités) que pour les autres exercices. La différence de résultats entre les deuxièmes et les quatrièmes pour l'exercice de Chiffre Manquant est due au fait que la majorité des éléments de cet exercice étaient les mêmes pour les deux classes. Figure E3. EGMA en Province orientale Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible Programme de Lecture Témoin Accessible PAQUED Accessible 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è 2è 4è Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Le Tableau E6 résume l EDD des groupes PAQUED Accessibles et Témoins Accessibles entre 2012 et 2014 pour les deux classes. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,008 et p < 0,017. L'impression générale est qu'aucun impact significatif n'est attribuable au programme. D'ailleurs, il semble que 242 Projet d Amélioration de la Qualité de l Education (PAQUED)

265 le groupe traité (PAQUED Accessible) a fait légèrement moins bien que le groupe Témoin. Tableau E6. EGMA en Province orientale EDD 2012/2014 des Moyennes par Classe 2è 4è Exercice EDD EDD Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division * < 0,008 ; < 0,017 PAQUED Accessibles 57,20 % 57,60 % 77,50 % 70,50 % -4,80 % Témoins Accessibles 51,30 % 56,50 % 77,50 % 73,30 % PAQUED Accessibles 73,60 % 71,70 % 75,50 % 77,00 % -14,7 % Témoins Accessibles 56,30 % 69,10 % 71,30 % 72,80 % PAQUED Accessibles 20,60 % 25,40 % 37,70 % 49,10 % -1,70 % Témoins Accessibles 16,10 % 22,60 % 33,20 % 47,10 % PAQUED Accessibles 22,10 % 15,60 % 48,90 % 28,50 % -0,10 % Témoins Accessibles 23,40 % 17,00 % 49,60 % 36,80 % PAQUED Accessibles 58,60 % 62,50 % 53,70 % 59,20 % -8,80 % Témoins Accessibles 47,70 % 60,50 % 53,30 % 68,40 % PAQUED Accessibles 35,60 % 53,80 % 50,10 % 58,50 % 0,00 % Témoins Accessibles 22,90 % 41,10 % 58,40 % 72,50 % PAQUED Accessibles 36,60 % 43,60 % Témoins Accessibles 35,40 % 45,00 % PAQUED Accessibles 43,70 % 43,40 % Témoins Accessibles 42,50 % 55,00 % -2,90 % 0,10 % -2,50 % -7,50 % -9,70 % -5,70 % -2,50 % -12,80 % 2. Résultats EGMA par Sexe dans les écoles Programme de Lecture, PAQUED Accessibles et Témoins Accessibles Même si les résultats détaillés EGMA par sexe sont présentés par province (Bandundu, Équateur et Province orientale) et par groupe (Programme de Lecture et PAQUED Projet d Amélioration de la Qualité de l Éducation (PAQUED) 243

266 Accessible), les tendances sont très similaires dans toutes les provinces et tous les groupes ; elles sont donc résumées ci-dessous. En règle générale, les résultats en 2014 des garçons et des filles étaient très semblables, de même que leur évolution dans le temps (entre 2012 et 2014). La seule tendance notable réside dans les meilleurs résultats systématiques des garçons de deuxième par rapport aux filles dans les exercices procéduraux (par ex., Identification des Nombres et Comparaison des Quantités). Bien que ces différences apparaissent clairement dans les tableaux et les graphiques, elles sont rarement statistiquement significatives et il vaut mieux ne pas en tirer trop de conclusions. Les constatations relatives aux résultats pour les exercices procéduraux par rapport aux exercices conceptuels décrites antérieurement sont tout aussi flagrantes dans les données divisées par sexe ; c'est aussi le cas de la performance relative des deuxièmes et des quatrièmes (décrite plus haut). EGMA dans les écoles PAQUED Accessibles du Bandundu Le Tableau E7 résume les pourcentages de garçons et de filles ayant obtenu un résultat nul dans les deux classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,001 et p < 0,002. Tableau E7. EGMA dans les écoles PAQUED Accessibles du Bandundu : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Garçons 2,0 % 62,2 % 0,7 % 71,5 % Filles 3,5 % 47,1 % 0,5 % 69,2 % Garçons 2,0 % 71,7 % 0,0 % 66,2 % Filles 1,7 % 57,4 % 0,0 % 69,2 % Garçons 7,6 % 27,1 % 2,5 % 40,1 % Filles 24,2 % 21,5 % 4,4 % 45,0 % Garçons 24,7 % 47,0 % 34,2 % 34,4 % Filles 26,7 % 41,2 % 29,7 % 47,1 % Addition Garçons 21,0 % 59,1 % 4,4 % 60,7 % 244 Projet d Amélioration de la Qualité de l Education (PAQUED)

267 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Filles 29,0 % 42,8 % 8,5 % 57,2 % Soustraction Multiplication Division Garçons 37,3 % 44,4 % 22,3 % 61,2 % Filles 48,4 % 38,2 % 26,6 % 43,3 % Garçons 20,1 % 33,0 % Filles 26,4 % 34,7 % Garçons 59,9 % 18,0 % Filles 48,7 % 24,7 % * < 0,001 ; < 0,002 La Figure E4 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. Figure E4. EGMA dans les écoles PAQUED Accessibles du Bandundu : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 4 Grade 4 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division EGMA dans les écoles PAQUED Accessibles d'équateur Le Tableau E8 résume les pourcentages de garçons et de filles ayant obtenu un résultat nul dans les deux classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,001 et p < 0,002. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 245

268 Tableau E8. EGMA dans les écoles PAQUED Accessibles d'équateur : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Garçons 1,5 % 60,3 % 0,0 % 67,9 % Filles 3,9 % 47,2 % 0,0 % 57,8 % Garçons 7,1 % 69,1 % 1,2 % 69,2 % Filles 5,3 % 57,2 % 0,0 % 64,6 % Garçons 19,2 % 26,3 % 6,3 % 45,8 % Filles 11,9 % 29,9 % 2,7 % 45,6 % Garçons 10,6 % 58,9 % 7,0 % 55,6 % Filles 22,4 % 44,1 % 17,7 % 48,4 % Garçons 18,4 % 54,2 % 10,6 % 55,0 % Filles 22,0 % 41,7 % 12,8 % 53,5 % Garçons 21,2 % 48,5 % 38,0 % 40,6 % Filles 41,6 % 34,8 % 29,6 % 50,5 % Garçons 31,5 % 35,9 % Filles 25,0 % 35,6 % Garçons 50,3 % 29,7 % Filles 35,4 % 30,5 % * < 0,001 ; < 0,002 La Figure E5 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. 246 Projet d Amélioration de la Qualité de l Education (PAQUED)

269 Figure E5. EGMA dans les écoles PAQUED Accessibles d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 4 Grade 4 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division EGMA dans les écoles PAQUED Accessibles de Province orientale Le Tableau E9 résume les pourcentages de garçons et de filles ayant obtenu un résultat nul dans les deux classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,001 et p < 0,002. Tableau E9. EGMA dans les écoles PAQUED Accessibles de Province orientale : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Garçons 0,6 % 65,2 % 0,0 % 72,6 % Filles 2,7 % 48,6 % 0,0 % 68,1 % Garçons 0,1 % 76,8 % 1,2 % 78,7 % Filles 0,0 % 65,6 % 0,0 % 75,0 % Garçons 5,8 % 30,7 % 0,5 % 49,5 % Filles 9,1 % 19,1 % 1,5 % 48,7 % Garçons 28,7 % 26,4 % 22,8 % 29,0 % Filles 53,2 % 19,9 % 33,6 % 28,0 % Addition Garçons 12,2 % 71,3 % 2,6 % 60,7 % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 247

270 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Filles 18,7 % 52,0 % 10,9 % 57,6 % Soustraction Multiplication Division Garçons 21,0 % 67,3 % 18,3 % 53,3 % Filles 47,0 % 37,8 % 15,2 % 64,4 % Garçons 15,8 % 45,2 % Filles 13,0 % 41,9 % Garçons 32,0 % 42,5 % Filles 28,7 % 44,4 % * < 0,001 ; < 0,002 La Figure E6 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. Figure E6. EGMA dans les écoles PAQUED Accessibles de Province orientale : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 4 Grade 4 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division Female Male Female Male Female Male Female Male Female Male Female Male Female EGMA dans les écoles Programme de Lecture du Bandundu Le Tableau E10 résume les pourcentages de garçons et de filles ayant obtenu un résultat nul dans les deux classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,001 et p < 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

271 Tableau E10. EGMA dans les écoles Programme de Lecture du Bandundu : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Garçons 2,0 % 58,2 % 0,0 % 70,2 % Filles 1,5 % 58,5 % 0,0 % 69,0 % Garçons 0,4 % 68,1 % 2,5 % 68,8 % Filles 1,2 % 66,8 % 0,0 % 69,0 % Garçons 14,2 % 29,6 % 5,6 % 47,2 % Filles 7,5 % 32,3 % 3,0 % 46,7 % Garçons 17,3 % 47,3 % 19,0 % 45,2 % Filles 18,7 % 46,1 % 13,6 % 49,3 % Garçons 20,1 % 55,2 % 11,3 % 48,1 % Filles 17,5 % 62,0 % 12,5 % 54,2 % Garçons 31,2 % 46,8 % 27,6 % 36,2 % Filles 23,2 % 53,5 % 34,3 % 44,5 % Garçons 52,0 % 17,9 % Filles 42,1 % 32,1 % Garçons 37,3 % 27,3 % Filles 39,3 % 30,6 % * < 0,001 ; < 0,002 La Figure E7 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 249

272 Figure E7. EGMA dans les écoles Programme de Lecture du Bandundu : Moyennes 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 4 Grade 4 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division EGMA dans les écoles Programme de Lecture d'équateur Le Tableau E11 résume les pourcentages de garçons et de filles ayant obtenu un résultat nul dans les deux classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,001 et p < 0,002. Tableau E11. EGMA dans les écoles Programme de Lecture d'équateur : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Garçons 4,1 % 55,3 % 0,0 % 61,2 % Filles 2,8 % 56,7 % 0,9 % 67,9 % Garçons 0,0 % 66,1 % 4,1 % 60,6 % Filles 0,8 % 68,6 % 0,5 % 68,0 % Garçons 10,6 % 27,8 % 6,5 % 34,9 % Filles 7,7 % 28,0 % 4,7 % 48,3 % Garçons 15,8 % 40,0 % 17,9 % 49,3 % Filles 15,6 % 53,5 % 8,0 % 63,2 % Addition Garçons 15,4 % 58,1 % 12,7 % 43,4 % 250 Projet d Amélioration de la Qualité de l Education (PAQUED)

273 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Filles 18,6 % 61,0 % 10,7 % 51,2 % Soustraction Multiplication Division Garçons 28,5 % 45,8 % 23,1 % 51,0 % Filles 23,8 % 52,4 % 32,4 % 48,6 % Garçons 45,0 % 25,7 % Filles 38,4 % 37,9 % ** Garçons 23,5 % 36,8 % Filles 26,6 % 40,2 % * < 0,001 ; < 0,002 La Figure E8 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. Figure E8. EGMA dans les écoles Programme de Lecture d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 4 Grade 4 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division EGMA dans les écoles Programme de Lecture de Province orientale Le Tableau E12 résume les pourcentages de garçons et de filles ayant obtenu un résultat nul dans les deux classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Aucune différence statistiquement significative n'a émergé pour des valeurs p < 0,001 et p < 0,002. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 251

274 Tableau E12. EGMA dans les écoles Programme de Lecture de Province orientale : Pourcentage de résultats nuls et Moyennes en 2014 par Sexe et Classe 2è 4è Résultats Moyenne Résultats Moyenne Exercice (2014) Nuls % % Nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Garçons 3,7 % 53,8 % 0,0 % 72,2 % Filles 3,8 % 43,2 % 0,0 % 64,4 % Garçons 13,4 % 59,6 % 0,0 % 71,0 % Filles 18,5 % 50,5 % 0,8 % 66,1 % Garçons 9,5 % 23,1 % 2,2 % 47,9 % Filles 23,3 % 17,9 % 7,0 % 40,1 % Garçons 57,7 % 15,7 % 26,4 % 26,3 % Filles 68,5 % 13,1 % 29,8 % 27,1 % Garçons 20,1 % 58,5 % 1,9 % 62,6 % Filles 32,7 % 42,1 % 8,2 % 63,3 % Garçons 42,7 % 36,9 % 14,6 % 59,0 % Filles 46,0 % 30,1 % 12,3 % 68,3 % Garçons 33,0 % 48,2 % Filles 22,2 % 57,5 % Garçons 23,2 % 45,1 % Filles 16,1 % 50,5 % * < 0,001 ; < 0,002 La Figure E9 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. 252 Projet d Amélioration de la Qualité de l Education (PAQUED)

275 Figure E9. EGMA dans les écoles Programme de Lecture de Province orientale : Moyennes 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 2 Grade 4 Grade 4 Grade 4 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division Projet d Amélioration de la Qualité de l Éducation (PAQUED) 253

276 Chapitre F : Résultats EGMA dans les écoles PAQUED et Témoins Chapitre F présente les résultats EGMA pour les populations de PAQUED et témoins. (Chapitre E présente les résultats EGMA pour les populations PAQUED Accessibles, Témoins Accessibles, et Programme de Lecture. Les résultats EGRA pour les écoles disposant d un programme de lecture étaient présentés dans le Chapitre B parce qu il y avait une différence significative entre les interventions en lecture qu ils ont reçu et les interventions qui étaient donnés aux écoles PAQUED et PAQUED Accessible. Cependant, pour les mathématiques, il n y avait aucune différence entre ce que les écoles disposant d un programme de lecture et les écoles PAQUED et les écoles PAQUED Accessible ont reçu. Donc, ils sont compris dans la discussion des performances des écoles PAQUED Accessibles et Témoins Accessibles.) Ce chapitre est divisé en deux sections : (1) la présentation des résultats EGMA dans les écoles PAQUED et témoins ; (2) la présentation des résultats EGMA séparé par sexe dans les écoles PAQUED et témoins. 1. Les Résultats EGMA dans les écoles PAQUED et témoins Même si les résultats détaillés EGMA sont présentés par province - Bandundu, Équateur et Province orientale, les tendances dans chaque province sont très similaires et sont donc résumées ci-dessous. En général, les élèves PAQUED et Témoins ont obtenu des résultats assez semblables, comme le montrent leurs moyennes et leur évolution. Les quelques différences existantes sont rarement statistiquement significatives et aucune tendance ne montre des différences systématiques en faveur d'un groupe ou de l'autre. Comme c'était déjà le cas pour les élèves des écoles PAQUED Accessibles et Témoins Accessibles, les élèves PAQUED et Témoins ont eu tendance à faire mieux dans les exercices procéduraux que conceptuels. Cette tendance se confirme à travers les groupes et les classes, et était déjà visible au début de l'étude, en D'autre part, à l'instar des exercices destinés aux écoles PAQUED Accessibles et Témoins Accessibles, la majorité des tâches EGMA ont été adaptées à un niveau de difficulté correspondant à la classe des élèves. Dans cette optique, les résultats généralement similaires dans tous les exercices (sauf celui de Chiffre Manquant) entre les deuxièmes, les quatrièmes et les sixièmes sont dus au fait que les questions étaient posées selon la classe de l'élève. 67 Pour plus de détails, voir Brombacher et al. (2012). PAQUED: DRC Baseline Report, Early Grade Mathematics Assessment. Par RTI International, document en anglais disponible sur Projet d Amélioration de la Qualité de l Education (PAQUED)

277 L'analyse de l'amélioration des différents groupes au fil du temps procure un aperçu de l'impact du projet. Les tableaux suivants résument pour chaque région les résultats EDD entre 2010 et 2014 pour ces deux groupes en deuxième, quatrième et sixième. En ce qui concernait les écoles PAQUED Accessibles, une tendance générale d'amélioration entre 2012 et 2014 avait pu être constatée pour la plupart des exercices EGMA ; ce n'est pas réellement le cas pour l'échantillon PAQUED. Si les résultats pour certains exercices se sont améliorés, ceux d'autres se sont dégradés. Malgré tout, l'analyse EDD montre que les améliorations existantes ne jouent pas significativement en faveur des élèves PAQUED. L'impression générale à travers les régions est qu'aucune différence statistiquement significative dans les résultats des groupes PAQUED et Témoins n'a pu être décelée en D'autre part, les données de 2010 et de 2014 pour les groupes PAQUED et Témoins ne donnent aucune preuve de l'effet du traitement dans le temps. EGMA au Bandundu Le Tableau F1 résume les pourcentages d'élèves des trois classes et des deux groupes (Témoins et PAQUED) ayant obtenu un résultat nul (élèves incapables de répondre correctement à une seule question) ainsi que leurs moyennes en 2014 pour tous les exercices EGMA au Bandundu. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0, Tableau F1. EGMA au Bandundu : Pourcentage de Résultats Nuls et Moyennes 2014 par Classe. 2è 4è 6è Exercice (2014) % Résultats nuls % Moyennes Résultats nuls % Moyennes Résultat s nuls % Moyenne s Identification des Nombres Comparaison des Quantités Témoins 1,4 % 48,3 % 0,0 % 56,8 % 0,0 % 64,9 % PAQUED 2,6 % 56,3 % 0,6 % 70,3 % 0,6 % 66,0 % Témoins 0,7 % 62,9 % 0,4 % 58,5 % 5,1 % 39,7 % PAQUED 1,9 % 66,1 % 0,0 % 67,8 % 4,1 % 38,5 % Chiffre Manquant Témoins 15,6 % 23,8 % 5,1 % 39,2 % 4,1 % 42,6 % 68 En raison du grand nombre de comparaisons menées pour ces sections (Chapitre D, sections 3-4) du rapport, la correction de Bonferroni a été utilisée pour déterminer le seuil d'importance des différentes analyses. Cette section contient 36 tests de comparaison de moyennes pour les exercices soumis aux trois classes et 24 pour les moyennes des exercices soumis uniquement aux quatrièmes et aux sixièmes. Appliquer la correction de Bonferroni à ces analyses donne une valeur p < 0,05 / (36) = 0,001 pour les exercices d'identification des Nombres, de Comparaison des Quantités, de Chiffre Manquant, de Problèmes, d Addition et de Soustraction et une valeur p < (0,05) / (24) = 0,002 pour les exercices de Multiplication et de Division. Voir l'annexe I pour une description plus complète de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 255

278 2è 4è 6è Exercice (2014) % Résultats nuls % Moyennes Résultats nuls % Moyennes Résultat s nuls % Moyenne s PAQUED 14,1 % 24,9 % 3,5 % 42,6 % 3,4 % 38,2 % Problèmes Addition Soustraction Multiplication Division Témoins 37,1 % 34,0 % 20,1 % 42,3 % 8,2 % 55,7 % PAQUED 25,5 % 44,7 % 31,9 % 41,0 % 12,6 % 51,8 % Témoins 28,5 % 45,3 % 22,0 % 40,3 % 5,3 % 60,0 % PAQUED 24,1 % 52,7 % 6,5 % 58,9 % 10,8 % 56,9 % Témoins 44,2 % 31,4 % 38,9 % 42,1 % 27,5 % 45,5 % PAQUED 41,7 % 42,0 % 24,5 % 51,8 % 30,0 % 42,1 % Témoins 44,6 % 23,7 % 44,5 % 27,6 % PAQUED 23,4 % 33,9 % 52,3 % 19,2 % Témoins 46,6 % 31,5 % 49,3 % 28,4 % PAQUED 54,0 % 21,5 % 52,2 % 21,7 % * < 0,001 ; < 0,002 La Figure F1 montre, par classe, les moyennes de chaque groupe pour chaque exercice. Une tendance se distingue clairement ; les élèves ont obtenu de meilleurs résultats dans les exercices évaluant leurs connaissances procédurales (par ex., Identification des Nombres et Comparaison des Quantités) que dans les autres exercices. Comme indiqué dans l'introduction du Chapitre E, la différence dans les résultats des deuxièmes, quatrièmes et sixièmes dans l'exercice de Chiffre Manquant est due au fait qu'il s'agissait majoritairement des mêmes questions pour toutes les classes. 256 Projet d Amélioration de la Qualité de l Education (PAQUED)

279 Figure F1. EGMA au Bandundu : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Grade Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 4 Grade 6 Grade 4 6 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division Le Tableau F2 résume l EDD des groupes Témoins et PAQUED entre 2010 et 2014 pour les trois classes. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,006 et p < 0, L'impression générale et qu'aucun impact significatif n'est attribuable au programme. Tableau F2. EGMA au Bandundu : EDD 2010/2014 des Moyennes par Classe 2è 4è 6è Exercice EDD EDD EDD Identification des Nombres Comparaison des Quantités Chiffre Manquant Témoins 33,6 % 43,4 % 52,9 % 49,3 % 59,6 % 64,9 % 0,4 % 3,8 % PAQUED 30,4 % 40,6 % 55,3 % 55,5 % 53,3 % 66,0 % Témoins 61,2 % 45,7 % 62,7 % 54,4 % 35,5 % 39,7 % 4,1 % 4,9 % PAQUED 57,1 % 45,7 % 60,3 % 57,0 % 34,7 % 38,5 % Témoins 17,9 % 16,8 % 23,7 % 35,5 % 22,3 % 42,6 % -0,5 % -8,7 % PAQUED 17,8 % 16,2 % 30,0 % 33,1 % 22,9 % 38,2 % 7,3 % -0,3 % -5,0 % Problèmes Témoins 44,8 % 30,9 % 7,5 % 50,3 % 41,5 % -6,6 % 62,6 % 55,7 % -2,0 % 69 En raison du grand nombre de comparaisons de type de l écart des différences menées pour ces sections (ChapitreF) du rapport, la correction de Bonferroni a été utilisée pour déterminer le seuil d'importance des différentes analyses. Ces sections contiennent 9 tests de type de l écart des différences pour les exercices soumis à toutes les classes et 6 pour les exercices soumis uniquement aux quatrièmes et aux sixièmes. Appliquer la correction de Bonferroni à ces analyses donne une valeur p < 0,05 / (9) = 0,006 pour les exercices d'identification des Nombres, de Comparaison des Quantités, de Chiffre Manquant, de Problèmes, d Addition et de Soustraction et une valeur p < (0,05) / (6) = 0,008 pour les exercices de Multiplication et de Division. Voir l'annexe I pour une description plus complète de la correction de Bonferroni et des familles analytiques utilisées dans ce rapport. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 257

280 2è 4è 6è Exercice EDD EDD EDD PAQUED 37,6 % 31,2 % 51,0 % 35,6 % 60,8 % 51,8 % Addition Soustraction Multiplication Division Témoins 40,0 % 37,8 % 28,0 % 34,1 % 47,2 % 60,0 % 0,4 % 1,0 % PAQUED 33,9 % 32,1 % 33,8 % 40,8 % 37,8 % 56,9 % Témoins 38,5 % 26,1 % 37,4 % 25,2 % 33,4 % 45,5 % 5,6 % 6,0 % PAQUED 32,3 % 25,4 % 42,3 % 36,1 % 37,3 % 42,1 % Témoins 21,1 % 13,5 % 16,3 % 27,6 % -0,1 % PAQUED 24,8 % 17,1 % 16,6 % 19,2 % Témoins 21,5 % 7,5 % 21,2 % 28,4 % -0,4 % PAQUED 28,7 % 14,2 % 19,9 % 21,7 % 6,3 % -7,2 % -8,7 % -5,4 % * < 0,006 ; < 0,008 EGMA en Équateur Le Tableau F3 résume les pourcentages d'élèves des trois classes et des deux groupes (Témoins et PAQUED) ayant obtenu un résultat nul (élèves incapables de répondre correctement à une seule question) ainsi que leurs moyennes en 2014 pour tous les exercices EGMA en Équateur. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002. Tableau F3. EGMA en Équateur : Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe 2è 4è 6è Résultats Moyenne Résultats Moyenne Résultats Moyenne Exercice (2014) nuls % nuls % nuls % Identification des Nombres Comparaison des Quantités Chiffre Manquant Témoins 7,0 % 49,5 % 0,7 % 60,3 % 0,0 % 67,7 % PAQUED 2,9 % 53,0 % 0,0 % 62,5 % 0,0 % 64,9 % Témoins 1,8 % 64,9 % 0,8 % 63,0 % 2,1 % 46,1 % PAQUED 6,0 % 62,4 % 0,6 % 66,8 % 3,5 % 44,0 % Témoins 10,8 % 34,9 % 8,2 % 44,1 % 5,1 % 43,1 % PAQUED 15,1 % 28,3 % 4,4 % 45,7 % 5,3 % 40,3 % 258 Projet d Amélioration de la Qualité de l Education (PAQUED)

281 2è 4è 6è Résultats Moyenne Résultats Moyenne Résultats Moyenne Exercice (2014) nuls % nuls % nuls % Problèmes Addition Soustraction Multiplication Division Témoins 21,7 % 44,3 % 8,6 % 50,2 % 2,5 % 59,6 % PAQUED 17,2 % 50,7 % 12,7 % 51,8 % 7,5 % 59,1 % Témoins 14,1 % 57,9 % 11,9 % 49,1 % 4,4 % 62,8 % PAQUED 20,4 % 47,2 % 11,8 % 54,2 % 7,0 % 57,2 % Témoins 19,7 % 47,9 % 26,7 % 50,1 % 14,6 % 53,3 % PAQUED 32,5 % 40,9 % 33,6 % 45,9 % 20,1 % 48,8 % Témoins 25,9 % 44,4 % 31,9 % 32,6 % PAQUED 28,0 % 35,7 % 32,1 % 31,9 % Témoins 37,0 % 38,4 % 24,1 % 46,9 % PAQUED 42,4 % 30,1 % 30,4 % 36,9 % * < 0,001 ; < 0,002 La Figure F2 montre, par classe, les moyennes pour chaque groupe et chaque exercice. Une tendance se distingue clairement ; les élèves ont obtenu de meilleurs résultats dans les exercices évaluant leurs connaissances procédurales (par ex., Identification des Nombres et Comparaison des Quantités) que dans les autres exercices. La différence de résultats entre les deuxièmes, quatrièmes et sixièmes dans l'exercice de Chiffre Manquant est due au fait que la majorité des questions de cet exercice étaient identiques pour toutes les classes. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 259

282 Figure F2. EGMA en Équateur : Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Grade Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 4 Grade 6 Grade 4 6 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division Le Tableau F4 résume l EDD pour les groupes Témoins et PAQUED entre 2010 et 2014 pour les trois classes. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,006 et p < 0,008. L'impression générale est qu'aucun impact significatif n'est attribuable au programme. Tableau F4. EGMA en Équateur : EDD 2010/2014 des Moyennes par Classe 2è 4è 6è Exercice EDD EDD EDD Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Témoins 29,3 % 36,2 % 56,6 % 62,2 % 59,5 % 67,7 % 0,9 % -9,8 % PAQUED 38,0 % 45,8 % 61,3 % 57,2 % 59,8 % 64,9 % Témoins 55,0 % 49,5 % 61,2 % 63,0 % 34,1 % 46,1 % 8,2 % -4,6 % PAQUED 60,0 % 62,7 % 64,6 % 61,9 % 33,6 % 44,0 % Témoins 8,8 % 18,2 % 15,0 % 37,1 % 13,8 % 43,1 % 3,0 % -2,5 % PAQUED 11,9 % 24,3 % 18,9 % 38,5 % 12,1 % 40,3 % Témoins 29,4 % 30,5 % 38,4 % 49,8 % 56,4 % 59,6 % 7,2 % -5,9 % PAQUED 34,7 % 43,0 % 44,6 % 50,0 % 56,5 % 59,1 % Témoins 32,5 % 35,4 % 31,2 % 53,3 % 45,5 % 62,8 % -10,7 8,2 % % PAQUED 37,9 % 49,0 % 32,9 % 44,4 % 40,1 % 57,2 % -3,1 % -1,6 % -1,1 % -0,5 % -0,2 % 260 Projet d Amélioration de la Qualité de l Education (PAQUED)

283 2è 4è 6è Exercice EDD EDD EDD Soustraction Multiplication Division Témoins PAQUED 23,8 % 28,8 % 24,2 % 41,5 % 12,2 % 39,1 % 45,8 % 48,6 % 41,5 % -13,9 % 43,1 % 46,2 % 53,3 % 48,8 % Témoins 22,0 % 30,3 % 22,1 % 32,6 % 4,8 % PAQUED 20,9 % 34,0 % 23,6 % 31,9 % Témoins 14,9 % 32,9 % 18,4 % 46,9 % -3,5 % PAQUED 20,4 % 35,0 % 19,4 % 36,9 % -7,6 % -2,1 % -11,0 % * < 0,006 ; < 0,008 EGMA en Province orientale Le Tableau F5 résume les pourcentages d'élèves des trois classes et des deux groupes (Témoins et PAQUED) ayant obtenu un résultat nul (élèves incapables de répondre correctement à une seule question) ainsi que leurs moyennes en 2014 pour tous les exercices EGMA en Province orientale. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002. Tableau F5. EGMA en Province orientale Pourcentages de Résultats Nuls et des Moyennes en 2014 par Classe 2è 4è 6è Exercice (2014) % Résultats nuls % Moyennes % Résultats nuls % Moyennes % Résultats nuls % Moyennes Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Témoins 1,4 % 56,5 % 0,0 % 73,3 % 0,0 % 70,1 % PAQUED 1,6 % 57,6 % 0,0 % 70,5 % 0,4 % 72,2 % Témoins 3,3 % 69,1 % 2,0 % 72,8 % 0,0 % 51,1 % PAQUED 0,1 % 71,7 % 0,6 % 77,0 % 0,0 % 48,8 % Témoins 11,6 % 22,6 % 2,9 % 47,1 % 0,0 % 46,2 % PAQUED 7,3 % 25,4 % 1,0 % 49,1 % 1,5 % 47,5 % Témoins 45,3 % 25,5 % 18,8 % 36,8 % 14,7 % 46,4 % PAQUED 39,9 % 23,4 % 27,9 % 28,5 % 6,6 % 49,3 % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 261

284 2è 4è 6è Exercice (2014) % Résultats nuls % Moyennes % Résultats nuls % Moyennes % Résultats nuls % Moyennes Addition Soustraction Multiplication Division Témoins 16,3 % 60,4 % 4,3 % 68,4 % 1,9 % 73,6 % PAQUED 15,2 % 62,5 % 6,5 % 59,2 % 1,3 % 76,5 % Témoins 40,7 % 41,1 % 9,6 % 72,5 % 8,0 % 64,3 % PAQUED 32,9 % 53,8 % 16,9 % 58,5 % 7,2 % 69,5 % Témoins 31,0 % 45,0 % 20,7 % 41,0 % PAQUED 14,5 % 43,7 % 16,6 % 46,4 % Témoins 28,8 % 55,0 % 14,4 % 56,1 % PAQUED 30,5 % 43,4 % 13,3 % 53,4 % * < 0,001 ; < 0,002 La Figure F3 montre, par classe, les moyennes pour chaque groupe et chaque exercice. Une tendance se distingue clairement ; les élèves ont obtenu de meilleurs résultats dans les exercices évaluant leurs connaissances procédurales (par ex., Identification des Nombres et Comparaison des Quantités) que dans les autres exercices. La différence de résultats entre les deuxièmes, quatrièmes et sixièmes dans l'exercice de Chiffre Manquant est due au fait que la majorité des questions de cet exercice étaient identiques pour toutes les classes. 262 Projet d Amélioration de la Qualité de l Education (PAQUED)

285 Figure F3. EGMA en Province orientale Pourcentage des Moyennes en 2014 par Exercice, Classe et Groupe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Control Grade 2Grade 4Grade 6Grade 2Grade 4Grade 6Grade 2Grade 4Grade 6Grade 2Grade 4Grade 6Grade 2Grade 4Grade 6Grade 2Grade 4Grade 6Grade 4Grade 6Grade 4Grade 6 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division Le Tableau F6 résume l EDD des groupes Témoins et PAQUED entre 2010 et 2014 pour les trois classes. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,006 et p < 0,008. L'impression générale est qu'aucun impact significatif n'est attribuable au programme. En fait, le groupe PAQUED semble avoir fait légèrement moins bien que le groupe Témoins. Tableau F6. EGMA en Province orientale : EDD 2010/2014 des Moyennes par Classe 2è 4è 6è Exercice EDD EDD EDD Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Témoins 37,0 % 47,6 % 62,1 % 66,3 % 69,2 % 70,1 % -18,2-8,6 % % PAQUED 48,7 % 41,2 % 67,8 % 63,4 % 71,7 % 72,2 % Témoins 52,9 % 64,6 % 66,7 % 70,9 % 43,2 % 51,1 % -8,0 % -3,6 % PAQUED 64,0 % 67,7 % 71,4 % 72,0 % 47,4 % 48,8 % Témoins 15,9 % 20,5 % 26,3 % 44,3 % 25,8 % 46,2 % -3,9 % -8,8 % PAQUED 19,1 % 19,8 % 38,4 % 47,6 % 38,6 % 47,5 % Témoins 29,8 % 24,9 % 39,3 % 33,8 % 68,4 % 46,4 % -8,4 % -5,8 % PAQUED 40,4 % 27,2 % 47,5 % 36,1 % 71,1 % 49,3 % Témoins 33,7 % 46,8 % -16,8 34,9 % 56,1 % -18,8 57,6 % 73,6 % PAQUED 50,5 % 46,7 % % 47,7 % 50,2 % % 61,9 % 76,5 % -0,4 % -6,4 % -11,4 % 0,2 % -1,4 % Projet d Amélioration de la Qualité de l Éducation (PAQUED) 263

286 2è 4è 6è Exercice EDD EDD EDD Soustraction Multiplication Division Témoins PAQUED 26,8 % 44,2 % 32,3 % 34,4 % -15,3 % 41,7 % 54,7 % 53,5 % 49,1 % -17,3 % 45,9 % 63,6 % 64,3 % 69,5 % Témoins 17,3 % 41,8 % -23,0 24,7 % 41,0 % PAQUED 29,3 % 30,8 % % 42,7 % 46,4 % Témoins 17,2 % 39,1 % -25,3 25,0 % 56,1 % PAQUED 31,4 % 28,0 % % 35,1 % 53,4 % -12,5 % -12,6 % -12,8 % * < 0,006 ; < 0, Résultats EGMA par sexe dans les écoles PAQUED et Témoins Même si les résultats détaillés EGMA sont présentés par province - Bandundu, Équateur et Province orientale - les tendances dans chaque province sont très similaires et sont donc résumées ci-dessous. En général, les résultats des garçons et des filles en 2014, ainsi que leur amélioration entre 2012 et 2014, étaient plutôt similaires. L'unique tendance observable réside en la performance légèrement meilleure des garçons par rapport aux filles en deuxième et en quatrième pour les exercices plus procéduraux (par ex., Identification des Nombres et Comparaison des Quantités). Bien que ces différences apparaissent clairement dans les tableaux et les graphiques, elles sont rarement statistiquement significatives et il vaut mieux ne pas en tirer trop de conclusions. Les constatations relatives aux résultats pour les exercices procéduraux par rapport aux exercices conceptuels décrites antérieurement sont tout aussi flagrantes dans les données divisées par sexe ; c'est aussi le cas de la performance relative des deuxièmes, quatrièmes et sixièmes (décrite plus haut). EGMA dans les écoles PAQUED du Bandundu Le Tableau F7 résume le pourcentage des garçons et filles ayant obtenu un résultat nul dans les trois classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

287 Tableau F7. EGMA dans les écoles PAQUED du Bandundu : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe 2è 4è 6è Résultats Moyennes Résultats Moyennes Résultats Moyennes Exercice nuls % % nuls % % nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Garçons 2,9 % 44,2 % 0,0 % 62,6 % 1,2 % 66,7 % Filles 7,5 % 36,8 % 1,7 % 46,6 % 0,0 % 65,2 % Garçons 8,6 % 46,1 % 1,1 % 62,1 % 3,6 % 40,6 % Filles 4,6 % 45,3 % 1,0 % 50,5 % 4,7 % 36,4 % Garçons 18,0 % 17,9 % 5,1 % 34,2 % 2,0 % 40,2 % Filles 26,1 % 14,5 % 7,6 % 31,7 % 4,8 % 36,2 % Garçons 35,9 % 31,9 % 14,4 % 36,3 % 15,6 % 49,6 % Filles 41,8 % 30,5 % 26,5 % 34,8 % 9,6 % 54,1 % Garçons 36,9 % 33,5 % 12,3 % 42,1 % 8,6 % 52,0 % Filles 50,7 % 30,6 % 25,4 % 39,2 % 13,1 % 61,9 % Garçons 47,7 % 26,1 % 41,3 % 37,0 % 31,4 % 37,4 % Filles 57,5 % 24,7 % 42,9 % 35,0 % 28,5 % 46,9 % Garçons 60,9 % 18,3 % 58,5 % 17,8 % Filles 63,6 % 15,5 % 46,1 % 20,6 % Garçons 69,2 % 16,3 % 56,0 % 19,6 % Filles 75,9 % 11,5 % 48,4 % 23,9 % * < 0,001 ; < 0,002 La Figure F4 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 265

288 Figure F4. EGMA dans les écoles traitées au Bandundu : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Male Female Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 4 Grade 6 Grade Grade 4 6 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division EGMA dans les écoles PAQUED d'équateur Le Tableau F8 résume le pourcentage des garçons et filles ayant obtenu un résultat nul dans les trois classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002. Tableau F8. EGMA dans les écoles PAQUED d'équateur : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe 2è 4è 6è Résultats Moyennes Résultats Moyennes Résultats Moyennes Exercice nuls % % nuls % % nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Garçons 3,6 % 51,7 % 2,1 % 65,0 % 0,0 % 67,8 % Filles 5,9 % 38,7 % 4,4 % 49,1 % 0,0 % 60,9 % Garçons 3,3 % 65,3 % 1,6 % 63,1 % 3,4 % 46,0 % Filles 2,8 % 59,5 % 3,7 % 60,6 % 3,7 % 41,2 % Garçons 11,9 % 27,1 % 6,4 % 41,0 % 4,6 % 40,8 % Filles 20,5 % 20,9 % 9,6 % 35,8 % 6,2 % 39,6 % Garçons 21,4 % 46,7 % 11,5 % 51,7 % 8,2 % 60,7 % Filles 31,9 % 38,7 % 14,6 % 48,2 % 6,7 % 56,9 % Addition Garçons 17,0 % 55,3 % 14,7 % 46,5 % 4,9 % 59,0 % 266 Projet d Amélioration de la Qualité de l Education (PAQUED)

289 2è 4è 6è Résultats Moyennes Résultats Moyennes Résultats Moyennes Exercice nuls % % nuls % % nuls % % Filles 26,2 % 41,5 % 18,7 % 42,2 % 9,8 % 54,7 % Soustraction Multiplication Division Garçons 21,6 % 46,4 % 28,0 % 46,8 % 17,6 % 50,0 % Filles 37,3 % 35,6 % 37,2 % 35,8 % 23,6 % 47,2 % Garçons 30,7 % 37,8 % 29,8 % 31,7 % Filles 39,0 % 30,1 % 35,2 % 32,1 % Garçons 35,8 % 37,9 % 26,1 % 38,4 % Filles 43,3 % 31,9 % 36,3 % 34,9 % * < 0,001 ; < 0,002 La Figure F5 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. Figure F5. EGMA dans les écoles traitées d'équateur : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Grade Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 4 Grade 6 Grade 4 6 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division EGMA dans les écoles PAQUED de Province orientale Le Tableau F9 résume le pourcentage des garçons et filles ayant obtenu un résultat nul dans les trois classes ainsi que leurs moyennes en 2014 pour tous les exercices EGMA. Les différences dans le tableau ne sont pas statistiquement significatives pour des valeurs p < 0,001 et p < 0,002. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 267

290 Tableau F9. EGMA dans les écoles PAQUED de Province orientale : Pourcentage de Résultats Nuls et Moyennes 2014 par Sexe et Classe 2è 4è 6è Résultats Moyennes Résultats Moyennes Résultats Moyennes Exercice nuls % % nuls % % nuls % % Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Garçons 4,3 % 45,2 % 0,0 % 66,7 % 0,7 % 74,6 % Filles 4,3 % 36,6 % 0,0 % 59,7 % 0,0 % 69,1 % Garçons 0,0 % 70,6 % 0,7 % 73,9 % 0,0 % 50,7 % Filles 1,4 % 64,6 % 0,1 % 69,8 % 0,0 % 46,2 % Garçons 9,2 % 20,7 % 3,2 % 49,2 % 2,0 % 49,6 % Filles 11,5 % 18,8 % 3,1 % 45,8 % 0,8 % 44,8 % Garçons 32,9 % 28,4 % 19,2 % 35,4 % 4,8 % 51,8 % Filles 46,7 % 25,8 % 23,4 % 37,0 % 9,0 % 46,0 % Garçons 24,3 % 50,0 % 9,9 % 51,2 % 1,2 % 75,7 % Filles 28,9 % 43,1 % 10,9 % 49,0 % 1,5 % 77,5 % Garçons 42,2 % 36,1 % 24,7 % 50,7 % 6,9 % 70,3 % Filles 46,8 % 32,5 % 28,3 % 47,3 % 7,7 % 68,5 % Garçons 35,6 % 31,5 % 12,3 % 48,4 % Filles 33,4 % 29,9 % 22,4 % 43,8 % Garçons 43,0 % 28,7 % 12,1 % 55,1 % Filles 40,1 % 27,2 % 15,0 % 51,0 % * < 0,001 ; < 0,002 La Figure F6 montre, par classe, les moyennes des garçons et des filles pour chaque exercice. 268 Projet d Amélioration de la Qualité de l Education (PAQUED)

291 Figure F6. EGMA dans les écoles traitées de Province orientale : Moyennes en 2014 par Exercice, Classe et Sexe 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Male Grade Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 2 Grade 4 Grade 6 Grade 4 Grade 6 Grade 4 6 Number Id. Quantity Disc. Missing Number Word Problems Addition Subtraction Multiplication Division Projet d Amélioration de la Qualité de l Éducation (PAQUED) 269

292 Chapitre G : Conclusions et recommandations Ce rapport a présenté des analyses issues d'une série complexe d'études liées entre elles. Les données collectées en 2014 provenaient de 263 écoles, élèves, 629 enseignants, 265 directeurs et, surtout, de trois échantillons distincts et incomparables. Dans plus de la moitié des écoles étudiées (PAQUED et Témoins), les élèves de sixième ont été inclus et leurs résultats ont été comparés à ceux récoltés au début de l'enquête, en Dans un peu moins que le tiers des écoles étudiées (PAQUED Accessibles et Témoins Accessibles), les chiffres de 2014 ont pu être comparés avec ceux de 2012, et la conception de l'étude a engendré des résultats très fiables. Pour le sixième d'écoles restant (Programme de Lecture), aucune école ne pouvait être utilisée comme point de comparaison, de sorte que la conception de l'étude empêchait tout test d'hypothèse dans le temps (entre 2012 et 2014). 70 Le Tableau G1 procure une représentation visuelle des études présentées dans ce rapport. Tableau G1. Population étudiée et Analyses possibles Étude Groupes traités Évaluation PAQUED (2è, 4è, 6è) PAQUED Témoins Début Fin Croissance relative des PAQUED comparées aux Témoins entre 2010 et 2014 PAQUED Accessibles (2è, 4è) PAQUED Accessibles Témoins Accessibles Début Fin Croissance relative des PAQUED Accessibles comparées aux Témoins Accessibles entre 2010 et 2014 Programme de Lecture (2è, 4è) Programme de Lecture Aperçu Résultats en 2014 Malgré la complexité de la situation examinée, les résultats peuvent être résumés de manière assez simple : ces études ne nous ont pas permis d'évaluer positivement l'impact d'une intervention (en termes de contenu ou d'intensité) sur le niveau des élèves en lecture et en mathématiques. Néanmoins, ces études nous permettent d'affirmer que le soutien apporté aux écoles PAQUED et PAQUED Accessibles n'était pas suffisant pour engendrer une amélioration significative ou systématique du niveau d'apprentissage. 70 Comme discuté dans le Chapitre A, le choix spécifique des écoles Programme de Lecture empêche la généralisation de leurs résultats aux élèves des écoles PAQUED Accessibles. Les écoles Témoins Accessibles ont été choisies car elles étaient comparables aux écoles PAQUED Accessibles en matière de nombre d'élèves, de situation géographique et d'autres caractéristiques. Étant donné que les écoles Programme de Lecture ne peuvent être comparées aux écoles PAQUED Accessibles, elles ne peuvent pas non plus l'être aux écoles Témoins Accessibles. 270 Projet d Amélioration de la Qualité de l Education (PAQUED)

293 Analyse des résultats en lecture En théorie, il est tout à fait raisonnable de penser qu'une seule leçon de 30 minutes par semaine concentrée sur les capacités étudiées lors du test (voir Chapitre A, Apports PAQUED ciblant les enseignants) n'aurait au mieux qu'un impact minime sur les élèves. (A cause de la nécessité d aligner avec le programme scolaire français déjà existante, c'était le type soutien fourni aux élèves les plus représentés, issus des écoles PAQUED.) Étant donné les problèmes d'organisation rencontrés par le projet dans les écoles PAQUED, il n'est pas surprenant de constater que seules quelques comparaisons ont révélé des différences statistiquement significatives. Etant donné les grands nombres d échantillons évalués, les grands nombres des analyses, et la manque d une instruction cohèrente dans les differences statistiquements significatives, il semble que ces comparaisons ne sont que de bruit de fond. 71 Bien que l'organisation de l'étude ait été plus aisée dans les écoles PAQUED Accessibles que dans la majorité des écoles PAQUED, elle n'a pas eu d'impact visible sur les résultats des élèves en lecture. Même si cette étude n'a pas été concluante, elle a au moins permis de réaliser que l'ensemble des mesures contenues dans l'intervention n'était pas suffisant pour améliorer la lecture des élèves ; il ne s'agissait pas seulement d'un problème d'organisation.(ces mesures ont peut-être été techniquement appropriées au développement de capacités orales en français (par ex., parler et écouter) qui n'ont pas été étudiées en profondeur par l'egra tel qu'il avait été conçu pour la RDC en 2009.) D'autre part, l'intervention intensive et concentrée délivrée aux écoles Programme de Lecture comprenait tous les éléments destinés à l'apprentissage de la lecture qui ont fait une réussite d'autres programmes organisés par le passé : des livres dans les mains des élèves, y compris des textes à structure répétée ou adaptés au niveau de l'élève ; des livres destinés à la lecture à haute voix et des manuels pour les enseignants ; une formation complète pour les enseignants sur les stratégies de lecture efficaces et sur l'utilisation des manuels ; un accompagnement généralement régulier par une personne qualifiée en pédagogie de la lecture ; et, surtout, un plage horaire quotidienne réservée à des instructions adéquates concernant l'apprentissage de la lecture. Bien que les résultats dans la plupart des exercices de lecture semblent s'être légèrement améliorés entre 2012 et 2014, la conception de l'étude a démontré que très peu de ces améliorations étaient statistiquement significatives et non due au hasard. Ce type de confirmation statistique aurait été particulièrement précieux car les exercices de 71 Les differences statistiquements significatives sont les suivants: les garçons de quatrième des écoles Témoins d'équateur ont fait mieux que les filles en Vocabulaire en 2010 (ce n'était plus le cas en 2014) ; les garçons de quatrième des écoles Témoins d'équateur ont fait mieux que les filles en Connaissance des Graphèmes en 2014 (ce n'était pas le cas en 2010) ; les garçons des écoles PAQUED de Province orientale ont fait mieux que les filles en Mots Familiers, Mots Inventés et Lecture de Texte en 2014 (ce n'était pas le cas en 2010) ; et les garçons des écoles Témoins du Bandundu ont fait mieux que les filles en Vocabulaire en 2010 (ce n'était plus le cas en 2014). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 271

294 Vocabulaire, d'identification du Son Initial, de Connaissance des Graphèmes, de Lecture des Mots Familiers, de Lecture des Mots Inventés, de Lecture de Texte, de Compréhension du Texte Lu et d'écriture d'une Phrase Complète (autrement dit, tous les exercices sauf la Compréhension à l'audition) comprenaient tous au moins un exemple d'élève d'une école Programme de Lecture dont les résultats se sont dégradés entre 2012 et Il serait crucial de pouvoir déterminer si ces changements (amélioration ou dégradation) représentent des différences légitimes dans l'apprentissage de l'élève ou résultent simplement des aléas de l'échantillonnage des élèves. Néanmoins, même dans les cas ou un test d'hypothèse est possible, l'absence de point de repère (autrement dit, de groupe témoin) empêcherait d'affirmer que les améliorations observées sont due au Programme de Lecture et non à un autre facteur. En observant les trois études, quelques tendances prometteuses peuvent être dégagées : Que ce soit dans les écoles PAQUED, PAQUED Accessibles ou Programme de Lecture, les résultats des élèves des classes supérieurs étaient meilleurs que ceux des classes inférieures. (Autrement dit, les sixièmes faisaient en général mieux que les quatrièmes, qui faisaient mieux que les deuxièmes.) Même si cette observation semble couler de source, étant donné les défis rencontrés par les élèves, les enseignants et les directeurs en RDC, son importance n'est pas négligeable. De plus, même si elle n'est pas statistiquement significative pour la valeur p la plus prudente (p < 0,0006), la tendance des filles de certaines provinces à faire mieux que les garçons en 2014 (différence absente en 2012) suggère que le type d'intervention prodigué dans ces écoles encourage les filles à venir à l'école ou améliore l'efficacité de l'enseignement pour les filles ; quoi qu'il en soit, cette observation devrait être explorée plus en profondeur lors d'études à venir. Le fait que le soutien des élèves semble améliorer leurs résultats est également prometteur. Pour les élèves des écoles Programme de Lecture, par exemple, recevoir des leçons d'enseignants ayant participé au programme (implication dans des forums, formations et visites de la part de l'équipe du programme) a contribué à améliorer leurs résultats dans l'exercice de Connaissance des Graphèmes. De la même manière, l'accès à des livres dans la classe est étroitement lié aux performances des élèves de deuxième et de quatrième. Il est également prometteur de constater que les résultats de l'élève sont aussi liés à d'autres formes de soutien, comme être allé à l'école maternelle, posséder des livres à la maison, pratiquer le français à la maison, et avoir une personne lettrée à la maison (bien que l'école n'ait pas souvent un contrôle direct sur ces éléments). Enfin, d'une manière générale, les résultats des élèves en 2014, dans toutes les populations et tous les groupes, sont inférieurs aux moyennes nationales dans tous les exercices. Même pour les compétences orales comme le vocabulaire, la connaissance phonémique et la compréhension à l'audition, les élèves n'ont pas montré le niveau nécessaire à une lecture efficace du français. Les moyennes des élèves en connaissances 272 Projet d Amélioration de la Qualité de l Education (PAQUED)

295 des graphèmes et des mots, de même qu'en lecture de texte, étaient également inférieures au seuil requis afin de pouvoir lire et comprendre un texte en français. Analyse des résultats en mathématiques Il n'y a pas beaucoup à dire à propos de l'effet de l'intervention du PAQUED sur les résultats des élèves en mathématiques, quelque soit l'étude en question. La performance générale des élèves a été mauvaise. Presque aucune différence statistiquement significative n'a émergé du Chapitre E et F de ce rapport. Comme expliqué dans le Chapitre E, les exercices EGMA peuvent être répartis en deux groupes : ceux qui évaluent la connaissance procédurale de l'élève et ceux qui évaluent sa connaissance conceptuelle. En général, les élèves ont fait mieux dans les tâches procédurales ; le pourcentage de résultats nuls y était d'ailleurs sensiblement plus réduit. Ce n'est pas vraiment une surprise, et cela n'est certainement pas une conséquence de l'intervention du PAQUED. L'observation qui pourrait être due au Programme de Lecture (cela nécessite une étude plus approfondie) est le renversement de situation concernant les meilleures performances des garçons en mathématiques. Même si presque aucune comparaison des résultats en mathématiques entre les sexes n'a atteint les seuils d'importance classiques de la correction de Bonferroni, un début de tendance a émergé en faveur des filles par rapport aux garçons dans les écoles Programme de Lecture. Cette tendance contraste avec celle constatée dans les autres populations étudiées, où les garçons faisaient mieux que les filles (bien que celle-ci ne soit pas statistiquement significative non plus). À nouveau, en l'absence d'un lien systématique entre l'intensité du soutien fourni à une école et les résultats de ses élèves en mathématiques, il vaut mieux ne pas tirer trop de conclusions de cette observation. Recommandations En l'absence de preuves indéniables de l'amélioration des résultats des élèves en mathématiques ou en français grâce aux interventions du PAQUED (qu'il s'agisse du projet initial - écoles PAQUED et PAQUED Accessibles - ou du projet adapté pour les écoles Programme de Lecture), il est impossible de délivrer des recommandations définitives quant à l'amélioration des méthodes d'enseignement en RDC. Néanmoins, les points suivant méritent d'être abordés. Réévaluer l'impact du Programme de Lecture après une nouvelle année d'intervention. La plupart des éléments du Programme de Lecture ciblaient uniquement les enseignants et les élèves du degré élémentaire (1re et 2è primaire). De ce fait, les Projet d Amélioration de la Qualité de l Éducation (PAQUED) 273

296 élèves de deuxième évalués à la fin du programme ne l'avaient suivi qu'une année scolaire. Il est possible que les élèves ayant terminé la 1re et la 2è primaire sous le Programme de Lecture obtiennent des résultats bien supérieurs aux élèves n'ayant suivi le programme qu'en 2è. Utiliser un modèle de recherche approprié à l étude. La recherche qui s'est terminée par les tests EGRA et EGMA en 2014 n'a jamais été conçue dans l'optique d'évaluer les écoles Programme de Lecture. Ainsi, les écoles Programme de Lecture n'avaient ni de point de départ réel, ni de références auxquelles être comparées, ni la taille nécessaire pour mener des analyses approfondies de toutes les questions d'intérêt théorique. Si la communauté éducative de RDC désire établir une marche à suivre pour l'apprentissage de la lecture au Congo qui soit réellement appuyée par des données quantitatives sur la viabilité du Programme de Lecture, ces éléments seront indispensables. 72 En dépit de ce qui a été dit plus haut, certains éléments du Programme de Lecture semblent prometteurs et sont en ligne avec la conception de MEPSP et les documents stratigiques et aussi avec les approches utilisées avec succès par l'usaid dans d'autres pays (notamment le Kenya, le Libéria,le Malawi, l Egypte, la Jordanie), et semblent tout sauf inutiles. Par exemple, fournir aux élèves des livres (notamment des livres à structures répétées et adaptés à leur niveau) et aux enseignants des manuels en lien avec ceux-ci fait partie de ces méthodes. Une autre méthode est l'incorporation de pédagogie de la lecture aux modules de formations des enseignants (comme les différents forums d'échange). Enfin, procurer aux enseignants un soutien régulier et continu par des coaches formés en pédagogie de la lecture représente une troisième méthode ayant déjà fait ses preuves qui s est également avérée efficace dans le cadre de cette étude. Que le modèle composite regression de la participation des enseignants a démontré une corrélation positive et significative avec les performances des élèves dans le sous-tache de la connaissance des graphèmes est un signe positif du potentiel du Programme de Lecture. 72 Une équipe dirigée par le Professeur Pierre Mukendi de l'université de Kinshasa (UNIKIN), membre de la Commission nationale de la Lecture, a mené une étude qualitative du PAQUED à la fin du programme. Le rapport de son équipe, ainsi que l'atelier de Récapitulation organisé en 2014 pour aborder ses découvertes et les analyses préliminaires des études EGRA/EGMA de 2014, fournissent un aperçu précieux et plus informatif que ce que les données de ce rapport peuvent nous dire. Pour obtenir une copie du rapport du Professeur Mukendi, contacter Susan Ross à sross@edc. 274 Projet d Amélioration de la Qualité de l Education (PAQUED)

297 Annexe I : Détails de la méthodologie de l'étude Projet d Amélioration de la Qualité de l Éducation (PAQUED) 275

298 Cette Annexe procure plus de détails en rapport avec la méthodologie de l'étude. La majorité de cette analyse est axée sur la conception des échantillons (et leurs changements au fil du temps) et sur leur pondération. La dernière section de l'annexe décrit brièvement les méthodes d'analyses appliquées aux données. Conception des échantillons pour 2010, 2012 et 2014 Cette section présente les différents modes de conception d'échantillons qui ont été utilisés par le Projet d'amélioration de la Qualité de l'éducation (PAQUED) entre 2010 et 2014, dans le but de clarifier les contraintes en matière de comparaison et de généralisation qui ont façonné la structure de ce rapport. Les défis logistiques en République Démocratique du Congo (RDC) sont importants, de sorte que le PAQUED a pris deux problèmes essentiels en compte au moment de déterminer l'éligibilité d'une subdivision à participer au projet : l'accessibilité et la sécurité. Pour qu'une subdivision remplisse le critère d'accessibilité, elle ne devait pas être située dans une zone inondable ou à plus de trois jours de voyage du centre de la province, et elle devait être accessible par la terre. Pour qu'une subdivision remplisse le critère de Sécurité, la visite de la plupart de ses écoles ne devait pas poser de risque majeur pour le personnel du projet. Lors de l'évaluation des compétences fondamentales en lecture (EGRA) et en mathématiques (EGMA) en 2010, 18 subdivisions du Bandundu, 17 d'équateur et 14 de Province orientale remplissaient les critères pour obtenir une intervention du PAQUED. Conception de l'échantillon 2010 La collecte de données EGRA et EGMA a été effectuée en deuxième, quatrième et sixième primaires dans les trois provinces PAQUED du Bandundu, d'équateur et Orientale, pour un total d'environ 144 écoles. Parmi ces écoles, 109 étaient des écoles PAQUED (environ 36 par province) et 35 étaient des écoles Témoins (environ 12 par province), ce qui a permis deux types de comparaison au cours du projet : (1) l'évolution dans les écoles PAQUED par rapport aux écoles Témoins, et (2) l'évolution dans les différentes provinces. L'étude a utilisé une approche d'échantillonnage groupé pour sélectionner des écoles PAQUED et des écoles Témoins similaires. RTI International a choisi au hasard six subdivisions dans chaque province parmi les subdivisions identifiées par les partenaires PAQUED comme éligibles. RTI a ensuite sélectionné au hasard six écoles PAQUED dans chacune de ces subdivisions. Enfin, PAQUED a identifié trois à quatre écoles similaires à celles des écoles du programme, parmi lesquelles RTI en a choisi deux au hasard pour servir d'écoles Témoins. L'échantillonnage au niveau de l'école consistait à choisir au hasard 13 élèves par classe pour participer à l'évaluation. Pour être précis, un enseignant pour chaque niveau a été choisi au hasard et 13 élèves présents dans la classe de l'enseignant choisi le jour de l'évaluation ont alors été choisis au hasard. Chaque enfant a été évalué selon les méthodes 276 Projet d Amélioration de la Qualité de l Education (PAQUED)

299 EGRA et EGMA. Un superviseur du Ministère de l'enseignement Primaire, Secondaire et Professionnel (MEPSP), assisté de quatre assesseurs, a été responsable de choisir des élèves au hasard. L'échantillonnage des enfants étant fait au hasard, la proportion de garçons et de filles devrait être représentative des proportions réelles au sein des élèves. L'évaluation a eu lieu le matin, à l'heure où les enfants sont d'habitude en classe et sont le plus susceptibles d'avoir l'esprit clair. L'échantillon de l'étude finale comprenait élèves de 144 écoles au sein des trois provinces. Les élèves ont été échantillonnés de manière presque égale par province, classe et sexe. Tableau A1.1 : Échantillon 2010 : Distribution géographique par Type de traitement Province Écoles PAQUED Écoles Témoins Bandundu Équateur Orientale Total Conception de l'échantillon 2012 Même si l'étude de 2012 a également appliqué des critères d'accessibilité et de Sécurité, PAQUED a modifié sa définition de l'accessibilité par rapport à La nouvelle définition stipulait que l'école devait être située dans un rayon de 20 km autour d'un centre urbain. De plus, pour qu'une subdivision soit éligible pour une évaluation à la moitié de l'étude, elle devait contenir au moins six écoles jugées «accessibles» selon la définition de Au moment des évaluations EGRA/EGMA de 2012, ces changements dans les critères de sélection ont réduit le nombre de subdivisions parmi lesquelles RTI devait choisir des écoles au hasard à six au Bandundu (18 en 2010), huit en Équateur (17) et cinq en Province orientale (14). La collecte de données EGRA et EGMA de 2012 a été menée en deuxième et quatrième primaires dans les trois provinces PAQUED du Bandundu, d'équateur et Orientale. En tout, 95 écoles, parmi lesquelles 60 PAQUED et 35 Témoins (environ 12 par province) ont été choisies. L'échantillon a été conçu pour permettre deux types de comparaison au cours de la seconde partie du projet : (1) l'évolution des élèves des écoles PAQUED Accessibles par rapport à ceux des écoles Témoins Accessibles, et (2) l'évolution au sein des différentes provinces. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 277

300 L'étude a utilisé une approche d'échantillonnage groupé pour sélectionner des écoles jugées par le PAQUED comme «accessibles» et des écoles Témoins similaires. D'abord, RTI a choisi au hasard six subdivisions dans chaque province parmi les subdivisions jugées éligibles par les partenaires PAQUED. 73 RTI a ensuite choisi au hasard six écoles dans chacune de ces subdivisions. Les partenaires ont identifié trois ou quatre écoles aux caractéristiques similaires à celles des écoles PAQUED, et parmi celles-ci, en ont choisi deux au hasard pour servir d'écoles Témoins. L'échantillonnage au niveau de l'école consistait à choisir au hasard 13 élèves par classe pour participer à l'évaluation. Un enseignant pour chaque niveau a été choisi au hasard et 13 élèves présents dans la classe de cet enseignant le jour de l'évaluation ont alors été choisis au hasard. L'échantillonnage des enfants étant fait au hasard, la proportion de garçons et de filles devrait être représentative des proportions réelles au sein des élèves. Chaque enfant à été évalué selon les méthodes EGRA et EGMA. L'échantillon final de 2012 contenait élèves de 95 écoles réparties sur trois provinces. Les élèves ont été échantillonnés de manière presque égale par province, classe et sexe. Tableau A1.2 : Distribution géographique de l'échantillon de 2012 par Type de traitement Province Écoles PAQUED Accessibles Écoles Témoins Accessibles Bandundu Équateur Orientale Total Conception de l'échantillon de 2014 En raison de la différence de population cible entre l'étude de 2010 et celle de 2012, RTI a recommandé que l'évaluation de 2014 soit soumise à deux échantillons différents : Échantillon A, basé sur la conception d'échantillonnage de 2010 ; et Échantillon B, basé sur la conception d'échantillonnage de Les données collectées pour l'échantillon A sont reprises dans les Chapitres C et D de ce rapport ; ce sont les résultats des écoles PAQUED. Les données collectées pour l'échantillon B englobent les écoles Programme de Lecture (reprises dans le Chapitre B de ce rapport) et les écoles PAQUED Accessibles (reprises dans les Chapitres C et D). 73 En Province orientale, seules cinq subdivisions étaient éligibles ; elles ont donc toutes été sélectionnées. 278 Projet d Amélioration de la Qualité de l Education (PAQUED)

301 Base d'échantillonnage de 2014 La première étape pour établir les échantillons de 2014 était de modifier la liste des écoles traitées établie en 2010 pour n'y inclure que les écoles qui participaient toujours au programme PAQUED quatre ans plus tard. 74 RTI a établi la première étape de l'échantillonnage (écoles dans les provinces) à partir de cette base de population mise à jour. Pour la deuxième étape de l'échantillonnage (enfants dans les écoles), un total de 13 élèves par classe ont été choisis au hasard pour participer à l'évaluation. Un enseignant pour chaque niveau a été choisi au hasard et 13 élèves présents dans la classe de l'enseignant choisi le jour de l'évaluation ont alors été choisis au hasard. L'échantillonnage des enfants étant fait au hasard, la proportion de garçons et de filles devrait être représentative des proportions réelles au sein des élèves. Chaque enfant à été évalué selon les méthodes EGRA et EGMA. Les écoles des Échantillons A et B ont été sélectionnées indépendamment des échantillons de 2010 et de 2012, ce qui signifie qu'une école choisie en 2010 ou 2012 pouvait encore l'être en Comme l'échantillon de 2014 était choisi au hasard, les écoles évaluées les années précédentes ont pu être incluses dans l'échantillon de Sélection de l'échantillon 2014 La conception de l'échantillon A permet deux types de comparaisons. Premièrement, elle permet aux évaluateurs d'identifier les améliorations dans les écoles PAQUED entre 2010 et 2014 et de les comparer à celles des écoles Témoins pendant la même période. Deuxièmement, elle permet des comparaisons interprovinciales des écoles PAQUED. Les analyses présentées dans les Chapitres C et D de ce rapport comprennent ces comparaisons pour les élèves de 2è, de 4è et de 6è. De la même manière, la conception de l'échantillon B permet deux types de comparaisons. Premièrement, elle permet aux évaluateurs d'identifier les améliorations dans les écoles PAQUED Accessibles entre 2012 et 2014 et de les comparer à celles des écoles Témoins Accessibles pendant la même période. Deuxièmement, elle permet des comparaisons interprovinciales des écoles PAQUED Accessibles. Les analyses présentées dans les Chapitres C et D de ce rapport comprennent ces comparaisons pour les élèves de 2è et de 4è. Comme les sixièmes n'avaient pas été évalués en 2012, l'étude de l'échantillon B ne pouvait pas procurer un aperçu de l'évolution de leurs résultats et ils ont donc été écartés de l'étude de Le Centre du développement de l'éducation a informé RTI que certaines écoles choisies en 2010 avaient entre-temps abandonné le programme. Ces écoles ont donc été retirées de la base d'échantillonnage. Seules les écoles ayant fait partie du programme depuis 2010 ont été considérées éligibles pour les deux bases d'échantillonnage de Projet d Amélioration de la Qualité de l Éducation (PAQUED) 279

302 Pour établir l'échantillon B, RTI a choisi au hasard six subdivisions dans chaque province parmi les subdivisions sélectionnées par PAQUED selon les critères de RTI a choisi au hasard quatre écoles PAQUED Accessibles dans chacune des six subdivisions. Les écoles choisies pour servir d'écoles Témoins Accessibles en 2014 ont été choisies parmi la base de Témoins Accessibles utilisée en Écoles Programme de Lecture incluses en 2014 Après le remaniement du projet en 2013, 45 écoles issues des trois provinces ont commencé à recevoir un support additionnel plus soutenu. Ces écoles, appelées dans ce rapport écoles Programme de Lecture 76, ont reçu une intervention adaptée, détaillée dans la section Éléments de l'intervention «Programme de Lecture» après le remaniement du Chapitre A. Seules 20 des 44 écoles Programme de Lecture ont été évaluées lors des tests EGRA/EGMA de 2012, ce qui signifie que l'échantillon est trop restreint pour permettre une analyse fiable de l'évolution des écoles Programme de Lecture dans le temps. Les 24 autres écoles ont été incluses dans l'échantillon B de 2014 (en plus des 20 premières évaluées en 2012). La Figure A1.1, issue du Chapitre A de ce rapport, procure deux représentations visuelles de l'échantillon EGRA/EGMA en 2014 et des populations des écoles dans lesquelles les tests ont été organisés. Comme expliqué dans le corps du rapport, la partie supérieure de l'image contient une carte des subdivisions éducatives dans lesquelles les écoles ont été testées ; les couleurs représentent les populations représentées dans les écoles. L'image du bas représente les tailles relatives des populations étudiées ainsi que les échantillons choisis. (Autrement dit, le ratio entre le rectangle gris clair Population : 3000 écoles PAQUED et la zone grise foncé Population : 618 écoles PAQUED Accessibles est de 3000:618 ou ~4,85:1.) Sur la carte et le schéma, l'étude A fait référence aux écoles PAQUED et Témoins ; l'étude B fait référence aux écoles PAQUED Accessibles et Témoins Accessibles ; et les écoles Programme de Lecture sont englobées par l'étude B car elles représentent un sous-ensemble des écoles PAQUED Accessibles. 75 Pour rappel, les critères de 2012 réclamaient que chaque subdivision contienne au moins six écoles «accessibles», c'est-à-dire situées dans un rayon de 20 km autour d'un centre urbain. À nouveau, seules cinq subdivisions en Province orientale remplissaient ce critère ; elles ont donc toutes été choisies. 76 Dans les rapports trimestriels du PAQUED et dans les discussions avec l'usaid, ces écoles étaient qualifiées d'«expérimentales». Cependant, comme leur sélection et la conception de leur étude ne suivent pas les principes expérimentaux ou quasi-expérimentaux, elles sont dénommées écoles «Programme de Lecture» dans ce rapport, afin d'éviter toute confusion. 280 Projet d Amélioration de la Qualité de l Education (PAQUED)

303 Figure A1.1 Subdivisions contenant des écoles évaluées en 2014 et Taille relative des populations étudiées Les deux tableaux suivants montrent les tailles des échantillons prévus pour les écoles et les élèves des échantillons A et B. Le nombre réel d'écoles visitées et d'élèves choisis est inscrit dans les sections Statistiques Descriptives des Chapitre B-D. Les Tableaux A1.3 et A1.5 montre la taille des échantillons d'écoles, tandis que les Tableaux A1.4 et A1.6 montre la taille des échantillons d'élèves. Chaque tableau montre également la répartition géographique par type de traitement. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 281

304 Tableau A1.3 : Nombre d'écoles dans l Échantillon A en 2014 par Distribution géographique et Type de traitement Province Écoles PAQUED Écoles Témoins Total Bandundu Équateur Orientale Total Tableau A1.4 : Nombre d'élèves dans l Échantillon A en 2014 par Distribution géographique, Type de traitement et Classe Province/Classe Élèves PAQUED Élèves Témoins Total Bandundu è è è Équateur è è è Orientale è è è Total è è è Projet d Amélioration de la Qualité de l Education (PAQUED)

305 Tableau A1.5 : Nombre d'écoles dans l Échantillon B en 2014 par Distribution géographique et Type de traitement Province Écoles PAQUED Accessibles Écoles Témoins Accessibles Écoles Programme de Lecture Total Bandundu Équateur Orientale Total Tableau A1.6 : Nombre d'élèves dans l Échantillon B en 2014 par Distribution géographique, Type de traitement et Classe Province/Classe Élèves PAQUED Accessibles Élèves Témoins Accessibles Élèves Programme de Lecture Total Bandundu è è Équateur è è Orientale è è Total è è Seules cinq subdivisions en Province orientale remplissaient les critères d'éligibilité en termes d'écoles «accessibles». Pour atteindre la taille d'échantillon nécessaire, trois écoles ont été choisies dans chaque subdivisions, contre deux dans les autres provinces. 78 Il y avait seulement 11 écoles Programme de Lecture en Province orientale. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 283

306 Probabilité de sélection et Méthode de pondération - Échantillons A et B Les méthodes décrites dans cette section pour la probabilité de sélection et la pondération ont été utilisées pour les Échantillons A et B. La probabilité de sélection pour les subdivisions est égale au nombre total de subdivisions (SBD) à choisir dans la province divisé par la population totale de SBD dans la province. pos 1hi = #(SBD à choisir) h / #(population SBD) h où #(SBD à choisir) h est le nombre de SBD à choisir dans la province h et #(population SBD) h est le nombre total de SBD dans la province h. La méthode de pondération dans une province est l inverse de la probabilité de sélection dans la province. Autrement dit, la méthode de pondération pour la SBD i dans la province h (m hi ) est d 1hi = 1 / pos 1hi La probabilité de sélection pour les écoles au sein d'une subdivision est égale au nombre total d'écoles à choisir dans les subdivisions divisé par la population totale d'écoles dans la subdivision. pos 2hi = #(écoles à choisir) h / #(population écoles) h où #(écoles à choisir) h est le nombre d'école à choisir dans la SBD h et #(population écoles) h est le nombre total d'écoles dans la SBD h. La méthode de pondération dans une SBD est l inverse de la probabilité de sélection dans la SBD. Autrement dit, la méthode de pondération pour l'école i dans la SBD h (m hi ) est d 2hi = 1 / pos 2hi La probabilité de sélection pour les élèves au sein d'une école par classe et sexe est le nombre total d'élèves à choisir par sexe dans la classe divisé par la population totale d'élèves dans cette classe. pos jlk = #(élèves à choisir) jlk / #(population élèves) jl où #(élèves à choisir) jlk est le nombre d'élèves de sexe k dans l'école j et #(population élèves) jl est le nombre d'élèves de l è année dans l'école j. La méthode de pondération à ce niveau pour un élève dans une école est l inverse de la probabilité de sélection dans l'école par classe et par sexe d lk = / pos jlk 284 Projet d Amélioration de la Qualité de l Education (PAQUED)

307 La pondération de l'analyse finale utilisée pour toutes les analyses de l'évaluation finale de 2014 est le produit de la méthode de pondération (PN) de la première phase et de la méthode de pondération de la deuxième phase PN = d 1hi *d 2hi *d jlk Cette explication de la pondération s'applique uniquement aux subdivisions et aux écoles. Les lecteurs auront peut-être remarqué qu'il existait une étape supplémentaire dans l'échantillonnage dans chaque école, celle des enseignants au sein d'une année. Le manque de données fiables sur le nombre d'enseignants (ou de classes) par année dans chaque école a rendu impossible un relevé correct lors du procédé de conception de l'échantillonnage et de pondération. Comme ce souci a été rencontré lors des trois périodes de collecte de données (2010, 2012 et 2014), il n'affecte en rien les analyses suivantes. Pondérations pour l'échantillon A Échantillon A : Phase 1 Tableau A1.7 : Base et Contenu de l'échantillon A de 2014 : Subdivisions (Phase 1) Province Nombre de SBD éligibles Nombre de SBD à choisir PN1 (# de SBD éligibles/nombre de SBD à choisir) 79 Correction de population finie (CPF) 1 Bandundu , Équateur , Orientale , Total Remarque : PN1 et CPF1 sont identiques pour les écoles traitées et témoins car l'éligibilité d'une SBD était définie par le nombre d'écoles PAQUED qu'elle contenait. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 285

308 Échantillon A : Phase 2 Province Tableau A1.8 : Base et Contenu de l'échantillon A de 2014 pour les écoles PAQUED (Phase 2) Nombre d'écoles PAQUED dans SBD choisies Nombre d'écoles PAQUED à choisir dans SBD choisies PN2 = (# écoles PAQUED éligibles/# écoles PAQUED à choisir) CPF1 Bandundu , Équateur , Orientale , Total Province Tableau A1.9 : Base et Contenu de l'échantillon A de 2014 pour les écoles Témoins (Phase 2) Nombre d'écoles Témoins dans SBD choisies Nombre d'écoles Témoins à choisir dans SBD choisies PN2 = (# écoles Témoins éligibles/# écoles Témoins à choisir) CPF1 Bandundu , Équateur , Orientale , Total Projet d Amélioration de la Qualité de l Education (PAQUED)

309 Pondérations pour l'échantillon B Échantillon B : Phase 1 Tableau A1.10 : Base et Contenu de l'échantillon B de 2014 pour les Subdivisions (Phase 1) Province Nombre de SBD éligibles Nombre de SBD à choisir PN1 (#SBD éligibles/ #SBD à choisir) 80 Bandundu Équateur 8 6 1,33 8 Orientale Total CPF1 Échantillon B : Phase 2 Province Tableau A1.11 : Base et Contenu de l'échantillon B de 2014 pour les écoles PAQUED Accessibles (Phase 2) Nombre d'écoles PAQUED Accessibles dans SBD choisies Nombre d'écoles PAQUED Accessibles à choisir dans SBD choisies PN2 = (# écoles PAQUED Accessibles éligibles/ # écoles PAQUES Accessibles à choisir) CPF1 Bandundu , Équateur , Orientale , Total Remarque : PN1 et CPF1 sont identiques pour les écoles traitées et témoins car l'éligibilité d'une SBD était définie par le nombre d'écoles Programme de Lecture qu'elle contenait. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 287

310 Province Tableau A1.12 : Base et Contenu de l'échantillon B de 2014 pour les écoles Témoins Accessibles (Phase 2) Nombre d'écoles Témoins Accessibles dans SBD choisies Nombre d'écoles Témoins Accessibles à choisir dans SBD choisies PN2 = (# écoles Témoins Accessibles éligibles/ # écoles Témoins Accesssibles à choisir) CPF1 Bandundu , Équateur , Orientale , Total Probabilité de sélection et Méthode de pondération - écoles Programme de Lecture Après les évaluations EGRA/EGMA de 2012, le CDE a choisi parmi les trois provinces 43 écoles PAQUED Accessibles destinées à recevoir le traitement IAI plus modifié et intensifié. Dans ce rapport, ces écoles sont appelées écoles «Programme de Lecture». Vingt des 43 écoles Programme de Lecture ont été à la fois choisies et évaluées en Ces écoles ne faisaient pas partie de l'échantillon de probabilités de sorte que l'analyse se limitera à l'échantillon et aucune généralisation ne pourra être étendue à la population des écoles Programme de Lecture. Étant donné que toutes les écoles ont été sélectionnées avec certitude après l'évaluation de 2012, la probabilité de sélection au niveau de l'école est égale à 1. 1 W i = 1, où 1 W i = pondération au niveau de l'école pour l'école i. L'échantillonnage au niveau de l'école consistait à choisir au hasard 13 élèves par classe pour participer à l'évaluation. Le niveau de pondération final pour le sexe k, la classe j et l'école i est définie comme suit : W = 2 ijk N n ijk ijk, où 2 W ijk = pondération au niveau de l'élève pour l'école i, sexe k et classe j. 288 Projet d Amélioration de la Qualité de l Education (PAQUED)

311 N ijk = nombre d'élèves dans l'école i, de sexe k et dans classe j. n ijk = nombre d'élèves à choisir dans l'école i, de sexe k et dans classe j. La pondération de l'analyse finale est le produit des pondérations au niveau de l'école et au niveau de l'élève : W = W 3 ijk 1 2 i * W ijk Méthodes analytiques Les méthodes analytiques principales utilisées pour examiner les données EGRA et EGMA dans ce rapport comprenaient des analyses descriptives et de régression simple. Toutes les analyses utilisées dans la pondération de l'analyse finale (voir sous-section Probabilité de sélection et Méthode de pondération ci-dessus). Les analyses comprenaient des comparaisons de moyennes et de pourcentages et des analyses de régression. Les différences statistiquement significatives ont été signalées lorsqu'elles apparaissaient. Les analyses de régression ont été utilisées pour examiner, et pour comparer, les effets des caractéristiques clés des écoles, des élèves et des enseignants (c.-à-d., SSE, langue parlée à la maison, pratiques en classes) sur les résultats. Pour les écoles PAQUED et Témoins, les données de 2014 sont comparées à celles de Pour les écoles PAQUED Accessibles et Témoins Accessibles, les données de 2014 sont comparées à celles de Pour les écoles Programme de Lecture, les données de 2014 sont comparées à celles du sous-ensemble d'écoles Programme de Lecture évaluées en Définitions des valeurs d'alpha Pour éviter toute erreur de type 1, des ajustements de Bonferroni ont été apportés à la valeur alpha de 0,05 au sein de chaque chapitre de ce rapport. Les erreurs de type 1 se produisent lorsque l'hypothèse nulle est rejetée alors qu'elle est vraie. En gonflant le chiffre, nous augmentons la probabilité de considérer un résultat comme significatif alors qu'il ne l'est pas. Comme ce rapport contient trois populations incomparables entre elles, les ajustements de Bonferroni ont été calculés séparément pour chaque population. Pour les écoles Programme de Lecture (Chapitre B de ce rapport), deux familles de tests ont été définies, comme expliqué ci-dessous : Famille #1 - tous les tests ayant examiné l'existence d'un impact lié au sexe dans le groupe traité et dans le temps. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 289

312 Famille #2 - tous les tests ayant examiné l'impact de facteurs extérieurs sur les résultats de l'élève. Tableau A1.13 : Chapitre B - Ajustements de Bonferroni pour les résultats EGRA des écoles Programme de Lecture Exercice Vocabulaire Identification du Son Initial Compréhension à l'audition Connaissance des Graphèmes Mots Familiers Mots Inventés Lecture de Texte Compréhension du Texte Lu Écriture d'une Phrase Complète Caractéristiques de l'élève Tests Famille #1 (Comparaisons des moyennes) Valeur p (p < #) 12 par exercice 0,004 6 par exercice 0,008 Tests Famille #2 (Facteurs extérieurs) Valeur p (p < #) 24 par exercice 0,002 Pour les écoles PAQUED Accessibles (et Témoins Accessibles) ainsi que PAQUED (et Témoins) étudiées dans le Chapitre C de ce rapport, trois familles de tests ont été définies, comme expliqué ci-dessous : Famille #1 - tous les tests ayant examiné les changement entre les groupes dans le temps. Famille #2 - tous les tests ayant examiné l'existence d'un impact lié au sexe dans le groupe traité et dans le temps. Famille #3 - tous les tests ayant examiné l'impact de facteurs extérieurs sur les résultats de l'élève. 290 Projet d Amélioration de la Qualité de l Education (PAQUED)

313 Tableau A1.14 : Chapitre C Section 1 - Ajustement de Bonferroni pour les écoles PAQUED Accessibles, résultats EGRA Exercice Tests Famille #1 Valeur p (p < #) Tests Famille #2 Valeur p (p < #) Tests Famille #3 (Facteurs extérieurs) Valeur p (p < #) Vocabulaire Identification du Son Initial Compréhension à l'audition Connaissance des Graphèmes Mots Familiers 6 par exercice 0, par exercice 0,002 Mots Inventés Lecture de Texte Compréhension du Texte Lu Écriture d'une Phrase Complète Caractéristiques de l'élève 3 par exercice 0, par exercice 0, par exercice 0,0025 Tableau A1.15 : Chapitre C Section 2 - Ajustement Bonferroni pour les écoles PAQUED, résultats EGRA Exercice Tests Famille #1 (EDD) Valeur p (p < #) Tests Famille #2 (Comparaisons des moyennes) Valeur p (p < #) Tests Famille #3 (Facteurs extérieurs) Valeur p (p < #) Vocabulaire Identification du Son Initial Compréhension à l'audition Connaissance des Graphèmes Mots Familiers 9 par exercice 0, par exercice 0,001 Mots Inventés Lecture de Texte Compréhension du Texte Lu Écriture d'une Phrase Complète Caractéristiques de l'élève 6 par exercice 0, par exercice 0, par exercice 0,002 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 291

314 Pour les écoles PAQUED Accessibles (et Témoins Accessibles) ainsi que PAQUED (et Témoins) étudiées dans le Chapitre D de ce rapport, deux familles de tests ont été définies, comme expliqué ci-dessous : Famille #1 - calculs de l écart des différences Famille #2 - comparaisons 2014 (écoles traitées/témoins, sexe, classe) Tableau A1.16 : Chapitre D Sections Ajustements Bonferroni pour les écoles PAQUED Accessibles, résultats EGMA Exercice Identification des nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Tests Famille #1 (EDD) Valeur p (p < #) Tests Famille #2 (Comparaisons des moyennes) Valeur p (p < #) 9 par exercice 0, par exercice 0,001 6 par exercice 0, par exercice 0,002 Tableau A1.17 : Chapitre D Sections Ajustements Bonferroni pour les écoles PAQUED Accessibles, résultats EGMA Exercice Identification des nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Tests Famille #1 valeur p (p < #) Tests Famille #2 valeur p (p < #) 6 par exercice 0, par exercice 0,001 3 par exercice 0, par exercice 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

315 Annexe II : Procédé de collecte de données EGRA / EGMA Projet d Amélioration de la Qualité de l Éducation (PAQUED) 293

316 Cette Annexe détaille le procédé de formation, de sélection et de déploiement des assesseurs ; le programme des collectes de données ; et les mécanismes de contrôle de qualité employés. Formation et sélection des assesseurs La Formation des candidats-assesseurs a duré 11 jours (deux semaines complètes et un samedi) entre le 17 et le 30 avril Les candidats ont passé trois matinées dans des écoles à exercer leurs méthodes d'évaluation et les procédures d'échantillonnage avec les élèves et des membres du corps enseignant. Des ateliers de formation ont été organisés simultanément dans les villes de Bandundu-Ville (Bandundu), Mbandaka (Équateur) et Kisangani (Province orientale). Chaque atelier a été animé par un formateur EGRA maîtrisant Tangerine, avec l'aide logistique d'une équipe locale de RTI International ou d'un sous-traitant local. La majorité des candidats invités à l'atelier de formation d'assesseurs avaient participé aux activités de collecte des données soit en 2010 soit en 2012, et nombre d'entre eux avaient servi d'assesseurs lors des évaluations. Les trois premiers jours de formation étaient destinés à représenter l'évaluation aux candidats. Après avoir revu les différents exercices et la façon dont ils devaient être donnés, les candidats ont reçu les versions 2014 de l'évaluation sur papier. Même si la collecte de données devait au final se dérouler sur des tablettes tactiles utilisant le programme Tangerine de RTI, il était important que les assesseurs soient préparés à se rabattre sur la version papier dans le cas où ils rencontreraient un problème avec la tablette sur le terrain. Toutefois, durant le reste de la formation, les assesseurs ont été invités à travailler avec les tablettes. Les candidats se sont entraînés sans relâche à donner les tests en groupe, en paire et par trois. À de nombreuses reprises au cours de l'atelier, la fiabilité inter-assesseurs (FIA) a été évaluée. Aucun candidat obtenant moins de 90 % aux évaluations FIA ne pouvait être désigné assesseur. Néanmoins, ce n'était pas le seul critère sur lequel étaient jugés les assesseurs. Ils étaient également évalués sur leur capacité à développer une relation avec l'élève, à suivre à la lettre le protocole de chaque exercice et à manipuler efficacement la tablette. Dans le cadre des tests FIA, le personnel encadrant annotait une version papier du protocole d'évaluation de l'élève. Les annotations comprenaient des instructions sur des erreurs à faire (comme passer une rangée complète d'exercices, lire un vrai mot français au lieu d'un mot inventé, montrer la mauvaise partie du corps dans l'exercice de Vocabulaire, etc.), sur le ton et l'attitude à adopter (lire avec hésitation, être facilement distrait), sur les informations démographiques de l'élève, etc. Un membre congolais de l'équipe encadrante recevait la feuille annotée et devait se familiariser avec le rôle qu'il devait jouer. Cette personne se mettait alors dans la peau de l'élève tandis que l'animateur de l'atelier ou un bon candidat donnait l'évaluation à l'«élève». Les candidats-assesseurs 294 Projet d Amélioration de la Qualité de l Education (PAQUED)

317 se rassemblaient autour de la paire et suivaient la discussion, puis terminaient leurs évaluations en même temps que la personne qui donnait le test. Les résultats du groupe étaient alors téléchargés sur le cloud et chaque question était vérifiée grâce au mode réponse. Les scores des candidats étaient calculés sur la base de la proportion d'accord avec le mode réponse, et des activités de remédiation étaient organisées pour les éléments obtenant un taux d'accord inférieur à 80 % parmi les assesseurs. Les candidats ayant excellé dans les exercices décrits ci-dessus et ayant fait preuve de qualités de leadership ont été engagés dans l'équipe des Superviseurs. Programme de collecte de données Pour permettre une exposition maximale des élèves au programme, les données étaient collectées le plus tard possible dans le dernier trimestre académique. Les écoles ont été visitées sur une période de six semaines à partir du 2 mai Dans la plupart des cas, les visites avaient lieu le matin, pour que les élèves soient évalués dans un état de forme optimal (sauf dans les cas où les cours n'avaient lieu que l'après-midi). Les équipes d'assesseurs ont visité les écoles au rythme d'une école tous les deux jours, le second jour étant utilisé pour voyager de site en site. À son arrivée à l'école, le Superviseur rencontrait le Directeur pour présenter son équipe, ainsi qu'une lettre d'autorisation du Ministère de l'enseignement Primaire, Secondaire et Professionnel (MEPSP), et lui expliquait le déroulement de la journée. L'équipe se chargeait ensuite de choisir un enseignant au hasard dans chaque année d'étude concernée. Les élèves de l'enseignant choisi étaient alignés et compté, et un élève sur n était chaque fois évalué. (Pour déterminer n, les équipes divisaient le nombre total d'élèves de la classe par le nombre d'élèves à évaluer, 13. Le quotient de l'opération représentait n. Par exemple, pour une classe de 39 élèves, = 3. Un élève sur 3 est sélectionné pour l'évaluation.) Les assesseurs soumettaient alors les tests EGRA et EGMA aux élèves. Le Superviseur observait, garantissait la qualité du test et s'assurait que des élèves soient assignés aux assesseurs disponibles. Peu avant la fin de l'évaluation des élèves, les assesseurs interrogeaient l'enseignant dont les élèves avaient été choisis ainsi que le directeur. Contrôle de la qualité L'évaluation intermédiaire a été menée par le biais du logiciel informatique open source de collecte de données développé par RTI, Tangerine. 81 Ce logiciel, adapté aux tests EGRA et EGMA, contient un outil de contrôle de la validité des données, un chronomètre pour les tests et des configurations de logique conditionnelle aidant à réduire de manière drastique les erreurs de l'assesseur. Là où la connectivité mobile le permettait, les 81 Pour plus d'informations sur ce logiciel, consulter le site de Tangerine, Projet d Amélioration de la Qualité de l Éducation (PAQUED) 295

318 données pouvaient être téléchargées pour être vérifiées qualitativement et quantitativement. La collecte des résultats directement sur une plateforme numérique élimine le besoin d'engager des employés chargés de transcrire les formulaires papier, et réduit ainsi encore une fois le risque d'erreurs. Lors de l'évaluation finale de 2014, la plupart des équipes d'assesseurs du Bandundu et de Province orientale ont été capables de télécharger leurs résultats de manière régulière (au moins une fois tous les deux ou trois jours). La connectivité en Équateur était moins fiable, et les équipes ne pouvaient pas les télécharger de manière régulière. À chaque arrivage de nouveaux résultats, une équipe de la maison mère de RTI vérifiait les données afin de s'assurer qu'elles étaient conformes aux procédures administratives EGRA et EGMA. 82 Chaque fois qu'un écart par rapport aux protocoles standards était remarqué, l'équipe contactait les superviseurs et assesseurs afin de leur rappeler la correcte marche à suivre. La révision nocturne des données permettait aussi aux statisticiens de RTI de les garder en ordre, afin d'accélérer le processus de synthèse, d'analyse et de conclusion. 82 Si un enfant avait obtenu un résultat nul (10 premiers éléments incorrects) dans l'exercice de connaissance des lettres de l'alphabet, mais que le chronomètre indiquait que plus de 30 secondes s'étaient écoulées, cela signifiait que l'assesseur n'avait pas respecté la règle des trois secondes. L'équipe contactait alors l'équipe d'assesseurs par message ou par téléphone pour leur rappeler que les élèves ne doivent pas pouvoir hésiter plus de trois secondes complètes par élément avant de passer au suivant. 296 Projet d Amélioration de la Qualité de l Education (PAQUED)

319 Annexe III : À propos des instruments d'évaluation Projet d Amélioration de la Qualité de l Éducation (PAQUED) 297

320 Cette Annexe explique les instruments utilisés pour la collecte de données des évaluations de 2010, 2012 et 2014 du PAQUED. La première section décrit le procédé original d'adaptation au contexte de la République Démocratique du Congo (RDC). La deuxième section présente les statistiques des tests, notamment un exposé de la fiabilité des tests et de l'analyse des principaux composants. La troisième section décrit le contenu des exercices des évaluations, y compris les changements qui y ont été apportés au cours de l'étude. 83 La quatrième section aborde la façon dont les résultats des exercices de Lecture de Texte et de Compréhension du Texte Lu ont été statistiquement assimilés au cours des différentes périodes. Elle décrit également les mesures de contrôle de qualité appliquées au cours de la période de collecte de données. Adaptation de l EGRA et de l EGMA en RDC Les outils EGRA et EGMA ont été adaptés et soumis dans plus de 70 langues et 50 pays. La première adaptation des instruments EGRA et EGMA en RDC a eu lieu en décembre Les personnes chargées de cette adaptation étaient des officiels congolais issus du Ministère de l'enseignement Primaire, Secondaire et Professionnel (MEPSP), de la Direction des Programmes Scolaires et Matériel Didactique (DIPROMAD), du Service National de Formation (SERNAFOR), ainsi que l'inspecteur Général de l'éducation (IGE), avec l'aide d'experts linguistiques du Centre de Linguistique Théorique et Appliquée (CELTA). Ils étaient dirigés par le Dr. Souhila Messaoud-Galusi du RTI pour l'egra et par l'expert en éducation mathématique Aarnout Brombacher pour l'egma. En ce qui concerne l'egra, les participants ont passé en revue la totalité du test - chaque élément de chaque exercice (notamment les graphèmes et les mots) - pour s'assurer que le contenu langagier serait familier aux élèves évalués. Les histoires courtes utilisées pour le passage de lecture et l'exercice de Compréhension à l'audition ont été préparé par des officiels du ministère, avec l'aide de RTI pour les questions de complexité du langage, de structure des histoires et de types de questions (notamment directes ou déductives). Des experts linguistiques locaux ont donné des conseils concernant les caractéristiques des langues nationales (Lingala, Swahili, Kikongo et Ciluba) par rapport au français afin de limiter les interférences. Les adaptations apportées aux exercices consistaient entre autres (1) à remplacer un élément potentiel par un autre plus familier et de difficulté similaire dans les exercices de connaissance phonémique, et (2) à changer un mot de type consonne-consonne-voyelle (CCV) en un mot de type consonne-voyelle (CV) afin de se rapprocher de la structure syllabique de la majorité des langues nationales dans les exercices d Écriture d une Phrase Complète. En ce qui concerne l'egma, le but était de s'assurer que les exercices correspondaient au niveau du programme d'étude de la RDC pour les classes visées. Une fois l'adaptation terminée, les instruments ont été pré-testés et soumis à approbation. Le pré-test était mené dans quatre écoles de la périphérie de Kinshasa choisies par des 83 La description complète des instruments est disponible sur demande. Contacter Timothy Slade à [email protected]. 298 Projet d Amélioration de la Qualité de l Education (PAQUED)

321 officiels locaux et censées présenter des bons et des mauvais niveaux de performance. L'échantillon a été choisi au hasard et contenait 83 élèves de deuxième, 87 de quatrième et 86 de sixième. Le pré-test a été évalué par le biais du modèle de Rasch 84 afin de montrer la difficulté constante des différents exercices et d'établir les parties de l'évaluation les plus simples et les plus compliquées. Il a aussi permis de définir les parties qui évaluaient les même capacités, afin d'éliminer les éléments redondants ou inutiles. En deuxième, tous les exercices nécessitant un certain niveau de lecture ont été supprimés car aucun élève ne semblait capable de répondre aux sections les plus compliquées (par exemple, les exercices de Lecture des Mots Familiers, de Lecture des Mots Inventés et de Lecture de Texte). De plus, ce changement était conforme au programme d'étude en vigueur en RDC, puisque la politique du MEPSP veut que le français soit surtout utilisé de manière orale jusqu'en troisième primaire. Statistiques du test Fiabilité du test Afin de déterminer si (et comment) les versions congolaises des différents exercices des évaluations EGRA/EGMA étaient fiables, et si elles évaluaient correctement les capacités souhaitées (dans ce cas, lecture et mathématiques), des tests de fiabilité ont été menés et sont présentés dans les tableaux ci-dessous. Ils comprennent des corrélations à deux variables simples entre les différents exercices (Tableaux A3.1 et A3.2) et des tests de fiabilité de type coefficient alpha de Cronbach (Tableaux A3.3 et A3.4). Les données utilisées pour chaque analyse sont issues de la base de données la plus vaste et représentative disponible : les élèves de 2è, 4è et 6è des écoles PAQUED. 84 L'analyse de Rasch applique un modèle probabiliste qui utilise les réponses aux questions pour déterminer les capacités de l'élève et la difficulté de l'exercice. Autrement dit, le modèle de Rasch utilise les réponses de l'élève aux questions pour créer une unité destinée à mesurer un élément non observé. Pour plus d'informations, voir Projet d Amélioration de la Qualité de l Éducation (PAQUED) 299

322 Tableau A3.1 : Matrice de corrélation pour les exercices EGRA Exercice Vocabulaire Identification du Son Initial Connaissance des Graphèmes Lecture des Mots Familiers Lecture des Mots Inventés Lecture de Texte Compréhension du Texte Lu Compréhension à l'audition Écriture d'une Phrase Complète Vocabulaire 1 Identification du Son Initial Connaissance des Graphèmes Lecture des Mots Familiers Lecture des Mots Inventés 0, ,5901 0, ,4538 0,2593 0, ,4306 0,2544 0,7231 0, Lecture de Texte 0,4656 0,2649 0,7463 0,8955 0, Compréhension du Texte Lu Compréhension à l'audition Écriture d'une Phrase Complète 0,4173 0,2095 0,5248 0,6710 0,6659 0, ,4995 0,2618 0,4497 0,4262 0,4261 0,4498 0, ,3285 0,2681 0,5699 0,6068 0,5823 0,6168 0,4421 0, Projet d Amélioration de la Qualité de l Education (PAQUED)

323 Tableau A3.2 : Matrice de corrélation pour les exercices EGMA Exercice Numération (Unités) Numération (Dizaines) Correspondance Biunivoque (Seuls) Correspondance Biunivoque (Groupes) Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Compter (Unités) 1 Compter (Dizaines) Compter des objets (Seuls) Compter des objets (Groupes) Identification des Nombres Comparaison des Quantités Chiffre Manquant 0, ,3027 0, ,0742 0,3013 0, ,1571 0,3651 0,0286 0, ,1091 0,2001 0,1743 0,165 0, ,1389 0,319 0,3986 0,1409 0,2637 0, Problèmes 0,0932 0,2388 0,2947 0,1804 0,1933 0,1016 0, Addition 0,1012 0,2428 0,0992 0,1035 0,4077 0,0501 0,2917 0, Soustraction 0,0933 0,2363 0,0675 0,1388 0,3534 0,188 0,2875 0,218 0, Projet d Amélioration de la Qualité de l Éducation (PAQUED) 301

324 Exercice Numération (Unités) Numération (Dizaines) Correspondance Biunivoque (Seuls) Correspondance Biunivoque (Groupes) Identification des Nombres Comparaison des Quantités Chiffre Manquant Problèmes Addition Soustraction Multiplication Division Multiplication 0,0527 0,2105-0,0006 0,1286 0,322 0,1682 0,2185 0,1418 0,4217 0, Division 0,0636 0,2102 0,0197 0,0826 0,3222 0,127 0,2271 0,1875 0,4223 0,5113 0, Les résultats des tests de fiabilité de type coefficient alpha de Cronbach menés pour EGRA et EGMA à partir des données de l'échantillon A (écoles PAQUED) sont présentés dans les Tableaux A3.3 et A3.4 ci-dessous. 302 Projet d Amélioration de la Qualité de l Education (PAQUED)

325 Tableau A3.3 : Analyse de fiabilité EGRA Exercice Corrélation élément-test Corrélation élément-reste Corrélation interéléments moyenne Alpha Vocabulaire 0,7263 0,5887 0,5174 0,8956 Identification du Son Initial 0,5375 0,3848 0,5710 0,9141 Connaissance des Graphèmes 0,8234 0,7300 0,4768 0,8794 Lecture des Mots Familiers 0,8859 0,8457 0,4689 0,8760 Lecture des Mots Inventés 0,8708 0,8259 0,4723 0,8775 Lecture de Texte 0,8950 0,8575 0,4669 0,8751 Compréhension du Texte Lu 0,7674 0,6934 0,4949 0,8869 Compréhension à l'audition 0,6774 0,5409 0,5278 0,8994 Écriture d'une Phrase Complète 0,7087 0,6224 0,5076 0,8919 Test complet 0,4999 0,9000 Tableau A3.4 : Analyse de fiabilité EGMA Exercice Corrélation élément-test Corrélation élément-reste Corrélation inter-éléments moyenne Alpha Compter (Unités) 0,3706 0,2142 0,2578 0,7926 Compter (Dizaines) 0,5613 0,4125 0,2432 0,7795 Compter des objets (Seuls) Compter des objets (Groupes) Identification des Nombres 0,4508 0,2489 0,2547 0,7898 0,4202 0,2698 0,2548 0,7899 0,5884 0,3268 0,2422 0,7786 Comparaison des 0,4576 0,2364 0,2656 0,7991 Projet d Amélioration de la Qualité de l Éducation (PAQUED) 303

326 Exercice Quantités Corrélation élément-test Corrélation élément-reste Corrélation inter-éléments moyenne Alpha Chiffre Manquant 0,68 0,5346 0,2316 0,7683 Problèmes 0,5768 0,411 0,2492 0,785 Addition 0,6292 0,4962 0,2354 0,772 Soustraction 0,6854 0,5719 0,2303 0,7669 Multiplication 0,6525 0,5295 0,2354 0,772 Division 0,6511 0,5271 0,2357 0,7723 Test complet 0,2448 0,7955 Modifications des instruments EGRA et EGMA dans le temps EGRA Dans le but de préserver l'intégrité du test, des modifications instrumentales sont nécessaires dans les cas de multiples administrations. Néanmoins, il est essentiel de pouvoir continuer à comparer les résultats entre les évaluations initiale, intermédiaire et finale. Ainsi, la plupart des modifications doivent être mineures, comme le mélange des questions au sein d'un exercice. Les mises à jour des instruments EGRA en RDC pour les évaluations suivantes ont la plupart du temps consisté uniquement au mélange des questions d'un exercice. Les exceptions à cette règle ont été les exercices de Lecture de Texte et de Compréhension du Texte Lu chaque année, ainsi que de la tâche de Compréhension à l'audition. Les mises à jour des instruments EGMA en RDC pour les évaluations suivantes ont consisté en des changement mineurs dans chaque exercice. En général, environ 20 % des éléments étaient gardés d'une année à l'autre, et le reste était remplacé par des éléments d'une difficulté similaire. Le Tableau A3.5 indique la nature des changements apportés aux exercices EGRA et EGMA entre le test initial et le test intermédiaire. Tableau A3.5 : Comparaison des instruments EGRA et EGMA Année de l'évaluation Modifications du contenu Exercice Légères Légères modifications du Mélange des éléments dans chaque sous- 304 Projet d Amélioration de la Qualité de l Education (PAQUED)

327 Année de l'évaluation modifications du contenu Vocabulaire contenu Modifications du contenu section (parties du corps ; objets dans l'environnement ; relations spatiales) Identification du Son Initial Légères modifications du contenu Légères modifications du contenu Mélange interne des éléments 1 à 5 (avant l'élimination des résultats nuls) et des éléments 6 à 10 (après l'élimination des résultats nuls) Connaissance des Graphèmes Légères modifications du contenu Légères modifications du contenu Mélange des 100 éléments Lecture des Mots Familiers Légères modifications du contenu Légères modifications du contenu Mélange des 50 éléments Lecture des Mots Inventés Légères modifications du contenu Légères modifications du contenu Mélange des 50 éléments Lecture du Texte (Petite Histoire) Compréhension du Texte Lu Titre changé (Lecture de Texte) ; légères modifications du contenu Titre mis à jour (Compréhension) ; légères modifications du contenu Légères modifications du contenu Légères modifications du contenu Remplacement total du passage de lecture et des questions de compréhension - voir Assimilation pour plus de détails Compréhension à l Audition Modifications du contenu (pas de changement) Remplacement du passage de Compréhension à l'audition et des questions entre 2010 et 2012 Écriture d une Phrase Complète (pas de changement) (pas de changement) Aucun EGMA Numération (pas de changement) (pas de changement) Aucun Compter : Correspondance Biunivoque (pas de changement) (pas de changement) Aucun Identification des Nombres Légères modifications du contenu Légères modifications du contenu Comparaison des Légères Légères modifications du Environ 20 % des éléments de chaque exercice sont restés identiques d'un test EGMA à l'autre. Les autres éléments ont été modifiés mais sont restés similaires aux éléments de départ (des nombres de difficulté semblable ont été utilisés). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 305

328 Année de l'évaluation Quantités modifications du contenu contenu Modifications du contenu Échelle d Estimation des Nombres Abandonné N/A Chiffre Manquant Représentation visuelle de l'élément manquant changé de ligne noire en case vide ; légères modifications du contenu Légères modifications du contenu Environ 20 % des éléments de chaque exercice sont restés identiques d'un test EGMA à l'autre. Les autres éléments ont été modifiés mais sont restés similaires aux éléments de départ (des nombres de difficulté semblable ont été utilisés). Problèmes Légères modifications du contenu Légères modifications du contenu Environ 40 % des éléments de chaque exercice sont restés identiques entre les versions 2012 et 2014 du test EGMA. Exercices de Calcul : Section de l Addition Légères modifications du contenu Légères modifications du contenu Exercices de Calcul : Section de Soustraction Exercices de Calcul : Section de Multiplication Légères modifications du contenu Légères modifications du contenu Légères modifications du contenu Légères modifications du contenu 50 % des éléments de chaque exercice sont restés identiques à ceux du test EGMA de l'année précédente. Les autres éléments ont été modifiés mais sont restés similaires aux éléments de départ (des nombres de difficulté semblable ont été utilisés). Exercices de Calcul : Section de Division Légères modifications du contenu Légères modifications du contenu Attributs des Figures Abandonné N/A Extension du Schéma Abandonné N/A Assimilation Les résultats des tests EGRA peuvent être facilement gonflés si les élèves ont accès à l'histoire utilisée pour l'exercice de Lecture de Texte et l'occasion de la mémoriser. Il est désormais de coutume d'éliminer cette source de problèmes potentielle en remplaçant l'histoire utilisée par une autre de difficulté similaire entre chaque série de tests. Alors que développer une multitude de passages d'une difficulté identique est extrêmement 306 Projet d Amélioration de la Qualité de l Education (PAQUED)

329 compliqué, il existe une procédure d'analyse statistique appelée assimilation des moyennes qui peut être utilisée pour assurer la difficulté similaire de deux passages. Cinq nouveaux passages de lecture ont été créés avant l'évaluation intermédiaire PAQUED de 2012, et des questions de Compréhension du Texte Lu ont été rédigées pour chacun d'entre eux. Dans la suite de cette Annexe, une paire comprenant un texte et des questions de compréhensions relatives à ce texte est appelée «dyade». Ces cinq nouvelles dyades, au même titre que la dyade originale de l'évaluation de départ, ont été soumises à un échantillon de 212 élèves de 4è et de 6è issus de six écoles des environs de Kisangani. Chaque enfant a été évalué sur les six dyades. Les enfants ont reçu les dyades dans un ordre aléatoire, pour éliminer les erreurs statistiques qui auraient pu être causées par la fatigue ou par les connaissances emmagasinées à force de répéter la même tâche. Les résultats des élèves ont alors été analysés avec le principe d assimilation des moyennes. Cette procédure donne un tableau de conversion qui permet de convertir un résultat donné pour un passage en un résultat équivalent pour un autre passage. Dans ce cas, le passage choisi pour le test final a été assimilé, et le passage utilisé au départ a servi de référence. En théorie, un facteur supérieur à un indique que le passage assimilé était plus compliqué que le passage de référence. À l'inverse, un facteur inférieur à un signifie que le passage assimilé était moins difficile. En multipliant le résultat d'un élève dans l'exercice de Lecture de Texte en 2014 par le facteur assimilant approprié, nous obtenons un nouveau résultat assimilé, qui permet une compréhension plus précise de la difficulté du passage que les simples résultats. L'exemple dans le Tableau A3.6 illustre ce qui se passerait si deux élèves différents - un évalué en 2010 et l'autre en obtenaient les mêmes résultats aux deux passages à lire. Tableau A3.6 : Exemple de l'application de la méthode d'égalisation des moyennes Exercice Élève 1 : résultat 2010 Élève 2 : résultat 2014 original Multiplicateur égaliseur Élève 2 : résultat 2014 égalisé Lecture de Texte ,18 35,32 Alors que les résultats bruts suggèrent que la performance des élèves était identique, en réalité le texte proposé à l'élève en 2014 était légèrement plus compliqué. Ainsi, le résultat 2014 égalisé procure un aperçu plus clair de la performance de l'élève par rapport à celle de celui évalué en Tous les résultats de lecture de texte présentés dans ce rapport ont été assimilés, sauf mention contraire. Projet d Amélioration de la Qualité de l Éducation (PAQUED) 307

330 Annexe IV. Les écoles disposant d un programme de lecture: Les comparaisons Afin de mieux comprendre le changement du 2012 (l indicateur initial) à 2014 (l indicateur final), EDC a demandé d utiliser des tests T avec échantillon indépendante pour déterminer si l augmentation au fils de temps dans les 20 écoles disposant d un programme de lecture qui étaient évalués deux fois était statistiquement significative. Cependant, il faut noter que dans les autres échantillons de ce rapport, une augmentation statistiquement significative au fils de temps est présente pour toute intervention (dans les témoins ainsi que dans les écoles avec interventions). Des analyses différences-en-différences étaient faites afin de déterminer le dégré d augmentation dû à l intervention plutôt que d autres causes contextuelles. Comme il n y existe pas un témoin pour ces 20 écoles disposant d un programme de lecture contre lequel on peut comparer l augmentation, et parce qu une augmentation dans les résultats des élèves au fils de deux années de l intervention est prévue, il est impossible d attribuer les augmentations observés dans ces 20 écoles à l intervention. 85 Tables A4.1 présente les moyens et les erreurs types pour les résultats 2012 et 2014 pour les élèves dans la 2 e année pour chaque sous-tache. Sans surpris, les élèves dans ces écoles ont montré d augmentation statistiquement significative au fils de temps dans les sous-taches de vocabulaire, comprehension à l audition, et connaissance des graphèmes. Il est intéressant de noter qu il n y avait pas d augmentation significative dans l identification du son initial, dépit qu il y avait des résultats bas à l indicateur initial. Tableau A4.1: Les écoles disposant d un programme de lecture, changement au fils de temps, 2 e année Sous-tache Mean SE Mean SE Difference Vocabulaire * Comprehension à l audition * Identification du son initial Connaissance des graphèmes * *p< EDC a créé et a fait une étude dans les écoles disposant d un programme de lecture qui a examiné les changements dans les connaissances, les attitudes, et les pratiques des enseignants comme résultat de l intervention modifié, et l impact du ces changements sur les performances des élèves. Voir Louge, N. (2014) final evaluation report teachers literacy knowledge, instructional practices, and their students reading performance in PAQUED supported schools in the Democratic Republic of Congo. Education Development Center. 308 Projet d Amélioration de la Qualité de l Education (PAQUED)

331 Tableau A4.2 presente la meme information pour les evaluations données aux eleves dans la 4 eme année. Il n y avait qu une sous-tache qui montre des augmentations significatives de l indicateur initial à l indicateur finale dans le 4 eme annee : Comprehension à l Audition. Bien que les eleves ne montrent pas de la matrise du reste des sous-taches meme a l indicateur final, pas d augmentations significatives n etaient observés au fils de temps ; en fait, dans les soustaches de lecture des mots familiers, lectures de mots inventés, et l écriture d une phrase complète les scores moyennes ont diminué au fils de temps. Tableau A4.2: Les écoles disposant d un programme de lecture changement au fils de temps, 4 e année Sous-tache Mean SE Mean SE Difference Vocabulaire Comprehension à l audition * Identification du son initial Connaissance des graphèmes lecture des mots familiers lectures de mots inventés Lecture de Texte Compréhension du Texte Lu Écriture d une phrase complète * statistically significant at p < Tableau A4.3 presente les moyens et les erreurs types pour les résultats 2012 et 2014 pour les élèves dans la 2 e année pour chaque sous-tache en mathematique. On a vu l augmentation statistiquement significative au fils de temps pour la sous-tache de chiffree manquant, mais on a vu une diminuation statistiquement significative pour les problèmes. Ces changements sont en ligne avec les changements observés dans les ecoles temoins accessibles (voir Chapitre E). Projet d Amélioration de la Qualité de l Éducation (PAQUED) 309

332 Tableau A4.3: Les écoles disposant d un programme de lecture (N=20), changement au fils de temps, mathematiques, 2 e année 86 Sous-tache Identification des Nombres Groupe Traitement Mean SE Mean SE Difference 48.05% 2.40% 52.35% 1.85% 4.30% Comparaison des Quantités Traitement 58.82% 2.04% 60.12% 1.98% 1.30% Chiffre Manquant Traitement 16.22% 0.93% 23.12% 1.10% 6.90% * Problèmes Traitement 42.18% 3.11% 29.48% 1.80% % * Calculs: Addition Traitement 46.91% 2.94% 49.80% 2.64% 2.89% Calculs: Soustraction Traitement 31.90% 3.75% 36.61% 2.29% 4.71% Calculs: Multiplication Traitement Calculs: Division Traitement * statistiquement significative à p < Tableau A4.4 présente la même information pour les élèves dans la 4 e année. L augmentation statiquement significative est montrée dans les sous-taches de chiffre manquant, addition, et multiplication, mais une diminution statiquement significative est montrée pour les sous-taches de l identification des nombres et les problèmes. Ces changements en performances sont en ligne avec les changements observés dans les écoles témoins accessibles discuté dans le Chapitre F de ce rapport. Tableau A4.4: Les écoles disposant d un programme de lecture (N=20), changement au fils de temps, mathematiques, 4 e année 87 Sous-tache Identification des Nombres Groupe Traitement Mean SE Mean SE Difference 70.42% 2.46% 63.65% 1.59% % * Comparaison des Traitement 62.24% 2.77% 65.09% 1.38% 2.85% 86 Il n y avait pas des ecoles temoins contre lesquels la performance dans les ecoles disposant d un programme de lecture pouvait etre comparé. Parce que le nombre des ecoles et des données des eleves est petite, ce tableau ne separe pas les resultats par province. 87 Il n y avait pas des ecoles temoins contre lesquels la performance dans les ecoles disposant d un programme de lecture pouvait etre comparé. Parce que le nombre des ecoles et des données des eleves est petite, ce tableau ne separe pas les resultats par province. 310 Projet d Amélioration de la Qualité de l Education (PAQUED)

333 Sous-tache Quantités Groupe Mean SE Mean SE Difference Chiffre Manquant Traitement 30.36% 1.47% 42.78% 1.69% 12.42% * Problèmes Traitement 58.40% 2.56% 38.67% 1.93% % * Calculs: Addition Traitement 43.84% 2.45% 52.99% 2.01% 9.15% * Calculs: Soustraction Traitement 45.28% 3.42% 48.84% 2.52% 3.56% Calculs: Multiplication Traitement 23.80% 2.62% 35.52% 2.25% 11.72% * Calculs: Division Traitement 31.44% 2.29% 36.55% 2.36% 5.11% * significative à p < Projet d Amélioration de la Qualité de l Éducation (PAQUED) 311