29 janvier 2013 Massiac Élaborer un outil d évaluation: créer et faire parler un questionnaire
Introduction Bertrand COIFFARD Dominique VOLLET 29 janvier 2013 Groupe de travail 2
Présentation de la démarche d évaluation du programme Leader du Pays d AURILLAC 29 janvier 2013 Groupe de travail 3
Rappel du contexte Une évaluation du programme Leader + confiée à un prestataire extérieur (EDATER) avec une relative déception quant au résultat : l évaluation s étant cantonnée à une analyse quantitative. Une volonté d impliquer le Conseil de Développement dans la démarche d évaluation. Une volonté d articulation avec les autres démarches d évaluation conduites à l échelle du Pays d AURILLAC, notamment le contrat AUVERGNE +. 29 janvier 2013 Groupe de travail 4
Des éléments de démarche de l évaluation Mise au point des questions évaluatives, graphes d objectifs, et des indicateurs Les questions évaluatives Le programme Leader est il cohérent avec les autres programmes? Les actions mises en place dans les programmes sont-elles cohérentes entre elles? Le dispositif Leader répond il aux objectifs de développement fixés par le pays? Comment isoler les effets propres du dispositif Leader pour arriver à l évaluer? Les graphes d objectifs Finalités Objectifs stratégiques Objectifs opérationnels Actions Les différents indicateurs de l évaluation Indicateurs de réalisation Indicateurs de résultat 29 janvier 2013 Groupe de travail 5
La construction d un tableau de suivi : les outils àla disposition du GAL Des questionnaires Pour les porteurs de projets bénéficiant d une aide leader (en différenciant structures publiques ou associatives et entreprises) Pour les migrants bénéficiant d une aide leader (en différenciant ceux originaires du Pays d Aurillac et les autres) Des indicateurs de réalisation et le mode de collecte Des indicateurs de résultats et le mode de collecte Des tableaux EXCEL pour la saisie et l analyse des données recueillies à partir des questionnaires 29 janvier 2013 Groupe de travail 6
État d avancement de la démarche d évaluation Remplissage des questionnaires par les porteurs de projet depuis le début du programme. En 2012, traitement des premiers questionnaires par IRSTEA (Nadia GUIFFANT). Traitement uniquement des questionnaires des structures publiques et associatives. Les questionnaires «privés» étant trop peu nombreux pour une analyse des résultats. Présentation des 1ers résultats aujourd hui. 29 janvier 2013 Groupe de travail 7
Élaborer un outil d évaluation: créer et faire parler un questionnaire Réalisation d un questionnaire IRSTEA _ O. Aznar, N. Guiffant 29 janvier 2013 Groupe de travail
les différentes étapes 1.Appropriation du sujet 2.Délimitation de l objet de recherche 3.Mise en problème (problématisation) 4.Choix des hypothèses 5.Protocole d enquête 6.Conduite des enquêtes 7.Première exploration des informations recueillies 8.Analyse des données et informations disponibles 9.Rédaction et diffusion des résultats 29 janvier 2013 Groupe de travail
REDACTION des questions Chercher à obtenir des réponses précises avec des questions simples et courtes Le contenu des réponses ne doit pas être influencé par le libellé de la question Tenir compte de la facilité de compréhension des questions : tout le monde doit les comprendre de la même façon Réfléchir à leur facilité de traitement Nombre pas trop important pour ne pas lasser la personne interrogée (30 pour un sondage d opinion) 29 janvier 2013 Groupe de travail
Types de variables Variable qualitative : - les réponses sont des codes - résultats dans des tableaux d effectifs et de pourcentage Variable quantitative : - les réponses sont des nombres - résultats dans des tableaux de moyenne, d écarttype... 29 janvier 2013 Groupe de travail
Questions ouvertes / fermées Question fermée - Question fermée à choix unique - Question fermée à choix multiple - Question fermée à choix ordonnée - Avantage : traitement facilité - Inconvénient : pas de nuance, la personne enquêtée est enfermée dans une alternative Question ouverte : - La personne est libre de sa réponse - Avantage : réponses approfondies - Inconvénient : risque de gêne de l interviewé, risque d influence de l enquêteur - Difficulté : interpréter le contenu des réponses 29 janvier 2013 Groupe de travail
Pour un questionnaire de qualité, il faut faire attention Aux erreurs d échantillonnage Aux erreurs de construction du questionnaire Aux erreurs de mesure et d interprétation Aux erreurs de couverture (écart entre la valeur des paramètres de population visée par l étude et celle qui apparaît dans la base de sondage) Aux non-réponses 29 janvier 2013 Groupe de travail
Mémento de réalisation d un questionnaire dans le cadre d une évaluation de politique publique Garder en mémoire les 4 phases de l évaluation : structuration, observation, analyse et jugement Réaliser le questionnaire en regard de la phase de structuration de l évaluation : analyse de politique (graphe d objectifs), émergence et sélection des questions évaluatives (en lien avec le référentiel retenu) Croisement entre questions ouvertes et fermées, avec les bases de données Faisabilité auprès des porteurs de projet Politique territoriale : possibilité de généralisation si sélection d individus Evaluation Leader : référentiel spécifique (innovation, valeur ajoutée, développement intégré ) 29 janvier 2013 Groupe de travail
Une analyse quantitative avec sphinx Exemple du questionnaire aux porteurs de projets Leader 29 janvier 2013 Groupe de travail
Objectifs de ce questionnaire Afin d évaluer les effets du dispositif Leader dans le Pays d Aurillac, des indicateurs sont mesurés grâce à l analyse de questionnaires quantitatifs. «Indicateurs principalement liés aux services, àl aide et au suivi des porteurs de projet»m. Bar 29 janvier 2013 Groupe de travail
Voir le graphe d objectifs pour faire le lien entre les questions de départ, les indicateurs et le questionnaire 29 janvier 2013 Groupe de travail 17
Avantages du questionnaire Collecte de données auprès d un grand nombre d individus Coût relativement peu élevé Uniformité des questions Absence du biais d un intervieweur 29 janvier 2013 Groupe de travail 18
Destinataires Ces questionnaires ont été envoyés (principalement par mail) aux porteurs de projet, avec une distinction entre les structures publiques et les structures privées. Dans cette démonstration, nous considérerons uniquement les structures publiques. Pour l instant, nous avons reçu 29 réponses. 29 janvier 2013 Groupe de travail 19
Protocole de recherche : les différentes étapes 1.Appropriation du sujet 2.Délimitation de l objet de recherche 3.Mise en problème (problématisation) 4.Choix des hypothèses 5.Protocole d enquête 6.Conduite des enquêtes 7.Première exploration des informations recueillies 8.Analyse des données et informations disponibles 9.Rédaction et diffusion des résultats 29 janvier 2013 Groupe de travail 20
Dépouillement des réponses Deux phases : codage et comptabilisation Codage : - dictionnaire permettant de passer de la réponse au langage numérique - Codage préétabli ou a posteriori (questions ouvertes) Comptabilisation : - Saisie - Tris à plat - Conversion en résultats lisibles (ex : pourcentages) - Analyse statistique 29 janvier 2013 Groupe de travail 21
Le logiciel Sphinx Des solutions conviviales et accessibles qui ouvrent à tous l accès aux statistiques Toutes les fonctions réunies dans un même outil, de la conception du questionnaire à l analyse Des systèmes ingénieux pour des analyses et un éclairage nouveaux sur vos projets 29 janvier 2013 Groupe de travail 22
Sphinx : outils d analyse Dépouillement automatique Pour chaque question : tableaux et graphiques Effectifs, fréquences, Tableaux croisés (diagrammes, secteurs, histogrammes, ) Moyennes, pourcentages, écarts-types, Étude des textes Analyse qualitative 29 janvier 2013 Groupe de travail 23
Démo : analyse du caractère innovant 29 janvier 2013 Groupe de travail 24
Démo : analyse du caractère innovant 29 janvier 2013 Groupe de travail 25
Démo : analyse du caractère innovant évolutions action ins piré e Oui Partiellement Non TOTAL Oui bientôt (dans moins d'un an) Oui plus tard (dans plus d'un an) Non TOTAL 7 3 1 11 5 2 5 12 2 1 3 6 14 6 9 29 29 janvier 2013 Groupe de travail 26
Démo : analyse du caractère innovant On constate que le bilan est mitigé: 11 enquêtés sur 29 affirment que leur action est inspirée d actions préexistantes Environ 1/3 de la population enquêtée n envisage pas d évolutions dans les prochaines années, cela pourrait traduire le manque de lisibilitédu dispositif dans son devenir (prochaine programmation) Pour quelles raisons? Cofinancement des actions (voir exploitation qualitative des questionnaires)? Nature essentiellement publique des porteurs de projet? 29 janvier 2013 Groupe de travail 27