La perception du questionnaire par les répondants Le cas de l enquête ELVIRE

Transcription

1 Congrès de l Association Française de Sociologie - Grenoble 2011 RT Méthodes La perception du questionnaire par les répondants Le cas de l enquête ELVIRE Bénédicte Garnier (garnier@ined) Efi Markou (markou@ined) 5 Juillet 2011

2 Enquête sur l usage des Langues Vivantes dans la Recherche publique en France Institut national d études démographiques (INED) Ministère de la Culture (coll.) Responsable scientifique : François Héran Mise en œuvre : Service des enquêtes

3 Le questionnement Débat autour de la place grandissante de l anglais dans la recherche scientifique française Fournir un état des lieux Pratiques Publications Rencontres scientifiques Documentation Traductions Formations Perception et opinions Evolution internationale Perspectives Politiques Objectifs Moyens

4 1 enquête à 2 volets Champ : Recherche publique Organismes de recherche Enseignement supérieur Enquête Internet (+ Q. papiers disponibles) VOLET «UNITE» 3645 directeurs des Laboratoires, Centres, Unités Quasi exhaustive Collecte: déc avril 2008 Questionnaire Web (1 h) 1946 Réponses (53%) VOLET «INDIVIDU» Chercheurs, Ingénieurs, doctorants Titulaires ou non Enquête ouverte Collecte: nov janvier 2009 Questionnaire Web (20 min) 8883 Réponses (99% Internet)

5 L affiche du volet Individu

6 L entrée au questionnaire on-line

7 Comment les répondants perçoivent-ils le questionnaire?

8 Plan de l analyse 1. Présentation du corpus 2. Traitement préalable des réponses Harmonisation, regroupement, réduction 3. Analyse du lexique Mots et suites de mots les plus fréquents 4. Analyse de la perception de l enquête en fonction des caractéristiques des répondants Effet de statut, de discipline, d âge ou d usage de langues

9 Description du corpus collecté 3330 réponses sur 8883 questionnaires retenus (37,5%) Corpus de mots 4432 mots distincts (10,6%) dont 98,4% sur Internet 12,7 mots en moyenne par réponse 23% adjectifs

10 Extrait du corpus

11 Anonymisation Correction (orthographe ) Homogénéisation Traduction en français Traitement du corpus: 1. Harmonisation Ecriture (mns, min, minutes > min / > smiley) Sens (Rien à signaler, RAS, aucune : RAS) Distinction de sens Langue pratiquée > anglais Vs langue du questionnaire > anglais_q Parfois Vs Parfois_ (modalité)

12 Traitement du corpus: 2. Regroupement / réduction Former des expressions: Barre de progression > Barre_de_progression Sans souci > sans_souci Lemmatisation anglo-saxon américain 13 américains 1 anglo-américain 1 anglo-américaine 1 anglo-américains 2 anglo-saxon 1 anglo-saxonne 1 anglo-saxons 3 Regroupement de sens construit 64 construction 1 construit 58 fabriqué 1 élaboré 4 Exclusion des mots présents < 16 fois 319 mots retenus

13 Les mots les plus fréquents* (Spad) * Après suppression des mots usuels (de, je, être )

14 Les variables revenues 1. Les positions dans la recherche Statut Discipline Age Sexe

15 Les variables retenues 2. La pratique des langues

16 Les données NUM h2_fin_min Age Statut Discipline Sexe 3 un_peu long. 30a39ans CR_MC Disc_Phys-Chim Homme enfin un questionnaire online qui ne bug pas (quand je vous dis que l'anglais est partout smiley). travail sérieux. 5 curieux d'en connaître le résultat. 40a49ans DR_PU Disc_Bio Homme (1) ma discipline première (la physique) n'est pas présente dans vos choix, ni ma discipline seconde (la science des matériaux (qui s'occupe de tout ce qui concerne les matériaux, y compris les propriétés électroniques, 11 contrairement au génie des matériau 50anset+ CR_MC Disc_Phys-Chim Homme 20 très ergonomique, facile à remplir. 40a49ans CR_MC Disc_Phys-Chim Homme 25 bon avis. 30a39ans PostDoc Disc_Phys-Chim Homme très bien fait. le questionnaire mélange les questions normatives et de comportement, certaines questions sont 30 ambigües, entre ce qu'on constate,ce qu'on souhaiterait, ce qui est possible, etc. 40a49ans DR_PU Disc_SHS Homme 31 très intéressant. 20a29ans Doc Disc_SHS Femme 33 très bien fait. 30a39ans CR_MC Disc_Phys-Chim Homme le paradigme de base est erroné. on mélange langue et culture. bien_sûr, les deux sont intimement liés, mais non identiques. 39 on voit apparaître avec l'anglais technique un système de communication de plus-en-plus déconnecté de la 20a29ans Doc Disc_Phys-Chim Homme 44 il est fluide. 30a39ans CR_MC Disc_SHS Femme 45 ne sera pas facile à exploiter! 50anset+ DR_PU Disc_SHS Homme 47 clair et rapide. 30a39ans PostDoc Disc_Bio Homme 51 rien_à_signaler 40a49ans DR_PU Disc_Phys-Chim Homme 64 il est bien construit et me semble relativement complet 40a49ans DR_PU Disc_Bio Homme 65 assez bon 40a49ans CR_MC Disc_Bio Homme 74 bien conçu, un_peu long (temps nécessaire aurait pu être indiqué dés le début) 30a39ans CR_MC Disc_SHS Femme 79 il y'avait plusieurs questions répétitives, et les questions concernant l'histoire familiale sont un_peu indiscrètes. 30a39ans Doc Disc_Bio Femme 84 parfait 30a39ans Autre Disc_SHS Femme 88 clair 50anset+ CR_MC Disc_SHS Homme Extrait de la base (Spad)

17 AFC: Contribution des variables aux axes Statut Discipline Fr langue maternelle Fréquence d'utilisation d'une langue étrangère Utiliser plus l'anglais internal/ment Modalité Poids active relatif Axe 1 Axe 2 Axe 3 Axe 4 Emerite 0,27 1,47 0,50 0,68 1,84 DR_PU 4,37 3,30 2,73 26,12 0,99 CR_MC 7,77 1,42 3,02 0,00 7,09 IE_AI 0,74 0,43 0,26 11,32 4,81 IR 1,32 0,19 1,31 5,00 4,38 Doc 4,25 5,65 23,20 16,34 0,52 Autre 0,78 0,57 5,03 0,59 8,04 PostDoc 0,77 6,84 3,88 6,18 0,74 Bio 4,71 13,63 8,75 0,51 2,78 Phys-Chim 4,15 1,85 4,14 2,10 12,18 Math 1,14 0,12 0,01 0,31 0,80 SHS 7,67 21,97 11,67 0,38 6,36 mixte 2,45 1,22 0,43 2,64 7,49 Autr_lang_mat 2,95 16,38 17,67 15,60 6,42 Fr_lang_mat 17,30 2,90 3,04 2,46 1,18 Quotidienne 13,13 3,25 3,27 2,18 3,78 Souvent 4,26 3,10 0,99 4,20 17,16 Parfois 2,49 3,89 3,84 0,00 0,41 Jamais 0,28 0,03 5,12 2,57 1,02 Oui 7,50 6,23 0,26 0,27 5,79 Non 8,64 5,40 0,72 0,21 6,18 Sans Opinion 3,07 0,14 0,15 0,34 0,02 positif négatif

18 Axe 1. Jugement global Vs Spécificité des groupes et conception détails positif négatif Mot Axe 1 Catégorie langue_q 8,66 Conception du Quest. français 5,13 long 3,23 Jugement global Quest. répétitif 2,05 Jugement global Quest. bien 1,93 Jugement global (+ autres) de 1,89 pratiquer 1,77 shs 1,74 Conception Enq. (Spec.disc) publier 1,70 Conception Questions rapide 1,63 Jugement global Quest. item 1,61 Conception Questions sans_doute 1,43 souvent 1,38 usage 1,28 très 1,23 revue 1,17 Conception Questions ok 1,16 Jugement global Quest. un_peu 1,12 Nuance critiques linguistes 1,07 celui 1,06 type 1,01 ça 0,96 c 0,92 fermé 0,92 Conception Questions redondance 0,89 Jugement global Quest. compte 0,87 Conception Enq. aux 0,84 trouver 0,84 sauf 0,81 moment 0,79 Conception Enq. structuré 0,75 Jugement global Quest. domaine 0,73 Spécificité discipline utiliser 0,73 bon 0,73 Jugement global (+ autres) discipline 0,71 Conception Enq. (Spec.disc) x_ans 0,71 Conception Questions et 0,70

19 Axe 2. Structuration questionnaire et possibilité d expression Vs Jugement fonctionnel et problème de conception positif négatif Mots Axe 2 Catégorie enseignement 3,27 Concept. Enq (thèmes/groupes mq) anglais 3,25 ok 3,20 Jugement global Quest. domaine 2,25 Conception Enq. (Spec.disc) composition 2,23 Jugement global Quest. peut-être 1,96 Nuance critiques langue_q 1,57 Concept. Enq (thèmes/groupes mq) surtout 1,45 structuré 1,44 Jugement global Quest. mais 1,39 laisser 1,38 Possibilité de s'exprimer utilisée 1,35 facile 1,30 Jugement global Quest. apprendre 1,29 cours 1,19 opinion 1,19 Possibilité de s'exprimer pays 1,16 apprentissage 1,13 Concept. Enq (thèmes/groupes mq) certain 1,09 il 1,09 RAS 1,07 Jugement global Quest. de 0,97 pour 0,97 mener 0,95 proposer 0,94 ne 0,94 nécessaire 0,88 organisé 0,88 Jugement global Quest. clair 0,86 Jugement global Quest. déroulement 0,85 Jugement global Quest. juste 0,84 type 0,80 france 0,79 champ 0,78 Possibilité de s'exprimer +technicité question 0,77

20 Conclusion Corpus hétérogène La perception du questionnaire: ne dépend pas de l opinion sur l usage des langues ni de l usage effectif dépend des disciplines d appartenance et (surtout) de leur pratique des questionnaires dépend du fait d avoir une autre langue maternelle que le français (expérience des langues?) dépend du statut (Doctorants : chercheurs non encore intégrés?) Perspectives

21 Quelques éléments de bibliographie Markou E., Razafindratsima N., De Cledat B., Mise en place et évaluation d une enquête ouverte sur Internet. Le volet Individu de l Enquête sur l usage des langues dans la recherche publique en France (ELVIRE). In Tremblay M.-E., Lavallée P., El Haj Tirari M., Pratiques et méthodes de sondage, Dunod, Paris Garnier B., Guérin-Pace F., Appliquer les méthodes de la statistique textuelle, Ceped, les clefs pour, Paris Guérin-Pace F., 1997, La statistique textuelle : un outil exploratoire en sciences sociales, Ined, Population (4) Lebart L., Salem A., Statistique textuelle, Dunod, Paris (épuisé mais sur le site rubrique publications)