Les conditions de fiabilité des études online
Le Club Études et Internet Ambitions du «club études et internet»: Engager des programmes de «Research on Research» Diffuser et partager les résultats Identifier et imposer les «best practices» pour les études online Double originalité du «club Études et Internet»: Trois instituts regroupent leurs efforts de R&D Ils rendent public le fruit de leurs recherches
Aujourd hui les N.T.R.D. (Nouvelles Techniques de Recueil de Données) permettent-elles de réaliser des études répondant mieux aux besoins de nos clients? Opérationnelles tests de visuels, sons, vidéo délais réduits (-30 à 50 ) Économiques aucun coût enquêteurs, échantillons + larges optimisation du «mix méthodologique» Fiables?
La fiabilité dans l online La gestion de la source d interrogation et des contacts La gestion des interrogations La représentativité de la population Un échantillon basé sur des internautes peut-il être représentatif de la population française?
- Premier programme de RonR- Analyse comparative des méthodologies online/off line
Objectifs de l étude Vérifier la légitimité des études administrées online sur des problématiques grand public : Etablir les corrections nécessaires Montrer les limites éventuelles Positionner les études online face aux modes de recueil «traditionnels» Répondre aux interrogations : Internet est-il un facteur segmentant la population? Change-t-il les comportements des consommateurs? Dans quelle mesure un échantillon d internautes peut-il prétendre à la représentativité de la population française? Quelles sont les problématiques grand public appropriées et celles qui ne le sont pas?
Méthodologie : Détail des terrains Mode d administration Source Nombre de répondants Réalisation du terrain Dates de terrain ONLINE Autoadministré Auto administré Access Panel Access Panel 1948 938 Novatris OpinionWay Du 26 oct. Au 2 nov. Du 25 oct. Au 1 nov. Auto-Ad. postal Auto administré Access Panel 239 ISL Envoi 23 oct. au 19 nov. OFFLINE CATI (téléphone) Face à Face Enquêteur Enquêteur Aléatoire sur quotas Aléatoire sur quotas 245 253 Atoo ISL Du 31 oct. au 6 nov. Du 31 oct. au 12 nov
Méthodologie : Échantillons Échantillons représentatifs France, de 18 à 65 ans (INSEE) : Constitution sur quotas ou échantillonnage Deux critères fichiers : Région, Taille d agglomération Trois critères déclaratifs : Age, Sexe, CSP Redressement sur quatre critères : Taille d agglomération Age Sexe CSP
Thèmes/problématiques abordé(e)s Opinion Attitudes Équipement Média Notoriété Test de concept Prix psychologiques Usages Opinions politiques, économiques, etc. Vis-à-vis des marques et des nouvelles technologies Évaluation de l équipement du foyer en audiovisuel et télécommunication Mesure de lectorat Presse Gd Public Notoriété spontanée et assistée, confrontée sur produits gd public et techno Comparaisons et intentions d achat sur produits techno (tél. mobile/pda) Réalisation d un PSM sur produit technologique : Téléphone combiné PDA Habitudes de consommation et d achat des eaux en bouteille Gd public Technologique & gd public Technologique & gd public Gd public Technologique & gd public Technologique Technologique Gd public
Opinion politique 1 Comparaison méthodo. offline Êtes-vous satisfait de l action de Lionel Jospin en tant que premier ministre? Êtes-vous satisfait de l action de Jacques Chirac en tant que Président de la République? Note : Moyenne sur une échelle de 4 points Note : Top box «Très satisfait» Satisfaction de Lionel Jospin Satisfaction de Jacques Chirac 2,43 2,47 2,37 2,42 2,42 2,35 1 2 3 4 Cati Face/face Auto Ad papier - - Très satisfait de Lionel Jospin Très satisfait de Jacques Chirac Cati Face/face Auto Ad papier - - 0 10 20 30 40 50 Les résultats sont relativement homogènes, mis à part un décalage tendanciel sur les «très satisfait»
Opinion politique 2 Comparaison globale Êtes-vous satisfait de l action de Lionel Jospin en tant que premier ministre? Êtes-vous satisfait de l action de Jacques Chirac en tant que Président de la République? Note : Moyenne sur une échelle de 4 points Note : Top box «Très satisfait» Satisfaction de Lionel Jospin Satisfaction de Jacques Chirac 2,43 2,47 2,37 2,46 2,36 2,42 2,42 2,35 2,47 2,46 1 2 3 4 Cati Face/face Auto Ad papier Online B Online A Très satisfait de Lionel Jospin Très satisfait de Jacques Chirac Cati Face/face Auto Ad papier On line B On line A 0 10 20 30 40 50 Des résultats homogènes entre les deux cellules on line Cohérence générale entre les méthodologies
Opinion économie 1 Comparaison méthodo. offline Echelle de confiance en quatre points : très confiant, plutôt confiant, plutôt inquiet, très inquiet Quand vous pensez à l évolution de la situation économique de la France dans les prochains mois, vous êtes? Très et plutôt confiant Cati Face/face Auto Ad papier - - Très inquiet 0 10 20 30 40 50 60 70 80 90100 De légères différences entre les méthodologies offline Une inquiétude un peu plus marquée auprès des répondants face/face
Opinion économie 2 Comparaison globale Quand vous pensez à l évolution de la situation économique de la France dans les prochains mois, vous êtes? Très et plutôt confiant Cati Face/face Auto Ad papier On line B On line A Très inquiet Des résultats homogènes entre les deux études on line 0 10 20 30 40 50 60 70 80 90100 Les résultats on line se situent dans la moyenne des résultats globaux
Opinion environnement & politique 1 Comparaison méthodo. offline Qui de Lionel Jospin ou de Jacques Chirac vous paraît proposer les meilleures solutions en matière de protection de l environnement? Chirac Cati Face/face Auto Ad papier - - Jospin NSP 0 10 20 30 40 50 60 70 Des résultats non homogènes entre les méthodologies offline Un pourcentage de NSP plus marqué en Auto administré papier
Opinion environnement & politique 2 Comparaison globale Qui de Lionel Jospin ou de Jacques Chirac vous paraît proposer les meilleures solutions en matière de protection de l environnement? Chirac Jospin NSP 0 10 20 30 40 50 60 70 Cati Face/face Auto Ad papier On line B On line A Des résultats homogènes entre les deux études on line L online se rapproche de l auto ad papier (NSP) en raison de l absence d enquêteur. Les pourcentages de NSP sont nettement plus importants en auto administré, le répondant n étant pas «encouragé» par l enquêteur à répondre parmi les items
Comportement vis-à-vis des marques 1 Comparaison méthodo. offline J aime acheter des marques reconnues et prestigieuses? Pour moi, acheter des marques connues est un gage de qualité? Tout à fait d'accord Tout à fait d'accord Tt à fait et plutôt d'accord Pas du tout d'accord Cati Face/face Auto Ad papier - - Tt à fait et plutôt d'accord Pas du tout d'accord 0 10 20 30 40 50 60 70 80 90100 0 10 20 30 40 50 60 70 80 90 100 Une méthodologie Auto-ad qui semble légèrement décalée par rapport aux deux autres
Comportement vis à vis des marques 2 Comparaison globale J aime acheter des marques reconnues et prestigieuses? Pour moi, acheter des marques connues est un gage de qualité? Tout à fait d'accord Tout à fait d'accord Tt à fait et plutôt d'accord Pas du tout d'accord Cati Face/face Auto Ad papier On line B On line A Tt à fait et plutôt d'accord Pas du tout d'accord 0 10 20 30 40 50 60 70 80 90100 0 10 20 30 40 50 60 70 80 90 100 Des résultats homogènes entre les deux études on line Un décalage entre Auto-ad et avec enquêteurs : des extrêmes plus élevés, surtout sur les «pas du tout d accord» Est-ce une différence de comportement ou un effet de méthodo?
Taux d équipement 1 Comparaison méthodo. offline Disposez-vous à domicile des équipements suivants? Disposez-vous des équipements suivants? CATI Face à Face Auto Ad Audiovisuel Canal + 28 29 36 Câble 20 24 31 Satellite 19 14 16 Autres Console 44 50 44 PC 60 60 80 Internet 26 26 43 Tél. / PDA Mobile 81 76 76 WAP 10 9 14 Organizer 8 5 2 Les résultats des méthodologies avec enquêteurs sont homogènes On observe une tendance au suréquipement en Auto Ad sur certains produits (PC+Internet, Canal+ et câble)
Taux d équipement 2 Comparaison globale Disposez-vous à domicile des équipements suivants? Disposez-vous des équipements suivants? CATI Face à Face Auto Ad Online A Online B Audiovisuel Canal + 28 29 36 25 29 Câble 20 24 31 25 21 Satellite 19 14 16 19 21 Autres Console 44 50 44 27 34 PC 60 60 80 92 96 Internet 26 26 43 89 91 Tél. / PDA Mobile 81 76 76 77 87 WAP 10 9 14 24 32 Organizer 8 5 2 10 13 Audiovisuel : les résultats onlines sont proches et intermédiaires Un sur-équipement online logique en produits technologiques PC, WAP, Un sous-équipement online en console : plus de PC, donc moins de consoles
Média Comparaison globale A quelle fréquence lisez-vous les magazines suivants? Echelle de fréquence en 6 points CATI Face à Face Auto Ad Online A Online B L Express - Chaque semaine () 2 3 4 3 6 - Moins d une fois / mois () 90 91 85 84 83 Le Nouvel Obs. - Chaque semaine () 2 5 3 5 8 - Moins d une fois / mois () Voici 90 91 87 83 82 - Chaque semaine () 2 4 4 2 3 - Moins d une fois / mois () 86 86 88 89 88 Paris Match - Chaque semaine () 1 3 2 3 4 - Moins d une fois / mois () 86 86 86 86 88 Elle ( base femmes) - Chaque semaine () 2 1 8 5 3 - Moins d une fois / mois () 90 92 78 80 85 Télé 7 jours - Chaque semaine () 13 17 22 17 16 - Moins d une fois / mois () 73 79 68 76 75 Télérama - Chaque semaine () 3 3 3 7 8 - Moins d une fois / mois () 93 95 85 87 84 Les résultats sont homogènes entre (toutes) les méthodologies
Notoriété Spontanée Eaux 1 Comparaison méthodo. offline Quelles sont les marques d eau plate que vous connaissez, ne serait-ce que de nom? Cati Face à Face Auto Ad Top Notoriété - Evian 88 82 88 - Vittel 60 67 73 - Contrex 57 62 57 - Volvic 43 41 51 - Cristaline 28 34 37 - Hépar 26 26 30 - Valvert 14 9 10 La notoriété spontanée s avère supérieure en auto-administré
Notoriété Spontanée Eaux 2 Comparaison globale Quelles sont les marques d eau plate que vous connaissez, ne serait-ce que de nom? Cati Face à Face Auto Ad OnlineA Online B Top Notoriété - Evian - Vittel - Contrex - Volvic - Cristaline - Hépar - Valvert 88 60 57 43 28 26 14 82 88 89 95 67 73 66 69 62 57 59 63 41 51 49 56 34 37 31 40 26 30 30 33 9 10 15 18 Les taux de notoriété sont légèrement plus élevés sur les méthodologies auto-administrées
Notoriété Assistée Eaux Comparaison globale Pour chacune des marques suivantes, dites-nous si vous la connaissez, ne serait-ce que de nom? Cati Face à Face Auto Ad Online A Online B Marques suivies - Marque A 35 34 42 44 55 - Marque B 26 23 21 31 30 - Marque C 19 18 19 22 29 Une fausse marque - A la source 29 22 2 3 3 Des décalages apparaissent entre les méthodologies auto-administrées et celles avec enquêteurs : - Des taux de notoriété supérieurs pour les méthodologies autoadministrées - Une fausse reconnaissance de marque sur les méthodos avec enquêteurs Sur une problématique de notoriété, l influence du temps de réponse est primordiale
Comportement vs. nvlles technos 1 Comparaison globale Échelle d accord en 4 points (tout à fait, plutôt, plutôt pas, pas du tout) Je suis toujours au courant des dernières inventions et des dernières technologies Tout à fait d'accord Tt à fait et plutôt d'accord Pas du tout d'accord Cati Face/face Auto Ad papier On line B On line A 0 10 20 30 40 50 60 70 80 90100 Les résultats ne sont pas vraiment homogènes présentant une tendance assez logique : les répondants online semblent être légèrement plus early adopters sur les dernières inventions et les dernières technologies.
Test de Concept Comparaison globale Test de 3 concepts de téléphone PDA présentés en photo avec un descriptif des mesures. Échelle d appréciation en 6 points (énormément, beaucoup, moyennement, peu, pas, pas du tout) moyennes Auto Ad Face à face Online A Online B Concept T 4.3 3.6 3.9 3.8 Concept R 3.7 2.9 3.5 3.7 Concept S 2.7 2.5 3.1 3.1 Moyenne : (énormément = 6, pas du tout = 1) La méthodologie téléphonique ne peut pas être utilisée Les méthodologies online sont quasiment identiques Les résultats des concepts sont légèrement différents mais le classement reste le même
Test de Concept - ACP Online Auto Ad. Face à Face R Simplicité T R Facile Pratique Stylé Utile T T Innovant Innovation R Différent S S S La construction conforte les côtés early adopters : le côté innovant est moins pris en compte par la cellule online pour l évaluation des concepts.
Prix psychologique : 3 concepts de mobile/pda Quel est selon vous le prix moyen d un mobile neuf sans abonnement? Au dessus de quel prix considérez-vous cher le mobile que vous avez préféré? Au dessous de quel prix le considérez-vous bon marché? A partir de quel prix tellement cher pas d achat A partir de quel prix tellement B.M. doute sur qualité et pas d achat En FRF Auto Ad Face à Face Online A Online B Moyenne Prix moyen 1066 975 1177 1176 1072.3 Pondération 0.9938 0.9092 1.0970 Bon marché 669 672 679 664 Cher 1185 1700 1248 1158 Trop B.M. 395 502 345 346 Trop cher 1220 1752 1550 1162 Résultats Auto Ad papier et online très similaires Meilleure évaluation des prix moyens en auto-administrés Un effet enquêteur sur les niveaux de prix en face à face : auto-valorisation du répondant
Comportement : consommation & achat Comparaison globale A quelle fréquence consommez-vous de l eau du robinet? A quelle fréquence consommez-vous de l eau plate en bouteille A quelle fréquence consommez-vous de l eau gazeuse en bouteille? CATI Face à Face Auto Ad Online A Online B Fréquence conso eau du robinet - Tous les jours ou presque () - Moins d 1fois tous les 2 mois () 48 40 51 42 70 22 54 34 58 29 Fréquence conso eau plate en bouteille - Tous les jours ou presque () - Moins d 1fois tous les 2 mois () Fréquence conso 67 13 58 22 46 25 60 18 55 20 eau gaz. en bouteille - Tous les jours ou presque () - Moins d 1fois tous les 2 mois () 19 49 10 61 16 57 18 48 17 47 Les résultats on line se situent dans la moyenne
Comportement : consommation & achat 2 Comparaison globale Quels sont tous les endroits où il vous arrive d acheter de l eau en bouteille? Internet Station service Des résultats conformes entre les deux études on line Epicerie et type ED,franprix,Lidl, LP... Hyper/super Cati Face/face Auto Ad papier Online B Online A 0 10 20 30 40 50 60 70 80 90 100 Mis à part le questionnement en face à face, les résultats diffèrent peu d une méthodologie à l autre
Conclusion
Conclusion Une cohérence satisfaisante, voire optimale sur les problématiques généralistes testées : Opinion Usages et attitudes gde conso (eaux, marques, ) Média Taux d équipement produits peu technologiques Un comportement Early adopters sur les domaines à fort contenu technologique : Suréquipement en PC, Internet, Connaissance et perception des innovations Oui, un échantillon basé sur des internautes peut être représentatif de la population française!
Conclusion Maîtriser parfaitement la population interrogée (origine, interrogation, gestion, etc.) Utiliser un Access Panel Maîtriser les méthodologies d études Etre des experts des études Maîtriser les NTRD (Nouvelles techniques de Recueil de Données) Réaliser du Research on Research (les cordonniers sont toujours ) Il est sain et nécessaire de se poser des questions sur les conditions de fiabilité des N.T.R.D. mais il est encore plus sain et nécessaire de s interroger sur les conditions de fiabilité de l ensemble des modes de recueil dans le but de construire le meilleur «mix méthodologique» adapté à chaque problématique