Les conditions de fiabilité des études online

Transcription

1 Les conditions de fiabilité des études online

2 Le Club Études et Internet Ambitions du «club études et internet»: Engager des programmes de «Research on Research» Diffuser et partager les résultats Identifier et imposer les «best practices» pour les études online Double originalité du «club Études et Internet»: Trois instituts regroupent leurs efforts de R&D Ils rendent public le fruit de leurs recherches

3 Aujourd hui les N.T.R.D. (Nouvelles Techniques de Recueil de Données) permettent-elles de réaliser des études répondant mieux aux besoins de nos clients? Opérationnelles tests de visuels, sons, vidéo délais réduits (-30 à 50 ) Économiques aucun coût enquêteurs, échantillons + larges optimisation du «mix méthodologique» Fiables?

4 La fiabilité dans l online La gestion de la source d interrogation et des contacts La gestion des interrogations La représentativité de la population Un échantillon basé sur des internautes peut-il être représentatif de la population française?

5 - Premier programme de RonR- Analyse comparative des méthodologies online/off line

6 Objectifs de l étude Vérifier la légitimité des études administrées online sur des problématiques grand public : Etablir les corrections nécessaires Montrer les limites éventuelles Positionner les études online face aux modes de recueil «traditionnels» Répondre aux interrogations : Internet est-il un facteur segmentant la population? Change-t-il les comportements des consommateurs? Dans quelle mesure un échantillon d internautes peut-il prétendre à la représentativité de la population française? Quelles sont les problématiques grand public appropriées et celles qui ne le sont pas?

7 Méthodologie : Détail des terrains Mode d administration Source Nombre de répondants Réalisation du terrain Dates de terrain ONLINE Autoadministré Auto administré Access Panel Access Panel Novatris OpinionWay Du 26 oct. Au 2 nov. Du 25 oct. Au 1 nov. Auto-Ad. postal Auto administré Access Panel 239 ISL Envoi 23 oct. au 19 nov. OFFLINE CATI (téléphone) Face à Face Enquêteur Enquêteur Aléatoire sur quotas Aléatoire sur quotas Atoo ISL Du 31 oct. au 6 nov. Du 31 oct. au 12 nov

8 Méthodologie : Échantillons Échantillons représentatifs France, de 18 à 65 ans (INSEE) : Constitution sur quotas ou échantillonnage Deux critères fichiers : Région, Taille d agglomération Trois critères déclaratifs : Age, Sexe, CSP Redressement sur quatre critères : Taille d agglomération Age Sexe CSP

9 Thèmes/problématiques abordé(e)s Opinion Attitudes Équipement Média Notoriété Test de concept Prix psychologiques Usages Opinions politiques, économiques, etc. Vis-à-vis des marques et des nouvelles technologies Évaluation de l équipement du foyer en audiovisuel et télécommunication Mesure de lectorat Presse Gd Public Notoriété spontanée et assistée, confrontée sur produits gd public et techno Comparaisons et intentions d achat sur produits techno (tél. mobile/pda) Réalisation d un PSM sur produit technologique : Téléphone combiné PDA Habitudes de consommation et d achat des eaux en bouteille Gd public Technologique & gd public Technologique & gd public Gd public Technologique & gd public Technologique Technologique Gd public

10 Opinion politique 1 Comparaison méthodo. offline Êtes-vous satisfait de l action de Lionel Jospin en tant que premier ministre? Êtes-vous satisfait de l action de Jacques Chirac en tant que Président de la République? Note : Moyenne sur une échelle de 4 points Note : Top box «Très satisfait» Satisfaction de Lionel Jospin Satisfaction de Jacques Chirac 2,43 2,47 2,37 2,42 2,42 2, Cati Face/face Auto Ad papier - - Très satisfait de Lionel Jospin Très satisfait de Jacques Chirac Cati Face/face Auto Ad papier Les résultats sont relativement homogènes, mis à part un décalage tendanciel sur les «très satisfait»

11 Opinion politique 2 Comparaison globale Êtes-vous satisfait de l action de Lionel Jospin en tant que premier ministre? Êtes-vous satisfait de l action de Jacques Chirac en tant que Président de la République? Note : Moyenne sur une échelle de 4 points Note : Top box «Très satisfait» Satisfaction de Lionel Jospin Satisfaction de Jacques Chirac 2,43 2,47 2,37 2,46 2,36 2,42 2,42 2,35 2,47 2, Cati Face/face Auto Ad papier Online B Online A Très satisfait de Lionel Jospin Très satisfait de Jacques Chirac Cati Face/face Auto Ad papier On line B On line A Des résultats homogènes entre les deux cellules on line Cohérence générale entre les méthodologies

12 Opinion économie 1 Comparaison méthodo. offline Echelle de confiance en quatre points : très confiant, plutôt confiant, plutôt inquiet, très inquiet Quand vous pensez à l évolution de la situation économique de la France dans les prochains mois, vous êtes? Très et plutôt confiant Cati Face/face Auto Ad papier - - Très inquiet De légères différences entre les méthodologies offline Une inquiétude un peu plus marquée auprès des répondants face/face

13 Opinion économie 2 Comparaison globale Quand vous pensez à l évolution de la situation économique de la France dans les prochains mois, vous êtes? Très et plutôt confiant Cati Face/face Auto Ad papier On line B On line A Très inquiet Des résultats homogènes entre les deux études on line Les résultats on line se situent dans la moyenne des résultats globaux

14 Opinion environnement & politique 1 Comparaison méthodo. offline Qui de Lionel Jospin ou de Jacques Chirac vous paraît proposer les meilleures solutions en matière de protection de l environnement? Chirac Cati Face/face Auto Ad papier - - Jospin NSP Des résultats non homogènes entre les méthodologies offline Un pourcentage de NSP plus marqué en Auto administré papier

15 Opinion environnement & politique 2 Comparaison globale Qui de Lionel Jospin ou de Jacques Chirac vous paraît proposer les meilleures solutions en matière de protection de l environnement? Chirac Jospin NSP Cati Face/face Auto Ad papier On line B On line A Des résultats homogènes entre les deux études on line L online se rapproche de l auto ad papier (NSP) en raison de l absence d enquêteur. Les pourcentages de NSP sont nettement plus importants en auto administré, le répondant n étant pas «encouragé» par l enquêteur à répondre parmi les items

16 Comportement vis-à-vis des marques 1 Comparaison méthodo. offline J aime acheter des marques reconnues et prestigieuses? Pour moi, acheter des marques connues est un gage de qualité? Tout à fait d'accord Tout à fait d'accord Tt à fait et plutôt d'accord Pas du tout d'accord Cati Face/face Auto Ad papier - - Tt à fait et plutôt d'accord Pas du tout d'accord Une méthodologie Auto-ad qui semble légèrement décalée par rapport aux deux autres

17 Comportement vis à vis des marques 2 Comparaison globale J aime acheter des marques reconnues et prestigieuses? Pour moi, acheter des marques connues est un gage de qualité? Tout à fait d'accord Tout à fait d'accord Tt à fait et plutôt d'accord Pas du tout d'accord Cati Face/face Auto Ad papier On line B On line A Tt à fait et plutôt d'accord Pas du tout d'accord Des résultats homogènes entre les deux études on line Un décalage entre Auto-ad et avec enquêteurs : des extrêmes plus élevés, surtout sur les «pas du tout d accord» Est-ce une différence de comportement ou un effet de méthodo?

18 Taux d équipement 1 Comparaison méthodo. offline Disposez-vous à domicile des équipements suivants? Disposez-vous des équipements suivants? CATI Face à Face Auto Ad Audiovisuel Canal Câble Satellite Autres Console PC Internet Tél. / PDA Mobile WAP Organizer Les résultats des méthodologies avec enquêteurs sont homogènes On observe une tendance au suréquipement en Auto Ad sur certains produits (PC+Internet, Canal+ et câble)

19 Taux d équipement 2 Comparaison globale Disposez-vous à domicile des équipements suivants? Disposez-vous des équipements suivants? CATI Face à Face Auto Ad Online A Online B Audiovisuel Canal Câble Satellite Autres Console PC Internet Tél. / PDA Mobile WAP Organizer Audiovisuel : les résultats onlines sont proches et intermédiaires Un sur-équipement online logique en produits technologiques PC, WAP, Un sous-équipement online en console : plus de PC, donc moins de consoles

20 Média Comparaison globale A quelle fréquence lisez-vous les magazines suivants? Echelle de fréquence en 6 points CATI Face à Face Auto Ad Online A Online B L Express - Chaque semaine () Moins d une fois / mois () Le Nouvel Obs. - Chaque semaine () Moins d une fois / mois () Voici Chaque semaine () Moins d une fois / mois () Paris Match - Chaque semaine () Moins d une fois / mois () Elle ( base femmes) - Chaque semaine () Moins d une fois / mois () Télé 7 jours - Chaque semaine () Moins d une fois / mois () Télérama - Chaque semaine () Moins d une fois / mois () Les résultats sont homogènes entre (toutes) les méthodologies

21 Notoriété Spontanée Eaux 1 Comparaison méthodo. offline Quelles sont les marques d eau plate que vous connaissez, ne serait-ce que de nom? Cati Face à Face Auto Ad Top Notoriété - Evian Vittel Contrex Volvic Cristaline Hépar Valvert La notoriété spontanée s avère supérieure en auto-administré

22 Notoriété Spontanée Eaux 2 Comparaison globale Quelles sont les marques d eau plate que vous connaissez, ne serait-ce que de nom? Cati Face à Face Auto Ad OnlineA Online B Top Notoriété - Evian - Vittel - Contrex - Volvic - Cristaline - Hépar - Valvert Les taux de notoriété sont légèrement plus élevés sur les méthodologies auto-administrées

23 Notoriété Assistée Eaux Comparaison globale Pour chacune des marques suivantes, dites-nous si vous la connaissez, ne serait-ce que de nom? Cati Face à Face Auto Ad Online A Online B Marques suivies - Marque A Marque B Marque C Une fausse marque - A la source Des décalages apparaissent entre les méthodologies auto-administrées et celles avec enquêteurs : - Des taux de notoriété supérieurs pour les méthodologies autoadministrées - Une fausse reconnaissance de marque sur les méthodos avec enquêteurs Sur une problématique de notoriété, l influence du temps de réponse est primordiale

24 Comportement vs. nvlles technos 1 Comparaison globale Échelle d accord en 4 points (tout à fait, plutôt, plutôt pas, pas du tout) Je suis toujours au courant des dernières inventions et des dernières technologies Tout à fait d'accord Tt à fait et plutôt d'accord Pas du tout d'accord Cati Face/face Auto Ad papier On line B On line A Les résultats ne sont pas vraiment homogènes présentant une tendance assez logique : les répondants online semblent être légèrement plus early adopters sur les dernières inventions et les dernières technologies.

25 Test de Concept Comparaison globale Test de 3 concepts de téléphone PDA présentés en photo avec un descriptif des mesures. Échelle d appréciation en 6 points (énormément, beaucoup, moyennement, peu, pas, pas du tout) moyennes Auto Ad Face à face Online A Online B Concept T Concept R Concept S Moyenne : (énormément = 6, pas du tout = 1) La méthodologie téléphonique ne peut pas être utilisée Les méthodologies online sont quasiment identiques Les résultats des concepts sont légèrement différents mais le classement reste le même

26 Test de Concept - ACP Online Auto Ad. Face à Face R Simplicité T R Facile Pratique Stylé Utile T T Innovant Innovation R Différent S S S La construction conforte les côtés early adopters : le côté innovant est moins pris en compte par la cellule online pour l évaluation des concepts.

27 Prix psychologique : 3 concepts de mobile/pda Quel est selon vous le prix moyen d un mobile neuf sans abonnement? Au dessus de quel prix considérez-vous cher le mobile que vous avez préféré? Au dessous de quel prix le considérez-vous bon marché? A partir de quel prix tellement cher pas d achat A partir de quel prix tellement B.M. doute sur qualité et pas d achat En FRF Auto Ad Face à Face Online A Online B Moyenne Prix moyen Pondération Bon marché Cher Trop B.M Trop cher Résultats Auto Ad papier et online très similaires Meilleure évaluation des prix moyens en auto-administrés Un effet enquêteur sur les niveaux de prix en face à face : auto-valorisation du répondant

28 Comportement : consommation & achat Comparaison globale A quelle fréquence consommez-vous de l eau du robinet? A quelle fréquence consommez-vous de l eau plate en bouteille A quelle fréquence consommez-vous de l eau gazeuse en bouteille? CATI Face à Face Auto Ad Online A Online B Fréquence conso eau du robinet - Tous les jours ou presque () - Moins d 1fois tous les 2 mois () Fréquence conso eau plate en bouteille - Tous les jours ou presque () - Moins d 1fois tous les 2 mois () Fréquence conso eau gaz. en bouteille - Tous les jours ou presque () - Moins d 1fois tous les 2 mois () Les résultats on line se situent dans la moyenne

29 Comportement : consommation & achat 2 Comparaison globale Quels sont tous les endroits où il vous arrive d acheter de l eau en bouteille? Internet Station service Des résultats conformes entre les deux études on line Epicerie et type ED,franprix,Lidl, LP... Hyper/super Cati Face/face Auto Ad papier Online B Online A Mis à part le questionnement en face à face, les résultats diffèrent peu d une méthodologie à l autre

30 Conclusion

31 Conclusion Une cohérence satisfaisante, voire optimale sur les problématiques généralistes testées : Opinion Usages et attitudes gde conso (eaux, marques, ) Média Taux d équipement produits peu technologiques Un comportement Early adopters sur les domaines à fort contenu technologique : Suréquipement en PC, Internet, Connaissance et perception des innovations Oui, un échantillon basé sur des internautes peut être représentatif de la population française!

32 Conclusion Maîtriser parfaitement la population interrogée (origine, interrogation, gestion, etc.) Utiliser un Access Panel Maîtriser les méthodologies d études Etre des experts des études Maîtriser les NTRD (Nouvelles techniques de Recueil de Données) Réaliser du Research on Research (les cordonniers sont toujours ) Il est sain et nécessaire de se poser des questions sur les conditions de fiabilité des N.T.R.D. mais il est encore plus sain et nécessaire de s interroger sur les conditions de fiabilité de l ensemble des modes de recueil dans le but de construire le meilleur «mix méthodologique» adapté à chaque problématique