Audit du CESP sur l étude Balmétrie Janvier-décembre 2014

Transcription

1 Audit du CESP sur l étude Balmétrie Janvier-décembre 2014 Mardi 5 mai 2015

2 SYNTHESE DE L AUDIT DE L ETUDE BALMETRIE 2014 Dans le cadre de la mission qui lui a été confiée par l interprofession des médias et de la publicité, le CESP a audité l étude Balmétrie Le GIE Balmétrie a confié la conception de la méthodologie et la mise en place de l étude à Ipsos. L objectif de Balmétrie est de mesurer l audience du média courrier auprès de la population des individus de 15 ans ou plus résidant en France métropolitaine. Cette étude rassemble les formats de courrier suivants : Courrier d information, Publicité, Courrier personnel, commercial relationnel et Courrier personnel, administratif et de gestion. Les termes retenus pour définir la lecture du courrier sont les suivants : "lu, regardé, survolé". En 2014, Balmétrie a introduit plusieurs changements dans la méthodologie de l étude : - La structure socio-démographique de l échantillon qui était contrôlée par semestre depuis 2012 est désormais contrôlée au niveau du trimestre. - La période de participation passe de 8 jours à 9 jours avec le premier week-end à blanc. - La maquette du carnet papier a été allégée et simplifiée pour faciliter le remplissage. - La question de première lecture a été modifiée après avoir fait l objet d un test qualitatif pour valider sa bonne compréhension de la part des interviewés. Le recueil de l information est effectué en trois étapes avec un mode de recueil différent selon que la personne a la possibilité de répondre en ligne ou non 1 : 1) un questionnaire de recrutement posé par téléphone, 2) un carnet (en ligne ou papier) consacré à la lecture du courrier à remplir pendant neuf jours consécutifs (du samedi au dimanche) 3) un questionnaire complémentaire consacré aux autres médias (habitudes radio-tv, cinéma), aux loisirs, aux centres d intérêt, aux achats et à l équipement du foyer. L'étude Balmétrie 2014 a été réalisée en continu de janvier à décembre auprès d un échantillon national de individus. Le CESP a audité la méthodologie élaborée par Ipsos, la réalisation de l étude et les résultats d audience du média courrier 2 publiés au niveau national sur une base annuelle. Le rapprochement avec les volumes d exemplaires distribués dans les boîtes aux lettres par campagne et l outil de média planning prévu par Balmétrie ne sont pas pris en compte dans cet Audit. A partir de ses différents contrôles et analyses réalisés sur l étude Balmétrie 2014 : Le CESP considère que l étude est satisfaisante sur : - le principe de la réalisation de l étude en continu sur l ensemble de l année, - l introduction de numéros de téléphone mobile dans la base d enquête, 1 Définition de l internaute retenue pour le recrutement CAWI : individu s étant connecté à Internet au cours des 30 derniers jours sur un ordinateur fixe ou portable (domicile, travail ou autre lieu), disposant d une adresse et d un accès Internet haut débit, accessible pendant les 8 jours de participation à l enquête. 2 Ensemble des individus ayant eu au moins un contact avec un des supports étudiés Audit étude BALMETRIE CESP 2

3 - l amélioration du suivi des quotas dans le temps et le contrôle de la structure de l échantillon par trimestre, - la combinaison de deux modes de recueil de l information (en ligne et papier) permettant d inclure dans l échantillon des individus internautes et non internautes et des profils socio-démographiques différents, - l ergonomie du carnet de lecture en ligne, les délais imposés pour son remplissage au jour le jour afin d éviter un recours trop important à la mémoire, et le maintien d une période à blanc (premier samedi et premier dimanche) dans le traitement des résultats issus du carnet de lecture, - les niveaux comparables des indicateurs globaux du média courrier issus du questionnaire de recrutement obtenus sur la base des recrutés et des répondants, - la modification des questions permettant de distinguer la première lecture des reprises en main pour chaque courrier lu et pour chaque jour, - le calcul des principaux indicateurs d audience sur la base des premières lectures. Pour l avenir le CESP recommande : Sur la réalisation de l étude : - d adapter le dispositif d animation, de relance et de motivation auprès des jeunes, notamment les hommes âgés de 15 à 34 ans, afin d améliorer leur taux de réponse au carnet de lecture, Sur la méthodologie : - d étudier l introduction d un quota de contrôle sur la proportion d internautes 30 derniers jours pour ne pas sur représenter ces individus dans l échantillon total, - compte tenu des objectifs de l étude, de vérifier la cohérence entre la distribution géographique de l échantillon et celle des volumes distribués. En raison des changements introduits dans le dispositif d étude et dans le calcul des indicateurs d audience du courrier, le Comité Scientifique recommande de ne pas comparer les résultats Balmétrie 2014 avec ceux des années précédentes. Le Comité Scientifique 5 mai 2015 Audit étude BALMETRIE CESP 3

4 L AUDIT DU CESP SUR L ETUDE BALMETRIE 2014 Synthèse de l Audit de l étude Balmétrie L Audit du CESP sur l étude Balmétrie Présentation de l étude Balmétrie Objectifs Principes de l étude Univers de l étude Plan de sondage Base d enquête Gestion des appels et classement des numéros Recueil de l information Questionnaire de recrutement Carnet de lecture Questionnaire complémentaire (en ligne ou papier) : Indicateurs d audience Balmétrie Redressement des échantillons L Audit du CESP Champ du contrôle Contrôle du dispositif de recrutement Formation des enquêteurs et contrôles du CESP Gestion des appels Analyse de l échantillon recruté par téléphone Taux de réponse des carnets de lecture Suivi de l envoi des mails Suivi de la phase de relances Analyse des taux de réponse Recueil de l information Contrôle de l échantillon des répondants Redressement Redressement de l échantillon des recrutés CATI Redressement de l échantillon des répondants au carnet de lecture Impact du redressement sur les résultats Analyse des résultats Audit étude BALMETRIE CESP 4

5 PRESENTATION DE L ETUDE BALMETRIE Objectifs L étude Balmétrie, qui rassemble les différents formats de courrier (Courrier d information/publicité/courrier personnel commercial ou relationnel /Courrier personnel administratif ou de gestion), a pour objectifs principaux : de mesurer et de qualifier l audience du media courrier auprès de la population des individus de 15 ans ou plus résidant en France métropolitaine, sur une base annuelle et nationale. d alimenter à terme un outil de médiaplanning du media courrier. Les niveaux d audience issus de l enquête Balmétrie seront mis en relation par un modèle aux volumes distribués. 2. Principes de l étude La méthodologie de l étude a été mise au point par Ipsos à la demande de Balmétrie. L étude Balmétrie repose sur un dispositif d enquête qui combine un recrutement téléphonique (CATI 3 ) et un système de courte panélisation. Le recueil de l information est réalisé en continu sur l ensemble de l année. Le recrutement, la gestion et l animation des recrutés ont été effectués par le centre d appels d Ipsos à Bordeaux. Le dispositif s articule en trois étapes : Un recrutement 100% CATI qui aboutit : - soit à l envoi d un questionnaire en ligne pour les internautes éligibles CAWI, - soit à l envoi de documents postaux pour les non éligibles à cette filière. Un double mode de recueil de l information : - un carnet en ligne pour les internautes éligibles CAWI, - un carnet papier pour les non éligibles CAWI. La période de recueil est de neuf jours consécutifs (du samedi au dimanche de la semaine suivante) avec le premier week-end à blanc. Un questionnaire complémentaire (en ligne ou papier/crayon) sur les habitudes de fréquentation des autres médias et sur les centres d intérêt. Pour recevoir le questionnaire en ligne, l interviewé doit : - s être connecté à Internet au cours des 30 derniers jours depuis un ordinateur fixe ou portable (domicile, travail ou autre lieu), - disposer d une adresse et d un ordinateur équipé d un accès à Internet haut débit, accessible pendant les 9 jours de participation à l enquête. Si ces critères ne sont pas réunis, l interviewé recevra les documents par voie postale. Par ailleurs, si l interviewé est déterminé comme étant éligible CAWI mais déclare ne pas maîtriser suffisamment internet pour remplir le carnet en ligne, l enquêteur lui propose le remplissage d un carnet papier. 3 Computer Assisted Telephone Interviewing (système d'administration d'enquêtes par téléphone) Audit étude BALMETRIE CESP 5

6 recueil recrutement Schéma global de l étude Téléphone (100%) Eligibles CAWI Non éligibles CAWI Carnet auto-administré en ligne CAWI Carnet auto-administré PAPIER Questionnaire complémentaire en ligne CAWI Questionnaire complémentaire Papier Afin de motiver les personnes recrutées, il est proposé dans la présentation de l étude la participation à une loterie permettant de gagner l un des 400 chèques cadeau d une valeur de 50. Un système d animation et de relances a été mis en place afin d optimiser le taux de réponse. Ce dispositif a été adapté en fonction du mode de participation de l interviewé (filière CAWI ou papier). Dispositif pour les recrutés CAWI Pour les éligibles CAWI, le lien pour accéder au carnet est envoyé chaque vendredi, soit la veille du premier jour de participation. La personne ne peut commencer le remplissage de son carnet de lectures qu à partir du samedi, mais elle peut voir la vidéo présentant l étude et remplir le questionnaire complémentaire dès le vendredi. Règles de remplissage du carnet on line : En jour J, seuls les jours J, J-1, J-2 sont accessibles, sauf si la connexion a lieu le lundi où il a également accès à J-3 c est-à-dire le vendredi (pour pouvoir permettre à ceux qui reviennent de week-end de pouvoir quand même remplir le carnet à leur retour). Un internaute a donc en général 72h pour remplir et valider un jour du carnet (96h pour la validation du vendredi). Autre exception pour l accessibilité des jours : les jours à blanc J1 (samedi 1) et J2 (dimanche 1) peuvent être remplis jusqu au mercredi (J5). Par exemple : Pour le samedi 1 : l internaute peut commencer à remplir le carnet dès le lendemain de la réception du lien soit le samedi 1, et a jusqu au mercredi soir minuit pour le remplir et le valider. Pour le dimanche 2 : il peut commencer à remplir le carnet le dimanche dès l aube et a jusqu au mardi soir minuit pour le remplir et le valider. Une fois ces délais passés, la personne ne peut plus accéder au questionnaire. Lorsque le délai de remplissage est dépassé et si l interviewé avait déjà commencé le questionnaire, c est une chute. S il ne s était pas du tout connecté, il est possible de décaler sa semaine de participation lors de la phase de relance. Audit étude BALMETRIE CESP 6

7 Dispositif d animation/relances : - le lien est envoyé le vendredi vers midi - animation CATI (le premier samedi ou le lundi ou le mardi) pour s assurer que le mail a bien été reçu et donner les explications de remplissage - envoi d un mail de rappel quotidien si le remplissage a été commencé - relance mail le mardi, si le remplissage n est pas commencé - relance téléphonique le mercredi ou le jeudi si le remplissage n est toujours pas commencé pour décaler la période de participation - relance téléphonique quotidienne pour ceux ayant commencé à remplir la veille mais qui n ont pas terminé car il ne leur reste qu une journée pour remplir S1 S2 S3 vendredi samedi diman. lundi mardi mercredi jeudi vendredi samedi diman. lundi mardi mercredi jeudi vendredi samedi diman. lundi mardi mercredi jeudi vendredi samedi dimanche Envoi du lien Recrutement Appel animation Semaine de participation 1 Relances tel. quotidiennes auprès des personnes n'ayant pas rempli le carnet la veille Relance et/ou tel. (si remplissage non commencé) Report Semaine de participation 2 Dispositif pour les recrutés Papier Pour les non éligibles CAWI, le courrier est envoyé chaque mercredi de la semaine de participation. Jusqu au mardi, la personne recrutée pour la filière Papier se voit proposer de participer le samedi de la même semaine avec envoi du courrier le mercredi. A partir du mercredi, l enquêteur lui propose de participer le samedi de la semaine suivante. Dispositif d animation/relances pour les personnes répondant sur papier : - animation CATI (le premier samedi ou le lundi) pour s assurer que le courrier a bien été reçu, - relance téléphonique le jeudi et le vendredi suivant la semaine de participation, si le carnet n a pas été renvoyé à Ipsos ou si les documents renvoyés sont partiellement remplis. S2 S3 S4 mer. jeudi vend. sam. diman. lundi mardi mer. jeudi vend. sam. diman. lundi mardi mer. jeudi vend. sam. diman. lundi mardi mer. jeudi vend. Envoi du carnet Recrutement Appel animation Semaine de participation 1 Relances Report Semaine de participation 2 Audit étude BALMETRIE CESP 7

8 3. Univers de l étude L univers de l étude est constitué de l ensemble des individus âgés de 15 ans ou plus, appartenant à un ménage ordinaire et résidant en France métropolitaine. Cette population a été estimée au 1er janvier 2014 par le CESP à personnes, à partir des données de l INSEE disponibles les plus récentes : - le bilan démographique au 01/01/2014 pour la réactualisation des effectifs par sexe et âge, - l Enquête Emploi 2012 pour la structure par PCS, l effectif du foyer et la proportion de ménagères, - les recensements 2009 et 2010 pour le taux d appartenance à un ménage ordinaire par année de naissance et la structure par catégorie d habitat, - les estimations de l INSEE au 01/01/2013 pour la structure par région INSEE. 4. Plan de sondage Le plan de sondage est un plan de sondage à deux degrés : Premier degré : - Stratification : département (95) x catégorie d agglomération (5) 4 - Détermination du nombre de recrutements à réaliser par département et catégorie d agglomération - Tirage aléatoire de numéros de téléphone dans chacune des 323 strates du plan de sondage Deuxième degré : - Désignation de la personne à interroger selon la méthode des quotas - Objectifs de recrutement suivis au niveau national pour l ensemble de l échantillon : - sexe x âge (15-34 ans / ans / 60 ans ou +) - sexe x actif/inactif - département x catégorie d habitat (rural / à h / à h / h +, agglomération parisienne) Contrairement aux années précédentes où ils étaient gérés au niveau du semestre, les quotas sont désormais gérés au trimestre. En début de terrain, les objectifs de recrutement sont gérés sur la base d hypothèses de taux de réponse. En cours de terrain, les objectifs sont ajustés en fonction des taux de réponse effectifs. 5. Base d enquête En 2014, la constitution de la base d enquête a été modifiée. Conformément à une recommandation du CESP, des numéros de mobile, qu ils soient exclusifs ou non, ont été intégrés dans la base à hauteur de 40%. Le recrutement téléphonique est désormais réalisé à partir de numéros commençant par 01, 02, 03, 04 et 05, de numéros commençant par 09, 01 7 et 01 8, et de numéros commençant par 06 et 07. Numéros de ligne fixe (numéros commençant par 01, 02, 03, 04 ou 05) : Une base d enquête a été constituée en respectant la matrice département x catégorie d agglomération (9), ainsi que le poids des arrondissements dans chaque département. Le tirage initial des numéros a été fait à partir d un fichier acheté à la société WDM et comprenant des numéros issus de l annuaire Pages Blanches. Le fichier utilisé par cette société comporte numéros/foyers. Il est actualisé deux fois par mois. 4 Sources Recensement 2010 actualisé au 01/01/2012 Audit étude BALMETRIE CESP 8

9 Au total, numéros ont été tirés à partir de ce fichier en Ces numéros ont ensuite été immédiatement déclinés (ajout d une unité au dernier chiffre du numéro) et ont été recherchés dans l annuaire inversé, afin de retirer les numéros professionnels repérables et les numéros de cabines téléphoniques pour constituer une base d enquête exploitable. Les numéros du tirage initial n ont pas été utilisés. Seuls les numéros déclinés et filtrés ont été intégrés à la base d enquête. Cette procédure de déclinaison permet d inclure dans l échantillon des numéros de ligne fixe en dégroupage partiel ou en dégroupage total avec portabilité du numéro, ainsi que des numéros qui figurent sur liste rouge. Numéros en 09 : Ces numéros sont issus d un fichier de numéros localisés acheté à la société Active Address. Ce fichier de numéros, actualisé en novembre 2013, est constitué à partir des annuaires Box des grands opérateurs (Free, SFR, Orange, Alice, Numéricâble ). Il est qualifié sur de nombreux critères géographiques (département, catégorie d agglomération, commune, Iris, etc.). Le tirage aléatoire des numéros a été fait en respectant la matrice département x catégorie d agglomération (9). Au total, numéros ont été tirés à partir de ce fichier en Ces numéros ont été utilisés directement et n ont pas été déclinés. Le fichier de numéros en 09 est constitué d «exclusifs 09», c est-à-dire des numéros «non géographiques» appartenant à des foyers pour lesquels Active Address ne dispose pas de numéro «géographique». Numéros en 06 ou 07 : Les numéros en 06 ou 07 ont été générés aléatoirement par IPSOS puis comparés à la base ARCEP des n de mobiles. Ne sont retenus que les numéros éligibles ARCEP. Cette base actualisée tous les trois mois contient l ensemble des racines (4 premiers chiffres) qui ont été effectivement ouvertes aux différents opérateurs de téléphonie mobile. Au total, une base de numéros de téléphone mobile a été utilisée pour l étude Gestion des appels et classement des numéros Les appels téléphoniques ont été classés en fonction du résultat obtenu selon les modalités suivantes : RECRUTEMENT REALISE REFUS 3 Refus ABANDON SANS REPONSE HORS CHAMP RDV DIVERS Modalités de classement des appels 1 Recrutement pour un recueil en CAWI 2 Recrutement pour un recueil PAPIER 4 Abandon en cours 5 Refus éligibles CAWI 6 Refus éligibles PAPIER 7 Numéro occupé 8 Sans réponse 9 Répondeur 10 Fax 11 Numéro non attribué / Faux numéro 12 N d'entreprise 13 Dialogue impossible (ne parle pas français, malentendant) 14 Ne sait pas lire, hors résidence principale 15 Hors cible (dont -15 ans sur mobile, non utilisateur principal du mobile, tel non permanent) 16 Rappel un autre jour (rdv général) 17 RDV fixe prioritaire 18 Hors Quotas 19 Autres Audit étude BALMETRIE CESP 9

10 Dans les cas 7, 8, 9 et 18, le numéro fait l objet de plusieurs tentatives d appels à des heures et jours différents (jusqu à 10 appels par numéro). Un numéro occupé est rappelé dans un délai de 30 minutes minimum, un sans réponse dans un délai de deux heures minimum. Consignes relatives aux appels sur numéros de téléphone fixe : Au premier appel, l enquêteur doit prendre la composition du foyer en caractérisant chaque individu de 15 ans ou plus selon trois critères (sexe, âge en trois classes, actif/inactif). Cette première étape a pour objectif : - d optimiser les chances d obtenir une interview auprès des individus les plus difficiles à interroger, - de gérer les rappels en fonction des quotas recherchés et de ne pas appeler inutilement un numéro si aucune personne du foyer ne correspond à ces quotas. Si dans le foyer, aucune personne ne correspond aux quotas à respecter au moment de l appel, le numéro est maintenu dans la base exploitable. Il sera rappelé ultérieurement (avec possibilité de prise de rendez-vous). Consignes relatives aux appels sur numéros de téléphone mobile : L enquêteur s assure au préalable que l interviewé est dans de bonnes conditions pour réaliser l interview. Seul l utilisateur principal du téléphone mobile peut être recruté. Lors de la prise de contact, si la personne n a pas le temps, l enquêteur doit essayer de poser a minima les questions suivantes : Utilisateur principal du téléphone Sexe, âge en trois classes, actif/inactif La commune d habitation L appel sur un mobile professionnel est possible à partir du moment où la personne contactée en dispose et peut s en servir pour des motifs personnels. Les recrutements CATI sont réalisés du lundi au vendredi à partir de 12h, 15h ou 17h (selon les jours) jusqu à 21h, et le samedi de 9h30 à 14h00. Lors du recrutement, si la personne contactée est éligible CAWI, l enquêteur propose l envoi d un lien comprenant l accès aux deux questionnaires. Si la personne n est pas éligible CAWI, l enquêteur lui propose l envoi postal à son domicile des questionnaires papier (le carnet à remplir chaque jour pendant 9 jours consécutifs et le questionnaire concernant les centres d intérêt). 7. Recueil de l information Le recueil de l information est effectué en trois étapes : 1) Un questionnaire de recrutement posé par téléphone portant sur : la composition du foyer, la recherche des quotas, la consultation d Internet, les caractéristiques, les habitudes et les comportements du foyer en lien avec le courrier, les renseignements signalétiques et la présentation des carnets en ligne ou papier. 2) Un carnet (en ligne ou papier) consacré à la lecture du courrier à remplir pendant neuf jours consécutifs du samedi au dimanche. 3) Un questionnaire complémentaire (en ligne ou papier) consacré aux autres médias (habitudes presse, radio-tv), aux styles de vie et aux centres d intérêt. Ce questionnaire peut être rempli en une ou plusieurs fois sans contrainte de temps, y compris pour le CAWI. Audit étude BALMETRIE CESP 10

11 7.1 Questionnaire de recrutement Les questions posées dans le questionnaire CATI sont les suivantes : - Composition du foyer - Caractéristiques du foyer en lien avec le courrier : type de résidence, statut d occupation, sécurisation du logement, possession d une résidence secondaire personne en charge de la distribution personne(s) dans le foyer en charge du relevé du courrier possession d une boite aux lettres, présence d un stop pub - Habitudes et comportement du foyer vis-à-vis du courrier : Fréquence du relevé du courrier Réception de publicité non adressée (PNA) Distribution de la PNA dans les boîtes aux lettres ou le hall de l immeuble Habitudes de lire/regarder/survoler (selon les différents types de courrier) 5 Nombre de courriers lus/regardés/survolés la veille (selon les différents types de courrier) - Renseignements signalétiques : - Questions Internet : Nombre de personnes au foyer Présence d enfants de moins de 15 ans Profession précise de la personne recrutée Profession de la personne de référence (si différente de la personne recrutée) Niveau d études Revenus du foyer Equipement téléphonique du foyer Possession de tablette(s) tactile(s) dans le foyer, modèle(s) de tablette(s) possédée(s) Habitude de connexion Date de de dernière connexion depuis un ordinateur portable ou fixe / depuis un téléphone mobile / depuis une tablette tactile Détermination de la filière CAWI ou Papier - Présentation des carnets on-line / postaux : Explications Argumentaires / motivation / engagement de l interviewé Saisie de l adresse (internautes) / coordonnées postales (pour tous) Présentation du carnet et du questionnaire adaptée à la filière CAWI ou Papier 5 Les items de la question de fréquence de lecture par type de courriers ont été modifiés en 2014 et les descriptifs des catégories de courriers ont été allégés Audit étude BALMETRIE CESP 11

12 7.2 Carnet de lecture Le carnet (en ligne ou papier) porte sur la lecture des différents types de courrier. En 2013, ces lectures étaient à renseigner pendant huit jours consécutifs du vendredi 1 au vendredi 2. Le premier jour du carnet (vendredi 1) correspondait à une journée "à blanc" dont les résultats n étaient pas pris en compte dans les traitements. En 2014, Balmétrie a décidé de modifier le carnet de lecture afin que les lectures recueillies correspondent à la réalité de la distribution des Imprimés Publicitaires et faciliter ainsi le rapprochement des données de lectures avec les données de distribution. Les lectures sont désormais à renseigner pendant neuf jours consécutifs du samedi 1 au dimanche 2. Les deux premiers jours du carnet (samedi 1 et dimanche 1) correspondent à des journées "à blanc" dont les résultats ne sont pas pris en compte dans les traitements. Les catégories de courrier étudiées : Le carnet porte sur les quatre types 6 de courrier suivants : 1) Les courriers d information 2) Les publicités 3) Les courriers personnels commerciaux ou relationnels 4) Les courriers administratifs ou de gestion Ces différents types de courriers sont décrits de la façon suivante aux répondants : Les courriers d information : «Ce type de courrier est distribué dans votre boîte aux lettres, et ne porte pas de nom ni d adresse. Ces courriers ne sont généralement pas sous enveloppe. On y trouve par exemple : les journaux gratuits de votre quartier, de la mairie, de la région, etc. des tracts d association (sportives, de loisirs) ou de partis politiques, etc. Ils ne comprennent pas : les journaux gratuits d annonce les journaux et magazines également disponibles chez votre marchand de journaux les courriers d associations caritatives Les publicités : «Elles sont distribuées dans votre boîte aux lettres, et ne portent pas de nom ni d adresse. Ces publicités ne sont généralement pas sous enveloppe. On y trouve par exemple : des prospectus, tracts ou flyers des catalogues et des brochures 6 La terminologie utilisée pour décrire les différents types de courrier mesurés dans l étude a été déterminée à l issue des entretiens qualitatifs menés par Ipsos en 2011 Audit étude BALMETRIE CESP 12

13 des dépliants des cartes, des échantillons Elles ne comprennent pas : les journaux gratuits d annonce les publicités distribuées dans la rue» Le courrier personnel commercial ou relationnel : «Il s agit du courrier portant votre adresse et votre nom ou celui d un autre membre de votre foyer. Il peut être sous enveloppe ou sous film plastique. Il est envoyé par des marques ou des enseignes, dont vous êtes client ou non. On y trouve par exemple : des cartons, lettres d invitation, promotions (ventes privées, soldes, etc ) des catalogues, des brochures des relevés de points d une carte fidélité des magazines gratuits de marques (Carrefour Mag, Plus le magazine des abonnés de Canal +, ) des offres ou des renouvellements d abonnements à des journaux, magazines Il ne comprend pas : les prospectus, dépliants, brochures sans nom ni adresse les journaux et magazines payants auxquels vous êtes abonnés» Le courrier personnel administratif ou de gestion : «Il s agit du courrier portant votre adresse et votre nom ou celui d un autre membre de votre foyer. Il est généralement sous enveloppe. On y trouve par exemple : les factures (EDF, GDF, téléphone, ) les relevés de compte et correspondances avec votre banque ou votre assurance les courriers administratifs divers (impôts, CAF, Assurance Maladie, etc ) Il ne comprend pas : le courrier de vos proches (lettres, cartes postales, ) les lettres recommandées» Audit étude BALMETRIE CESP 13

14 Questions sur le courrier : Une première question filtre de lecture (lu, regardé ou survolé) est posée par type de courrier pour chacune des neuf journées. Les données recueillies dans le carnet dépendent ensuite du type du courrier. Le schéma ci-dessous récapitule les informations recueillies selon le type de courrier lu par le répondant : Catégorie de courrier Les courriers d information X Les publicités Les courriers personnels commerciaux ou relationnels Les courriers personnels administratifs ou de gestion Marque / enseigne X X X Intensité de lecture (lu attentivement, regardé, seulement survolé) Format X X X X X Présence pub/mini magazine Intensité de lecture pub/mini magazine (lu attentivement, regardé, seulement survolé, pas lu du tout) X X Date de réception X X X X Date de 1 ère lecture X X X X A noter que la question sur le contenu des courriers publicitaires adressés a été supprimée en Par ailleurs, la question permettant de distinguer les premières lectures des reprises en main a été modifiée en Elle est désormais posée en deux étapes : Date de réception du courrier Si date de réception antérieure au jour de lecture : date de la 1ère lecture du courrier Les deux questions permettant d identifier les premières lectures ont été validées lors d un test qualitatif mené en octobre 2013 auquel le CESP a été associé. Audit étude BALMETRIE CESP 14

15 Carnet en ligne : Le carnet en ligne débute par une vidéo expliquant les objectifs de l étude puis donne un descriptif des différentes catégories de courrier à prendre en compte. Capture d écran de la vidéo online Un moteur de recherche permettant au répondant de trouver les marques et enseignes a été mis en place pour les publicités, les courriers personnels commerciaux ou relationnels et les courriers personnels administratifs ou de gestion. Ce moteur de recherche dynamique présente en temps réel les logos des marques en fonction des marques saisies par l interviewé dans la zone de texte. Utilisation d un moteur de recherche pour trouver les enseignes/marques Audit étude BALMETRIE CESP 15

16 Carnet papier : Les personnes qui répondent sur papier reçoivent par la poste une enveloppe comportant quatre documents : - une plaquette de présentation de l étude, - un guide de remplissage du carnet comportant le descriptif des catégories de courrier et une liste alphabétique des logos des marques et enseignes avec un code pour chacune à reporter dans le carnet le cas échéant, - le carnet de lecture comprenant deux pages d exemples de remplissage + 4 pages par jour correspondant aux 4 catégories de courrier, - le questionnaire complémentaire sur le style de vie et les centres d intérêt. Exemples de pages du carnet papier 7.3 Questionnaire complémentaire (en ligne ou papier) : Les thèmes abordés dans ce questionnaire sont les suivants : - Les médias : Habitudes de lecture de la presse (par famille de presse) Habitudes d écoute de la radio / télévision (par tranche horaire) Usages sur Internet - Automobile / Deux roues - Activités de loisirs, centres d intérêt culturels ou sportifs - Achats (montants dépensés, enseignes fréquentées, ) - Equipement du foyer (audiovisuel, informatique, ) Audit étude BALMETRIE CESP 16

17 8. Indicateurs d audience Balmétrie Balmétrie a défini des indicateurs pour mesurer l audience du média courrier dans sa globalité et par catégorie. Les principaux indicateurs retenus sont les suivants : - Audience d un jour moyen : nombre d individus ayant eu au moins un contact avec un exemplaire de la catégorie de courrier en moyenne sur un jour, rapporté à la population totale. Cet indicateur est calculé sur la base de la première lecture (hors reprises en main). - Lecture dernière semaine (LDS) : nombre d individus ayant eu au moins un contact avec un exemplaire de la catégorie de courrier au cours de la semaine de participation, rapporté à la population totale. Cet indicateur est calculé sur la base de la première lecture (hors reprises en main). - Nombre moyen de lectures par semaine : nombre total de lectures (1 ère lecture + reprises en main) sur une semaine, rapporté au nombre total de lecteurs. - GRP (base individus) : Lecture Dernière Semaine (LDS) x Nombre moyen de lectures par semaine - Part de marché : nombre de lectures (1 ère lecture + reprises en main) d une catégorie de courrier effectuées durant la semaine de participation rapporté au nombre total de lectures du media courrier pendant cette même semaine. 9. Redressement des échantillons Redressement de l échantillon des recrutés CATI L étude de recrutement effectuée par téléphone est utilisée à des fins de cadrage pour le redressement de l échantillon des répondants au carnet de lecture sur les données d équipement du foyer en termes de sécurisation du logement et sur la présence ou non d un «stop pub». Au préalable, un redressement est effectué sur l échantillon des recrutés CATI afin de corriger les écarts entre la structure de l échantillon observé et la structure théorique sur la base des critères de redressement. Les objectifs de redressement régionaux sont calculés par Ipsos sur la base des résultats du recensement INSEE (EAR 2010) 7 en tenant compte des objectifs nationaux fixés par le CESP au 1er janvier 2014 (voir sources INSEE utilisées page 8). Les données sur le type d habitat proviennent de l enquête annuelle de recensement INSEE La proportion d internautes est issue de la vague O.U.I de janvier-mars Le redressement a été réalisé en une seule fois à deux niveaux : Redressement par région UDA (5) selon les critères suivants : sexe (2) âge (3) modalités d âge : ans, ans, 50 ans ou plus PCS de l interviewé (3) modalités de PCS de l interviewé : actifs PCS+, actifs PCS-, inactifs Catégorie d agglomération (5) modalités de catégorie d agglomération : rural, 2 à , 20 à , plus de , agglomération de Paris 7 Enquête Annuelle de Recensement Audit étude BALMETRIE CESP 17

18 Redressement au niveau national selon les critères suivants : internautes/non internautes (2) âge (5) x sexe (2) modalités d âge : ans, ans, ans, ans, 65 ans ou plus PCS du chef de famille (8) modalités de PCS du chef : agriculteurs, artisans/commerçants, prof. libérales/chefs d'établissement/affaires et cadres, professions intermédiaires, employés, ouvriers, retraités, étudiants/autres inactifs PCS de l interviewé (10) modalités de PCS de l interviewé : agriculteurs, artisans/commerçants, prof. libérales/chefs d'établissement, affaires et cadres, professions intermédiaires, employés, ouvriers, retraités, étudiants, autres inactifs Département (95) Effectif du foyer (5) Mois de remplissage 8 du carnet de lecture retenu (12) Type de résidence principale (2) modalités du type de résidence principal : maison individuelle ou particulière / appartement / autre L ensemble des objectifs de redressement représente 204 modalités. Redressement de l échantillon des répondants au carnet de lecture La procédure de redressement est la même que celle de l échantillon des recrutés CATI avec les critères supplémentaires suivants au niveau national : présence d un interphone (oui/non) présence d un gardien, concierge / digicode (oui/non) présence d au moins un équipement de «sécurisation» parmi les trois proposés - «interphone», «digicode», «gardien, concierge», présence d un autocollant «stop pub» ou une affiche indiquant que la personne ne souhaite pas recevoir de publicité (oui/non) Les valeurs théoriques de ces critères supplémentaires sont issues de l échantillon redressé des recrutés CATI. Par ailleurs, le critère de redressement sur le mois de remplissage correspond dans cette phase au mois réel de remplissage du carnet de lecture. L ensemble des objectifs de redressement représente 212 modalités. 8 Une semaine de participation pouvant être à cheval sur 2 mois, celle-ci est attribuée au mois comptant le plus de jours de remplissage sur la semaine Audit étude BALMETRIE CESP 18

19 L AUDIT DU CESP 1. Champ du contrôle Le CESP a suivi la réalisation de l étude en continu. Il a eu connaissance des informations nécessaires au contrôle des phases de recrutement et de recueil pour l ensemble du dispositif. Les tris méthodologiques et les résultats de l étude ont été transmis dans leur totalité au CESP fin mars Le présent Audit porte sur l échantillon réalisé de janvier à décembre 2014 et les résultats d audience du média courrier 9 publiés au niveau national sur une base annuelle. 2. Contrôle du dispositif de recrutement Objectifs du contrôle : - Vérifier la faisabilité de la méthodologie et évaluer les contraintes du dispositif (respect des quotas, recherche des individus éligibles sur l étude, etc.) - S assurer que les consignes méthodologiques de l étude sont bien transmises et assimilées par les enquêteurs (objectifs et présentation de l étude, recrutement des éligibles et des non éligibles CAWI, importance du taux de réponse, etc.) - Contrôler la qualité du contact et de la présentation du carnet de recueil de l information par l enquêteur (incidence sur le taux d acceptation de l étude) - Evaluer la qualité du recrutement (sources utilisées pour constituer la base d enquête, tirage et déclinaison des numéros de téléphone, classement du résultat des appels, etc.) - Suivre et analyser les phases d animation et de relances mises en place pour optimiser le taux de retour des carnets 2.1 Formation des enquêteurs et contrôles du CESP Les enquêteurs ont été formés sur l ensemble du dispositif : - recrutement CATI - appels animation (auprès des répondants en ligne et des répondants papier) - relances téléphoniques (auprès des répondants en ligne et des répondants papier) Les recrutements ont été réalisés de décembre 2013 à décembre 2014 à partir du site téléphonique d Ipsos à Bordeaux. Le CESP a participé à toutes les séances de formation des enquêteurs. Le tableau ci-après récapitule le nombre de briefings organisés sur l année, le nombre d enquêteurs ayant travaillé sur le recrutement téléphonique, le nombre de sessions d écoute et le nombre d enquêteurs contrôlés par le CESP. Nbre de briefings Nbre d'enquêteurs formés Nbre de sessions d'écoutes Tableau 1 : Briefings et contrôles du CESP Nbre d'enquêteurs écoutés* Total écoutes Total écoutes recrutement dont recrutement : CAWI Papier Refus CAWI Refus Interruption Papier avec RV Stop inter 9 Ensemble des individus ayant eu au moins un contact avec l un des supports étudiés Audit étude BALMETRIE CESP 19

20 Formation des enquêteurs : En décembre 2013, une équipe de 14 enquêteurs expérimentés ont assisté à un briefing afin de pouvoir commencer les recrutements fin décembre et recevoir des carnets de lecture dès le début janvier. En janvier 2014, deux autres briefings ont été organisés : - le 7 janvier, un briefing de 17 enquêteurs ayant déjà travaillé sur l étude. - le 30 janvier, un briefing de 19 enquêteurs (dont 9 nouveaux). Un quatrième briefing a été organisé le 17 juillet afin de former de nouveaux enquêteurs sur l étude (19 enquêteurs dont 15 nouveaux). Tous les chefs d équipe chargés de l encadrement de l étude ont assisté à ces séances de formation. Dans l ensemble, la formation donnée aux enquêteurs sur le recrutement est de bonne qualité (présentation de l étude, qualité du contact, objectifs du recrutement, recueil des renseignements signalétiques et consignes de remplissage du carnet on line ou papier). Les enquêteurs ont reçu une formation spécifique sur l utilisation de la nomenclature des PCS pour le recueil et la codification des professions (index alphabétique des professions réalisé par le CESP à partir de la nomenclature INSEE 2003). Contrôles du CESP : Sur l ensemble de l année 2014, le CESP a réalisé 44 sessions d écoutes sur la phase de recrutement au cours desquelles il a contrôlé 64 enquêteurs et écouté 224 interviews (dont 191 ayant abouti à un recrutement). Le contrôle du CESP a porté sur la phase de contact, la gestion des rendez-vous et des quotas, la passation du questionnaire de recrutement, sur la présentation du carnet en ligne auprès des éligibles CAWI et sur la présentation du carnet papier auprès des non éligibles CAWI. Sur les 224 écoutes du CESP : ont abouti à un recrutement pour l envoi d un carnet en ligne, - 36 ont abouti à l envoi d un carnet papier, - 8 personnes ont refusé de recevoir le lien par Internet, - 1 personne non éligible CAWI a refusé l envoi d un carnet papier, - 4 ont été interrompues (avec RDV ultérieur) - 20 ont fait l objet d un abandon Sur les 64 enquêteurs contrôlés, 14 ont été écoutés une seule fois au cours de l année, les 50 autres ont été écoutés de 2 à 4 fois. Pour les 64 enquêteurs contrôlés, les observations du CESP sur la base de la première écoute sont les suivantes : 23 ont bien respecté les consignes, 7 ont rencontré des problèmes sur la phase de contact, 8 sur la passation du questionnaire et 26 sur plusieurs phases du recrutement. Pour les 50 enquêteurs contrôlés plusieurs fois, les résultats lors de la dernière écoute sont les suivants : 23 ont bien respecté les consignes, 10 ont rencontré des problèmes sur la phase de contact, 10 sur la passation du questionnaire et 7 sur l ensemble des phases de recrutement. A la suite de ses écoutes, le CESP a demandé à Ipsos un contrôle et un suivi du travail de 29 enquêteurs. Bilan du recrutement CATI et résultats par enquêteur : Sur les 69 enquêteurs ayant travaillé sur l étude en 2014, 6 ont démissionné en cours d année. Les recrutements ont été bien répartis sur l ensemble des enquêteurs. On ne note pas de concentration sur un petit nombre d enquêteurs (taux maximum observé : 3,3% pour l enquêteur qui a réalisé le plus de recrutements). Audit étude BALMETRIE CESP 20

21 Taux de recrutements cumulés 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Nombre d'enquêteurs Graphique 1 : Proportion d interviews réalisées par enquêteur en 2014 Au total, individus ont été recrutés par téléphone pour obtenir carnets validés 10 (7 605 carnets CAWI et carnets papier), soit un taux de réponse global de 54,3% (54,8% pour le CAWI et 52,9% pour le carnet papier). Tableau 2 : taux de réponse au carnet de lecture par filière BALMETRIE 2014 Nombre de recrutements CAWI PAPIER Carnets de lecture validés 7J CAWI PAPIER Taux de réponse CAWI 7J 45,7% Taux de réponse PAPIER 7J 51,3% Taux de réponse global (CAWI+PAPIER) 7J 47,1% Carnets de lecture validés 6J + 7J CAWI PAPIER Taux de réponse CAWI 6J + 7J (Final) 54,8% Taux de réponse PAPIER 6J + 7J (Final) 52,9% Taux de réponse global (CAWI+PAPIER) 6J + 7J (Final) 54,3% Le CESP a analysé les résultats par enquêteur sur la base des enquêteurs ayant réalisé plus de 100 recrutements en La durée moyenne de l interview varie de 17 à 26 minutes - Le taux de carnets validés (base 7 jours) varie de 44% à 63% - Le taux de refus calculé sur la base des contacts varie de 1% à 17% Points positifs : - Bonne qualité de la formation des enquêteurs. - Répartition équilibrée des recrutements sur l ensemble des enquêteurs. - Amélioration du suivi et de la qualité du travail des enquêteurs par l institut. Recommandation : - Poursuivre les améliorations sur le suivi du travail des enquêteurs pour homogénéiser la qualité globale du recrutement. 10 Au moins 6 jours remplis sur les 7 jours de mesure Audit étude BALMETRIE CESP 21

22 2.2 Gestion des appels A la demande du CESP, IPSOS a transmis des informations sur les sources utilisées pour la constitution de la base d enquête (nombre de numéros répertoriés dans chacune des sources, type d informations disponibles, dates et rythme de mise à jour, nombre de numéros fournis à partir de chacune des sources, etc.). L institut Ipsos utilise le système QTS (système prédictif qui anticipe la composition des numéros de téléphone et détecte automatiquement les faux numéros, les sans réponse et les numéros occupés). Le résultat des appels est géré par le logiciel CATI (voir description de la procédure pages 9 et 10). La constitution de la base d enquête ayant été modifiée par rapport aux années 2012 et 2013 (ajout de numéros de mobile), les résultats de la gestion des appels n ont été analysés que sur Le tableau ci-dessous donne la répartition des numéros utilisés selon la source en Tableau 3 : Répartition des numéros appelés selon la source Total des numéros appelés Ensemble BALMETRIE 2014 Nombre de recrutements réalisés Eff. % Eff. % Taux de recrutement selon le type de n appelé Total ,0% ,0% 4,3% n fixes géographiques ,7% ,1% 3,8% n en ,9% ,8% 7,6% n mobiles générés ,3% ,2% 3,8% Ipsos a communiqué au CESP le bilan des appels selon la source du numéro appelés (fixe géographique, 09 et mobile). Dans le tableau ci-après, l analyse des résultats d appel selon le type de numéro montre des différences selon la source utilisée. Le taux de "sans réponse" est plus élevé pour les numéros en 09. A l inverse, la proportion de faux numéros est plus importante pour les numéros de téléphone fixe (01 à 05) et les numéros de mobile. Le taux de refus est plus faible pour les appels sur téléphone mobile. Audit étude BALMETRIE CESP 22

23 Tableau 4 : Répartition des numéros selon le résultat obtenu au dernier appel par semestre et par type de numéro (base : total des numéros appelés) S S n fixes géographiques n en 09 n mobiles n fixes géographiques n en 09 n mobiles RECRUTEMENTS REALISES ,8% ,8% ,9% ,9% ,4% ,7% pour un recueil en CAWI ,5% ,6% ,1% ,6% ,2% ,9% pour un recueil PAPIER ,3% 322 1,2% 751 0,8% ,2% 329 1,2% 786 0,8% REFUS ,3% ,8% ,6% ,5% ,8% ,2% ABANDONS EN COURS ,3% 748 2,7% ,2% ,3% 685 2,5% ,1% dont Abandons en cours ,2% 717 2,6% 907 1,0% ,2% 665 2,4% 870 0,9% Refus éligible CAWI 44 0,0% 26 0,1% 178 0,2% 35 0,0% 17 0,1% 182 0,2% Refus éligible PAPIER 44 0,0% 5 0,0% 47 0,1% 33 0,0% 3 0,0% 48 0,0% SANS REPONSE ,5% ,4% ,6% ,6% ,3% ,0% dont Occupés 171 0,2% 33 0,1% 763 0,8% 363 0,4% 285 1,0% ,8% NRP ,5% ,7% ,7% ,5% ,1% ,8% Répondeur ,8% ,6% ,1% ,7% ,2% ,4% HORS-CHAMP ,5% ,8% ,3% ,4% ,7% ,7% dont Fax ,6% 51 0,2% 573 0,6% ,6% 53 0,2% 529 0,5% Faux numéros ,4% ,3% ,9% ,3% ,1% ,0% N d'entreprise ,4% 629 2,3% 817 0,9% ,4% 423 1,5% 874 0,9% Dialogue impossible ,4% 670 2,4% ,4% ,5% 606 2,2% ,2% Pas dans la résidence principale 341 0,4% 112 0,4% 0 0,0% 368 0,4% 125 0,4% 0 0,0% Hors cible (dont -15 ans sur mobile, non utilisateur principal du mobile, tel non permanent) 202 0,2% 58 0,2% ,5% 226 0,3% 71 0,3% 991 1,0% RDV ,4% ,2% ,6% 732 0,8% 425 1,5% ,1% dont Rappel un autre jour (rdv général) ,7% 815 3,0% ,5% 556 0,6% 306 1,1% ,8% RDV fixe prioritaire 588 0,6% 349 1,3% 160 0,2% 176 0,2% 119 0,4% 280 0,3% Hors Quotas ,4% 634 2,3% 111 0,1% ,5% 528 1,9% 257 0,3% AUTRE 813 0,9% 256 0,9% 560 0,6% 952 1,1% 253 0,9% ,8% Nombre total de numéros appelés ,0% ,0% ,0% ,0% ,0% ,0% NOMBRE MOYEN DE NUMEROS NECESSAIRES POUR UN RECRUTEMENT 26,3 12,9 25,9 25,8 13,5 26,7 Au second semestre 2014, on observe pour les numéros de mobile une augmentation importante du nombre de numéros occupés et inversement une diminution de même ampleur des faux numéros. A la demande du CESP, Ipsos a recherché les causes de ces différences. Celles-ci ne s expliquent pas par une modification du paramétrage de l automate d appel, mais par un problème de classification au niveau des informations automatiques délivrées par les réseaux téléphoniques. Audit étude BALMETRIE CESP 23

24 En 2014, numéros au total ont été exploités pour réaliser recrutements (CAWI + PAPIER), soit en moyenne 23,2 numéros pour un recrutement. Tableau 5 : Répartition des numéros selon le résultat obtenu au dernier appel (base : total des numéros appelés) RECRUTEMENTS REALISES ,3% pour un recueil en CAWI ,2% pour un recueil PAPIER ,1% REFUS ,6% ABANDONS EN COURS ,8% dont Abandons en cours ,7% Refus éligible CAWI 482 0,1% Refus éligible PAPIER 180 0,0% SANS REPONSE ,4% dont Occupés ,6% NRP ,8% Répondeur ,1% HORS-CHAMP ,7% dont Fax ,0% Faux numéros ,3% N d'entreprise ,7% Dialogue impossible ,9% Pas dans la résidence principale 946 0,2% Hors cible (dont -15 ans sur mobile, non utilisateur principal du mobile, tel non permanent) ,7% RDV ,1% dont Rappel un autre jour (rdv général) ,7% RDV fixe prioritaire ,4% Hors Quotas ,0% AUTRE ,1% Nombre total de numéros appelés ,0% NOMBRE MOYEN DE NUMEROS NECESSAIRES POUR UN RECRUTEMENT Balmétrie 2014 Si l on exclut de la base les numéros inexploitables, les hors quotas, les numéros en rendez-vous non rappelés et les numéros restés sans réponse, le nombre moyen de numéros utilisés en 2014 est de 11,0. Ce résultat correspond à un taux de recrutement moyen de 9,1% (CAWI et PAPIER). Ce taux est en baisse par rapport à 2013 (13,4%). Tableau 6 : Répartition des numéros selon le résultat obtenu au dernier appel (base : total des numéros exploitables - hors sans réponse, RDV et hors quotas) 23,2 Balmétrie 2014 RECRUTEMENTS REALISES ,1% pour un recueil en CAWI ,8% pour un recueil PAPIER ,2% REFUS ,9% ABANDONS EN COURS ,9% dont Abandons en cours ,6% Refus éligible CAWI 482 0,2% Refus éligible PAPIER 180 0,1% REPONDEURS/OCCUPES ,2% dont Occupés ,5% Répondeurs ,7% Nombre total de numéros appelés ,0% NOMBRE MOYEN DE NUMEROS NECESSAIRES POUR UN RECRUTEMENT 11,0 Audit étude BALMETRIE CESP 24

25 Points positifs : - Transmission au CESP des informations demandées sur les sources utilisées par Ipsos pour la constitution de la base d enquête. - Déclinaison immédiate des numéros de téléphone issus de l annuaire Pages Blanches qui permet de recruter des individus dont la ligne fixe est en dégroupage partiel, en dégroupage total avec portabilité du numéro ou dont le numéro est sur liste rouge. - Intégration dans la base d appels des numéros de téléphone mobile afin de mieux représenter dans l échantillon les différentes catégories de population. 2.3 Analyse de l échantillon recruté par téléphone Les analyses ci-dessous ont été faites sur la base des recrutements CATI validés en Répartition de l échantillon selon le type de numéro appelé : Le tableau ci-après décrit la structure de l échantillon des individus recrutés sur la base des principaux critères socio-démographiques. Cette analyse est déclinée selon le type de numéro utilisé et montre que la structure de la population interrogée est très différente d une catégorie à l autre. On constate en particulier que la proportion de ans est beaucoup plus élevée pour les appels sur 09 exclusifs et, dans une moindre mesure, pour les 06 exclusifs. On observe également des disparités sur le critère d activité professionnelle. Le profil des échantillons sur ce critère dépend fortement du type de numéro sur lequel la personne a été recrutée. Tableau 7 : Structure de l'échantillon des recrutés selon le type de numéro appelé Ensemble Recrutés sur numéros ligne fixe (01 à 05) Recrutés sur 09 non exclusifs Recrutés sur 09 exclusifs Recrutés sur 06 non exclusifs Recrutés sur 06 exclusifs Total recrutements Sexe Homme 49,4% 50,5% 51,7% 50,4% 46,6% 52,1% Femme 50,6% 49,5% 48,3% 49,6% 53,4% 47,9% Age ans 14,1% 12,5% 16,8% 18,0% 11,5% 23,2% ans 19,1% 8,3% 15,4% 39,3% 18,7% 29,3% ans 22,6% 14,4% 20,7% 24,0% 31,4% 24,2% ans 24,4% 28,6% 26,2% 13,6% 26,8% 17,2% 65 ans et plus 19,9% 36,2% 20,9% 5,1% 11,6% 6,1% PCS Individu Agriculteur 1,3% 1,1% 1,8% 0,9% 1,7% 1,4% Artisan-commerçant 2,6% 1,5% 2,8% 2,4% 3,9% 3,7% Cadre 13,8% 9,8% 12,7% 15,6% 18,2% 12,0% Agent de maitrise 14,4% 9,8% 16,4% 18,5% 17,8% 13,0% Employé 15,4% 9,6% 10,9% 21,0% 18,5% 20,8% Ouvrier 9,7% 6,2% 8,0% 13,4% 10,4% 16,9% Retraité 25,7% 45,1% 28,2% 7,5% 16,1% 9,3% Autre inactif 17,0% 17,0% 19,2% 20,7% 13,3% 22,8% Taille du foyer 01 20,8% 22,4% 12,4% 18,1% 16,5% 41,2% 02 35,0% 42,9% 38,2% 27,4% 31,4% 26,0% 03 17,1% 12,7% 19,1% 21,8% 20,0% 14,9% 04 17,5% 14,5% 20,1% 20,5% 20,7% 11,2% 05 et + 9,7% 7,5% 10,3% 12,3% 11,4% 6,7% Présence d'un Stop Pub Oui 16,4% 16,8% 17,1% 16,4% 15,9% 16,2% Non 82,1% 81,5% 82,0% 82,7% 82,6% 81,2% Pas de BAL 1,5% 1,7% 0,9% 0,9% 1,5% 2,6% Audit étude BALMETRIE CESP 25

26 Répartition de l échantillon selon le jour et l heure d appel : Les appels téléphoniques ont été effectués du lundi au samedi. La répartition des recrutements sur les six jours de la semaine est bien équilibrée pour l ensemble de l échantillon et par filière, avec toutefois un léger déficit sur le jeudi et le samedi. 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% Lundi Mardi Mercredi Jeudi Vendredi Samedi Total Filière CAWI Filière Papier Graphique 2 : Répartition des recrutements selon le jour de la semaine Le graphique ci-dessous donne la répartition des recrutements selon l heure d appel. Pour les recrutements du lundi au vendredi, on note une bonne répartition de l échantillon sur toute la plage horaire d appel initialement prévue (17h-21h). Selon les quotas recherchés, les appels de recrutement peuvent démarrer à 15 heures certains jours. Avec l introduction des appels sur mobile, la plage horaire d appel s est élargie par rapport à Depuis janvier 2014, les appels sur ce type de numéros pouvaient démarrer certains jours à partir de midi. 40,0% 37,0% 35,0% 30,0% 25,0% 20,0% 18,6% 17,8% 15,0% 10,0% 13,7% 13,0% 5,0% 0,0% Avant 17 h 17 h - 18 h 18 h - 19 h 19 h - 20 h 20 h - 21 h Graphique 3 : Répartition des recrutements selon l heure d appel (base lundi-vendredi) Audit étude BALMETRIE CESP 26

27 Répartition de l échantillon dans le temps : Les recrutements ont été répartis sur l ensemble de l année. Le graphique ci-dessous illustre la répartition des recrutements par semaine. On observe une variation importante du nombre de recrutements selon la semaine (mini : 156, maxi : 758) avec des pointes observées en janvier sur les semaines 3 et 4, sur la première semaine d avril, sur les deux dernières semaines de juillet ainsi que sur les semaines 39 à 41. Néanmoins, ces pics sont de moindre ampleur que ceux observés en Balmétrie 2014 Répartition des recrutements par semaine 1000 déc janvier février mars avril mai juin juillet août sept. oct. nov. déc Total Filière CAWI Filière PAPIER Graphique 4 : Répartition des recrutements par semaine Ce déséquilibre du nombre des recrutements par semaine se répercute sur la distribution mensuelle. On note toutefois par rapport à 2013, une amélioration de la répartition de l échantillon des recrutés par mois, en particulier sur le premier semestre. 11,7% 9,9% 12,7% 10,9% 6,2% 7,5% 5,8% 7,9% 7,6% 7,8% 5,4% 3,3% 3,3% Graphique 5 : Répartition des recrutements par mois Audit étude BALMETRIE CESP 27

28 Suivi des quotas dans le temps : En 2012 et 2013, les quotas étaient gérés sur une base semestrielle. A partir de 2014, les objectifs de quotas doivent être atteints sur une base trimestrielle (avec une tolérance de ± 3 points sur chacun des critères). Le CESP a analysé la structure des échantillons recrutés pour l ensemble de l année et par trimestre selon les critères de quotas géographiques et socio-démographiques. Les graphiques ci-après montrent que la structure des échantillons trimestriels est proche des objectifs de quotas. 100% 90% 18,5 19,0 19,1 18,1 18,4 20,7 80% 9,4 9,3 9,5 9,1 9,5 8,8 70% 60% 7,8 7,7 7,2 8,1 7,8 6,3 7,1 6,7 7,9 6,4 7,6 8,1 Région Parisienne Bassin Parisien Ouest Bassin Parisien Est 50% 13,6 13,1 12,8 13,6 13,6 12,4 Nord Ouest Est 40% 8,7 8,6 8,9 9,0 8,1 8,2 Sud-Ouest Sud-Est 30% 11,1 11,0 11,3 11,1 11,3 10,2 Méditerranée 20% 12,0 11,7 12,0 11,2 12,4 10,7 10% 0% 12,7 12,5 12,5 11,8 12,6 13,3 Objectif terrain Total réalisé Trimestre 1 Trimestre 2 Trimestre 3 Trimestre 4 Graphique 6 : Structure de l échantillon des recrutés par trimestre selon la région UDA 100% 90% 22,6 21,5 21,3 21,4 21,9 21,3 80% 70% 17,5 17,1 16,9 17,7 17,2 16,6 60% 50% 13,6 12,9 13,3 12,8 13,0 12,3 < hbts à < hbts à < hbts 40% hbts et plus 30% 29,9 31,6 31,4 32,3 31,5 31,3 Agglo. Parisienne 20% 10% 16,4 16,9 17,1 15,9 16,4 18,5 0% Objectif terrain Total réalisé Trimestre 1 Trimestre 2 Trimestre 3 Trimestre 4 Graphique 7 : Structure de l échantillon des recrutés par trimestre selon la catégorie d habitat Audit étude BALMETRIE CESP 28

29 100% Description de l'échantillon des recrutés selon le trimestre de recrutement CATI 90% 80% 29,2 30,8 31,5 28,7 31,6 30,9 70% 60% 18,7 18,6 18,1 20,0 16,7 20,4 Homme actif 50% Homme inactif Femme active 40% 26,6 26,5 28,0 23,2 29,9 23,3 Femme inactive 30% 20% 10% 25,5 24,1 22,3 28,0 21,8 25,4 0% Objectif terrain Total réalisé Trimestre 1 Trimestre 2 Trimestre 3 Trimestre 4 Graphique 8 : Structure de l échantillon des recrutés par trimestre selon le critère sexe X activité 100% 90% 14,5 16,7 15,9 18,5 16,2 16,5 80% 70% 19,9 20,1 21,1 17,0 21,1 21,0 60% 13,5 12,6 12,7 13,2 11,0 13,7 Homme ans Homme ans 50% 40% 14,6 16,5 17,8 15,0 16,2 17,0 Homme 60 ans et + Femme ans Femme ans Femme 60 ans et + 30% 20% 20,6 17,8 18,3 15,9 21,2 14,5 10% 16,8 16,3 14,3 20,4 14,2 17,3 0% Objectif terrain Total réalisé Trimestre 1 Trimestre 2 Trimestre 3 Trimestre 4 Graphique 9 : Structure de l échantillon des recrutés par trimestre selon le critère sexe X âge Audit étude BALMETRIE CESP 29

30 Répartition de l échantillon selon l année de naissance : Le graphique ci-dessous compare la distribution de l échantillon des recrutés par rapport à 2013 et par rapport aux données INSEE. BALMETRIE Evolution de la distribution de l'échantillon des recrutés CATI selon l'âge 2,5 INSEE Brut 2014 Brut ,5 1 0,5 0 (*)Base : population des 15 ans ou plus appartenant à un ménage ordinaire. Sources : Recensement 2010, BMS 2014 Graphique 10 : Répartition de l échantillon des recrutés selon l année de naissance en 2013 et 2014 Ce graphique montre les effets des mesures prises par Ipsos au niveau du recrutement pour mieux représenter les jeunes de 15 à 34 ans dans l échantillon. Points positifs : - Le principe d un recrutement continu sur l ensemble de l année. - La répartition équilibrée des recrutements sur tous les jours de la semaine (lundi-samedi). - L amélioration du suivi des recrutements dans le temps et la structure des échantillons par trimestre. - L augmentation de la part des ans dans l échantillon des recrutés par rapport à Recommandation : - Continuer à améliorer la gestion des quotas et le suivi des recrutements dans le temps. Audit étude BALMETRIE CESP 30

31 2.4 Taux de réponse des carnets de lecture Les taux de réponse du carnet de lecture ont été calculés sur la base de l échantillon des recrutés par téléphone (CAWI + PAPIER). La règle de validation des carnets est la même que celle retenue en 2013, soit pour les deux filières les carnets avec six jours ou 7 jours remplis sur la période de référence. Les jours non remplis sont comptabilisés comme des jours sans aucune lecture. En 2014, on note une légère dégradation du taux de réponse pour les deux filières (CAWI et papier). Pour rappel, la période de participation a été modifiée en 2014 afin de mieux correspondre à la réalité de la distribution des imprimés publicitaires : - 9 jours de participation en 2014 au lieu de 8 jours en démarrage de la période de participation le samedi avec le premier week-end à blanc en 2014 versus un démarrage le vendredi avec un seul jour à blanc en Tableau 8 : Taux de réponse selon le mode de recueil Nombre de recrutements CAWI PAPIER Carnets de lecture validés 6J + 7J CAWI PAPIER Taux de réponse CAWI 58,4% 57,1% 54,8% Taux de réponse PAPIER 56,9% 54,3% 52,9% Taux de réponse global (CAWI+PAPIER) 58,0% 56,3% 54,3% 2.5 Suivi de l envoi des mails Le CESP a demandé un état du suivi des mails envoyés, la raison de non réception en cas d échec, le nombre de liens effectivement reçus et le nombre de clics. Tableau 9 : Suivi de l envoi des s BALMETRIE 2014 Nombre de mails dans le fichier initial - base recrutés CAWI % Nombre de mails invalides 195 1,4% Nombre de mails non reçus mais valides 137 1,0% boite pleine 2 0,0% antispam 47 0,3% problème serveur institut 88 0,6% Nombre de mails reçus ,6% Nb de personnes ayant cliqué sur le lien du questionnaire ,2% Nombre de carnets de lecture commencés ,9% Nombre de carnets de lecture validés (6+7 jours) ,8% Audit étude BALMETRIE CESP 31

32 En 2014, individus au total ont accepté de recevoir un comportant le lien vers le carnet CAWI. 97,6% d entre eux ont effectivement reçu le lien et 84,2% ont cliqué sur ce lien. La proportion d individus ayant commencé à répondre au carnet de lecture est de 68,9%. Le taux de questionnaires validés (au moins 6 jours) passe à 54,8%. Le graphique ci-dessous donne les taux de réponse aux carnets on line commencés en fonction du nombre de jours remplis. La proportion d individus ayant rempli au moins un jour est de 67,1%. 100,0% 100,0% 90,0% 80,0% 70,0% 60,0% 67,1% 63,9% 62,0% 60,9% 59,4% 57,6% 54,8% 50,0% 45,7% 40,0% 30,0% 20,0% 10,0% 0,0% Graphique 11 : Taux de réponse au carnet de lecture on line selon le nombre de jours remplis et complets 2.6 Suivi de la phase de relances Le tableau ci-dessous donne les taux de retour des carnets validés (6 ou 7 jours) sur la base des recrutements téléphoniques réalisés selon que l interviewé a été relancé ou non (par ou par téléphone). Tableau 10 : Taux de réponse selon que la personne recrutée a été relancée au moins une fois ou non BALMETRIE 2014 Recueil CAWI Recueil PAPIER Effectif Taux de réponse en % Effectif Taux de réponse en % Effectif Taux de réponse en % Base : nombre de recrutements CATI ,0% ,0% ,0% sans relance ,4% ,7% ,4% avec au moins une relance ,9% ,2% ,4% Questionnaires retournés validés (6j+7j) ,3% ,8% ,9% Par rapport aux deux années précédentes, on observe une augmentation du pourcentage de carnets CAWI retournés sans relance (plus de 10 points en moyenne). Audit étude BALMETRIE CESP 32

33 2.7 Analyse des taux de réponse Les graphiques ci-dessous montrent que les taux de réponse selon l âge ne sont pas homogènes, en particulier pour les hommes. Comme lors des années précédentes, les taux les plus bas s observent sur la tranche d âge ans et de façon plus accentuée pour les hommes et pour le carnet papier. Hommes Femmes 70,0% 70,0% 60,0% 60,0% 50,0% 50,0% 40,0% Ensemble 40,0% Ensemble 30,0% 20,0% Filière CAWI Filière PAPIER 30,0% 20,0% Filière CAWI Filière PAPIER 10,0% 10,0% 0,0% ans ans 60 ans et plus 0,0% ans ans 60 ans et plus Graphique 12 : Taux de réponse au carnet de lecture par tranche d âge pour les hommes et pour les femmes Sur le critère d activité professionnelle, les taux de réponse varient également, en particulier au sein de la catégorie des inactifs (65% pour les retraités versus 36% pour les étudiants) et à l intérieur de la catégorie des actifs selon la PCS de l interviewé. Ce sont les cadres et les professions intermédiaires qui ont le taux de retour le plus élevé (respectivement 62% et 61%) et les ouvriers qui ont le taux de retour le plus bas (42%). 80% 70% 65,2% 60% 50% 53,4% 54,6% 43,5% 55,5% 50,0% 40% 35,6% 30% 20% 10% 0% ACTIFS Actif - En activité Actif - En recherche d'emploi INACTIFS Inactif - Retraité Inactif - Etudiant ou élève Inactif - Autre Graphique 13 : Taux de réponse au carnet de lecture selon la situation de l interviewé 80% 70% 60% 62,2% 60,6% 50% 40% 47,7% 44,4% 48,3% 41,6% 30% 20% 10% 0% Agriculteurs Artisans, commerçants, chefs d'entreprise Cadres et professions int. supérieures Professions intermédiaires Employés Ouvriers Graphique 14 : Taux de réponse au carnet de lecture selon la PCS de l interviewé Audit étude BALMETRIE CESP 33

34 Point positif : - Système de relances efficace combinant envoi de mails et appels téléphoniques, permettant d améliorer le taux de réponse global du carnet (CAWI + PAPIER). Remarque : - Baisse du taux de réponse au carnet sur les deux filières par rapport aux années précédentes (54% en 2014 versus 58% en 2012.) qui peut s expliquer par l introduction de numéros de mobile dans la base d enquête et la modification de la période de participation. Recommandation : - Adapter le dispositif de recrutement et de relances auprès des ans, afin d améliorer leur taux de réponse au carnet de lecture. 3. Recueil de l information Objectifs du contrôle : Questionnaire CATI : - Compréhension des consignes et des questions posées aux interviewés - Adaptation du questionnaire CATI au recrutement des internautes éligibles CAWI et des non éligibles - Incidence du mode de recueil (CAWI/PAPIER) sur les résultats de l étude Le questionnaire téléphonique est consacré au recrutement et aux renseignements signalétiques. Il inclut également les questions sur les habitudes et comportements du foyer vis-à-vis du courrier ainsi que les habitudes de lecture de l interviewé par type de courrier. Il se termine par la présentation du questionnaire on line ou postal et la détermination de la semaine de participation. Selon le CESP, cette première partie de l étude est particulièrement importante car elle détermine la qualité de l échantillon et le taux de réponse au carnet de lecture. Le tableau ci-dessous donne la durée moyenne de l interview sur l ensemble de l année 2014, détaillée par partie. Tableau 11 : Durée du questionnaire de recrutement par partie (base : recrutés par téléphone) Contact 00:00:32 Screening du foyer 00:01:21 Foyer et courrier 00:01:20 Lecture du courrier 00:03:30 Signalétique 00:04:37 Présentation enquête et recrutement 00:02:43 Semaine de participation / coordonnées 00:03:15 Fin contact et phrase CNIL 00:01:27 DUREE TOTALE DU QUESTIONNAIRE CATI 00:18:45 Audit étude BALMETRIE CESP 34

35 Carnet de lecture en ligne : Ce carnet est transmis par Internet via un lien envoyé sur une adresse . Une présentation générale de l étude intervient à l ouverture du questionnaire avec voix off (voir détail de la méthodologie pages 12 à 15). Une barre d avancement en bas de l écran indique à l interviewé là où il en est dans le remplissage du questionnaire. Les quatre catégories de courrier définies suite à un test qualitatif conduit par Ipsos et le descriptif donné en amont du carnet permettent de bien distinguer le type de document étudié (courrier adressé/ non adressé, courrier administratif ou de gestion / courrier commercial ou relationnel, courrier d information/publicité). Une certaine souplesse est laissée au répondant pour remplir le carnet : - Depuis 2014, la semaine commence avec 2 jours à blanc (samedi 1 et dimanche 1) ; l interviewé est incité à remplir ces deux jours mais il n est pas obligé de les compléter pour continuer à remplir le reste de sa semaine de participation. - En général, il a 72 heures pour remplir et valider un jour de carnet mais pour le vendredi, il a jusqu au lundi suivant soit 96h pour le remplir. - Il a la possibilité de remplir le carnet à n importe quelle heure de la journée et d y revenir jusqu à minuit le jour même. Aucune anticipation sur les jours suivants n est possible. Un moteur de recherche dynamique qui présente en temps réel les logos des marques en fonction des informations saisies par l interviewé dans la zone de texte facilite le travail du répondant. Pour les personnes ayant rempli les sept jours de la semaine de référence, la durée totale de remplissage du carnet est en moyenne de 25 minutes, soit en moyenne 3 minutes par jour renseigné. Par rapport aux deux années précédentes, le CESP note une diminution de la durée moyenne de remplissage du carnet malgré l allongement de la période de panélisation. Cette diminution de l ordre de 4 minutes par rapport à 2013 peut s expliquer par les aménagements apportés au questionnaire qui facilitent son remplissage. Le graphique ci-dessous donne la durée moyenne de remplissage du carnet de lecture CAWI, détaillée par jour renseigné, sur la base des personnes ayant rempli les sept jours de la semaine de référence. 0:05:00 0:04:00 00:04:13 00:04:29 00:03:57 00:03:21 0:03:00 00:02:43 0:02:00 00:02:18 00:02:08 00:01:14 0:01:00 00:00:48 0:00:00 Samedi 1 Dimanche 1 Lundi Mardi Mercredi Jeudi Vendredi Samedi 2 Dimanche 2 Graphique 15 : Durée moyenne (mn) du carnet de lecture on line par jour renseigné Audit étude BALMETRIE CESP 35

36 Base : échantillon validé audience 7 jours (6342 interviews) L analyse de la durée du carnet de lecture CAWI par catégorie de population révèle une disparité selon les tranches d âge. Le temps de remplissage total du carnet varie de 14 minutes pour les 15 à 24 ans à 41 minutes pour les 65 ans ou plus. Néanmoins, cet écart de 27 minutes observé entre les plus jeunes et les plus âgés est à la baisse ; il était de 36 minutes en 2012 et de 33 minutes en Tableau 12 : Evolution de la durée moyenne totale (mn) du carnet on-line selon le profil des répondants Base = Echantillon validé audience 7 jours (6342 interviews) * Base Ensemble 0:30:59 0:28:49 0:25:08 Sexe Age Sexe x âge en 5 Homme 0:30:13 0:28:39 0:24:36 Femme 0:31:43 0:28:58 0:25:44 15 à 24 ans 0:16:29 0:14:45 0:13:48 25 à 34 ans 0:20:15 0:18:44 0:15:57 35 à 49 ans 0:27:09 0:24:33 0:21:35 50 à 64 ans 0:38:13 0:33:49 0:30:24 65 ans et plus 0:52:33 0:47:25 0:40:48 Homme de 15 à 24 ans 0:14:41 0:13:33 0:12:57 Homme de 25 à 34 ans 0:18:18 0:16:39 0:14:25 Homme de 35 à 49 ans 0:25:44 0:23:44 0:20:27 Homme de 50 à 64 ans 0:36:13 0:32:57 0:29:55 Homme de 65 ans et plus 0:50:40 0:48:45 0:40:42 Femme de 15 à 24 ans 0:17:58 0:15:53 0:14:38 Femme de 25 à 34 ans 0:21:30 0:20:20 0:17:22 Femme de 35 à 49 ans 0:28:43 0:25:24 0:23:01 Femme de 50 à 64 ans 0:40:17 0:34:43 0:30:58 Femme de 65 ans et plus 0:55:14 0:45:51 0:40:55 * changement méthodologique: 2014 : 9 jours de remplissage (du samedi 1 au dimanche 2), avec les 2 premiers jours à blanc et 2013 : 8 jours de remplissage (du vendredi 1 au vendredi 2), avec le 1er jour à blanc. Carnet de lecture PAPIER : L ensemble des documents est envoyé par la poste le mercredi pour un début de participation le samedi. Outre le carnet (40 pages) et le questionnaire complémentaire (12 pages), le répondant reçoit une plaquette de présentation de l étude ainsi qu un document en couleur rappelant les différentes catégories de courrier ainsi qu une liste alphabétique des logos des marques et enseignes. Il n y a pas de contrôle du jour de remplissage au cours de la période de participation. Audit étude BALMETRIE CESP 36

37 Questionnaire complémentaire : Les taux de réponse du questionnaire complémentaire ont été calculés sur la base de l échantillon des répondants au carnet de lecture (CAWI + PAPIER). Le taux de réponse du questionnaire complémentaire est d un bon niveau globalement et stable par rapport aux années précédentes. Tableau 13 : Taux de réponse du questionnaire complémentaire selon le mode de recueil Nombre de répondants Carnets de lecture validés 6J + 7J CAWI PAPIER Questionnaires complémentaires complets CAWI PAPIER Taux de réponse du questionnaire complémentaire CAWI 79,5% 77,1% 79,1% Taux de réponse du questionnaire complémentaire PAPIER 91,0% 93,1% 94,5% Taux de réponse global (CAWI+PAPIER) 82,5% 81,2% 82,8% Le tableau ci-dessous indique la durée moyenne de remplissage du questionnaire complémentaire CAWI détaillée par partie. Celle-ci augmente de plus de deux minutes par rapport à 2013, en raison notamment de l ajout de nouvelles questions sur la partie «Achats». Tableau 14 : Durée moyenne du questionnaire complémentaire on-line Base : répondants carnet de lecture CAWI (6J + 7J) Partie 1- "Vous et les médias " 00:10:50 00:10:47 00:08:46 Partie 2- "Automobile-2 roues " 00:02:32 00:02:26 00:02:18 Partie 3- "Activités de loisirs, centres d.intérêt culturels ou sportifs" 00:04:20 00:04:16 00:05:39 Partie 4- "Vos achats" 00:09:12 00:10:26 00:13:22 Partie 5- "Votre foyer : équipement " 00:04:13 00:04:03 00:04:13 Partie Fin 00:00:45 00:00:42 00:00:40 Durée totale questionnaire 00:31:50 00:32:38 00:34:57 Points positifs : - La bonne ergonomie du carnet online ne nécessitant que trois minutes en moyenne par jour dans de bonnes conditions de recueil : présentation des objectifs de l étude avec possibilité de voix off, présentation des logos des marques, relances visuelles attractives, etc. - Un délai imposé au répondant online pour qu il valide une journée permettant de limiter le recours à la mémoire. - Le taux de réponse du questionnaire complémentaire satisfaisant (83%). Remarque : - Une procédure d injection est utilisée pour imputer des réponses aux individus n ayant pas retourné le questionnaire complémentaire (17%). Cette injection de données manquantes n entre pas dans le champ de l Audit. Audit étude BALMETRIE CESP 37

38 4. Contrôle de l échantillon des répondants Objectifs du contrôle : - Adéquation du plan de sondage aux objectifs de l étude (taille de l échantillon, répartition géographique, équilibrage de l échantillon dans le temps, etc.) - Pertinence des critères de quotas - Comparer les résultats sur le média courrier issus de l échantillon du questionnaire CATI de recrutement et ceux du carnet de lecture (en ligne ou papier) - Représentativité de l échantillon par rapport à la population visée par l étude Le CESP a analysé la qualité de l échantillon des répondants au carnet de lecture (base : individus) sur plusieurs critères. Structure de l échantillon selon le mode de recueil : Tableau 15 : Structure brute des répondants au carnet de lecture Répondants au carnet de lecture (CAWI et PAPIER) Répondants CAWI au carnet de lecture Répondants PAPIER au carnet de lecture TOTAL (effectifs) Sexe x âge en 5 de la personne sélectionnée Homme de 15 à 24 ans 4,4% 5,4% 1,2% Homme de 25 à 34 ans 7,6% 9,5% 1,4% Homme de 35 à 49 ans 12,6% 14,8% 5,9% Homme de 50 à 64 ans 14,2% 14,5% 13,2% Homme de 65 ans et plus 10,1% 8,1% 16,5% Femme de 15 à 24 ans 4,4% 5,4% 1,4% Femme de 25 à 34 ans 8,7% 10,4% 3,5% Femme de 35 à 49 ans 10,7% 11,8% 7,3% Femme de 50 à 64 ans 14,4% 13,1% 18,7% Femme de 65 ans et plus 12,8% 7,0% 31,0% Internautes 30 derniers jours (depuis un ordinateur portable ou fixe) Oui 86,7% 100,0% 44,9% Non 13,3% 0,0% 55,1% Catégorie d'habitat (en 5) Communes rurales 22,3% 21,1% 26,4% Agglo hab 17,5% 17,0% 18,9% Agglo à hab 13,2% 12,9% 14,1% Agglo hab 30,9% 31,8% 28,0% Agglo. Paris 16,1% 17,2% 12,6% Equipement de la résidence principale D'un interphone 35,6% 37,1% 31,1% D'un digicode 15,9% 16,7% 13,4% D'un gardien, d'un concierge 12,5% 12,6% 12,0% Non reponse/aucun 59,6% 58,0% 64,5% Présence d'un autocollant «Stop Pub» Oui 17,5% 17,9% 16,2% Non / NR 82,5% 82,1% 83,8% Personne de votre foyer en charge de l'ouverture de la boîte à lettres ou de la récupération du courrier Vous-même 85,1% 83,4% 90,4% Votre conjoint(e) 44,1% 45,2% 40,4% Une autre personne du foyer 14,3% 16,2% 8,5% Une autre personne ne vivant pas dans votre foyer 1,3% 0,9% 2,5% Lecture la veille Lecteurs d'au - 1 courrier la veille (parmi les 4 catégories) 57,2% 57,5% 56,0% Lecteurs d'au - 1 courrier d'information la veille 10,9% 10,4% 12,4% Lecteurs d'au - 1 une publicité la veille 23,4% 22,4% 26,5% Lecteurs d'au - 1 courrier perso, commerc. relatio. la veille 26,4% 25,8% 28,3% Lecteurs d'au - 1 courrier perso, admin. et gestion la veille 35,9% 37,1% 32,2% Audit étude BALMETRIE CESP 38

39 Comparaison des habitudes de lecture recueillies auprès des recrutés et des répondants : Le CESP a analysé les données sur le média courrier recueillies dans le questionnaire CATI en comparant les résultats sur la base de l échantillon total des recrutés et sur la base des répondants au carnet de lecture. Cette analyse a pour but de vérifier que les répondants au carnet (CAWI ou PAPIER) n avaient pas un comportement différent par rapport au média courrier. Les graphiques ci-dessous montrent que les résultats en termes d habitude de lecture sont très proches quelle que soit la catégorie de courrier concernée et qu il n y a pas de biais sur la base de ce critère. 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% Habitude de lecture des journaux ou tracts d'informations Plusieurs fois par semaine Une fois par semaine 2 à 3 fois par mois Moins souvent Jamais Recrutés CATI Répondants au Carnet de lecture (6+7J) 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% Habitude de lecture des publicités Recrutés CATI Répondants au Carnet de lecture (6+7J) 0,0% Plusieurs fois par semaine Une fois par semaine 2 à 3 fois par mois Moins souvent Jamais 35,0% Habitude de lecture du courrier personnel administratif ou de gestion 30,0% 25,0% 20,0% 15,0% Recrutés CATI Répondants au Carnet de lecture (6+7J) 10,0% 5,0% 0,0% Plusieurs fois par semaine Une fois par semaine 2 à 3 fois par mois Moins souvent Jamais 30,0% Habitude de lecture du courrier personnel commercial ou relationnel 25,0% 20,0% 15,0% Recrutés CATI Répondants au Carnet de lecture (6+7J) 10,0% 5,0% 0,0% Plusieurs fois par semaine Une fois par semaine 2 à 3 fois par mois Moins souvent Jamais Graphique 16 : Comparaison des habitudes de lecture issues du questionnaire CATI recrutés versus répondants (données redressées) Audit étude BALMETRIE CESP 39

40 Répartition de l échantillon dans le temps : L échantillon est réparti sur toute l année de janvier à décembre. La distribution du nombre de questionnaires par semaine en 2014 montre des variations importantes d une semaine sur l autre (effectif minimum : 101, effectif maximum : 360 sur la base des semaines complètes de recrutement). Balmétrie 2014 Répartition des répondants au carnet (6+7J) selon la semaine de participation 400 janv. févr. mars avril mai juin juillet août sept. oct. nov. déc Total Filière CAWI Filière PAPIER Graphique 17 : Répartition de l échantillon par filière et selon la semaine de remplissage Le graphique ci-dessous compare la répartition par mois de l échantillon des répondants en 2013 et A noter qu en 2014, l objectif pour les mois d avril, juillet et octobre 11 était de 9,8% et de 7,8% pour les autres mois. 20% 15% 10% 5% 6,6% 11,3% 4,7% 8,5% 10,8% 4,7% 12,2% 10,6% 8,6% 6,1% 6,0% 7,8% 10,0% 8,7% 6,9% 9,3% 10,4% 7,7% 6,3% 12,5% 9,4% 6,9% 8,2% 5,8% 0% janvier février mars avril mai juin juillet août septembre octobre novembre décembre Graphique 18 : Répartition de l échantillon par mois - comparaison 2013 / semaines prises en compte pour ces mois Audit étude BALMETRIE CESP 40