Application Note. Réalisation de tests d écoute subjective. Tests d ècoute subjective. Introduction. Types de tests d écoute

Transcription

1 Réalisation de tests d écoute subjective Introduction La grande quantité de temps et d argent consacrée à la réalisation de tests d écoute subjective, qui sont de plus quelquefois difficiles à exploiter, pousse à se demander s ils sont vraiment justifiés. La décision que prend le client d acheter un produit et sa satisfaction vis-à-vis de ce produit dépendent principalement d impressions subjectives par exemple, acoustiques. L ingénieur en acoustique responsable de ce produit a donc pour mission de concevoir un bruit convenable qui corresponde au produit. Le fait de simplement baisser le niveau ne suffit souvent plus à satisfaire les exigences toujours grandissantes des clients en matière de réduction du bruit. Si un bruit ne répond pas aux attentes de l utilisateur, celui-ci aura alors une impression négative du produit, ce qui peut entraîner dans le pire des cas qu il le rejette ou qu il associe son impression négative du bruit à un fonctionnement défectueux du produit. Mais quel est le bon bruit? Les tests d écoute subjective constituent la réponse fondamentale au problème de satisfaction du client. La préparation et le choix approprié des tests d écoute subjective à réaliser peuvent permettre d économiser beaucoup de temps et d argent, que ce soit lors de leur réalisation ou de leur évaluation. L article suivant vous donnera un aperçu des différents types de tests d écoute existants, des environnements et des signaux appropriés utilisés pour les tests d écoute, du choix des sujets et des résultats pertinents des tests. Ces connaissances permettront de faciliter le travail du responsable des tests et de lui fournir des suggestions et une aide. Les exemples et copies d écran utilisés ont été réalisés avec le logiciel «SQuare» (Sound Presentation & Evaluation Studio). Ce logiciel a été conçu par HEAD acoustics pour la gestion de studios d écoute et la réalisation de tests d écoute subjective. Types de tests d écoute Il existe un grand nombre de types de tests d écoute subjective. Vous devrez choisir la méthode adéquate selon vos exigences et l objectif visé. Les tests d écoute décrits ci-dessous se prêtent particulièrement aux domaines de la qualité du son et du benchmarking, mais ils ne sont qu un exemple des nombreuses possibilités de tests existants. Ranking Dans le ranking (classement), on demande à l auditeur de classer N bruits selon un critère particulier (par exemple le degré de gêne) de 1 à N. Plus le nombre de bruits à classer est grand, plus il est difficile de les classer. C est pourquoi il est recommandé de ne pas proposer plus de six bruits pour un tel classement. Cette méthode de test permet de vérifier de manière simple la première impression de l auditeur, par exemple la préférence du client. L inconvénient de cette méthode de jugement est 06/11 1

2 que l auditeur effectue un classement des différents bruits, mais elle ne révèle aucune information sur les écarts existants entre ces bruits. Les résultats d un ranking ne peuvent donc pas forcément être utilisés pour réaliser un calcul de corrélation avec les résultats d analyses techniques. La figure 1 montre une apparence possible d un tel essai de ranking. En cliquant sur le bouton des différents bruits (Door01-Door06), l auditeur peut reproduire le bruit et en modifier la place dans le classement en utilisant l un des boutons fléchés. Figure 1 : Test d écoute ranking Comparaison par paires Dans une comparaison par paires, on propose à l auditeur d écouter deux bruits l un après l autre. Il doit alors les juger d après un critère prédéfini (par exemple, d après leur sonie). Il doit choisir entre deux ou trois possibilités : si le but est de réaliser une évaluation à choix forcé (forced choice), la personne n aura le choix qu entre deux possibilités : A>B (par exemple, A plus fort que B) et B>A (par exemple, B plus fort que A). Il est également possible d y ajouter la possibilité A=B (A aussi fort que B). Une personne hésitante a tendance à éviter de prendre une décision et de choisir alors la possibilité A=B). Ce type de décision rend l interprétation des résultats du test plus difficile. La méthode forced choice peut permettre d éviter ce genre de problème. Elle fait cependant peut-être aussi pression sur l auditeur en le forçant à se décider pour l une ou pour l autre possibilité, bien qu il n entende pas de différence. Il doit donc porter un jugement qui ne correspond pas forcément à sa perception. Ces deux conséquences peuvent être facilement évitées en initiant et en donnant des instructions à l auditeur de manière appropriée. Le test de comparaison par paires est idéal pour identifier des différences dans des bruits assez similaires. Cette méthode peut cependant vite entraîner une surestimation de ces différences. Dans la pratique, par exemple lors de l évaluation de bruits présents dans l habitacle d un véhicule, il n est pas possible de réaliser une comparaison directe. Ces bruits ne peuvent être évalués que l un après l autre avec un certain écart temporel. L ouïe humaine est en mesure de mémoriser le niveau acoustique à court terme. Il est donc difficile d identifier de faibles différences de niveau lorsque les bruits sont reproduits rapidement les uns après les autres dans une comparaison par paires. La mémoire acoustique à long terme de l être humain mémorise d abord des modèles auditifs. De cette manière, avec les bruits qui ne sont pas reproduits directement les uns derrières les autres, c est plus la caractéristique du bruit basée sur les modèles auditifs contenus qui est jugée que le niveau absolu. Il est donc nécessaire de définir des objectifs avant de réaliser un test d écoute : l important estil d identifier de petites différences dans les bruits ou de réaliser un test qui corresponde à la 06/11 2

3 réalité? Une fois cette décision prise, il est alors possible de définir si la méthode de la comparaison par paires est bien la méthode appropriée. La figure 2 montre un exemple de l interface utilisateur de SQuare pour une comparaison par paires. Les boutons de contrôle de lecture (play back control) permettent de lancer la lecture des bruits et les boutons situés en dessous permettent d entrer son jugement. Figure 2 : Test d écoute avec comparaison par paires à l aide de SQuare L inconvénient de cette méthode de test réside dans sa durée qui augmente énormément lorsqu un grand nombre de bruits doit être comparé, ceci en raison des nombreuses paires possibles. Évaluation par catégories Lors d une évaluation par catégories, un bruit est présenté à l auditeur et doit être évalué selon un critère prédéfini en le classifiant d après une échelle de notation. Le critère peut par exemple être l acuité du bruit. Pour cette évaluation, on utilise souvent l échelle de classement de Rohrmann comprenant les cinq catégories «pas du tout», «un peu», «moyennement», «assez» et «très». Une autre échelle très utilisée est celle qui propose dix niveaux et qui permet d évaluer les bruits gênants présents dans les véhicules. Elle est décrite dans la norme VDI Le tableau 1 (ci-dessous) en énumère les dix niveaux. Niveau Désignation 1 Pas acceptable 2 Uniquement acceptable sous réserve 3 Ressenti comme une erreur grave par tous les auditeurs 4 Ressenti comme une erreur par tous les auditeurs 5 Ressenti comme gênant par tous les auditeurs 6 Ressenti comme gênant par certains auditeurs 7 Constaté par tous les auditeurs 8 Uniquement constaté par les auditeurs critiques 9 Uniquement constaté par les auditeurs entraînés 10 Pas non plus constaté par les auditeurs entraînés Tableau 1 : Échelle à dix niveaux de la norme VDI /11 3

4 Une évaluation réalisée avec une échelle de catégories peut entraîner différents effets indésirés. Un bruit devant être évalué après un bruit ressenti comme ayant été particulièrement aigu sera peut-être jugé d une autre manière que s il avait été évalué après un bruit qui n était pas ressenti comme étant aigu, c est-à-dire que l évaluation d un bruit est éventuellement influencée par le bruit entendu précédemment (effet de contexte). Il est possible d éviter cet effet en faisant évaluer les bruits plusieurs fois dans un ordre aléatoire. Il se peut aussi que les auditeurs n utilisent pas l échelle de la même manière. Elles évitent souvent d utiliser les extrémités, ne choisissant que les réponses situées dans la zone centrale de l échelle («tendance de jugement centrale»). Elle veut ainsi éviter être surprise pendant le test par un bruit extrêmement marquant pour lequel elle ne disposerait plus d aucune catégorie. Cet effet peut être évité en entrainant suffisamment l auditeur. Cette formation consiste par exemple à lui présenter des bruits d une catégorie maximale afin qu elle les ait déjà entendus et évalués en conséquence. Les différentes manières dont les auditeurs exploitent l échelle d évaluation peuvent être par la suite normalisées (les données peuvent être rapportées à une valeur moyenne). La figure 3 représente un exemple d échelle des différentes catégories. Figure 3 : Exemple d échelle de catégories créée par SQuare Différentiel sémantique L utilisation d un différentiel sémantique pour une évaluation permet une analyse très nuancée des exemples acoustiques. Alors que l auditeur devait se concentrer sur un critère d évaluation imposé avec les méthodes de test citées ci-dessus, il est possible avec cette méthode de juger plusieurs attributs d un bruit. L auditeur évalue le bruit reproduit par rapport à plusieurs échelles bipolaires dont les extrémités comportent un adjectif et son contraire. Les échelles utilisées comportent souvent sept ou neuf niveaux. La figure 4 représente un exemple d un différentiel sémantique avec une échelle comportant sept niveaux et quatre paires de contraires. 06/11 4

5 Cette méthode de test permet d obtenir un profil acoustique détaillé contenant beaucoup plus d informations que lorsqu un bruit est simplement préféré à un autre et dans quelle mesure. L évaluation à l aide de plusieurs échelles permet d établir plus facilement des corrélations avec les résultats des analyses physiques. Elle permet de comprendre pourquoi un bruit a été dévalué et quel aspect du bruit doit être modifié pour en améliorer la qualité. Figure 4 : Exemple d un différentiel sémantique utilisant l interface utilisateur de SQuare Le jugement d un bruit à l aide d un différentiel sémantique prend bien entendu plus de temps que les autres méthodes de test. Le nombre des bruits ainsi que celui des éléments de jugement ne doit pas être trop grand car la concentration des personnes diminue à la fin des tests d écoute subjective. On a constaté que le nombre de paires d attributs ne devrait pas dépasser huit à douze. Pour différentes raisons, les paires doivent être choisies minutieusement. Si des attributs inappropriés sont choisis pour les bruits, les auditeurs choisissent souvent le centre de l échelle. Outre le fait que les attributs aient mal été choisis, ceci peut avoir pour conséquence que le test ne permette aucune autre interprétation. Il est d autre part recommandé de veiller à ce que les paires d attributs couvrent différents aspects du bruit. Si ce n est pas le cas, les réponses relatives aux différentes paires d attributs corrèlent très fortement. Il aurait alors été amplement suffisant de ne demander qu un seul de ces attributs (par exemple dans un essai par catégorie) les autres paires d attributs en forte corrélation n apportant aucune information nouvelle. La sélection de contraires influence elle aussi le jugement des personnes, ce que l exemple suivant démontre : pour l attribut «vieux», on peut utiliser le contraire «jeune» mais aussi «nouveau». L échelle bipolaire «vieux jeune» n entraîne souvent pas les mêmes résultats que l échelle «vieux nouveau». L objectif du test acoustique doit donc être pris en compte lors de la sélection des paires de contraires. Lorsque vous établissez un questionnaire d évaluation comportant plusieurs éléments, veillez à ne pas faire apparaître tous les attributs négatifs sur la même page afin d éviter que les auditeurs ne s y habituent. Dans certains tests d écoute subjective, les éléments devront être placés dans un ordre différent pour chaque bruit présenté au cours du test. Cette méthode a pour but que l auditeur se concentre sur les différents éléments et qu il ne s habitue pas à l ordre dans lequel ils se trouvent. Dans le projet européen OBELICS (Objective Evaluation of Interior Car Sound, BRITE Euram ), des différentiels sémantiques ont été utilisées pour évaluer des bruits d habitacle de véhicule et différentes paires de contraires ont été établies. Il s agit des paires de contraire en allemand, mais aussi en anglais, français et italien. Elles sont destinées à la réalisation de tests 06/11 5

6 d écoute subjective avec des personnes originaires de différents pays et dans leur langue maternelle. AISP (Exploration of Associated Imagination on Sound Perception) La méthode de test AISP se distingue fondamentalement des autres méthodes décrites précédemment car dans cette méthode, l auditeur ne dispose d aucune combinaison de réponses imposée parmi lesquelles il peut en choisir une. Dans la méthode AISP, l auditeur peut exprimer ce qu il ressent lorsqu il entend le bruit et procéder aux associations d idées qu il veut. Il peut ainsi évaluer le bruit sans être influencé et sans préjugé. Pendant un essai AISP, il ne dispose donc d aucun questionnaire d évaluation et il exprime ses impressions avec ses propres mots. Le responsable du test enregistre ces déclarations, mais intervient le moins possible dans le déroulement du test, c est-à-dire qu il ne pose aucune question et qu il ne commente aucune déclaration faite par l auditeur. Dans l étape suivante du test, il pose alors des questions supplémentaires en tenant compte des règles méthodiques de la réalisation d interviews, questions qu il pose afin de mieux comprendre les jugements de l auditeur et de lui permettre d expliquer plus amplement les raisons de son jugement. Elle permet ainsi de regrouper d autres données et de valider les jugements des personnes de manière communicative. L avantage de cette méthode est que l auditeur exprime son évaluation avec ses propres mots. Elle ne repose donc sur aucune référence impliquant un vocabulaire qui pourrait ne pas correspondre au sien. Le fait de pouvoir choisir ses propres mots permet de prendre en compte pratiquement tous les aspects d évaluation importants, alors qu un différentiel sémantique, par exemple, ne couvre peut-être pas l aspect acoustique déterminant. Le fait de pouvoir s exprimer avec ses propres mots ne facilite bien entendu pas les résultats de l évaluation. Le dépouillement représente un gros travail car il faut commencer par regrouper les déclarations des personnes pour qu elles aient une forme homogène et comparable. Les déclarations des différentes auditeurs ne pouvant peut-être n être que difficilement comparées, cette méthode demande beaucoup d expérience pour pouvoir être correctement exploitée. La méthode AISP a été analysée en détail et utilisée dans le projet OBELICS cité plus haut. La méthode E 3 (Explorative Environment Evaluation) a été mise au point sur la base d autres travaux de recherche : la méthode AISP est utilisée sur champ (donc par exemple dans un vrai véhicule) et non en laboratoire. Déroulement du test Si l on veut réaliser correctement un test d écoute, c est-à-dire qui permette d obtenir des résultats pertinents, certaines règles fondamentales doivent être respectées. Les auditeurs doivent avoir été suffisamment instruites avant de commencer le test. Elles doivent être informées de toutes les indications et explications nécessaires pour pouvoir réaliser le test auquel elles vont participer. Selon la tâche proposée et le déroulement du test, il est également possible de lui expliquer l utilité d un tel test. Cette explication ne pourra bien entendu n être donnée que si elle ne peut pas influencer le jugement des personnes. Les instructions devront être transmises de manière écrite, mais aussi de manière orale. Il est souvent suffisant de résumer oralement les explications données par écrit (voir figure 5). Lors de l instruction orale, veillez à donner la même à tous les auditeurs. Il existe plusieurs manières de présenter ces instructions. SQuare permet d afficher les instructions à l écran avant que le test ne commence. Il permet d autre part 06/11 6

7 de passer une vidéo contenant un enregistrement des instructions expliquées à l oral. L auditeur peut bien entendu aussi lire ces instructions sur un support papier. Figure 5 : Instructions écrites pour un test d écoute Ce n est qu une fois que l auditeur aura bien compris ce qu il doit faire pendant le test qu il se sentira suffisamment sûr de lui pour faire ce qu on lui demande de manière fiable. Lors de l instruction, il est important de faire comprendre à une personne test encore inexpérimentée que toutes les réponses sont justes dans un test d écoute. L évaluation des bruits est basée sur la perception individuelle de ces bruits. La perception d une personne ne peut pas être fausse, elle peut juste être différente de celle des autres auditeurs. Il est d autre part judicieux de leur indiquer la durée du test afin qu elles sachent à quoi elles doivent s attendre. Après l avoir instruit de la marche à suivre, vous pouvez laisser l auditeur s entraîner. La nécessité d un tel entraînement dépend de la difficulté de la tâche et de l expérience de la personne. Moins la personne est expérimentée et plus la tâche est difficile, plus elle devra s entraîner, alors que les auditeurs qui ont déjà de l expérience ne sont pas obligés de s entraîner. Il est parfois possible de présenter à l avance quelques-uns, ou tous les bruits du test à la personne. Elle peut ainsi être préparée au test d écoute. Elle sait alors ce qui l attend au cours du test. Durant l entraînement, il peut être demandé à l auditeur de donner son jugement ou pas. S il ne sait pas encore le faire, il est recommandé de lui présenter les bruits et de lui demander de donner son jugement. L entraînement ne devra pas être trop long afin que l auditeur puisse préserver sa concentration pour le test d écoute subjective. Il se peut d autre part que l auditeur finisse par s ennuyer au cours d un entraînement trop long et qu il perde sa motivation pour le test dont il est question. Après que l auditeur ait reçu une instruction appropriée et qu il se soit éventuellement suffisamment entraîné à réaliser le test, celui-ci peut commencer. L auditeur ne doit bien entendu pas être dérangé pendant le test. Il peut éventuellement être utile de lui donner la possibilité de noter des remarques relatives aux jugements qu il a donnés. Ces remarques peuvent vous permettre de mieux interpréter les jugements qu il a faits, c est-à-dire qu elles peuvent être prises en compte lors du dépouillement des résultats. L auditeur ne doit pas se sentir abandonné pendant le test, ce qui signifie que le responsable du test doit se tenir à sa disposition de manière per- 06/11 7

8 sonnelle ou par téléphone en cas d éventuelle question (par exemple à cause d un problème technique). Une fois le test terminé, il devra demander à l auditeur ce qu il pense de ce qu on lui a demandé de faire au cours du test, de sa durée, etc. Selon les réponses données, il devra éventuellement modifier le déroulement du test. Il peut en effet recevoir des informations importantes pour l évaluation (par exemple, l âge, le sexe, la profession de l auditeur). Il est bien sûr important d en respecter la vie privée. L auditeur peut donner son jugement par l intermédiaire de formulaires préparés sur lesquels il devra les noter à la main. Il doit cependant souvent le faire directement dans l ordinateur par l intermédiaire d un masque de saisie correspondant (par exemple en utilisant SQuare). Cette méthode permet d éviter les erreurs de report des données du papier à l ordinateur. Avant de proposer l utilisation d un ordinateur, il est recommandé de vérifier que tous les auditeurs savent utiliser une souris et un clavier. La figure 6 (page suivante) montre l exemple d un tel masque de saisie. Il permet non seulement à l auditeur d y entrer son jugement, mais aussi de commander la lecture du bruit. Il l informe également de l évolution et du nombre des bruits restant du test. Un test d écoute subjective ne doit pas dépasser une durée totale de 45 minutes si l on veut garantir une concentration maximale de l auditeur (un essai basé sur la méthode AISP peut aussi durer plus longtemps). La longueur et le nombre des signaux du test doivent être sélectionnés de manière à ne pas dépasser cette durée maximale. Tout essai impliquant des niveaux acoustiques élevés doit être raccourci en conséquence afin de ne pas mettre en danger la santé de l auditeur. D autre part, le fait d éviter des bruits forts et gênants permet de ne pas porter atteinte à sa bonne concentration. Figure 6 : Exemple d un masque de saisie permettant d y entrer son jugement Environnement du test L environnement du test devra être conçu de manière à ce que l auditeur s y sente bien, c est-àdire que la pièce dans laquelle se déroule le test doit être bien aérée et offrir une température agréable. L auditeur ne doit pas être installée dans un «placard à balais», mais il ne doit pas non plus être entouré de trop d appareils techniques. Ce type d environnement impressionne en effet ou détourne l attention de certains personnes. La pièce doit être aussi calme que possible. 06/11 8

9 Tout test d écoute subjective de bruits à très faible intensité sonore doit être réalisé dans une pièce insonorisée. Les autres participants au test font, eux aussi, partie de son environnement si celui-ci a lieu en groupe. Les auditeurs doivent être aussi peu influencées et gênées par les autres personnes que possible. Il est par exemple possible de les séparer par des parois, ce qui est particulièrement recommandé pour la réalisation de tests d écoute subjective de bruits faibles. Une personne souffrant de rhume des foins ou grippée devra éventuellement être exclue du test afin que les autres participants ne soient pas dérangés. Des études ont montré que plus les conditions du test sont proches des conditions d utilisation normales, plus les résultats des tests d écoute subjective sont pertinents. Dans le cadre du projet européen OBELICS, on a étudié la manière dont le test doit être conçu pour que l évaluation de bruits d habitacle de véhicule dans le test d écoute corresponde à un vrai trajet de mesure. On a constaté qu elle s en approche le plus lorsque l environnement du test acoustique correspond le plus à celui du trajet de mesure. C est pourquoi le SoundCar a été développé. Il est composé d un système de reproduction audio intégré dans la carrosserie d un véhicule permettant de reproduire le bruit aérien ainsi que les stimuli de bruit de structure. Pendant l évaluation, l auditeur se trouve alors dans un vrai véhicule dans lequel il peut écouter les signaux par l intermédiaire d un casque ou d enceintes et ressentir simultanément les vibrations dans le siège ou le volant. Ces vibrations sont créées pour correspondre à un trajet de mesure, et en fonction du signal entendu, par un shaker dans le siège et le volant. Lorsqu un bruit d habitacle de véhicule est reproduit dans un laboratoire, il est souvent ressenti comme étant trop fort. Grâce à la reproduction de bruit aérien et de bruit de structure dans le SoundCar, le test d écoute bénéficie du cadre correct et l intensité sonore peut ainsi être beaucoup mieux évaluée. Le HEAD 3D Sound Simulation System (H3S) permet de s approcher encore d avantage de la réalité lors du test acoustique. Ce logiciel permet d influencer activement le champ sonore en commandant la pédale d accélérateur, les freins ou les vitesses, et simule le bruit d habitacle de véhicule correspondant. Le logiciel H3S peut par exemple être installé dans un SoundCar permettant ainsi de reproduire le bruit aérien et le bruit de structure. Lorsqu il est utilisé de manière mobile, ce système de simulation est installé dans un véhicule pouvant rouler. Pendant le trajet de mesure, l auditeur ressent la vibration du vrai véhicule, mais il entend dans un casque un état de conduite simulé correspondant à chaque bruit d habitacle de véhicule. Cette configuration de test permet de s approcher le mieux des conditions réelles. La figure 7 représente la configuration mobile du H3S en marche. Il se peut qu un essai réalisé avec le SoundCar ou le H3S prenne plus de temps que d autres méthodes de test car un test par exemple réalisé dans un SoundCar ne permet pas à plusieurs personnes de réaliser leur évaluation en même temps. Le temps nécessaire est pourtant indispensable pour les tests d écoute subjective au cours desquels l auditeur ne peut faire une évaluation correcte que dans un environnement de test proche de la réalité. 06/11 9

10 Figure 7 : Variante de configuration mobile du H3S installé dans un véhicule capable de rouler Signaux du test Les signaux utilisés pour un test d écoute subjective doivent être d une qualité irréprochable et constante. Afin de donner à l auditeur une impression acoustique spatiale, il est recommandé d utiliser des enregistrements réalisés avec une tête artificielle. Cette technique d enregistrement, associée à une technique de reproduction audio appropriée, permet de transposer pendant la reproduction l auditeur dans un champ sonore original. Le plus simple est de sauvegarder l enregistrement directement sur le disque dur de l ordinateur. Vous pourrez ensuite y traiter, y reproduire et y évaluer les fichiers de bruit. Les bruits doivent être enregistrés de manière à correspondre à l utilisation normale du produit analysé. Vous devez d autre part veiller à ce que tous les enregistrements utilisés pour un test d écoute subjective soient enregistrés dans le même environnement, les mêmes conditions d utilisation et, si possible, avec le même équipement d enregistrement. Il est ainsi possible de garantir que les auditeurs n évaluent pas pendant le test d écoute les différentes conditions d enregistrements, mais les bruits. Il est recommandé de traiter les bruits de manière à ce qu ils ne contiennent aucun parasite et à ce que les bruits aient tous la même longueur. Si les bruits ont plusieurs aspects qui diffèrent (par exemple, des véhicules, des trajets de test et des bruits d arrière-plan différents), il sera ensuite difficile d identifier l aspect qui a entraîné ce jugement. Le réglage et l égalisation utilisés doivent, eux aussi, être les mêmes pour tous les enregistrements, la reproduction audio devra sinon être ajustée. SQuare permet de réaliser cet ajustement automatiquement. Il peut être utile d ajuster le niveau des bruits afin qu ils soient tous ressentis comme ayant la même intensité sonore, par exemple lorsque la qualité de différents bruits doit être jugée. Les différences d intensité sonore peuvent sinon détourner l attention des personnes non expérimentées de la caractéristique acoustique. Les enregistrements doivent être suffisamment longs. Pour les signaux stationnaires, une longueur comprise entre 3 et 5 secondes suffit généralement. Les signaux non stationnaires peuvent être plus longs. Il existe deux possibilités de reproduire les signaux du test : il est d'une part possible de donner à l auditeur la possibilité de commander lui-même la lecture du bruit, il peut alors décider luimême quand il reproduit les signaux et combien de fois (commande individuelle), ou les bruits 06/11 10

11 peuvent être reproduits selon une liste de lecture prédéfinie et l auditeur dispose d un certain temps pour donner son avis. L utilisation de SQuare permet au responsable du test de définir si le test doit être continué au bout d un certain temps, ou si chaque personne doit avoir d abord donné son jugement (voir figure 8). Figure 8 : Options de SQuare relatives à la durée donnée à l auditeur pour donner son jugement La méthode de la commande individuelle est surtout avantageuse lorsque les signaux sont très courts (par exemple des bruits de claquement de portière) ou très faibles. Si ce bruit n est reproduit qu une fois et que l attention de l auditeur est à ce moment détournée ou qu il n est pas parfaitement concentré, aucun jugement ne peut être fait. Cette méthode offre d autre part la possibilité de créer une liste de lecture pour chaque personne afin de minimiser l effet de contexte décrit ci-avant. SQuare peut le faire en faisant une lecture aléatoire des listes. L évaluation en groupe a pour avantage de faire participer plusieurs personnes en même temps, d économiser ainsi beaucoup de temps et de disposer de conditions de test absolument comparables. Elle n est cependant possible que si les auditeurs ne s influencent ni ne se gênent les unes les autres. Le choix de cette méthode dépend bien entendu de plusieurs facteurs : il s agit d une part d une question de temps et d autre part, certaines méthodes ne sont pas compatibles à tous les types de test. Il est également nécessaire de décider si la reproduction doit se faire par des enceintes ou par casque. Si vous décidez d utiliser des enceintes, veillez à ce que l acoustique de la pièce soit suffisamment bonne pour que chaque personne test y entende ce qu elle est sensée entendre. Lorsqu elle est réalisée en groupe par l intermédiaire d enceintes, la reproduction audio du test ne peut pas être commandée individuellement. Lorsque la reproduction audio est réalisée par un casque, il est possible de garantir de manière simple que tous les auditeurs entendent le même signal calibré dans des conditions audioconformes. Une personne test inexpérimentée qui n a pas l habitude d écouter dans un casque des enregistrements réalisés avec une tête artificielle aura éventuellement d abord quelques difficultés. Si la caractéristique spatiale de la pièce d enregistrement diffère nettement de celle de la pièce de reproduction, la différence entre l excitation visuelle et l excitation auditive aura pour conséquence que les auditeurs inexpérimentées vont ressentir le bruit comme étant par exemple trop fort. Il est possible d éviter cet effet indésirable en instruisant la personne correctement avant de commencer le test. Le responsable du test peut demander à l auditeur de fermer les yeux et de se transposer mentalement dans l espace correspondant. Avec un peu d entraînement, il pourra se transposer dans l autre environnement acoustique. Le problème ne se pose pas si le test a lieu dans une pièce ayant des 06/11 11

12 caractéristiques acoustiques semblables à celle dans laquelle l enregistrement a été réalisé (par exemple avec un enregistrement de bruits d habitacle de véhicule réalisé dans le SoundCar). La reproduction audio dans un casque peut être assistée par une reproduction réalisée avec un caisson de basse permettant de créer des fréquences basses supplémentaires qui feraient défaut dans une reproduction audio réalisée uniquement par un casque. Une reproduction audio réalisée avec un caisson de basse supplémentaire réduit bien sûr les possibilités lors d une évaluation en groupe. Elle doit être la même pour tous les auditeurs, ce qui rend toute commande individuelle du test impossible. Le type de reproduction audio choisi dépend en fin de compte aussi principalement des locaux et du matériel disponibles. Auditeurs Le nombre et la sélection des auditeurs dépendent, eux aussi, d éléments externes. La réserve à partir de laquelle les auditeurs sont recrutés n est en général pas infinie, tout comme la quantité de temps dont vous disposez pour réaliser le test d écoute. La sélection et le nombre de ces personnes influençant cependant directement le résultat ultérieur du test, celles-ci doivent être sélectionnées avec précaution. Avant de faire son choix, l objectif et le problème posé du test doivent être clairement définis. Les exemples suivants en donnent une explication. Une personne test expérimentée, donc un expert, n aura aucune difficulté à résoudre des «problèmes acoustiques» compliqués. Son ouïe étant entraînée à ce genre de test, l expert a moins de problème à se concentrer sur un certain aspect d un bruit et à évaluer cet aspect avec précision. Une personne test inexpérimentée n en sera pas capable. Cependant, l expert surestimera éventuellement certains aspects du bruit et alors rejettera par exemple le bruit lors du test, alors qu un auditeur inexpérimenté l aurait jugé acceptable. De même, les auditeurs qui ne savent pas conduire ou qui conduisent très peu ne sont pas forcément des personnes adéquates pour évaluer des bruits d habitacle de véhicule. Outre l expérience générale des personnes dans le domaine des tests d écoute subjective, l expérience du produit devra, elle aussi, être vérifiée. On peut s attendre à ce qu une personne conduisant une limousine de luxe trouve le bruit d habitacle d une voiture sport trop fort. Alors qu au contraire, on peut supposer qu une personne conduisant quotidiennement une voiture sport ou étant passionnée par les voitures sport, aura plutôt tendance à accepter la forte sonorité d une telle voiture ou même à la trouver agréable. Le niveau des connaissances des personnes en ce qui concerne le produit analysé ainsi que la composition démographique du groupe d évaluation doivent correspondre au groupe de client visé. Le nombre des personnes influence, lui aussi, les résultats. Plus il y a de participants au test, plus les goûts personnels disparaîtront dans la moyenne calculée. Il sera cependant difficile de réunir suffisamment d auditeurs pour de vastes tests d écoute qui nécessitent un long entraînement. Il est possible de savoir si un nombre suffisant de personnes ont participé à un test d écoute subjective en réalisant une série de calculs statistiques. En général, on sait que l échantillon choisi est assez gros si la moyenne des jugements ne change plus ou peu lorsque les résultats d évaluation d une personne supplémentaire sont ajoutés au calcul. Un intervalle de confiance pouvant aussi être calculé à l aide de formules statistiques, peut indiquer quelle serait la probabilité d une modification des valeurs moyennes avec un nombre plus important de personnes. Le responsable du test peut ainsi s assurer statistiquement de ses résultats de test. Un nombre important d auditeurs ne peut cependant pas compenser le fait que les personnes aient mal été 06/11 12

13 sélectionnées (c est-à-dire que par exemple 200 personnes conduisant une limousine de luxe ne pourront apporter aucun jugement judicieux sur la sonorité d une voiture sport). Lors de la sélection, il est important de veiller à ce que le nombre des personnes reste suffisamment grand si une ou plusieurs de ces personnes devait éventuellement être exclue du test si leur évaluation s avérait être insuffisamment consistante. Évaluation des résultats de jugement Une fois les tests d écoute subjective terminés, le dépouillement des données rassemblées peut commencer. Il existe pour cela de nombreuses méthodes de calcul statistiques. Elles servent d une part à analyser et à interpréter les données (par exemple l intervalle de confiance déjà évoqué) et elles permettent d autre part d utiliser ces calculs pour résumer les données du test acoustique et de les représenter d une manière claire. Vous pourrez vous initier de manière simple aux statistiques grâce à des ouvrages relatifs aux méthodes de test et à leur évaluation destinés aux sociologues. Avant de pouvoir analyser ces données d un point de vue statistique, il faut cependant commencer par les «traduire» en chiffres. Si l analyse a par exemple été réalisée sur un PC avec SQuare, le responsable du test obtient automatiquement une indication des jugements convertie en chiffres à la fin du test. Si les auditeurs ont noté leur jugement sur une feuille de papier, ces données doivent d abord être transposées en chiffres. Les différentes méthodes de test entraînent dans ce cas des évaluations ou des codages différents. Avec la méthode du classement (ranking), on obtient uniquement des jugements classés, c est-àdire qu il s agit d un échelonnage comparatif ne révélant aucune information relative à l écart existant entre les différents rangs. Lors du dépouillement, il est important de prendre en compte le fait que chaque jugement dépend en grande mesure du jugement des autres bruits. Le calcul de la moyenne des différents jugements des personnes permet d obtenir automatiquement des écarts différents, mais pour chaque test d écoute subjective, il doit être distingué s il est judicieux d utiliser cette pondération pour d autres interprétations ou de les recalculer en jugements classés. Avec une comparaison par paires aussi, seul un échelonnage comparatif est d abord réalisé (A meilleur que B). Les différentes données rassemblées peuvent être regroupées de manière simple en un classement (l évaluation A>C, C>B donne le classement A, C, B). En utilisant les aides statistiques adéquates, il est également possible de calculer un classement échelonné qui permette aussi d interpréter les différences existant entre les bruits. Ces échelles permettent alors de réaliser des analyses de corrélation. Il est également possible de réaliser plusieurs évaluations pour s assurer de la fiabilité du jugement et des personnes. Il peut par exemple s agir de l analyse de triades. Si le bruit A a été évalué comme étant meilleur que le bruit B et que celui-ci l a été comme étant meilleur que le bruit C, alors le bruit A doit également avoir été évalué comme étant meilleur que le bruit C. Si ce n est pas le cas et si une telle inconsistance se répète plusieurs fois chez une des personnes, il faudra alors peut-être envisager d exclure cette personne du test. SQuare réalise automatiquement une analyse de triades chaque fois qu un rapport est généré avec Microsoft Excel. La figure 9 montre un extrait d un tel rapport. 06/11 13

14 Figure 9 : Affichage des triades inconsistantes dans un rapport de résultat de SQuare Si des triades inconsistantes apparaissent chez plusieurs auditeurs, c est qu ils sont peut-être dépassés ou qu ils n ont pas compris le but du test correctement. Il est recommandé dans ce type de comparaison de demander les différentes paires de bruits plusieurs fois (également en inversant les paires : A-B, puis B-A). Cette méthode permet alors de vérifier la répétitivité de jugement pour chaque personne. Elle permet également de constater si la tâche demandée est faisable ainsi que les capacités des personnes. L évaluation d un bruit pendant un test d écoute utilisant des catégories se fait plus ou moins indépendamment des jugements des autres bruits du test. C est la raison pour laquelle on peut supposer qu on n obtiendra à la fin aucun échelonnage comparatif, mais plutôt un échelonnage qui permettra d évaluer la taille des différences (une échelle d intervalle). Cette échelle permet une très bonne utilisation des résultats d un tel test d écoute pour réaliser une analyse de corrélation avec les résultats issus des analyses techniques. Avec l échelonnage catégoriel, il est également recommandé de faire évaluer les bruits plusieurs fois afin de minimiser les effets de contexte évoqués précédemment et de vérifier les différences intra-individuelles (il s agit des différences révélées par les jugements d une personne). Les résultats d un test d écoute avec polarité sémantique peuvent également servir à réaliser des analyses de corrélation et permettent ainsi une analyse étendue. L évaluation d un bruit prenant en compte plusieurs éléments d évaluation prend bien sûr plus de temps. C est la raison pour laquelle la plupart des tests d écoute subjective de ce type ne permettent pas de demander aux auditeurs de juger tous les bruits plusieurs fois car le test serait alors beaucoup trop vaste et la concentration des personnes ne serait pas suffisante. Il est donc pratiquement impossible de vérifier la fiabilité de l auditeur. Dans certains cas, il est tout de même recommandé de présenter quelques bruits deux fois, ce qui permettra au moins de vérifier partiellement sa fiabilité. L évaluation de tests d écoute subjective réalisés avec la méthode AISP demande beaucoup d expérience. Les auditeurs donnant leur avis en utilisant leurs propres mots, il n est pas facile de transposer ou de résumer ces jugements directement en chiffres. Mais, l utilisation de la méthode appropriée basée sur des techniques de recherche qualitative empirique reconnues rend ceci possible afin de pouvoir travailler avec des évaluations statistiques. Le dépouillement des résultats de tests d écoute subjective basé sur le procédé E3 se fait de manière analogue. D une manière générale, les évaluations des personnes doivent être transposées en chiffre pour toutes les méthodes de test du moment qu elles doivent faire l objet d analyses statistiques. Les jugements d une échelle comprenant cinq niveaux doivent par exemple avoir les valeurs allant de 1 à 5. Avec un différentiel sémantique à sept niveaux, les valeurs -3 à +3 seront attribuées à l échelle bipolaire. Il est important de veiller ici à ce que, même lorsque les échelles indiquées 06/11 14

15 sur les formulaires d évaluation ne le sont pas toujours dans le même sens (les attributs négatifs se trouvent soit à gauche, soit à droite de l échelle), les valeurs soient indiquées de manière à ce que +3 soit toujours la valeur positive et -3 toujours la valeur négative. C est en effet la seule manière de pouvoir correctement réaliser les analyses statistiques ultérieures. La figure 10 en montre un exemple. bon marché X cher > Jugement : -1 discret X fort > Jugement : -2 Figure 10 : Transposition des jugements en valeurs numériques Dans l évaluation suivante des jugements transposés en chiffres, vous devez veiller à ce que les jugements d origine aient été par exemple reportés sur une échelle de catégories. Il est important de ne pas oublier le jugement d origine transposé en valeurs numériques, celles-ci ne servant qu à une analyse statistique. Une fois les jugements des différentes auditeurs transposés en valeurs numériques, vous pouvez les reporter dans des graphiques et les comparer. Vous obtenez ainsi une première impression de l analyse et pouvez mieux évaluer si vous pouvez alors calculer une moyenne des jugements de différents auditeurs. Il se peut que les différences interindividuelles (il s agit de différences de jugement des différents auditeurs) soient trop importantes : le moyennage des résultats de l évaluation en diminuerait alors la pertinence. C est par exemple le cas lorsque les jugements divergent car les auditeurs n ont pas utilisé les échelles de la même manière. Les jugements peuvent dans ce cas être transformés en convertissant les données (normalisation) de manière à pouvoir calculer une moyenne et à ne pas diminuer la pertinence du test acoustique. Une telle conversion n est alors recommandée que si la tendance de l évaluation (c est-à-dire la forme de la courbe et le classement) sont à peu près identiques. Si ce n est pas le cas, une normalisation, puis un moyennage, fausseraient les conclusions du test acoustique. Si la différence entre les jugements des personnes est trop grande, il faudra certainement renoncer à calculer une moyenne. Dans certains cas, il est judicieux de répartir les auditeurs en deux groupes (ou plus) dans lesquels il sera alors possible de calculer une moyenne. Cette décision devra être prise individuellement pour chaque test d écoute en fonction des données. Différents programmes de statistique vous proposeront des méthodes d analyse qui vous aideront à réaliser votre évaluation. Outre le calcul arithmétique de la valeur moyenne, on détermine aussi souvent la valeur médiane, les domaines interquartiles et l écart type. La valeur médiane est la valeur dépassée par 50 % des évaluations et non dépassée par les 50 % restants. Contrairement à la valeur moyenne arithmétique calculée à partir des valeurs extrêmes (les jugements très différents), il est presque impossible d influencer la valeur médiane. Elle est souvent utilisée lors de l analyse de tests d écoute subjective auxquels peu de auditeurs ont participé. Le domaine interquartile englobe la valeur médiane et indique le domaine dans lequel se trouvent 50 % des jugements, c est-à-dire que 25 % des jugements sont inférieurs au domaine interquartile et que 25 % 06/11 15

16 d entre eux y sont supérieurs. Ce domaine indique le taux de dispersion des jugements des différentes auditeurs. Le calcul de l écart type permet de déterminer l écart moyen de la valeur arithmétique moyenne. Il indique, lui aussi, la dispersion des jugements. L évaluation graphique déjà évoquée peut aussi donner des informations sur la différence de précision existant entre les jugements d une personne par rapport à ceux des autres personnes (c est-à-dire non seulement à l aide d une échelle, mais aussi de la forme d une courbe). Les jugements de cette personne devront alors éventuellement être analysés séparément et devront être exclus du calcul de la moyenne. Il ne devra bien entendu pas être abusé de la normalisation des données et de l exclusion de certaines auditeurs. Le responsable du test ne doit pas transformer statistiquement les données d un essai pour obtenir le résultat qu il recherche. Une fois les données du test acoustique transposées en une valeur moyenne ou médiane, l analyse de corrélation ou de régression peut être commencée. Outre les jugements du test acoustique, vous aurez également besoin de données supplémentaires pour chaque bruit comme par exemple les résultats des analyses techniques. Si vous en disposez sous forme de valeurs globales, l analyse de corrélation vous permettra de déterminer la ressemblance de la courbe issue des résultats du test acoustique et celle de l analyse technique. Dans l analyse de régression, les données du test acoustique et celles de l analyse technique sont reportées dans un graphique XY et le rapport mathématique existant entre les axes est alors calculé. Le degré de concordance de cette formule mathématique avec les données est le coefficient de détermination R 2. Un coefficient de détermination élevé indique que les résultats du test acoustique donneront un bon résultat en utilisant la formule mathématique trouvée et les résultats de l analyse technique. Il n est ensuite plus nécessaire de réaliser de vastes tests d écoute subjective pour les bruits ressemblant à ceux du test acoustique car les résultats de l analyse technique sont les mêmes. Si vous voulez obtenir un coefficient de détermination suffisamment élevé, vous devrez éventuellement regrouper les résultats de plusieurs analyses techniques. Ne vous concentrez pas uniquement sur l obtention d un coefficient de détermination élevé : la formule trouvée doit aussi être interprétable et judicieuse. Lorsque vous recherchez le coefficient de détermination idéal, veillez donc à ne pas combiner les résultats des analyses techniques n importe comment, mais plutôt à les combiner de manière à ce que vous puissiez interpréter cette combinaison. La figure 11 représente un diagramme comprenant une analyse de régression avec indication du coefficient de détermination. L axe des X contient les valeurs d acuité selon Aures calculées pour les bruits. L axe des Y représente la valeur moyenne des jugements des personnes. Leur évaluation est très bien rendue par les valeurs calculées pour l acuité. 06/11 16

17 Analyse de régression 6 5 Moyenne des jugements y = 1,5032x + 0,6721 R 2 = 0, ,0 0,5 1,0 1,5 2,0 2,5 3,0 Acuité selon Aures [Acum] Figure 11 : Exemple de résultat d une analyse de régression Les résultats d un test d écoute obtenus avec un différentiel sémantique sont très vastes car l auditeur donne son jugement sur plusieurs échelles. Si vous voulez réduire la quantité des données impliquées, nous vous conseillons de soumettre les résultats obtenus avec cette méthode à une analyse en composantes principales (ou analyse factorielle). Ce type d analyse permet de déterminer les éléments de jugement qui peuvent être regroupés et l étendue de leur influence sur le jugement. Dès que quelques facteurs peuvent être regroupés, l analyse de régression ne doit plus être réalisée que pour le facteur supérieur et non plus pour chaque élément de jugement individuel. De plus, elle permet de trouver le facteur déterminant pour l évaluation globale. Si vous devez réaliser d autres tests d écoute subjective avec des bruits similaires, vous avez la possibilité de vous passer de certains des attributs qui peuvent être regroupés en un seul facteur et de demander de nouveaux attributs qui peuvent révéler de nouvelles informations. Une autre particularité réside dans l évaluation des tests d écoute subjective au cours desquels les bruits non stationnaires doivent être jugés. S il est demandé à une personne de juger uniquement un signal se modifiant dans le temps (par exemple le bruit d habitacle de véhicule lors du démarrage à un feu), celle-ci doit alors résumer l impression acoustique qui, comme le fait le signal, se modifie dans le temps. Ce moyennage «interne» que réalise alors l auditeur ne correspondra en général pas à la valeur moyenne arithmétique des différents jugements, tout comme la valeur moyenne des résultats d une analyse technique ne reflètera pas l impression de l auditeur. Il est recommandé de calculer les valeurs percentiles pour les signaux non stationnaires. Le calcul des valeurs percentiles est une analyse statistique de la courbe temporelle de l analyse. Elles sont toujours affichées en pourcentage. La valeur percentile de 10 % est la valeur qui n est dépassée que pendant 10 % du temps pendant la durée analysée. La valeur percentile de 50 % est la valeur qui n est dépassée que pendant la moitié du temps. La figure 12 06/11 17

18 représente un exemple des valeurs percentiles de 10 et 50 % d une courbe. Le calcul de valeurs percentiles peut être réalisé avec le logiciel d analyse ArtemiS pour toutes les analyses 2D. L 10 L 50 Figure 12 : Exemple de valeurs percentiles Lors d une analyse de la nuisance provoquée par le bruit des routes, Zwicker a découvert que la valeur percentile de sonie de 4 % N 4 corrèle très bien avec la manière dont les auditeurs jugent ce bruit. La valeur de sonie N 4 est plus élevée que la valeur de sonie moyenne, mais les composantes du bruit de la circulation à l intensité sonore élevée joue un rôle beaucoup plus important dans le jugement des personnes que les composantes à l intensité sonore peu élevée. Cette pondération reflète très bien la valeur N 4. Le nouveau projet de norme DIN relatif à la sonie variant dans le temps (complétant la norme DIN 45631) propose l utilisation de la sonie N 5 pour évaluer l effet acoustique. Plusieurs analyses ont montré que la sonie N 5 corrèle bien avec l évaluation des personnes pour différents types de bruits (circulation routière, ferroviaire et aérienne). Le fait d utiliser les valeurs percentiles permet de soumettre les courbes temporelles d analyses techniques à une analyse statistique dont les résultats sont souvent nettement meilleurs avec les résultats du test acoustique que la valeur moyenne arithmétique. Différentes valeurs percentiles devront être déterminées pour l analyse afin d en apprendre plus sur la pondération réalisée par les auditeurs et de déterminer la valeur percentile appropriée. En résumé, veillez à respecter les principes suivants lors de l analyse des résultats : chaque opération mathématique (formation d une valeur moyenne, exclusion d auditeurs, etc.) doit être décidée et appliquée avec précaution. D autre part, toute mesure prise devra être bien documentée afin de retenir la base sur laquelle les résultats ont été obtenus. C est en effet le seul moyen d obtenir une interprétation pertinente des résultats. Avez-vous une question à poser à l auteur de cet article? Écrivez-nous : imke.hauswirth@headacoustics.de. Nous serons heureux de prendre connaissance de vos réactions! 06/11 18