Environnement coopératif intelligent pour l'annotation collaborative répartie et son évaluation

Transcription

1 Environnement coopératif intelligent pour l'annotation collaborative répartie et son évaluation Contexte Construire des services sur le web à partir de contenus numériques (textes, images, vidéos) de façon collaborative demande d'associer à ces contenus des métadonnées. L'indexation automatique par descripteurs, qui est la base des moteurs de recherche, permet de répondre aux opérations de sélection de contenus. Mais d'autres services demandent des informations plus sémantiques basées sur l'exploitation de connaissances structurées pour des applications comme la mise place d'expositions, le commentaire textuel de vidéos, la construction de produits pédagogiques multimédia, la mémoire intelligente. La caractérisation des données, fine et adaptée aux buts d'un service de ce type nécessite de laisser une place importante à l intervention humaine. Une description patiente et méticuleuse doit compléter, corriger, redresser ce que des traitements computationnels peuvent découvrir par l'analyse automatique des données. Cette lecture annotante s'appuie sur le travail collaboratif d'usagers (crowdsoursing), ayant chacun un regard spécifique sur les données et contenus. Se pose alors la question de savoir comment garantir la pertinence des métadonnées qui seront ainsi produites. Les mesures d'accord inter-annotateurs (humains ou machine), notamment lorsque la tâche est inédite, revêtent donc un rôle central dans l'établissement de données fiables. Afin d'exploiter ces mesures dans un système documentaire, il faut travailler la modélisation des documents en accordant toute leur importance aux métadonnées. Produites de façon automatique ou par plusieurs indexeurs humains, ces informations d'analyse et de contexte doivent pouvoir être évaluées. Il nous faut penser un modèle de document permettant d'enregistrer, de faire évoluer et d'exploiter les mesures de fiabilité. Mesures d'accord inter-annotateurs Comme nous l'avons indiqué, l'annotation de données consiste à enrichir un contenu (par exemple textuel, sonore ou vidéo) en y apportant des informations nouvelles, ancrées sur les données initiales, au moyen de processus automatiques, manuels, ou semi-automatiques. Mais comment juger de la qualité des annotations ainsi produites, notamment lorsque la tâche est inédite, et que l'on ne dispose donc pas d'une référence à laquelle comparer nos productions? Cette question est cruciale, puisque toute erreur sur les données annotées sera indétectable par la suite, et aura des conséquences sur tous les traitements ultérieurs. Pour y répondre, une méthode très largement employée consiste à procéder à l'annotation d'une même source par plusieurs annotateurs indépendants, et à évaluer dans quelle mesure ces différents annotateurs s'entendent sur quoi et comment annoter. Aux deux extrêmes : si tous les annotateurs sont d'accord sur chacune des annotations produites, le niveau de confiance en leurs productions sera maximal ; en revanche, s'ils ne s'accordent jamais, même partiellement, sur aucune annotation, alors la tâche sera décrétée inconsistante (objectif insuffisamment formalisé). C'est ainsi que nombre de méthodes de mesure d'accord inter-annotateurs ont vu le jour depuis quelques dizaines d'années, qui ont toutes pour objectif de fournir une valeur (généralement

2 comprise entre 0 pour un accord nul et 1 pour un accord parfait) censée indiquer dans quelle mesure des productions multi-annotateurs peuvent être qualifiées de fiables. Cependant, la plupart de ces méthodes concernent la catégorisation pure : on peut citer la très utilisée famille des coefficients Kappa, depuis Cohen (1960), comprenant notamment des variantes comme sa version pondérée (Cohen, 1968) ou celle de Siegel, le PI de Fleiss ou les AC1 et AC2 de Gwet (2012), c'est-à-dire ne peuvent s'appliquer aux tâches d'annotation consistant uniquement à catégoriser des éléments préalablement identifiés, laissant quasiment au dépourvu celles qui consistent à la fois à délimiter (donc choisir) les éléments à annoter, et, simultanément, à catégoriser ces derniers. C'est notamment le cas des méta-données qui sont l'objet de la présente recherche, incluant des flux textuels, sonores ou vidéo, au sein desquels les annotateurs devront par exemple identifier et qualifier des tours de parole, des types de passages (publicité, informations, débat, etc.), cf. figure 1. A A A C B annotator 1 A B A B A annotator 2 A B A B A annotator 2 figure 1 : exemple d'un flux annoté en parallèle par 3 annotateurs et les catégories A,B et C Aux dires même de l'étude de référence menée par Artstein et Poesio (2008), ce pan entier de l'évaluation n'est actuellement abordé frontalement que par Krippendorff (1995 et 2013) au moyen de deux coefficients u α et c u α, rendant respectivement compte des erreurs de délimitation d'une part, et de catégorisation d'autre part. Cette approche n'est cependant pas totalement satisfaisante dans la mesure où, comme montré dans (Mathet&Widlöcher, 2011), il n'est pas possible de traiter indépendamment la délimitation et la catégorisation, une erreur dans l'un des deux paradigmes ayant des conséquences dans l'autre. Le travail de recherche proposé ici prendra à bras le corps cet ambitieux objectif de définir une méthode complète et homogène de mesure d'accord d'annotations intégrant simultanément délimitation et catégorisation. Il pourra notamment s'appuyer sur les recherches en cours dans le laboratoire sur une mesure holiste (Mathet&Widlöcher, 2011), et en proposer des approfondissement. Parallèlement, cette recherche débutera par une étude approfondie des différentes mesures existantes, leur comparaison et leur objectivation grâce à la méthode et à l'outil "ShufflingTool" (Mathet et al, 2012) actuellement développé au GREYC, et continuera cette comparaison tout au long de la conception de la nouvelle mesure. Cette méthode consiste à générer automatiquement des annotations multiples factices avec un degré d'entente entre annotateurs décidé en amont. Pour ce faire, une annotation de référence est générée, puis le système simule chaque annotateur en lui faisant produire des annotations qui s'inspirent de la référence, mais avec un degré de qualité paramétrable. Les multiannotations dont le niveau de dégradation est pré-établi sont alors soumises aux différentes mesures, et en appliquant ce principe à tous les niveaux de dégradation possible, on établit une sorte de banc d'essai des différentes mesures. Cette méthode devra être largement étendue pour simuler de nouveaux types de dégradation, et se conformer aux spécificités de certaines campagnes d'annotation (on ne peut pas "dégrader" n'importe comment les données dans telle ou telle campagne).

3 Modélisation de documents Le document numérique ne peut se résumer à l'accès à son contenu. Il emporte avec lui des informations de contexte et des règles d'usage, qui sont enregistrées dans les métadonnées (Gilliland, 2008, Witten, 2002). Les Systèmes de gestion de contenu (CMS), largement diffusés sur le web, ignorent en général la puissance des métadonnées pour inventer des usages innovants des documents. Les systèmes professionnels des bibliothèques se focalisent sur les métadonnées en s'appuyant sur les pratiques professionnelles et en maintenant les métadonnées à l'extérieur du document (notion de catalogue). Le projet Sydonie se place entre les deux approches pour permettre l'extraction automatique de métadonnées et leur inscription au sein même du document (Lecarpentier et al, 2010 et 2012). Suivant les travaux de M. Buckland (1998), nous définissons un modèle fonctionnel de document qui intègre contenu, métadonnées, dans un arbre qui prend en compte les diverses expressions et manifestations d'un même travail intellectuel, présenté figures 2 et 3 (Madison, 1998). figure 2 : relations entre expressions et manifestations d'un même travail intellectuel dans Sydonie figure 3 : inscription des métadonnées au sein de l'arbre du document (extrait)

4 Le contrôle des métadonnées se fait en relation avec des outils sémantiques répartis sur le web en mode Linked Data (Bizer et al, 2008). La question de fiabilité d'un système distant, réparti, et utilisé par plusieurs annotateurs au sein d'une même plateforme d'objets multimédia devient alors essentielle (Ochoa&Duval, 2009). La plateforme Glozz développée au Greyc (Widlöcher&Mathet, 2012) permet de prendre en compte les annotations provenant de différents annotateurs et de lancer des mesures d'accord sur ces données. Une partie des métadonnées peut également provenir de l'analyse automatique des contenus (texte, image ou vidéo). Pour évaluer la qualité des informations ainsi enregistrées et structurées dans les métadonnées, une mesure adaptée est nécessaire, comme nous l'avons détaillé précédemment. La supervision humaine elle-même ne peut suffire à garantir la validité des données. Environnement coopératif intelligent Les applications innovantes en matière d'environnement intelligent pour enregistrer, partager et diffuser les objets numériques dépendront de la qualité des métadonnées. Le web sémantique repose sur une architecture de confiance dans les informations, et les recherches récentes portent sur l'ajout de critères de précision ou de fiabilité aux liens logiques portés entre des données réparties. Les travaux de cette thèse doivent contribuer à ce travail en permettant aux documents de présenter eux-mêmes leurs métadonnées évaluées aux systèmes les exploitant. Une plateforme d'expérimentation sera réalisée en partenariat avec Relais d'sciences et le réseau Inmediats regroupant 6 centres de culture scientifique et technique.

5 Références : ARTSTEIN, R. et POESIO, M. (2008). Inter-coder agreement for Computational Linguistics. Computational Linguistics, 34(4): BIZER, C., HEATH, T., IDEHEN, K. et BERNERS-LEE, T. (2008) Linked Data on the Web, in Proceedings of WWW Conference (WWW2008). BUCKLAND, M. (1998) What is a digital document?, Document numérique n 2, p COHEN, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1): COHEN, J. (1968). Weighted kappa : Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4): GILLILAND, A. (2008) Introduction to Metadata Version 3.0, eds. Baca, M. GWET, K. L. (2012). Handbook of Inter-rater Reliability. Advanced Analytics, LLC, third édition. KRIPPENDORFF, K. (1995). On the reliability of unitizing contiguous data. Sociological Methodology, (25): KRIPPENDORFF, K. (2013). Content Analysis. 3rd edition. SAGE Inc. LECARPENTIER, J-M., BAZIN, C. et LE CROSNIER, H. (2010) Multilingual composite document management framework for the internet: an FRBR approach, in Proceedings of the 10th ACM symposium on Document engineering - DocEng '10, ACM LECARPENTIER, J-M., BUARD, P-Y., LE CROSNIER, H. et BRIXTEL, R. (2012) An inheritance model for documents in web applications with sydonie. In Proceedings of the 2012 ACM symposium on Document engineering (DocEng '12). ACM MADISON, O. (1998) Functionnal Requirements for Bibliographic Records, IFLA MATHET, Y. et WIDLÖCHER, A. (2011). Une approche holiste et unifiée de l alignement et de la mesure d accord inter-annotateurs. In Actes de Traitement Automatique des Langues Naturelles 2011 (TALN 2011), Montpellier, France. MATHET, Y., WIDLÖCHER, A., FORT, K., FRANÇOIS, C., GALIBERT, O., GROUIN, C., KAHN, J., ROSSET, S. et ZWEIGENBAUM, P. (2012). Manual Corpus Annotation : Giving Meaning to the Evaluation Metrics. In Proceedings of the International Conference on Computational Linguistics (COLING 2012), pages , Mumbaï, Inde. OCHOA, X. et DUVAL, E. (2009) Automatic evaluation of metadata quality in digital repositories, in International Journal on Digital Libraries, Springer WIDLÖCHER, A. et MATHET, Y. (2012). The Glozz platform: a corpus annotation and mining tool. In Proceedings of the 2012 ACM symposium on Document engineering (DocEng '12). ACM WITTEN, I., BAINBRIDGE, D., PAYNTER, G. et BODDIE, S. (2002) Importing Documents and Metadata into Digital Libraries: Requirements Analysis and an Extensible Architecture, in Research and Advanced Technology for Digital Libraries, LNCS vol. 2458