Vers un lexique arabe pour l analyse des opinions et des sentiments

Transcription

1 Vers un lexique arabe pour l analyse des opinions et des sentiments Amine Bayoudhi, Houssem Koubaa, Lamia Hadrich Belguith ANLP Group, MIRACL laboratory FSEGS, University of Sfax B.P. 1088, 3018, Sfax, TUNISIA bayoudhi.amine@gmail.com houssemkoubaa90@gmail.com l.belguith@fsegs.rnu.tn Hatem Ghorbel ISIC Lab, HE-Arc Ingénierie University of Applied Sciences CH-2610 St-Imier, Switzerland hatem.ghorbel@he-arc.ch Abstract La classification de polarité est considérée parmi les tâches les plus importantes dans le domaine de fouille d opinion. Cette tâche est très utile dans la mesure où elle permet d attribuer à un énoncé subjectif une polarité positive ou négative. Néanmoins, la classification de polarité nécessite des ressources linguistiques telles que les corpus annotés et les lexiques d opinion. Ces ressources sont très rares pour la langue arabe à cause du coût élevé demandé pour leur création. Le présent travail est situé dans ce cadre. Nous proposons une méthode pour construire un nouveau lexique d opinion pour la langue arabe. La méthode part du lexique Arabic MPQA et se base sur l exploitation d outils et de ressources linguistiques arabes et multilingues. Pour l évaluation de la couverture, nous avons testé notre lexique LAP (Lexicon of Arabic Polarized words) en faisant la classification de polarité du corpus OCA (corpus de commentaires sur les films) au niveau document et au niveau phrase. Les résultats sont encourageants et montrent une augmentation de plus de 9% du F1. Keywords analyse de l opinion et de sentiment; lexique d opinion arabe; classification de polarité; corpus d opinion annotés; I. INTRODUCTION La fouille d opinion et l analyse des sentiments attirent de nos jours l attention de plusieurs chercheurs dans le domaine de Traitement Automatique des Langages Naturels (TALN). L importance de cet axe de recherche réside surtout dans le traitement de pages web dont le contenu est généré par l utilisateur (User-generated content Web). Ce type d information, tels que les réseaux sociaux, les blogs et les forums de discussion, a connu ces dernières années une évolution énorme et est devenu une composante influente dans la vie sociale, politique et même économique. La classification de polarité est considérée parmi les tâches les plus importantes dans le domaine de fouille d opinion. Cette tâche permet d attribuer à un énoncé subjectif une polarité positive ou négative. Ceci est très utile dans la mesure où il permet de fouiller les opinions des gens à propos d un sujet donné (i.e. une organisation, un produit, un personnage, etc), et agir et prendre des décisions selon les résultats. Néanmoins, la tâche de classification de polarité nécessite des ressources linguistiques à savoir, les corpus annotés et les lexiques d opinion dépendamment de l approche adoptée. Ces ressources sont très rares pour la langue arabe à cause du coût élevé demandé pour leur création. Dans cet article, nous proposons une méthode pour construire un nouveau lexique d opinion pour la langue arabe que nous avons appelé LAP (Lexicon of Arabic Polarized words). La méthode, part du lexique Arabic MPQA et se base sur l exploitation d outils et de ressources linguistiques arabes et multilingues. Une étape d annotation manuelle est aussi considérée pour enrichir le lexique obtenu. Dans ce qui suit, nous présentons dans la section 2 quelques travaux similaires sur la création des lexiques d opinion pour la langue arabe. Dans la section 3, nous proposons notre méthode pour la création du lexique d opinion LAP. Dans la section 4, nous exposons et nous discutons les résultats obtenus. Dans la section 5, nous terminons par une conclusion et des perspectives. II. TRAVAUX PRÉCÉDENTS Bien que le domaine de fouille d opinion et d analyse de sentiments soit un domaine émergent dans la communauté de traitement automatique des langages naturels, les travaux effectués pour la langue arabe sont encore très limités. En effet, la plupart des travaux se concentrent sur la classification de polarité des documents pour éviter le coût élevé de l annotation des phrases, et adoptent aussi l approche basée sur l apprentissage automatique pour échapper du coût élevé de la création d un lexique d opinion ayant une bonne couverture. Ainsi, l obstacle qui ralentit l avancement du domaine de fouille d opinion pour l arabe est la disponibilité des ressources en termes de corpus annotés et lexiques d opinion. Dans cette section, nous passons en revue les travaux effectués dans le domaine de l analyse de l opinion en arabe. En particulier, nous mettons l accent sur les ressources linguistiques disponibles en termes de lexiques d opinion. Elhawary et Elfeky[1] sont parmi les premiers chercheurs qui se sont intéressés à construire un lexique d opinion pour la langue arabe. Leurs travaux ont été dans le cadre de 231

2 développement d un outil de classification des avis des intervenants dans le domaine des affaires. Le lexique d opinion est utilisé pour attribuer aux mots d opinion détectés des scores utilisés à leur tour comme étant des critères d apprentissage. Pour générer le lexique, Elhawary et Elfeky ont proposé de faire la propagation d un ensemble de mots annotés manuellement sur un graphe de similarité. L ensemble des mots de départ comptait plus que 600 mots positifs, 900 mots négatifs et 100 mots neutres. Concernant le graphe de similarité, il est construit par apprentissage non supervisé sur un large corpus du web, et il permet de calculer les scores des mots du lexique en se basant sur les poids des arcs. Les tests d évaluation effectués ont montré une précision relativement bonne mais un faible rappel. El-Halees [2] a proposé une approche combinée basée sur trois étapes pour la classification de documents arabes selon leurs polarités. Dans la première étape, il utilise un lexique d opinion construit à partir de deux ressources principales : (1) Le lexique anglais Sentistrength après avoir fait la traduction tout en respectant les intensités des mots, (2) Des dictionnaires en ligne permettant d enrichir le lexique par les synonymes des mots déjà existants. La taille du lexique n a pas été mentionnée, et l exactitude de l outil de classification pour l étape basée sur le lexique est de 48.7%. Dans [3], Abdul-Mageed et Diabont ont présenté le lexique "Sifaat", un lexique construit manuellement et contenant 3325 adjectifs annotés selon les trois classes positive, négative et neutre. Les résultats de l évaluation montrent une amélioration de 6% dans la classification de subjectivité et 40% dans la classification de polarité. Les auteurs ont proposé aussi d étendre le lexique par la traduction de trois lexiques d opinion anglais à savoir, SentiWordNet, Youtubelexicon et General Inquirer. Mais cette méthode, concentrée seulement sur les adjectifs, n a pas été évaluée. Abdulla et al. [4] ont proposé de créer un lexique en traduisant 300 mots de Sentistrength, puis en l enrichissant par les synonymes et les émoticons. La version finale du lexique comprenait 3479 entrées dont 1262 positives et 2217 négatives. Les résultats de l expérimentation sur le corpus collecté ont atteint 59.6% en terme d exactitude. Alhazmi et al. [5] ont proposé de construire une version arabe de SentiWordNet en passant par deux étapes : mettre à jour la base de WordNet arabe 2.0 en faisant le mappage vers WordNet Anglais 3.0, et faire le mappage de la base obtenu vers SentiWordNet Anglais 3.0. L évaluation de la couverture du lexique reporte que 5% des mots du corpus annoté ne sont pas dans le lexique. III. CREATION DU LEXIQUE LAP Etant donné que la création d un lexique d opinion "from scratch" est une tâche assez coûteuse, nous avons choisi de bénéficier des lexiques déjà disponibles, les améliorer et les enrichir. Pour ce faire, nous proposons une approche basée sur l exploitation des outils et des ressources linguistiques arabes (traducteur, lemmatiseur, dictionnaires, etc.), et des lexiques d opinion Anglais ou multilingue (MPQA lexicon, Sentistrengthlexicon), et sur l annotation semi-automatique de nouveaux corpus d opinion multi-domaines. Cette approche (Fig. 2) est constituée de quatre phases : phase d examination et de nettoyage, phase d enrichissement par importation, phase d enrichissement par annotation, et phase de reformation. Le lexique de départ que nous avons utilisé pour construire le lexique LAP est la version traduite de MPQA[6]. A. Phase d examination et de nettoyage Cette phase consiste dans un premier lieu à examiner manuellement le lexique traduit de MPQA. Cette opération nous a permis de dégager les anomalies suivantes : Existence de mots dupliqués dans la même classe. Par exemple : les mots احتقار (mépris),,( stupide )أحمق ( gêne )ازعاج se trouvent dans plusieurs entrées de la classe NegativeStrong. Existence de mots plutôt objectifs (n ont pas de polarité à priori). Par exemple : معاني قرار,( sens ) (décision), (traiter). يعامل Existence de mots mal classés (n ont pas vraiment la polarité attribuée). Par exemple : الخوف (peur) est classé comme étant un mot Positive Strong alors qu'il doit être classé comme Negative. ممتاز (excellent) est classé comme étant un mot Positive Weak alors qu'il est un mot positive Strong, ألم (douleur) est classé Positive Strong au lieu de Negative. L omission des Part of Speech (POS) des mots. En effet, le lexique est stocké sous forme de quatre fichiers de type textes représentant chaque classe sentimentale. D où l absence des POS qui peuvent être très utiles dans la détection des mots s écrivant de la même façon (i.e. ذهب peut avoir le sens de "l or" qui est un nom, et peut avoir le sens de "aller" qui est un verbe). Dans un deuxième lieu, et pour remédier à certaines de ces anomalies, nous avons procédé à une opération de nettoyage automatique en éliminant les mots dupliquées. Ces mots sont de deux types : (1) des mots dupliqués dans la même classe (ce sont des mots inutiles qui peuvent être supprimés sans aucun problème), (2) des mots dupliqués entre classes qui doivent être supprimés pour éviter l ambiguïté. En fait, à ce stade, le lexique ne dispose pas de technique de désambiguïsation. B. Phase d enrichissement par importation Cette phase est constituée de trois étapes à savoir, l enrichissement du lexique par traduction, l enrichissement par les synsets de ArabicWordNet et l enrichissement à partir du lexique Sentistrength. Enrichissement par traduction : la version arabe de MPQA ne contient pas la traduction de tous les mots de la version originale anglaise. En effet, le nombre de mots dans la version anglaise de MPQA est 8222 et le nombre de mots dans la version arabe est C est pourquoi, nous avons utilisé le traducteur de Google pour traduire le reste des mots. Parmi les mots qui ont نزيه été ajouté dans cette étape, il y a les mots ثأر,( probe ) (vengeance), بارز (marquant). Notons que pendant le processus de traduction, il y a des mots qui peuvent s ajouter au lexique à cause de l existence de plusieurs possibilités de traduction. De même, il y a des mots qui peuvent être éliminés car leurs correspondants en arabe existent déjà dans le lexique. 232

3 Fig. 1. Etapes de la construction du lexique LAP Enrichissement par les synsets de WordNet : Cette étape se base sur l hypothèse que les mots ayant les mêmes synonymes possèdent la même polarité. Par conséquent, nous avons enrichi le lexique LAP par les synsets de Arabic WordNet[7] correspondants à chaque mot du lexiquearabic MPQA. Ceci est fait en exploitant les relations de type "Near_synonym"de ArabicWordNet. Parmi les mots ajoutés au lexique dans cette étape : شديد (sévère) qui est le proche synonyme de عنيف (violent), منفصل (séparé) qui est le proche synonyme de مفكك (démonté), et واقعي (réaliste) qui est le proche synonyme de حقيقي (réel). Enrichissement à partir de Sentistrength : Pour enrichir le lexique LAP, nous avons exploité d autres lexiques d opinion multilingues disponibles gratuitement pour la recherche scientifique tel que Sentistrength[8]. Sa version arabe n est pas assez grande, elle compte seulement 1434 mots. Mais elle nous a été utile puisqu elle a alimenté le lexique LAP par de nouveaux mots, à titre d exemple, أناني (égoïste), األمثل (idéal) et (contentement). اطمئنان C. Phase d enrichissement par annotation Cette phase permet d enrichir le lexique par annotation de corpus. L annotation permet de marquer les mots subjectifs du texte et les ajouter au lexique selon leur classe sentimentale. Nous avons fait le marquage en utilisant un outil d annotation (Fig. 2) développé pour cette tâche et appelé l outil ASAT (Arabic Sentiment Annotation Tool). L outil ASAT offre la possibilité à l annotateur de marquer les mots avec différentes couleurs selon les classes sentimentales adoptées. Comme il lui offre aussi la possibilité de classer les phrases après avoir segmenté l énoncé avec l outil STAr [9].Le marquage des mots est fait selon les quatre classes du lexique Arabic MPQA à savoir, Negative Strong, Negative Weak, Positive Strong et Positive Weak. Fig. 2. Interface graphique de l outil ASAT Le corpus annoté utilisé pour l enrichissement du lexique est COPARD2 (Corpus of Opinion Arabic Debates), un corpus issu du domaine politique. Il est constitué d un ensemble de télé programmes de type débats politiques diffusés par la chaine Aljazeera. Ce corpus regroupant 20 épisodes transcrits est illustré par le tableau 1. TABLE I. CARACTERISTIQUES DU CORPUS COPARD2 Nombre de documents 20 Nombre total de mots 97,172 Nombre de segments 8,234 Nombre de segments négatifs 2,241 Nombre de segments positifs 2,075 Nombre de segments neutres 3,

4 TABLE II. EVOLUTION DE LA TAILLE DU LEXIQUE LAP Classe Arabic MPQA Arabic MPQA nettoyé Extension par traduction Extension par les synonymes de WordNet Extension parsentistrength Extension par annotation de COPARD2 lemmatisé NegativeStrong 2,860 1,752 2,657 2,666 2,666 2,991 2,281 NegativeWeak 2, ,152 1,155 2,057 3,056 2,689 PositiveStrong 1, ,378 1,386 1,386 1,990 1,726 PositiveWeak 1, ,131 1,608 1,437 Total 7,434 5,195 6,100 2,080 7,240 9,645 8,133 D. Phase de reformation Pour assurer une bonne couverture du lexique LAP et une compression de sa taille, nous avons stocké les mots sous forme de lemmes en utilisant l outil MADAMIRA [10]. Ceci permet d une part de détecter toutes les variantes des mots, et d autre part d économiser l espace mémoire et le temps d exécution. IV. ÉVALUATION ET RESULTATS Dans cette section, nous commençons par présenter les résultats de l enrichissement du lexique LAP après l exécution des étapes décrites dans la section précédente. Ensuite, nous décrivons les expériences réalisées pour évaluer la couverture du lexique. Deux types d expériences sont effectués : la classification de polarité des documents en utilisant un modèle d apprentissage automatique, et la classification de polarité des phrases en utilisant un modèle de règles. Finalement, nous exposons et discutons les résultats relatifs à chaque expérience. A. Résultats de l enrichissement du lexique LAP En suivant les quatre phases d enrichissement, le lexique LAP a évolué de 7,434 mots stockés sous forme de plusieurs variantes morphologiques, dupliqués et mal classés, à 8,133 mots lemmatisés et vérifiés. Cette évolution est illustrée par le tableau 2 en termes de nombre de mots pour chaque classe sentimentale et après l exécution de chaque traitement sur le lexique.evaluation de la couverture du lexique Pour évaluer la couverture du lexique, nous avons testé la classification du corpus OCA [11] avec le lexique Arabic MPQA [6] et avec le lexique LAP. Le corpus OCA est originalement annoté au niveau document. Pour faire l évaluation de la couverture du lexique LAP, nous avons ajouté un niveau d annotation supplémentaire à savoir le niveau phrase. Ceci a été assuré en utilisant l outil ASAT qui intègre l outil STAr [9] pour la segmentation des documents en phrases. Les phrases neutres détectées ont été ensuite éliminées étant donné que l objectif du test est l évaluation de la couverture du lexique qui ne contient pas de mots neutres. Ainsi, Le corpus OCA obtenu possède les caractéristiques détaillées dans le tableau 3. TABLE III. Caractéristique CARACTERISTIQUES DU CORPUS OCA Documents Négatifs Nombre de documents Nombre total de mots 94, ,309 Moyenne de mots par document Nombre total de segments 9,225 9,152 Nombre de segments négatifs 2,989 2,016 Nombre de segments positifs 1,327 2,659 Nombre de segments neutres 4,907 4,466 Documents Positifs 1) Évaluation par classification de polarité des documents : Cette évaluation est effectuée à travers une méthode de classification basée sur l apprentissage automatique. En fait, nous avons développé un outil de classification appelé AraSentiClass (Arabic Sentiment Classification) pour implémenter l algorithme SVM sous l environnement weka. L outil classifie les documents selon la méthode "bag of opinions " c'est-à-dire que ses critères d apprentissage sont les mots d opinion détectés grâce à un lexique d opinion ou à une liste de mots clefs. Deux tests sont effectués, le premier en utilisant le lexique Arabic MPQA et le deuxième en utilisant le lexique LAP. Les mesures d évaluation adoptés sont l exactitude (Accuracy), la précision, le rappel et le F1 score. Les résultats montrent une amélioration dans le F1 score par 8% (tableau 4). TABLE IV. Mesure CLASSIFICATION DE POLARITE DES DOCUMENTS DU CORPUS OCA AVEC LES DEUX LEXIQUES Lexique Arabic MPQA Exactitude 76.6% 83.4% Précision 72.4% 81.2% Rappel 79.04% 85% F1 score 75% 83% 234

5 2) Évaluation par classification de polarité des phrases : Cette évaluation est effectuée à travers une méthode de classification basée sur un modèle de règle, dont l outil SentiClass emploie pour prédire la classe de la phrase. Le modèle utilisé est un modèle simple prenant en considération la négation seulement comme opérateur d opinion. De plus, il s appuie sur l hypothèse que la polarité d une phrase est calculée en faisant la somme des polarités des mots d opinion qui la constituent. Ces mots sont détectés par recherche directe du mot pour le lexique Arabic MPQA et par passage au lemme du mot pour le lexique LAP. Le nombre total des phrases testées après l élimination des phrases neutres est 8,991 phrases dont 3,986 sont positives et 5,005 sont négatives. Les résultats de l évaluation montrent un avancement dans le F1 score de presque 9.5% (tableau 5). TABLE V. Mesure CLASSIFICATION DE POLARITE DES PHRASES DU CORPUS OCA AVEC LES DEUX LEXIQUES Lexique Arabic MPQA Exactitude 54.55% 64.17% Précision 49.04% 57.34% Rappel 64.05% 74.93% F1 score 55.54% 64.96% V. CONCLUSION AND PERSPECTIVES Dans cet article, nous avons présenté nos travaux portant sur la création d un lexique d opinion pour la langue arabe. La méthode proposée est basée sur un enrichissement automatique et un autre manuel du lexique Arabic MPQA. L évaluation de la couverture du lexique est effectuée sur le corpus OCA en testant deux niveaux de classification : le niveau document et le niveau phrase. Les résultats de l évaluation avec le lexique LAP sont encourageants vu que nous avons pu augmenter r le F1 score de la classification de plus de 9%. Comme perspectives, nous envisageons d'améliorer la qualité du lexique en faisant recours à une étape de validation conduite par des experts. L objectif est de vérifier que la polarité attribuée à chaque mot correspond bien au contexte le plus fréquent dans lequel il est utilisé. De plus, nous envisageons d'expérimenter l approche semi-automatique (bootstrapping) pour enrichir le lexique en se basant sur des patrons lexicaux. Finalement, nous envisageons de traiter le problème d ambiguïté des mots d opinion susceptibles d être affectés à plusieurs classes de polarité. Ceci peut se faire à notre avis à travers l ajout d'étiquettes de POS dans le lexique et à travers l attribution de score à chaque mot semblablement au lexique SentiWordNet[12]. REFERENCES [1] 1. M. Elhawary and M. Elfeky. Mining Arabic Business Reviews. In Proceedings of International Conference on Data Mining Workshops (ICDMW), pages IEEE, [2] 2. A. El-Halees. Arabic Opinion Mining Using Combined Classification Approach. In Proceedings of the International Arab Conference on Information Technology (ACIT), [3] 3. M. Abdul-Mageed and M. Diab. Toward building a large-scale Arabic sentiment lexicon. In Proceedings of the 6th International Global Word- Net Conference, Matsue, Japan, [4] 4. Nawaf A. Abdulla, Nizar A. Ahmed, Mohammed A. Shehab and Mahmoud Al-Ayyoub: Arabic Sentiment Analysis: Lexicon-based and Corpus-based, 2013 IEEE Jordan Conference on Applied Electrical Engineering and Computing Technologies (AEECT), [5] 5. Alhazmi, S., Black, W. and McNaught, J, Arabic SentiWordNet in Relation to SentiWordNet 3.0, International Journal of Computational Linguistics et 4(1):1-11. [6] 6. Elarnaoty M., AbdelRahman S., Fahmy A., «a machine learning approach for opinion holder extraction in Arabic», International Journal of Artificial Intelligence & Applications (IJAIA), Vol.3, No.2, March [7] 7. Boudabous M.M, Chaâben Kammoun N., Khedher N., Hadrich Belguith L., Sadat F., Arabic WordNet semantic relations enrichment through morpho-lexical patterns, ICCSPA 13,, February 12-14, Sharjah, UAE, (2013). [8] 8. Thelwall, M., Buckley, K., Paltoglou, G. Cai, D., & Kappas, A. (2010). Sentiment strength detection in short informal text. Journal of the American Society for Information Science and Technology, 61(12), [9] 9. Lamia Hadrich Belguith, Leila Baccour, Ghassan Mourad, Segmentation de textes arabes basée sur l analyse contextuelle des signes de ponctuations et de certaines particules, TALN 2005, Dourdan, 6-10 juin [10] 10. MADAMIRA: A Fast, Comprehensive Tool for Morphological Analysis and Disambiguation of Arabic Arfath Pasha, Mohamed Al- Badrashiny, Mona Diab, Ahmed El Kholy, Ramy Eskander, Nizar Habash, Manoj Pooleery, Owen Rambow, and Ryan M. Roth, LREC [11] 11. Mohammed Rushdi-Saleh, Maria Teresa Martín-Valdivia, Luis Alfonso Ureña López, José M. Perea-Ortega: OCA: Opinion corpus for Arabic. JASIST 62(10): (2011). [12] 12. S. Baccianella, A. Esuli, and F. Sebastiani SentiWordNet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining. In Proceedings of the 7th Conference on International Language Resources and Evaluation (LREC 10), pages