Analyse de sentiments et extraction des opinions pour les sites e-commerce : application sur la langue arabe

Transcription

1 Analyse de sentiments et extraction des opinions pour les sites e-commerce : application sur la langue arabe Mohamed Ali Sghaier mohamed.ali.sghaier1@gmail.com Houssem Abdellaoui hsm.abdellaoui@gmail.com Résumé Rami Ayadi ayadi.rami@planet.tn Avec l émergence du web 2.0, les internautes sont de plus en plus inviter à exprimer leurs opinions à propos de différents sujets dans des réseaux sociaux, des sites de e-commerce, des sites d actualités, des forums, etc. Une majeur partie de ces informations, qui décrivent des sentiments devient l objet d études dans plusieurs domaines de recherche tel que : «La détection de opinions et l analyse des sentiments». En fait c est le processus d'identification de la polarité des sentiments détenus dans les avis trouvés dans les interactions des internautes sur le web et de les classer comme positif, négatif ou neutre. Dans cet article, nous proposons l implémentation d'un outil d'analyse des sentiments qui a pour rôle de détecter la polarité des opinions à partir des revues extraites des sites web qui se spécialisent dans le commerce électronique ou les revues des produits en langue arabe. Les résultats montrent des lacunes dans ce domaine de recherche, d abord le manque de ressources lors de la collection des données. Deuxièmement la complexité de traitement de la langue arabe surtout les dialectes dans la phase de prétraitement. Mais finalement les résultats obtenus sont prometteurs. Mots-clés Analyse de Sentiment; Opinion Mining; Revues des produits; Langue Arabe, TAL I. INTRODUCTION Depuis l'apparition de la notion de Web 2.0 et l émergence des sites communautaires, l internet devient le moyen le plus sophistiqué qui donne la possibilité de communiquer, de s exprimer, à travers les réseaux sociaux, les blogs les forums à une échelle mondiale. Une majeur partie de ces informations, dont leur taille est en pleine expansion, qui en une sorte ou autre décrivent des opinions, sont devenu l objet de plusieurs domaines de recherche et principalement «Analyse de Sentiments» ou «Opinion Mining». Un peu récent, «Analyse des sentiment» attire l intention de plusieurs laboratoires de recherche d une part. D autre part Mounir Zrigui mounir.zrigui@fsm.rnu.tn le grand profit qu il pourra accorder au domaine industriel encourage les grandes sociétés du globe à s y investir. En effet, l analyse des sentiments est un des nouveaux défis apparu en traitement automatique des langues qui consiste à analyser les opinions des internautes à propos d un sujet donné pour détecter son polarité (positive / négative). Notre travail s inscrit dans cette mouvance, il vise les interactions des internautes, ces derniers peuvent toucher plusieurs domaines (arts, politique, sport, économie ). On a choisi de s accentuer sur l économie et plus précisément sur les revus des produits. Ce domaine est devenu un enjeu majeur pour toute entreprise désireuse de mieux comprendre ce qui plait et déplait à ses clients ainsi que pour les clients qui souhaitent comparer les produits avant de les acquérir [1]. La plupart des travaux de recherche effectués dans ce domaine ont été menés sur des langues européennes (surtout en anglais) et asiatiques (japonais et chinois). Néanmoins, très peu de travaux ont été réalisés sur le plan des langues qui sont morphologiquement riches (comme l'arabe et tchèque). On a pris le challenge de travailler sur la langue arabe. Tout au long de notre travail, nous essaierons de mettre l'accent sur les différents problématiques qui posent un défi à la communauté scientifique qui doit être en mesure de proposer des outils efficaces permettant de faire les traitements nécessaires pour l extraction des opinions et l analyse de sentiment. On va tout d abord commencer par présenter la première phase «collection des données», ensuite décortiquer les différents types de taches réalisées pour le prétraitement appliqué sur les données, puis on arrive à l étape la plus délicate qui est la classification, c'est-à-dire l identification de la polarité des avis par rapport à un produit, les différents expérimentations faites et les résultats obtenus. 57

2 II. TRAVAUX RELIÉS Les recherches dans ce domaine ont commencé dès l année 2002 par Pang, Lee et Vaithyanathanc [2], qui ont travaillé sur la classification au niveau document à travers des méthodes d apprentissage automatique (Naive, maximum entropy classification et support vector machines) appliqué sur des critiques des films en anglais. Plusieurs améliorations ont ensuite été proposées sur plusieurs langues telles que le français, allemand, russe Au cours des dernières années, des chercheurs ont relevé le défis de l'analyse des sentiments et détections des opinions dans les langues dites «riche morphologiquement : MRL». En effet, une langue MRL est une langue dans laquelle les informations importantes concernant les unités syntaxiques et les relations sont exprimées au niveau du mot [3]. La langue arabe constitue une de ces langues qui a commencé à attirer un certain intérêt. Parmi les travaux qui s y ont intéressé, on cite M. Elhawary et M. Elfeky [4] qui ont appliqué l'analyse des sentiments sur des critiques arabes pour extraire des descripteurs en utilisant un lexique de mots arabe afin d identifier la polarité (positive, négative ou neutre) des avis. Aussi Motaz K. Saad et W. Ashour [5] ont étudié l impact de la phase de prétraitement du texte, la racinisation ou désuffixation (stemming), normalisation de texte et la pondération des termes sur la classification des textes arabe. M. Hijjawi et Z. Bander [6] ont représenté une approche d identification des opinions basée sur l'exploration ontologique de textes. Un lexique d émotions et des techniques de classification supervisées été utilisé dans l extraction des opinions et pour détecter la polarité des avis. A. Ziani, Y. Tlili Guiassa et N. Azizi [7] ont proposé un système qui opère en trois phases, la première consiste à la construction et le prétraitement manuel du corpus recueillis à partir des journaux arabes algériens. La seconde phase est le choix des caractéristiques pour la représentation des commentaires. Enfin la troisième phase est la réalisation du module de classification combinant quatre classificateurs SVM avec des fonctions noyaux différents. Ils ont utilisé deux stratégies nommé un contre un et un contre tous dont les résultats ont prouvé que la première stratégie est meilleure que la deuxième avec les commentaires des journaux en langue arabe. A. Mountassir, H.Benbrahim et I.Berrada [8] ont investiguer la classification supervisée de sentiment dans un contexte arabe. Ils ont utilisé deux corpus arabes différents à plusieurs niveaux et trois classificateurs standards à savoir (NB), Machine (SVM) et K- Nearst Neighbor (KNN). Les résultats obtenus montrent que NB et SVM sont efficaces et compétitifs. Néamoins, la performance de KNN dépend du corpus. Mohammed Rushdi-Saleh et M. Teresa Martín-Valdivia [9] ont appliqué les classificateurs Machine (SVM) et (NB) pour identifier la polarité des commentaires des internautes. Les auteurs ont collecté un corpus en arabe nommé OCA (Opinion Corpus for Arabic), puis ils ont traduit ce dernier en version anglaise appelé English version OCA (EVOCA) pour l application de la tâche de classification. Contrairement à notre travail ou nous avons évité la traduction qui diminue la précision des résultats sur tout qu il y a des commentaires rédigés dans des dialectes variés. III. COLLECTION DES DONNÉES Notre corpus est collecté manuellement par nous-même à partir de plusieurs ressources web, à titre d exemples reviewzat 1, jawal123 2, jumia 3 Il est sous forme d un ensemble de documents textes, chaque document représente un produit dont chaque produit est représenté par son type, son nom et les revues (les commentaires) sur ce dernier. On a sélectionné cinq types de produits qui forment ce corpus, les types sont Caméra, PC portable, Téléphone portable, Tablet, Télévision. Le corpus contient 250 documents, 2812 phrases et mots. IV. ANNOTATION DE CORPUS L'étiquetage ou l'annotation des opinions est une tâche humaine qui nécessite d'énormes efforts. Et afin de réaliser ce processus, deux évaluateurs ont travaillé sur l'annotation des revues qu on a collecté, un premier expert d évaluation de produits et rédaction des revues et un deuxième spécialiste dans la langue arabe (enseignant). On a observé qu'ils avaient un haut degré d'accord dans leur classification (plus de 92%). Pour les revues qu'ils ont été annotés différemment, un troisième évaluateur non spécialiste a été utilisé pour valider les choix de deux autres annotateurs pour avoir un certain degré de fiabilité d annotation pour notre corpus. Finalement, on a obtenu un corpus qui contient 250 documents annotés comme ceci, 125 documents positifs 125 documents négatifs. V. LES DÉFIS A. L utilisation des émoticônes Certaines personnes trouvent que l utilisation des smileys dans leurs interactions dans le web est plus émotionnelle et reflète vraiment ce qu elles sentent (La joie, la colère, le dégoût, la surprise ). Pour cela on a développé un petit convertisseur (symbole vers mot) qui fonctionne comme le montre le tableau suivant. Table 1: Exemples de conversions à partir d'un symbole vers un mot Émoticône Symbole Commentaire Commentaire après conversion de l icône (: هاتف روعة (: هاتف روعة سعيد ^_^ جهاز ممتاز فاق كل التوقعات ^_^ جهاز ممتاز فاق كل التوقعات مستمتع ): الكاميرا سيئة للغاية ): الكاميرا سيئة للغاية حزين دقة الكاميرا دون المتوقع خاب أملي دقة الكاميرا دون المتوقع /: :/

3 B. L utilisation des mots allongés D autres internautes trouvent que la répétition des caractères dans un mot exprime l affirmation, l accentuation Alors on a développé un correcteur qui a pour but d éliminer la redondance des caractères tout en gardant la signification des جميل جدا جميييييييل جدااااااااا : Exemple mots. C. L'utilisation de dialectes Le défi à ce niveau est que beaucoup de gens ont tendance à utiliser le dialecte de son pays pour exprimer leur opinion, ce qui rend la tâche de manipulation de données plus complexe. D. Commentaires qui contiennent plusieurs langues Il est également possible de trouver des commentaires en anglais, français ou espagnol mélangés avec des phrases en arabe. Exemple «i like it من أفضل الهواتف لهذا العام» ou bien». ال mobile ممتاز «E. Des commentaires non liés au thème Les gens tentent de faire de nombreux commentaires dans les différents sites web sur n importe quel sujet avec n importe quels mots qui ne portent pas un sens vis à vis d un thème. Pour surmonter tous ces types de bruit attaché aux données, on a développé un prototype qui peut faire le traitement demandé pendant la phase de prétraitement. VI. CLASSIFICATION La classification consiste à analyser de nouvelles données et à les affecter, en fonction de leurs caractéristiques ou attributs, à telle ou telle classe prédéfinie. Le but principal de cette tâche est d identifier les classes auxquelles appartiennent des données selon certains descripteurs [10] [11]. Dans cette section, nous présentons des détails sur les expériences que nous avons menées. On commence par le stemming qui est l'un des facteurs les plus importants qui a un impact direct sur la performance d un système d'analyse des sentiments. C'est le processus de suppression de tous les préfixes et les suffixes d'un mot pour produire le stem ou la racine L'utilisation de l'arabic Stemmer rend la détection de la polarité de ces mots une tâche difficile, car en arabe à partir d une même racine, nous pouvons générer diverses formes de mots qui n'ont pas une signification similaire. Par exemple, le «مروع» (merveilleux) et «رائع» stemming des deux mots (terrible) donne le mot «روع» (horreur). Nous pouvons voir que la polarité de «رائع» (merveilleux) est inversée par le stemming [8]. Cependant lors de l'utilisation de light stemming la tâche est devenue dépouiller un petit ensemble de préfixes et / ou suffixes tout en conservant le sens des mots. Par exemple, le «مسافر» (voyageurs) se transformer en «المسافرون» mot (voyageur) non pas en la racine «سفر» (Voyage). Il est important de mentionner l existence dans un troisième algorithme similaire à l algorithme de l arabic nommé arabic khoja, il est développé par Shereen Khoja [12] qui a pour rôle de supprimer les plus long suffixes et le préfixes. Il compare ensuite le mot restant avec des motifs verbaux et nominaux pour l extraction de la racine. Le fait appel à plusieurs fichiers de données linguistiques comme une liste de tous les caractères diacritiques, caractères de ponctuation, des articles précis, et 168 stops words.. Nous avons testé l'impact de trois types de s, Arabic Stemmer, Arabic Light Stemmer et Khoja. VII. ARCHITECTURE DU PROTOTYPE Notre prototype possède une architecture modulaire. Ses tâches principales sont les suivantes : le collecte des revues sur Internet à partir des sites web spécialisée dans le commerce électronique, ensuite le prétraitement des données, puis la phase de racination (stemming) ou se fait la réduction des mots à leurs racines, et finalement la détection de la polarité des opinions selon le classificateur SVM soit positive soit négative. La figure ci-dessous représente l architecture générale de notre prototype pour l extraction des opinions et l analyse de sentiments. Figure 1 : l architecture générale du système d analyse de sentiments VIII. EXPÉRIMENTATIONS Nous avons fait nos tests avec plusieurs types d algorithmes de classification. On cite à titre d exemple le (SVM), (NB), proche voisin (KPPV). Et ces derniers sont appliqués sur différent combinaison de données prétraitées. La phase de test de la performance des classificateurs appliqué sur le corpus est faite à l aide de l outil libre weka, en fait c est une suite populaire de logiciels d'apprentissage automatique. Écrite en Java, développée à l'université de Waikato, Nouvelle-Zélande [13]. Pour réaliser les tests de performances, il existe plusieurs techniques, on a choisi deux parmi eux qui sont : La validation croisée et pourcentage scission. 59

4 A. La validation croisée Selon J. Chiquet [14] la validation croisée est une alternative très populaire pour gérer la parcimonie des données. Il s agit de découper le jeu de données en K groupes tirés aléatoirement qui font successivement servir d ensemble de test. On peut alors calculer une erreur de test pour chacun des groupes et en faire la moyenne, ce qui constitue l estimateur de l erreur de test par validation croisée. Dans notre cas, le nombre K est égal à 10, c'est-à-dire l ensemble d apprentissage est coupé en 10 groupes. L algorithme va effectuer un apprentissage dix fois sur neuf parties et le modèle sera évalué sur la dixième restante. Les dix évaluations sont alors combinées. Les tables et figures ci-dessous présentent les résultats obtenus par rapport aux différents classificateurs en termes de précision et rappel avec la méthode d'estimation de fiabilité validation croisée ou en anglais cross-validation. En terme de precision Table 2 : Les résultats de classification par la méthode d'évaluation validation croisée en terme de précision En terme de rappel Table 3 : Les résultats de classification par la méthode d'évaluation validation croisée en terme de rappel Corpus à l'état brut 0,693 0,885 0,828 Corpus + light 0,705 0,902 0,857 Corpus + khoja 0,705 0,902 0,857 Corpus + normalisation 0,607 0,877 0,869 0,578 0,898 0,873 0,578 0,898 0,873 Corpus à l'état brut 0,712 0,886 0,834 Corpus + light 0,76 0,904 0,861 Corpus + khoja 0,76 0,904 0,861 Corpus + normalisation 0,618 0,885 0,871 0,58 0,912 0,876 0,58 0,912 0,876 Figure 3 : Les résultats de classification par la méthode d'évaluation validation croisée en terme de rappel D après les figures 2 et 3, on conclut qu il y a un classificateur qui a donné des performances moins bonnes que les deux autres, il est le classificateur k-plus (KPPV). Contrairement aux résultats obtenus par le (NB) et le (SVM) qui sont plus ou moins. Sauf que le SVM est le plus efficace avec les différents types de combinaison de données, on a atteint 0,904 de précision et 0,902 de rappel avec la méthode d estimation de fiabilité validation croisée. Figure 2 : Les résultats de classification par la méthode d'évaluation validation croisée en terme de précision 60

5 B. Pourcentage scission Dans cette méthode, le corpus est divisé au hasard en deux ensembles de données disjoints. Le premier ensemble c est l ensemble qu à partir de lui le système va extraire les connaissances, il est appelé l'ensemble d apprentissage (training sets). Le deuxième ensemble est composé des données à classifier appelée l ensemble de test (test sets). Dans notre cas, 80% des données sont pour l ensemble d apprentissage et le reste 20% c est pour l ensemble de teste. Les figures qui suivent présentent les résultats obtenus par rapport aux différents classificateurs en termes de précision et rappel. En terme de precision Table 4 : Les résultats de classification par apprentissage en termes de précision En terme de rappel Table 5 : Les résultats de classification par apprentissage en terme de rappel Corpus à l'état brute 0,776 0,939 0,816 Corpus + light 0,735 0,939 0,878 Corpus + khoja 0,735 0,939 0,878 Corpus + normalisation 0,714 0,898 0,918 0,653 0,918 0,939 0,653 0,918 0,939 Corpus à l'état brute 0,803 0,946 0,822 Corpus + light 0,799 0,946 0,881 Corpus + khoja 0,799 0,946 0,881 Corpus + normalisation 0,788 0,899 0,922 0,801 0,93 0,946 0,801 0,93 0,946 Figure 5 : Les résultats de classification par apprentissage en terme de rappel Idem pour ce qui concerne le classificateur KPPV lors de changement de méthode d évaluation «pourcentage scission», on trouve qu il n a pas arrivé à donner des performances que les deux autres classificateurs. Cette fois le SVM a gagné le challenge que sur le corpus a l état brute, le corpus avec le light et le corpus avec le khoja par contre le NB est plus efficace avec les combinaisons de données corpus plus normalisation, corpus plus normalisation plus khoja et et corpus plus normalisation plus light. On a atteint 0,946 de précision et 0,939 de rappel. Figure 4 : Les résultats de classification par apprentissage en termes de précision 61

6 IX. CONCLUSION L application de trois algorithmes de classification (NB), (SVM) et (KPPV) sur un corpus en langue arabe a montré la supériorité des deux premiers classificateurs par rapport au troisième. Les résultats obtenus montrent l impact de la phase de prétraitement et l application de différentes techniques de stemming par rapport à un ensemble de données (revues de produits) dans des dialectes arabes variés. L évaluation est faite par les deux techniques «validation croisée» et «pourcentage scission», les meilleures précisions atteintes sont dans les cas suivants : L utilisation de avec un corpus normalisé plus l application de Khoja Stemmer ou Light Stemmer à donner 0,946 comme précision et 0,939 comme rappel. L utilisation de soit avec le corpus à l état brute soit avec le corpus plus l application de Khoja Stemmer ou Light Stemmer à donner aussi 0,946 pour la précision et 0,939 pour le rappel. REMERCIEMENTS Je tiens à exprimer ma plus grande reconnaissance envers les personnes qui m ont aidé et m'ont soutenu pour la réalisation de cet article. RÉFÉRENCES [1] D. Poirier, F. Fessant et C. Bothorel, «Ap Statistique et Linguistique Pour la Classification,» Revue des Nouvelles Technologies de l'information RNTI-E-17, pp , [2] P. Bo, L. Lillian et S. Vaithyanathan, «Thumbs up? Sentiment Classification using Machine Learning,» Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), vol. 10, pp , Juillet [3] R. Ayadi, M. Maraoui et M. Zrigui, «Latent Topic Model for Indexing Arabic Documents,» International Journal of Information Retrieval Research, vol. 4, pp , [4] M. Elhawary et M. Elfeky, «Mining Arabic Business Reviews,» chez IEEE International Conference on Data Mining Workshops, Mountain View, CA, USA, [5] M. Khaled Saad et W. Ashour, «Arabic Text Classification Using Decision Trees,» pp , Novembre [6] M. Hijjawi et Z. Bandar, «An Arabic Stemming Approach using Machine Learning with Arabic Dialogue System,» ICGST AIML-11 Conference, April [7] A. Ziani, Y. Tlili Guiassa et N. Azizi, «Détection de polarité d opinion dans les forums en langues arabe par fusion de plusieurs SVMs,» TALN-RÉCITAL, Juin [8] A. Mountassir, H. Benbrahim et I. Berrada, «A crossstudy of Sentiment Classification on Arabic corpora,» Research and Development in Intelligent Systems XXIX. [9] M. Rushdi-Saleh, M. T. Martín-Valdivia, L. A. Ureña- López et J. M. Perea-Ortega, «Bilingual Experiments with an Arabic-English Corpus for Opinion Mining,» Proceedings of Recent Advances in Natural Language Processing, p , September [10] R. Ayadi, M. Maraoui et M. Zrigui, «Intertextual distance for Arabic texts classification,» ICITST, pp. 1-6, [11] M. Zrigui, R. Ayadi, M. Mars et M. Maraoui, «Arabic Text Classification Framework Based on Latent Dirichlet Allocation,» Journal of Computing and Information Technology - CIT 20, vol. 2, p , [12] S. Khoja, «Shereen Khoja - Research,» 15 mars [En ligne]. Available: [Accès le 12 Aout 2014]. [13] Machine Learning Group at the University of Waikato, «Weka 3: Data Mining Software in Java,» 4 Janvier [En ligne]. Available: [Accès le 6 Juillet 2014]. [14] J. Chiquet, «Validation croisée pour le choix de paramère de méhodes,» Module MPR option modélisation,