Comparaison d approches statistiques pour la classification de textes d opinion. Michel Plantié, Gérard Dray, Mathieu Roche (LGI2P/EMA LIRMM)

Dimension: px

Commencer à balayer dès la page:

Download "Comparaison d approches statistiques pour la classification de textes d opinion. Michel Plantié, Gérard Dray, Mathieu Roche (LGI2P/EMA LIRMM)"

Violette Fradette
il y a 8 ans
Total affichages :

1 Comparaison d approches statistiques pour la classification de textes d opinion Michel Plantié, Gérard Dray, Mathieu Roche (LGI2P/EMA LIRMM)

2 Caractéristiques des traitements Approche identique pour les 4 corpus Traitement linguistiques peu nombreux Approche statistiques essentiellement

3 Schéma général du traitement : 1- Prétraitements et Vectorisation Calcul index Index complet Réduction index Index réduit Corpus Appren tissage Lemmatisation Vecteurs textes Vecteurs textes Vecteurs textes Vectorisation Vectorisation (Apprentissage et test)

réduit Corpus Appren tissage Lemmatisation Vecteurs textes

4 Prétraitements, réduction d index Lemmatisation Élimination des articles, ponctuation faible Réduction par information mutuelle [Cover et al., 1991] : I( C, M ) = P( c)log( P( c)) + P( f ) P( c f )log( P( c f )) t t t t c C f {0,1} c C t

5 (Corpus d Apprentissage) Schéma général du traitement : 2- Modélisation et Classification Calcul modèle (Corpus de test) Attribution classe Résultats

6 Modélisation Modèles statistiques Quatre méthodes principales de calcul de modèles Naïve Bayes Multinomial Réseaux de Neurones type RBF Machine à Vecteurs Support SVM Arbres de décision C4.5 (Quinlan)

Multinomial Réseaux de Neurones type RBF Machine

7 Naïve Bayes Multinomial Modèle Probabiliste Combinaison de la loi de Bayes, et de la loi Multinomiale (hypothèse d indépendance des probabilités de chaque mot) => Calcul de l appartenance d un document à une classe : c j C 1 i n ^ ^ count(mi) C map = arg max P(C j)* (P(m i C j) ) c j C 1 i n ^ C arg max log P(C ) count(mi) * log(p(m C )) = + map j i j ^ - P(m i C j ) calculé par l estimateur de Laplace

une classe : c j C 1 i n ^ ^ count(mi) C map = arg max P(C j)* (P(m i C j) ) c j C 1 i n ^ C arg max

8 Machine à Vecteurs Support SVM Calcul de l Hyperplan de séparation entre classes Maximises la distance entre l hyperplan et les points difficiles proches de la frontière de décision Une intuition: s il n y a pas de points proches de la surface de décision, alors il n y a pas de décisions incertaines de classification SVMs maximise la marge autour autour de l hyperplan séparateur (large margin classifiers) La fonction de décision est entièrement spécifiée par un sous ensemble d échantillons d apprentissage : Les vecteurs support. Problème de Programmation Quadratique Quatre types de résolutions : linéaire, polynomiale, RBF, sygmoïde

SVMs maximise la marge autour autour de l hyperplan séparateur (large margin classifiers) La fonction de décision est entièrement spécifiée par un sous

9 Réseaux de Neurones type RBF Un RBF est constitué uniquement de 3 couches : La couche d entrée : elle retransmet les inputs sans distorsion. La couche RBF : couche cachée qui contient les neurones RBF. Les neurones sont des gaussiennes. La couche de sortie : simple couche qui contient une fonction linéaire. Chaque couche est fully connected à la suivante.

La couche RBF : couche cachée qui contient les neurones RBF.

10 Réseaux de Neurones type RBF W 1 W 2 La sortie du réseau est une combinaison linéaire des sorties des neurones RBF multipliés par le poids de leur connexion respective. W 3 ENTREE SORTIE = N j= 1 w j s j n W N N Chaque neurone RBF contient une gaussienne centrée sur un point de l espace d entrée : f(x) = EXP(x² / (2* Beta²)) Pour une entrée donnée, la sortie du neurone RBF est la hauteur de la gaussienne en ce point.

W 3 ENTREE SORTIE = N j= 1 w j s j n W N N Chaque neurone RBF contient une gaussienne centrée sur un

11 Méthode d évaluation de l apprentissage Validation croisée (S;x) : // S est un ensemble, x est un entier Réduction d index sur S Découper S en x parties égales S1,, Sx Pour i de 1 à x Construire un modèle M avec l'ensemble S - Si Evaluer une mesure d erreur ei de M avec Si Fin Pour En général le nombre x de parties est fixé à 10. Inclure dans la validation croisée la réduction d index

Construire un modèle M avec l'ensemble S - Si Evaluer une mesure d erreur ei de M avec Si Fin

12 Méthode d évaluation de l apprentissage Validation croisée (S;x) : // S est un ensemble, x est un entier Découper S en x parties égales S1,, Sx Pour i de 1 à x Fin Pour Réduction d index sur S - Si Construire un modèle M avec l'ensemble S - Si Evaluer une mesure d erreur ei de M avec Si En général le nombre x de parties est fixé à 10.

Fin Pour Réduction d index sur S - Si Construire un modèle M avec l'ensemble S - Si

13 Corpus Nombre initial d unités linguistiques Résultats : taille des index Nombre d unités linguistiques Après réduction Corpus Corpus Corpus Corpus

linguistiques Après réduction Corpus 1 36214 704

14 Résultats Fscore CORPUS 1 : Validation Croisée Jeu de test critiques cinéma, Livres, Disques Type de classifieur Fscore Fscore RBF-Network Naive Bayes Multinomial Laplace / Dirichlet SVM Classe Mauvais Classe Moyen Classe Bien 0.86 Classe Mauvais / Classe Moyen / Classe Bien / Classe Mauvais Classe Moyen Classe Bien (meilleur résultat officiel) (non publié) (non publié)

708 Classe Bien 0.86 Classe Mauvais 0.755 / 0.586 Classe Moyen 0.595 / 0.539 Classe Bien 0.825 / 0.

15 Résultats Fscore CORPUS 2 : critiques Jeux vidéos Validation Croisée Jeu de test Type de classifieur Fscore Fscore RBF-Network Naive Bayes Multinomial Laplace / Dirichlet SVM Classe Mauvais Classe Moyen Classe Bien Classe Mauvais / Classe Moyen / Classe Bien / Classe Mauvais Classe Moyen 0.82 Classe Bien (non publié) (meilleur résultat officiel)

849 Classe Bien 0.821 Classe Mauvais 0.805 / 0.700 Classe Moyen 0.814 / 0.647 Classe Bien 0.851 / 0.

16 Résultats Fscore CORPUS 3 : Relectures d articles Validation Croisée Jeu de test Type de classifieur Fscore Fscore RBF-Network Naive Bayes Multinomial Laplace / Dirichlet SVM Classe Mauvais Classe Moyen Classe Bien Classe Mauvais / Classe Moyen 0.543/ Classe Bien / Classe Mauvais Classe Moyen Classe Bien (non publié) (meilleur résultat officiel)

605 Classe Moyen 0.594 Classe Bien 0.668 Classe Mauvais 0.631 / 0.644 Classe Moyen 0.543/ 0.

17 Résultats Fscore CORPUS 4 : Débats Parlementaires Validation Croisée Jeu de test Type de classifieur Fscore Fscore RBF-Network Naive Bayes Multinomial Laplace / Dirichlet SVM Arbres de décision C 4.5 Quinlan Classe Contre Classe Pour (meilleur résultat officiel) Classe Contre / Classe Pour / (non publié) Classe Contre Classe Pour 0.73 (non publié) Classe Contre Classe Pour 0.525

5 Quinlan Classe Contre 0.701 0.6179 Classe Pour 0.671 (meilleur résultat officiel) Classe Contre 0.806 / 0.791 0.

18 Vote : Majorité Moyenne Fondé sur la matrice de «confusion» Minimum, Maximum Avec Pré filtrage Autres méthodes tentées : Élimination des phrases inutiles : possible sur le corpus 1 seulement Avec Synonymes 2 approches : Index complet mots : Élimination des mots clés synonymes sur l index Index réduit de mots : les mots non présents synonymes de mots de l index augmentent la valeur de la coordonnée du mot de l index

2 approches : Index complet mots : Élimination des mots clés synonymes sur l index Index réduit de mots

19 De nouveaux résultats avec Mots et Bi-grammes (lemmes) : Vote Naïve Bayes M, SVM, SVM2 Moyenne de probabilités Fscore Validation Croisée avec index CORPUS 1 : Critiques cinéma (minimum de probabilités) CORPUS 2 : Jeux vidéos Classe Mauvais Classe Moyen % Classe Bien Classe Mauvais Classe Moyen Classe Bien (61,02) 79.1% (78,29) CORPUS 4 : Débats Parlementaires Classe Contre % Classe Pour (69,07)

Classe Mauvais 0.648 Classe Moyen 0.438 61.3% Classe Bien 0.753 Classe Mauvais 0.758 Classe Moyen 0.

20 Un challenge intéressant Les algorithmes SVM et Naïve Bayes Multinomial Très robustes Résultats à améliorer Les techniques avec synonymes décevantes Conclusion Les techniques avec élimination des phrases creuses Les Votes par moyenne améliorent les résultats Les techniques Mots + Bigrammes (lemmes) améliorent légèrement les résultats

Les techniques avec élimination des phrases creuses Les Votes par moyenne

21 Merci de votre attention.. Questions?..

Documents pareils

PROBABILITES ET STATISTIQUE I&II

PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits