UNIVERSITÉ DU QUÉBEC À MONTRÉAL MODÉLISATION CONNEXIONNISTE DU REPÉRAGE DE L'INFORMATION

Transcription

1 UNIVERSITÉ DU QUÉBEC À MONTRÉAL MODÉLISATION CONNEXIONNISTE DU REPÉRAGE DE L'INFORMATION THÈSE PRÉSENTÉE COMME EXIGENCE PARTIELLE DU DOCTORAT EN INFORMATIQUE COGNITIVE PAR GUY DESJARDINS AOÛT 2006

2 TABLE DES MATIÈRES LISTE DES FIGURES...vi LISTE DES TABLEAUX...ix RÉSUMÉ...xi DÉDICACE... xiv REMERCIEMENTS...xv INTRODUCTION...1 CHAPITRE I MODÈLES POUR LE REPÉRAGE DE L INFORMATION Les modèles probabilistes Bayésien naïf Bayésien classique Les réseaux à inférence Réseau à inférence Réseau de croyances Les modèles logiques Booléen classique Booléen flou Booléen étendu Ensembles fréquents Ensembles approximatifs Les modèles vectoriels Vectoriel classique Vectoriel généralisé Index sématique latent Les réseaux de neurones artificiels RNA - généralités Réseau BAM Réseau de Kohonen Réseau de Hopfield Réseau MLP Les autres paradigmes Rétroaction de pertinence Recuit simulé Induction de règles Théorie du chaos Algorithmes génétiques Colonies de fourmis artificielles...61

3 Thèse de doctorat Table des matières iii 6.7 Systèmes immunitaires artificiels Les approches hybrides Géno-probabiliste Géno-rétroactif Géno-flou Neuro-LSI LSI local - TDA LSI Normalisé Neuro-génétique Réseau de croyances - hyperliens Neuro-flou Colonie de fourmis artificielles K-means Système immunitaire artificiel flou Trois RNAs de Hopfield en auto-association...79 CHAPITRE II JUSTIFICATION DES MODÈLES RETENUS Terminologie Modèles booléens Modèles ensemblistes Modèles vectoriels Algorithme génétique Réseaux de neurones artificiels Modèles non retenus...90 CHAPITRE III UNITÉS DE L INFORMATION...92 CHAPITRE IV IMPLÉMENTATION DES MODÈLES Modèle vectoriel classique Modèle vectoriel généralisé Modèle booléen étendu Modèle des ensembles fréquents Modèle des ensembles approximatifs Modèle de l'index sémantique latent Algorithme génétique RNA auto-organisateur RNA auto-associatif...129

4 Thèse de doctorat Table des matières iv CHAPITRE V MÉTHODOLOGIE Standardisation des modèles Source des données de test Mesures d évaluation Procédure d évaluation Environnement CHAPITRE VI RÉSULTATS DES ESSAIS Modèle témoin : vectoriel classique (VC) Modèle vectoriel généralisé (VG) Modèle booléen étendu (BX) Ensembles fréquents (EF) Ensembles approximatifs (EA) Index sémantique latent (ISL) Algorithme génétique (AG) RNA auto-organisateur (RAO) RNA auto-associatif (RAA) Résumé CHAPITRE VII COMPARAISON DES MODÈLES Résultats Comparaison des résultats avec la littérature Performances Corrélation des termes Compression dimensionnelle et extensibilité Forces et faiblesses Architecture cognitive Résumé CONCLUSION BIBLIOGRAPHIE INDEX DES RÉFÉRENCES PAR SUJET APPENDICES...i

5 Thèse de doctorat Table des matières v

6 LISTE DES FIGURES Figure 1 Processus d appariement requêtes-documents...2 Figure 2 Taxonomie des modèles de repérage de l information (source : [Ba99])...11 Figure 3 Modèle générique d un réseau à inférence (source : [Tu91])...16 Figure 4 Modèle générique d un réseau de croyances (source : [Ri96])...18 Figure 5 Distance euclidienne pour une conjonction (a) et une disjonction (b) (source : [Sa83a])...23 n 2 Figure 6 Matrices des minterms et des composantes orthogonales de R (source : [Wo86a])...33 Figure 7 Matrices des relations termes-documents...35 Figure 8 Réduction informationnelle par l algorithme SVD...36 Figure 9 Topologie générale d un RNA...40 Figure 10 - Topologie du RNA BAM...44 Figure 11 - Topologie du RNA auto-organisateur...45 Figure 12 - Topologie du RNA auto-associatif...48 Figure 13 - Topologie du perceptron multicouches (MLP)...49 Figure 14 Cycle génétique...58 Figure 15 Opérateur de croisement...58 Figure 16 Cycle de vie d un détecteur...64 Figure 17 Types d hybridation...67 Figure 18 Architecture de GANNET [Ch95b]...74 Figure 19 Réseau de croyances étendu (source : [Si00])...75 Figure 20 Centre de germination du système immunitaire...80 Figure 21 Trois RNAs de Hopfield en auto-association [Pr02]...81 Figure 22 Nouveau modèle de RNA auto-organisateur Figure 23 Conversion des documents en concepts Figure 24 - Topologie du RNA auto-associatif modifié Figure 25 Courbes de rappel-précision réelle et estimée Figure 26 Diagramme de classe du logiciel de repérage IntellAgent Figure 27 Courbes de rappel-précision (VC CR93H) Figure 28 Courbes de rappel-précision (VC FT943) Figure 29 Courbes de rappel-précision (VC ZF109) Figure 30 Courbes de rappel-précision (VG CR93H) Figure 31 Courbes de rappel-précision (VG FT943) Figure 32 Courbes de rappel-précision (VG ZF109) Figure 33 Courbes de rappel-précision pour les conjonctions (BX - CR93H) Figure 34 Courbes de rappel-précision pour les disjonctions (BX - CR93H) Figure 35 Courbes de rappel-précision pour les conjonctions (BX - FT943) Figure 36 Courbes de rappel-précision pour les disjonctions (BX - FT943) Figure 37 Courbes de rappel-précision pour les conjonctions (BX - ZF109) Figure 38 Courbes de rappel-précision pour les disjonctions (BX - ZF109) Figure 39 Évolution des mesures de précision en fonction du support (EF - ZF109) Figure 40 Évolution de l'harmonique moyenne maximale en fonction du support (EF - ZF109) Figure 41 Évolution du temps de repérage en fonction du support (EF - ZF109) Figure 42 Courbes de rappel-précision (EF) Figure 43 Courbes de rappel-précision pour l'option 'tous les termes' (EF CR93H) Figure 44 Courbes de rappel-précision pour l'option 'tous les termes' (EF FT943) Figure 45 Courbes de rappel-précision pour l'option 'tous les termes' (EF ZF109) Figure 46 Courbes de rappel-précision (EA - bornes inférieures (et chevauchantes pour le cas binaire) CR93H) Figure 47 Courbes de rappel-précision (EA - bornes inférieures (et chevauchantes pour le cas binaire)

7 Thèse de doctorat Liste des figures vii FT943) Figure 48 Courbes de rappel-précision (EA - bornes inférieures (et chevauchantes pour le cas binaire) ZF109) Figure 49 Courbes de rappel-précision (ISL FT943 : 20 documents) Figure 50 Courbes de rappel-précision (ISL FT943 : 30 documents) Figure 51 Courbes de rappel-précision (ISL FT943 : 40 documents) Figure 52 Courbes de rappel-précision (AG CR93H 'termes des requêtes') Figure 53 Courbes de rappel-précision (AG FT943 'termes des requêtes') Figure 54 Courbes de rappel-précision (AG ZF109 'termes des requêtes') Figure 55 Courbes de rappel-précision (RAO CR93H) Figure 56 Courbes de rappel-précision (RAO FT943) Figure 57 Courbes de rappel-précision (RAO ZF109) Figure 58 Courbes de rappel-précision (RAA FT documents) Figure 59 Précisions moyennes comparées par niveau de rappel (binaire - CR93H) Figure 60 Différentielles des mesures de précisions / VC (binaire - CR93H) Figure 61 Précisions moyennes comparées par niveau de rappel (binaire FT943) Figure 62 Différentielles des mesures de précisions / VC (binaire FT943) Figure 63 Précisions moyennes comparées par niveau de rappel (binaire ZF109) Figure 64 Différentielles des mesures de précisions / VC (binaire ZF109) Figure 65 Précisions moyennes comparées par niveau de rappel (fréquences - CR93H) Figure 66 Différentielles des mesures de précisions / VC (fréquences - CR93H) Figure 67 Précisions moyennes comparées par niveau de rappel (fréquences FT943) Figure 68 Différentielles des mesures de précisions / VC (fréquences FT943) Figure 69 Précisions moyennes comparées par niveau de rappel (fréquences ZF109) Figure 70 Différentielles des mesures de précisions / VC (fréquences ZF109) Figure 71 Précisions moyennes comparées par niveau de rappel (pondérations - CR93H) Figure 72 Différentielles des mesures de précisions / VC (pondérations - CR93H) Figure 73 Précisions moyennes comparées par niveau de rappel (pondérations FT943) Figure 74 Différentielles des mesures de précisions / VC (pondérations FT943) Figure 75 Précisions moyennes comparées par niveau de rappel (pondérations ZF109) Figure 76 Différentielles des mesures de précisions / VC (pondérations ZF109) Figure 77 Mesures de précision globale comparées (CR93H) Figure 78 Mesures de précision globale comparées (FT943) Figure 79 Mesures de précision globale comparées (ZF109) Figure 80 Différentielles des mesures de précision globale / VC (CR93H) Figure 81 Différentielles des mesures de précision globale / VC (FT943) Figure 82 Différentielles des mesures de précision globale / VC (ZF109) Figure 83 Précisions moyennes comparées par niveau de rappel (ISL FT documents) Figure 84 Différentielles des mesures de précis ion / VC (ISL FT documents) Figure 85 Précisions moyennes comparées par niveau de rappel (ISL FT documents) Figure 86 Différentielles des mesures de précision / VC (ISL FT documents) Figure 87 Précisions moyennes comparées par niveau de rappel (ISL FT documents) Figure 88 Différentielles des mesures de précision / VC (ISL FT documents) Figure 89 Différentielles des mesures de précision globale / VC (ISL FT943 20, 30, 40 documents)232 Figure 90 Précisions moyennes comparées par niveau de rappel (RAA FT documents)234 Figure 91 Différentielles des mesures de précision / VC (RAA FT documents) Figure 92 Précisions moyennes comparées par niveau de rappel (FT documents) Figure 93 Précisions moyennes comparées par niveau de rappel (FT documents)...242

8 Thèse de doctorat Liste des figures viii Figure 94 Précisions moyennes comparées par niveau de rappel (FT documents) Figure 95 Précisions moyennes comparées par niveau de rappel (FT documents) Figure 96 Précisions moyennes comparées par niveau de rappel (FT documents) Figure 97 Progression de la moyenne des précisions moyennes Figure 98 Progression de la précision à 80% de rappel Figure 99 Progression de la précis ion-m Figure 100 Progression de la précision-r Figure 101 Progression de l'harmonique moyenne maximale Figure 102 Coût des modèles en temps de traitement Figure 103 Coût des modèles en temps de traitement (échelle log2(temps+1)) Figure 104 Différentielles des précisions moyennes / VC Figure 105 Différentielles des précisions à 80% de rappel / VC Figure 106 Différentielles des précisions-m / VC Figure 107 Différentielles des précisions-r / VC Figure 108 Différentielles des harmoniques maximales / VC Figure 109 Bénéfice des modèles sur les précisions moyennes / VC Figure 110 Bénéfice des modèles sur les précisions à 80% de rappel / VC Figure 111 Bénéfice des modèles sur les précisions-m / VC Figure 112 Bénéfice des modèles sur les précisions-r / VC Figure 113 Bénéfice des modèles sur les harmoniques maximales / VC Figure 114 Coût des modèles en temps de traitement Figure 115 Coût des modèles en temps de traitement (échelle log2(temps+1)) Figure 116 Réduction informationnelle du modèle ISL Figure 117 Positionnement des modèles selon leurs caractéristiques cognitives...273

9 LISTE DES TABLEAUX Tableau 1 Liste des collections utilisées à l'origine des modèles Tableau 2 Détails statistiques des collections utilisées à l'origine des modèles Tableau 3 Statistiques des sous-collections TREC retenues Tableau 4 Statistiques sur les collections réduites (FT943 20, 30, 40 documents) Tableau 5 Statistiques sur la collection à volume progressif (FT à documents) Tableau 6 Exemple de sommaire des mesures de précision globale Tableau 7 Exemple de sommaire des précisions moyennes par niveau de rappel Tableau 8 Exemple des différentielles des mesures de précision moyenne comparée Tableau 9 Exemple du rang des modèles par collection et par unité d'information Tableau 10 Sommaire des mesures de précision globale (VC) Tableau 11 Sommaire des précisions moyennes par niveau de rappel (VC) Tableau 12 Sommaire des mesures de précision globale (VG) Tableau 13 Sommaire des précisions moyennes par niveau de rappel (VG) Tableau 14 Nombre de documents versus minterms (VG) Tableau 15 Sommaire des mesures de précision globale (BX) Tableau 16 Différentielles des mesures de précision globale par rapport au paramètre p-norm (BX)..161 Tableau 17 Différentielles des mesures de précision globale : disjonctions - conjonctions (BX) Tableau 18 Sommaire des précisions moyennes par niveau de rappel (BX - CR93H) Tableau 19 Sommaire des précisions moyennes par niveau de rappel (BX - FT943) Tableau 20 Sommaire des précisions moyennes par niveau de rappel (BX - ZF109) Tableau 21 Paramètre de support pour les collections (EF) Tableau 22 Répartition des ensembles fréquents par ordre (EF) Tableau 23 Exemple d'ensembles fréquents (EF ZF109) Tableau 24 Sommaire des mesures de précision globale (EF) Tableau 25 Sommaire des précisions moyennes par niveau de rappel (EF) Tableau 26 Sommaire des mesures de précision globale pour le cas binaire (EA) Tableau 27 Sommaire des mesures de précision globale pour les cas bornés (EA) Tableau 28 Sommaire des mesures de précision globale (EA - bornes inférieures (et chevauchantes pour le cas binaire)) Tableau 29 Sommaire des précisions moyennes par niveau de rappel (EA - bornes inférieures (et chevauchantes pour le cas binaire)) Tableau 30 Sommaire des mesures de précision globale (ISL) Tableau 31 Variance des mesures de précision globale (ISL - FT943 : {20, 30, 40}) Tableau 32 Sommaire des précisions moyennes par niveau de rappel (ISL FT943 : 20 documents).182 Tableau 33 Sommaire des précisions moyennes par niveau de rappel (ISL FT943 : 30 documents).183 Tableau 34 Sommaire des précisions moyennes par niveau de rappel (ISL FT943 : 40 documents).184 Tableau 35 Différentielles des précisions par niveau de rappel ((AG VC) CR93H) Tableau 36 Différentielles des précisions par niveau de rappel ((AG VC) FT943) Tableau 37 Différentielles des précisions par niveau de rappel ((AG VC) ZF109) Tableau 38 Exemples des cooccurrences quasi-optimales (AG CR93H poids documentaire moyen)187 Tableau 39 Exemples des cooccurrences quasi-optimales (AG FT943 poids documentaire moyen)188 Tableau 40 Exemples des cooccurrences quasi-optimales (AG ZF109 poids documentaire moyen)188 Tableau 41 Sommaire des mesures de précision globale (AG 'termes des requêtes') Tableau 42 Sommaire des précisions moyennes par niveau de rappel (AG 'termes des requêtes') Tableau 43 Différentielles (%) des mesures de précision globale ((AG 'termes des requêtes') - VC)191 Tableau 44 Exemples de regroupements de termes en sortie du réseau (RAO FT943) Tableau 45 Statistiques sur les neurones activés (RAO) Tableau 46 Sommaire des mesures de précision globale (RAO)...197

10 Thèse de doctorat Liste des tableaux x Tableau 47 Sommaire des précisions moyennes par niveau de rappel (RAO) Tableau 48 Sommaire des mesures de précision globale (RAA FT documents) Tableau 49 Sommaire des précisions moyennes par niveau de rappel (RAA FT documents) Tableau 50 Rang des modèles par collection et par unité d'information (précision moyenne) Tableau 51 Rang moyen des modèles par collection, par unité d'information et global (précision moyenne) Tableau 52 Mesures de précision globale comparée (FT943) Tableau 53 Rang des modèles par collection et par unité d'information (précision à 80% de rappel)..226 Tableau 54 Rang moyen des modèles par collection, par unité d'information et global (précision à 80% de rappel) Tableau 55 Rang des modèles par collection et par unité d'information (précision-m) Tableau 56 Rang moyen des modèles par collection, par unité d'information et global (précision-m)226 Tableau 57 Rang des modèles par collection et par unité d'information (précision-r) Tableau 58 Rang moyen des modèles par collection, par unité d'information et global (précision-r).227 Tableau 59 Rang des modèles par collection et par unité d'information (harmonique maximale) Tableau 60 Rang moyen des modèles par collection, par unité d'information et global (harmonique maximale) Tableau 61 Ordonnancement des modèles par mesure de précision globale Tableau 62 Mesures de précision globale comparée (ISL FT943 20, 30, 40 documents) Tableau 63 Différentielles des mesures de précision globale / VC (ISL FT943 20, 30, 40 documents)232 Tableau 64 Mesures de précision globale comparée (RAA FT documents) Tableau 65 Différentielles des mesures de précision globale / VC (RAA FT documents)235 Tableau 66 Rang de repérage des documents pertinents (FT documents) Tableau 67 Sommaire des améliorations de la précision moyenne p/r VC (CR93H) Tableau 68 Sommaire des améliorations de la précision moyenne p/r VC (FT943) Tableau 69 Sommaire des améliorations de la précision moyenne p/r VC (ZF109) Tableau 70 Statistiques sur les collections à volume progressif Tableau 71 Progression du nombre de documents pertinents par requête Tableau 72 Compression dimensionnelle et extensibilité des modèles / VC...265

11 RÉSUMÉ Deux nouveaux modèles connexionnistes et un nouveau modèle génétique de repérage de l information sont proposés et évalués. Les modèles sont comparés empiriquement à plusieurs approches reconnues de l état de l art du domaine par une expérimentation d envergure sur des sous-collections du corpus de TREC ("Text REtrieval Conference"). Les nouveaux modèles sont élaborés selon les approches connexionniste et mixte de l intelligence artificielle, en contraste avec l approche classique. Deux de ces modèles sont élaborés en suivant le paradigme des réseaux de neurones artificiels (RNA) non supervisés: le RNA autoorganisateur et le RNA auto-associatif. Le troisième modèle est élaboré en suivant le paradigme biomimétique de la génétique: le modèle de l algorithme génétique. Suite à une revue exhaustive des modèles de repérage qui suivent une approche classique, six modèles sont retenus pour fins de comparaison avec les modèles de l approche connexionniste : le modèle vectoriel classique, le modèle vectoriel généralisé, le modèle booléen étendu, le modèle des ensembles fréquents, le modèle des ensembles approximatifs et le modèle de l index sémantique latent. Un environnement d essais particulier est élaboré de manière à dégager la performance de repérage des processus de classification et d appariement des modèles. L architecture et les paramètres de ces modèles sont adaptés à cet environnement d essais, tout en respectant leur conception d origine. Une procédure de comparaison rigoureuse est élaborée avec l utilisation de quatre mesures d évaluation composites, en plus des traditionnelles mesures de rappel et de précision : la précision à 80% de rappel, la précision-m, la précision-r et l harmonique moyenne maximale. Depuis l'avènement du modèle vectoriel classique, peu de modèles ont réussi à améliorer globalement les résultats en repérage de l'information. Notre étude confirme la difficulté d'améliorer la précision de repérage dans les niveaux élevés de rappel et ce, sur tous les modèles récents étudiés. Les améliorations significatives en précision se retrouvent principalement aux niveaux de rappel faibles et intermédiaires. Le modèle des ensembles fréquents et le modèle booléen étendu se sont distingués des autres modèles par une amélioration de la précision relativement généralisée à travers les trois collections et sur tous les niveaux de rappel. Cependant, les différentielles de précision demeurent marginales et plus

12 Thèse de doctorat Résumé xii marquées aux niveaux de rappel faibles et intermédiaires. La performance de repérage du modèle de l'index sémantique latent s'est révélée décevante par rapport aux résultats anticipés dans la littérature. Il s'est avéré que ce modèle opère une réduction informationnelle plutôt qu'une réduction dimensionnelle. Or cette réduction représente une information utile au repérage plutôt que du bruit dans les données textuelles. Le modèle du RNA auto-associatif a produit une performance de repérage globalement équivalente à celle du modèle vectoriel classique mais, il s'en est démarqué par le rang avantageux des premiers documents pertinents repérés. Sa capacité à repérer plus rapidement les premiers documents pertinents représente une percée prometteuse pour l'approche connexionniste en repérage de l'information. Les modèles vectoriel classique, ensembles fréquents, ensembles approximatifs et réseau de neurones artificiels auto-organisateur opèrent une compression de l espace de représentation qui accélère par la suite les traitements de repérage. Les taux de compression varient de 4:1 à 10:1 pour les trois premiers modèles. Le réseau auto-organisateur se démarque par un taux de compression plus important de 167:1. Les autres modèles n opèrent aucune compression dimensionnelle. Les modèles booléen étendu, vectoriel généralisé et génétique ont une bonne capacité d extensibilité sur de plus grands volumes de données car leur coût de traitement varie linéairement avec l'augmentation du volume. Les réseaux auto-organisateur et auto-associatif ont une capacité d extensibilité moyenne et leur coût de traitement varie aussi de façon linéaire, mais ils sont plus importants que ceux des modèles précédents. Les autres modèles (ensembles fréquents, ensembles approximatifs et index sémantique latent) ont une extensibilité difficile en raison de leur coût important en traitement qui varie de façon exponentielle. Par rapport au modèle vectoriel classique, aucun modèle ne dégage des gains suffisants en repérage pour justifier les temps de traitement additionnel. L'étude des aspects cognitifs des modèles de repérage a conduit à l'identification de critères pour départager les architectures entre l approche connexionniste et l approche classique de l'intelligence artificielle. La nature symbolique de la représentation interne des modèles et la

13 Thèse de doctorat Résumé xiii dynamique de leur processus ont permis de distinguer les modèles de l'approche classique (vectoriel classique, vectoriel généralisé, booléen étendu, ensembles fréquents et ensembles approximatifs) des modèles typiques de l'approche connexionniste (réseau auto-organisateur et RNA auto-associatif). Le modèle génétique et le modèle de l'index sémantique latent se classent comme modèles hybrides en affichant des critères des deux architectures cognitives. Parmi les modèles des approches connexionniste et mixte, le RNA auto-associatif a obtenu une performance de repérage globalement équivalente à celle du modèle témoin de l approche classique. Sa performance a surpassé celle du modèle vectoriel classique dans les faibles niveaux de rappel en repérant les premiers documents pertinents plus rapidement. La modélisation actuelle des deux autres modèles, le RNA auto-organisateur et le modèle génétique, a produit des performances de repérage globalement inférieures à celle du modèle vectoriel classique. L expérimentation a cependant révélé des capacités de classification qu il serait intéressant d exploiter dans un processus itératif ou récursif. Cette thèse constitue une contribution aux connaissances, tant pour les modèles de l approche classique que pour l exploration de nouveaux modèles des approches connexionniste et mixte. Face à la difficulté des modèles de l'approche classique à produire une percée importante dans le domaine du repérage de l information, l'approche connexionniste offre une alternative que l'on commence à peine à explorer. Plusieurs avenues de recherche sont suggérées dans cette thèse pour améliorer la capacité des modèles connexionnistes à opérer un repérage de l'information efficace.

14 DÉDICACE Ce travail d'envergure serait incomplet sans un hommage, pleinement mérité, rendu aux membres de ma famille. Je tiens à souligner la patience dont ont fait preuve mes trois enfants, Kevin, Camille et Valérie, pour qui j'ai brillé plus souvent par mon absence et qui ont parfois subi mes sautes d'humeur lorsque j'étais présent. Je tiens à remercier tout spécialement ma femme, Louise, à qui je dédie cette thèse. Sans sa préoccupation constante des besoins familiaux, et en particulier la prise en charge des enfants et de leur éducation, je n'aurais pu dégager le temps nécessaire à l'accomplissement de cette tâche. Je rends hommage aux membres de ma famille qui m'ont donné leur appuie inconditionnel dans le parachèvement cette thèse.

15 REMERCIEMENTS Je tiens à remercier le directeur et le codirecteur de cette thèse qui m ont supporté tout au long des travaux et sans qui l achèvement de cette thèse n aurait été possible. Je remercie particulièrement le professeur Robert Godin qui a été mon guide dans le domaine du repérage de l information et qui m a introduit aux différents modèles et algorithmes classiques de repérage. Ses références pertinentes et ses nombreux commentaires avisés ont grandement contribué à réaliser cette thèse d envergure. Je remercie le professeur Robert Proulx qui m a guidé à travers les aspects cognitifs des modèles et qui a plus spécifiquement validé l élaboration des modèles de l approche connexionniste. Ses revues critiques de la thèse ont largement contribué à sa qualité d ensemble et à la pertinence de ses propos. Enfin, je tiens à remercier le professeur Pierre Leroux du département de mathématiques qui m a éclairé dans la complexité de l algorithme de factorisation SVD.

16 INTRODUCTION Cette thèse s'inscrit dans le domaine du repérage de l information. Deux nouveaux modèles connexionnistes et un nouveau modèle génétique de repérage de l information sont proposés et évalués. Les modèles sont comparés empiriquement à plusieurs approches reconnues de l état de l art du domaine par une expérimentation d envergure sur des sous-collections du corpus de TREC ("Text REtrieval Conference"). Les nouveaux modèles sont élaborés selon les approches connexionniste et mixte de l intelligence artificielle, en contraste avec l approche classique. Deux de ces modèles sont élaborés en suivant le paradigme des réseaux de neurones artificiels (RNA) non supervisés: le RNA auto-organisateur et le RNA autoassociatif. Le troisième modèle est élaboré en suivant le paradigme biomimétique de la génétique: le modèle de l algorithme génétique. Suite à une revue exhaustive des modèles de repérage qui suivent une approche classique, six modèles sont retenus pour fins de comparaison avec les modèles de l approche connexionniste : le modèle vectoriel classique, le modèle vectoriel généralisé, le modèle booléen étendu, le modèle des ensembles fréquents, le modèle des ensembles approximatifs et le modèle de l index sémantique latent. Les sections qui suivent présentent la problématique générale du domaine, la problématique spécifiquement visée et les objectifs poursuivis par cette thèse. La dernière section distingue les aspects cognitifs et informatiques de la problématique. Domaine du repérage de l information Le domaine du repérage de l information s intéresse aux processus permettant de repérer des informations, en particulier des documents textuels, dans le but d en permettre une récupération méthodique et sélective qui soit utile à un requérant. Les logiciels de repérage sont des systèmes qui organisent les informations et les récupèrent de manière sélective, par le biais d une recherche de similarité entre les informations classées et une requête d information formulée par un utilisateur. Typiquement, la requête à l entrée renferme peu d information sur la sémantique des documents à récupérer et consiste le plus souvent en un vecteur de mots clés.

17 Thèse de doctorat Introduction 2 Il y a deux processus cognitifs fondamentaux à modéliser dans le repérage de l information : la formulation de la requête et l appariement de cette requête avec les documents de la collection. Le premier nécessite la découverte d une sémantique dans les termes de la requête et dans leurs associations. Le second processus s articule typiquement par une relation de similarité entre les termes de la requête et ceux des documents de la collection (voir Figure 1). Plusieurs techniques ont été développées pour modéliser chacun de ces processus. Chacune pose des hypothèses qui conduiront à l extraction de certains aspects sémantiques de la requête ou des documents. Par exemple, plusieurs techniques visent à classer les documents de la collection en identifiant les termes ou les combinaisons de termes qui discriminent le plus les classes entre elles. Cette technique suppose que les termes les plus discriminants sont ceux auxquels un utilisateur conviera la plus grande signification sémantique et, par conséquent, sont les termes qu il préférera dans la formulation d une requête. D autres techniques classent les documents en fonction des termes réellement utilisés dans les requêtes. Plusieurs métriques ont été utilisées pour modéliser la similarité entre une requête et un document. Ces métriques font intervenir une forme de statistiques sur les occurrences ou les cooccurrences des termes. Aucune technique ne semble capturer toute la richesse sémantique encapsulée dans des documents textuels aussi efficacement que le font les processus cognitifs de l être humain. Requêtes Documents Q 1 q 11, q q 1s D 1 f 11, f f 1n Indexation Q 2 q 21, q q 2s... Appariement D 2 f 21, f f 2n... Classification Indexation Q r q r1, q r 2... q rs D m f m1, f m2... f mn (Q, D) pertinents Figure 1 Processus d appariement requêtes-documents

18 Thèse de doctorat Introduction 3 Problématique On ne sait pas très bien comment les processus cognitifs de l être humain opèrent la classification, en particulier dans le domaine textuel qui relève à la fois de la perception visuelle, du langage et de la structuration des connaissances de l agent cognitif. Les nombreuses études empiriques sur ces sujets fournissent des modèles plausibles sur l acquisition et l organisation des connaissances [Ke89; Ma99]. Les chercheurs en intelligence artificielle et en sciences cognitives se sont souvent inspirés des modèles biologiques pour développer des modèles des phénomènes cognitifs et ils ont abondamment utilisé l ordinateur comme plate-forme de simulation de leurs modèles [Du00]. Afin de pouvoir évaluer efficacement ces modèles, il est nécessaire de les replacer dans leur contexte d'utilisation et de comparer leurs résultats en les confrontant à la réalité du problème de repérage de l'information. Comme décrit à la section précédente, il y a deux problématiques cognitives distinctes à résoudre dans le domaine du repérage de l information : la formulation automatique de la requête et l appariement entre la requête et les documents de la collection ou l ordonnancement des documents par similarité à la requête. Plusieurs modèles ont déjà été proposés et développés pour résoudre ces problématiques. L efficacité de ces modèles est le plus souvent éprouvée isolément en laboratoire dans un environnement contrôlé. Les modèles sont souvent comparés à leur version antérieure mais ils sont rarement comparés entres eux de manière exhaustive. Les chercheurs utilisent des collections de documents variées pour leurs essais. Les modèles sont construits avec des représentations, des hypothèses et des paramètres différents. Quoique la majorité des essais soient validés à l aide de mesures standards de rappel et de précision, plusieurs chercheurs estiment que ces mesures ne rendent pas compte de toute l efficacité des modèles et d'autres mesures ont été proposées [Ba99]. Dans ce contexte, il est difficile d établir un dénominateur commun et de choisir une mesure d efficacité équitable pour pouvoir comparer les modèles entres eux.

19 Thèse de doctorat Introduction 4 Objectifs Les objectifs de cette thèse sont d'augmenter les connaissances sur les modèles de repérage récents qui suivent une approche classique, de développer de nouveaux modèles suivant une approche connexionniste ou mixte et de comparer l'efficacité de ces modèles et des approches cognitives. Les différents modèles élaborés sont expérimentés dans un environnement contrôlé, de manière à pouvoir comparer leur efficacité et leur performance en repérage de l information. Les modèles importants proposés ont d'abord été revus dans la littérature, puis sélectionnés pour leur intérêt par rapport au traitement des cooccurrences de termes. Trois nouveaux modèles de repérage ont été développés dont deux suivant une approche connexionniste et un suivant une approche mixte. Chacun de ces trois nouveaux modèles a fait l objet de publications [De04, De05a, De05b, De06]. Les critères de comparaison suivants ont été retenus pour dégager différents aspects de la qualité des modèles testés. 1. L efficacité du repérage en termes de résultats a été mesurée par le rappel et la précision, selon diverses mesures proposées dans la littérature [Ba99]. 2. La performance des modèles a été mesurée en temps d exécution. Des essais avec une collection progressive en nombre de documents ont permis de mesurer l'évolution des performances des modèles. 3. Les capacités d'extensibilité des modèles ont été analysées et rapportées. 4. Les capacités en compression dimensionnelle des modèles ont été mesurées par rapport au modèle vectoriel classique. Quelques hypothèses générales sur les objectifs de repérage ont permis de limiter le champ d'action des modèles à expérimenter. 1. L information à repérer est générale et non spécifique à un domaine. En conséquence, la comparaison ne tiendra aucun compte des apports spécifiques à un domaine, tels qu un thésaurus ou autres composantes spécifiques qui pourraient être introduits.

20 Thèse de doctorat Introduction 5 2. Le repérage doit être opéré automatiquement. Aucun apport de connaissance externe aux systèmes ne peut intervenir en cours de traitement. Cette hypothèse exclut en particulier toute forme de rétroaction de pertinence issue d une interaction avec l utilisateur. 3. Le type de repérage visé est non spécifique à une langue et, en conséquence, ne doit prendre avantage d aucune connaissance linguistique, à l exception de l élimination des hapax par le biais d une liste standard préétablie et de l extraction des morphèmes par le biais d une liste de règles communes à tous les modèles. Pour les besoins de la cause, les repérages sont opérés sur des textes en langue anglaise. Tous les modèles utilisent le "terme" comme élément atomique pour représenter les informations textuelles, tant pour les documents que pour les requêtes. Le terme est défini comme étant le morphème des mots-clés des textes. Toute autre forme d unité d information est exclue de l expérimentation. En particulier, les n-grammes et les compositions de termes sont exclus. Cependant l utilisation des cooccurrences de termes est admise dans les modèles et représente l apport principal d enrichissement sémantique. Un effort important a été déployé sur l élaboration d un environnement d essais et d une procédure d évaluation. Un dénominateur commun de comparaison des modèles a été établi en termes d objectif de repérage, d hypothèses, de paramètres, de mesures de performance et d environnement d essais. Les objectifs du repérage et les hypothèses générales des modèles sont décrits ci-avant. D autres hypothèses spécifiques et les options paramétriques sont décrites aux chapitres IV et VI. Trois unités d information spécifiques ont été retenues pour la représentation des connaissances des modèles : l information binaire, les fréquences documentaires et les poids documentaires. Ces unités d information sont documentées au chapitre III. La collection de documents catégorisés TREC a été utilisée pour les essais. Les données de cette collection ont été découpées en sous-collections majeures, puis analysées pour extraire trois sous-collections adéquates aux essais visés. Ces données d essais proviennent des sous-collections CR93H, FT934 et ZF109. L envergure de l expérimentation couvre les trois unités d information sur les trois sous-collections extraites de TREC et pour

21 Thèse de doctorat Introduction 6 chacun des neuf modèles de repérage. Les essais ont été exécutés sur ces 81 combinaisons de base. Certains essais se divisent davantage en fonction des paramètres spécifiques des modèles. En plus des métriques de rappel et de précision traditionnellement utilisées pour l évaluation des modèles de repérage, quatre métriques composites ont été ajoutées pour augmenter les contrastes dans la comparaison des résultats : la précision à 80% de rappel, la précision-m, la précision-r et l harmonique moyenne maximale. Ces mesures et la procédure d évaluation, ainsi que l élaboration de l environnement et des données d essais sont détaillées au chapitre V. Composantes cognitives et informatiques Cette thèse s inscrit dans plusieurs disciplines inter-reliées : le repérage de l information, l apprentissage machine, l intelligence artificielle et les sciences cognitives. Neuf modèles de catégorisation et de repérage de l'information ont été expérimentés où l'aspect cognitif peut être directement étudié pour supporter l'approche classique ou l'approche connexionniste. Le choix des modèles à expérimenter s'est établi délibérément dans l'optique de confronter ces deux approches cognitives. C'est notamment la raison qui a conduit à l'élaboration de trois nouveaux modèles de repérage suivant une approche connexionniste, dont deux avec le paradigme des réseaux de neurones artificiels et le troisième avec le paradigme de la génétique. Notre contribution aux sciences cognitives s'établit par l'élaboration des trois modèles suivant l'approche connexionniste, par l'étude comparative de ces modèles avec six autres modèles suivant une approche classique et par les résultats obtenus de chaque modèle appliqué aux problèmes de catégorisation et de repérage de l'information. Comme nous le verrons au chapitre des résultats, ces processus de repérage impliquent la modélisation cognitive d'une représentation des connaissances et l'élaboration d'un processus de classification. En particulier, le repérage de l information nécessite la formulation de la requête et l appariement de cette requête avec les documents de la collection. Les paradigmes d apprentissage développés et utilisés pour l acquisition des connaissances sont

22 Thèse de doctorat Introduction 7 souvent inspirés des avancées en sciences cognitives. Les algorithmes de classification et de segmentation sont inspirés des processus de perception et de classification chez l être humain. Les algorithmes génétiques, les réseaux de neurones artificiels, les colonies de fourmis artificielles et les systèmes immunitaires artificiels sont autant de paradigmes inspirés par les processus cognitifs équivalents du monde animal. Tous ces paradigmes ont été développés pour modéliser l acquisition de connaissances et plusieurs ont été employés pour le repérage de l information, comme nous le verrons en détail au chapitre 2. Au plan informatique, le développement et le déploiement des logiciels de repérage de l'information mettent à contribution les processus du génie logiciel. En particulier, les modèles de repérage développés mettent à contribution l ingénierie des algorithmes, la modélisation des connaissances et la programmation des modèles dans un paradigme orienté objet. L environnement d essais comporte aussi un aspect important de conception et programmation. Ces aspects sont couverts au chapitre 6. La section qui suit décrit l'organisation de cette thèse. Organisation de la thèse Cette section clos l'introduction aux divers domaines scientifiques abordés par la thèse et aux objectifs visés par cette recherche. Le reste de la thèse est organisé comme suit. Le chapitre I passe en revue les nombreux paradigmes et modèles de repérage de l information utilisés jusqu'ici pour résoudre la problématique, incluant les modèles de l'approche classique et les modèles de l'approche connexionniste. Le chapitre II décrit sommairement et justifie les modèles qui sont retenus pour l'expérimentation. Le chapitre III se consacre à la définition de l'élément à la base des représentations symboliques utilisées dans les modèles de repérage de l'information, à savoir l'unité d'information. Il passe en revue les éléments constituants qui peuvent entrer dans l'élaboration d'une unité de mesure de l'information et définit les trois unités de base qui ont été utilisées dans les modèles retenus.

23 Thèse de doctorat Introduction 8 Le chapitre IV décrit l'élaboration et l'implémentation de chacun des modèles retenus. Il précise entres autres les détails des paramètres et les disparités introduites par rapport aux modèles d'origine. Le chapitre V spécifie la méthodologie et l environnement développés pour conduire les essais. Il décrit également la procédure d évaluation élaborée et les mesures d évaluation utilisées pour valider les résultats. Le chapitre VI présente les résultats de repérage de chacun des neuf modèles expérimentés et analyse l'architecture cognitive de chaque modèle. Il identifie les forces et les faiblesses de chaque modèle et amorce quelques parallèles entre certains modèles. Le chapitre VII effectue la comparaison empirique et analytique des résultats des neuf modèles expérimentés. Il dresse des parallèles instructifs entre les modèles. Il résume les forces et des faiblesses. Il résume les critères cognitifs des modèles et positionne ces derniers entre l'approche classique et l'approche connexionniste. Le chapitre termine par une discussion sur la performance des modèles de l'approche connexionniste et amorce des voies de recherche pour parfaire ces modèles. La conclusion résume les objectifs atteints et les découvertes intéressantes qui sont ressorties des résultats obtenus. Elle pointe également les directions à suivre pour les travaux futurs.

24 CHAPITRE I MODÈLES POUR LE REPÉRAGE DE L INFORMATION Ce chapitre introduit le formalisme général et l'évolution des modèles dans le domaine du repérage de l'information. Les modèles couramment utilisés sont ensuite revus depuis la littérature et quelques paradigmes récents applicables au repérage sont introduits. Les modèles retenus aux fins de l'expérimentation comparative seront déterminés au chapitre suivant. Les modèles de repérage de l information sont formalisés par quatre caractéristiques : les documents, les requêtes, le cadre et une fonction d ordonnancement [Ba99]. Les documents de la collection sont représentés par un ensemble de vues logiques. Ils forment la source des informations sur laquelle le repérage s effectue. Les requêtes, aussi représentées par un ensemble de vues logiques, formulent le besoin de l utilisateur. Le cadre formalise les relations entre les documents et les requêtes. La fonction d ordonnancement associe un nombre réel entre une requête et un document pour formaliser leur degré de correspondance. Cette fonction permet d ordonnancer les documents par degré de correspondance à une requête donnée. Divers paradigmes ont été utilisés pour modéliser les problèmes du repérage de l information, tels que la théorie des probabilités, la théorie des ensembles, les règles d inférence, la théorie de l information, les algorithmes évolutionnaires 1, les statistiques référentielles, les réseaux de neurones artificiels, la logique floue et d autres algorithmes d apprentissage machine. Les applications des premiers paradigmes au domaine du repérage de l information ont généré une variété de modèles dans les années 70 et 80 dont plusieurs sont maintenant considérés classiques. Les plus récents paradigmes ont étendu les modèles classiques ou en ont généré de nouveaux au cours des années 90. On a aussi vu se développer au cours de ces années, et encore aujourd hui, plusieurs combinaisons de paradigmes pour améliorer la performance des modèles de base. L utilisation de sources multiples de représentation pour les documents et les requêtes ont 1 Voir la terminologie à la section 1 du chapitre II.

25 Thèse de doctorat Chapitre I Modèles pour le repérage de l information 10 aussi aidé à améliorer la performance de certains modèles en termes de rappel [Cr88; Tu89]. Baeza et Ribeiro [Ba99] ont classé les modèles classiques et quelques modèles récents dans les catégories suivantes. 1. Modèles ensemblistes a. Booléen classique b. Logique floue c. Booléen étendu 2. Modèles algébriques a. Vectoriel classique b. Vectoriel généralisé c. Index sémantique latent d. Réseau de neurones artificiels 3. Modèles probabilistes a. Probabiliste classique b. Réseau à inférence bayésienne c. Réseau de croyances La figure ci-dessous montre que chacun des modèles classiques a été une source d inspiration pour le développement de modèles plus évolués. Modèles classiques Théorie des ensembles T â c h e Repérage Ad Hoc Booléen Vectoriel Probabiliste Modèles structurés Liste non chevauchante Noeud proximal Furetage Flou Booléen étendu Algébrique Vectoriel généralisé Index sémantique latent Réseau de neurones Probabiliste Furetage De base Guidé par les structures Lien hypertexte Réseau à inférence Réseau de croyance

26 Thèse de doctorat Chapitre I Modèles pour le repérage de l information 11 Figure 2 Taxonomie des modèles de repérage de l information (source : [Ba99]) On retrouve généralement dans la littérature trois types de tâche caractéristique de la récupération sélective de l information : le repérage ("ad hoc"), le filtrage ("filtering") et le furetage ("browsing") [Ba99]. Le furetage est une exploration plus ou moins aléatoire de la collection d information. Elle peut être guidée par une structure tel qu un index hiérarchique ou par la navigation via les hyperliens. Le terme anglais "retrieval" est général et couvre autant le repérage que le filtrage. Le repérage concerne la récupération de l information à partir d une collection relativement statique. Les requêtes soumises peuvent évoluer par des processus de reformulation. Dans le filtrage de l information, c est la collection qui évolue alors que les requêtes sont considérées statiques et sont habituellement représentées par un profil d intérêts couvrant les besoins en information. La tâche est dite de routage ("routing") lorsque le modèle produit un ordonnancement des documents récupérés par degré de similarité au profil. À travers ces nuances terminologiques, le cœur de la tâche demeure l appariement d une requête avec les documents d une collection [Be92]. Dans la présente thèse, le terme 'repérage' est utilisé pour signifier cette tâche. Seuls les modèles capables de produire un ordonnancement des documents récupérés par degré de similarité aux requêtes sont considérés. Les sections suivantes passent en revue les principes de base qui caractérisent les principaux modèles et les éléments qui les distinguent. La dernière section termine ce chapitre en survolant les approches de combinaisons pour les modèles hybrides. 1. Les modèles probabilistes Les modèles probabilistes et, en particulier les modèles Bayesiens, sont des modèles à apprentissage supervisé qui nécessitent la connaissance a priori de la classe de sortie pour un ensemble d instances de document. La sortie est souvent modélisée en deux classes : pertinent et non pertinent. Tout le modèle est dépendant de la disponibilité d instances d entraînement classées par rapport à une requête donnée. Le modèle entraîné sur une requête ne peut être généralisé à d autres requêtes différentes.

27 Thèse de doctorat Chapitre I Modèles pour le repérage de l information Bayésien naïf Dans le modèle bayésien naïf, chaque mot d un document est représenté par une variable positionnelle. La probabilité que chaque position prenne la valeur d un mot en particulier est établie à partir des instances connues de document. En théorie, on doit estimer la probabilité que chaque position prenne la valeur de chacun des mots de la collection. En pratique, on évalue seulement les probabilités pour les mots des requêtes. L application du classifieur naïf de Bayes [Mi97] donne la classe la plus probable pour une nouvelle instance, i.e. une requête ou un nouveau document : MAX C j j n p( C ) p( a C ) (I-1) j = 1 i j où C j représente les classes et a i les mots. La présomption habituelle d indépendance s entend ici sur l indépendance positionnelle des mots dans le document. L apparition d un mot dans une position particulière est indépendante de l apparition des mots dans les autres positions. Il est d'usage courant de présumer cette indépendance dans le modèle bayésien afin de réduire la quantité de probabilités conditionnelles à évaluer. De cette façon, il ne reste qu à multiplier les probabilités d apparition des mots. Ces probabilités peuvent être estimées par : nk + 1 p( wk C j ) = (I-2) n + m C j représente les classes; w k n k n m représente les mots, k [1,m]; est la fréquence du mot w k dans le document; est le nombre total de positions de mot dans les documents; est le nombre total de mots distincts dans la collection.