Nouvelles Technologies de l Informa7on : des pistes de recherche. Omar Boussaid

Transcription

1 Projet «Towards a new Manner to use Affordable Technologies and Social Networks to Improve Business for Women in Emerging Countries» Alger- CERIST, 10 novembre 2014 Nouvelles Technologies de l Informa7on : des pistes de recherche Omar Boussaid Omar.boussaid@univ- lyon2.fr Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

2 Nouvelles Technologies de l Informa6on : des pistes de recherche «Towards a new Manner to use Affordable Technologies and Social Networks to Improve Business for Women in Emerging Countries»! Synergie entre différents domaines scientifiques : Sociologie, Economie, Informatique, Marketing! Impact des Nouvelles Technologies de l Information (NTI) sur des populations et sur leurs activités professionnelles! Besoins de nouveaux types de technologies abordables! Adaptation des NTI à des profiles d utilisateurs particuliers (les users peuvent être analphabètes) Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

3 Nouvelles Technologies de l Informa6on : des pistes de recherche Objectifs du projet! Construction d une plateforme pour :! L analyse des usages! Assistance dans l appropriation des usage des NTI! Proposition d une architecture permettant de :! Développer des recherche en marketing et sur les réseaux sociaux! Permettre aux femmes artisanes de s entrainer sur les NTI Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

4 Nouvelles Technologies de l Informa6on : des pistes de recherche Recherche sur les NTI Nouvelles Technologies de l Information Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

5 Nouvelles Technologies de l Informa6on : des pistes de recherche Des données complexes! Complexité et volume des données!!!!! Données du Web, Flux de données Texte, Images, Spatial OLAP / ML OLAP Big Data : Po, Zo. Problématiques : Structuration (ou non structuration) Analyse Performance Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

6 Nouvelles Technologies de l Informa6on : des pistes de recherche Environnements de stockage! Au- delà du relationnel, les entrepôts continuent! NoSQL! Jusque dans les nuages!!!!!! Externalisation des services Environnement d hébergement virtuel Puissance de calcul Facturation à l utilisation Délocalisation des soucis (???) Des adaptations spécifiques Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

7 Nouvelles Technologies de l Informa6on : des pistes de recherche Processus de traitements repensés! Généralisation de l usage des entrepôts de données (contexte : Open Source et Cloud)! Implication de l utilisateur dans le processus décisionnel!!!! Phase de modélisation Personnalisation des analyses Démarche d analyse collaborative Business Intelligence (ou Analyse) «à la demande»! Visualisation pour aider l utilisateur à décider! Travaux sur la visualisation : améliorer les visualisations classiques (3D)! Travaux liés aux nouveaux supports de communication (outils mobiles) Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

8 Nouvelles Technologies de l Informa6on : des pistes de recherche Sécurité des S. I. D.!!!! De nouvelles vulnérabilités Surveillance et réactivité Accessibilité : par rapport aux utilisateurs (profile) Disponibilité et confidentialité des données : de nouveaux problèmes liés à l informatique dans le nuage! Stratégie de stockage des données sensibles! Cryptage de données Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

9 Nouvelles Technologies de l Informa6on : des pistes de recherche Recherche sur les NTI! Les données sociales : essentiellement des données textuelles 1. Entrepôts de textes 2. Cubes de textes 3. De l analyse des données textuelles à la détection des communautés 4. L analyse des communautés Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

10 Nouvelles Technologies de l Informa6on : des pistes de recherche Recherche sur les NTI 1. Entrepôts de textes Thèse de R. Aknouche Laboratoire ERIC, Université Lyon 2 Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

11 Nouvelles Technologies de l Informa6on : des pistes de recherche Structuration des objets complexes Thèse de Doulkifli Boukraa, janvier 2013 Université de Jijel ; université Lyon 2 (laboratoire ERIC) Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

12 Nouvelles Technologies de l Informa6on : des pistes de recherche Modèle en couche d objets complexes Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

13 Nouvelles Technologies de l Informa6on : des pistes de recherche Plateforme RICSH Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

14 Nouvelles Technologies de l Informa6on : des pistes de recherche Entreposage et Analyse de Textes Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

15 Nouvelles Technologies de l Informa6on : des pistes de recherche ETL et données non structurées Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

16 Nouvelles Technologies de l Informa6on : des pistes de recherche Démarche d ETL de données textuelles Requête Corpus Phase I Prétraitement du corpus Module d extrac=on Source de connaissances - extrac7on des unités textuelles - filtrage des mots fonc7onnels - stemming BDD Oracle Repérage et extrac7on des unités théma7ques Module de repérage Phase II Représenta6on et classifica6on Module d indexa=on - représenta7on des documents - reformula7on de la requête Classifieur Comparateur Projet «Femmes Artisanes» Alger, CERIST, 10 novembre 2014 classes de documents 16

17 Nouvelles Technologies de l Informa6on : des pistes de recherche Processus ETL- Text Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

18 Nouvelles Technologies de l Informa6on : des pistes de recherche Processus d ETL des données textuelles Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

19 Nouvelles Technologies de l Informa6on : des pistes de recherche TWM : Modèle d'entrepôts de textes Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

20 Nouvelles Technologies de l Informa6on : des pistes de recherche TWM : Text Warehouse Model Schéma en constellation d un entrepôt de textes Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

21 Nouvelles Technologies de l Informa6on : des pistes de recherche TWM : instanciation du modèle Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

22 Nouvelles Technologies de l Informa6on : des pistes de recherche Text warehousing architecture Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

23 Nouvelles Technologies de l Informa6on : des pistes de recherche 2. Cubes de Textes et Text OLAP Thèse de Lamia Oukid Laboratoire LRDSI, Université de Blida 1, Algérie Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

24 Nouvelles Technologies de l Informa6on : des pistes de recherche Introduction Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

25 Nouvelles Technologies de l Informa6on : des pistes de recherche CT- Cube: Contextual Text Cube Model! Contextual dimensions: 1. Semantic dimensions Domain ontology related to a contextual factor 2. Metadata dimensions One metadata dimension to represent each metadata information, such as: date, title, author, etc.! Textual analysis measure M M represents each document d by several weighted concepts vectors, one vector for each dimension Dimr of CT- Cube Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

26 Nouvelles Technologies de l Informa6on : des pistes de recherche Model instanciation! OLAP analysis on a collection of CVs Star schema of a CT- Cube Example of a hierarchy of topics Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

27 Nouvelles Technologies de l Informa6on : des pistes de recherche Relevance propagation for the analysis measure Considering text semantics during the computation of the weight of concepts in the documents 1. Compute the weights of the document concepts (Information Retrieval measure, for instance: Tf-Idf ) 2. Re- compute weights of ancestors of each leaf node which has a not zero weight : Weight (nk, n fi ) = Weight (nk ) + Weight (n fi ) dis tan ce ( nk, n fi ) +1 nfi : leaf node from which the relevance propagation is performed nk : ancestor node to which the new weight is computed distance(nk, nfi ) : semantic distance between the nodes nk and nfi 3. Normalize the vector of weighted concepts Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

28 Nouvelles Technologies de l Informa6on : des pistes de recherche Relevance propagation for the analysis measure Relevance propagation for the TOPIC dimension (Example) Results aaer normaliza6on = <Programming (0.1169), Java (0.2506), Computer science( ); Php (0.1670), C (0.0835), Oracle (0.0835), Database (0.0083), Math (0.0919), Sta=s=cs (0.0835)> Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

29 Nouvelles Technologies de l Informa6on : des pistes de recherche Comparison between Tf measure and our text measure M Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

30 Nouvelles Technologies de l Informa6on : des pistes de recherche ORank (OLAP- Rank): Aggregation operator for textual data! The analysis query q = < q1, q2,, q*> is enriched by the decision- maker profile. qr is the query at the dimension Dimr! The aggregate of a document d represented by is calculated as follows: n (α i Sim( d Dimi, qi )) ORank (d ) = i =1 n. à Decision- maker preferences for each dimension : document vector at the dimension : cosine similarity between Dimr and qi Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

31 Nouvelles Technologies de l Informa6on : des pistes de recherche Example of analysis using ORank Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

32 Nouvelles Technologies de l Informa6on : des pistes de recherche Conclusion and outlook! New Text OLAP approach! CT- Cube: Contextual Text Cube Model Contextual dimensions and new textual analysis measure! ORank: OLAP- Rank New text aggregation operator that aggregates documents by ranking! Defining a new OLAP operator that allows a contextual categorization of textual data according to the contextual dimensions of our CT- Cube. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

33 Nouvelles Technologies de l Informa6on : des pistes de recherche 3. De l analyse des données textuelles à la détection des communautés Thèse de Lillia Hannachi Laboratoire LRDSI, Université de Blida 1, Algérie Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

34 Nouvelles Technologies de l Informa6on : des pistes de recherche CETD: Community Extraction based on Topic Driven Model for clustering of Users Tweets! Text information associated with Social networks becoming increasingly popular Social media Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

35 Nouvelles Technologies de l Informa6on : des pistes de recherche Example of the network map of the twitter users Tweets Interesting topics Opinions Personal view. From Example of network generated by 46 users in twitter site Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

36 Nouvelles Technologies de l Informa6on : des pistes de recherche Communauty detection Community: It is formed by individuals such that those within a group interact with each other more frequently than with those outside the group a.k.a. group, cluster, cohesive subgroup, module in different contexts Why communities in social media? Human beings are social Easy- to- use social media allows people to extend their social life in unprecedented ways Difficult to meet friends in the physical world, but much easier to find friend online with similar interests Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

37 Nouvelles Technologies de l Informa6on : des pistes de recherche! Cleaning Tweets Database! The text of tweets is a very rich data set.! It is generally noisy, ambiguous data.! Linguistic knowledge Illicit and unrecognized words.! Semantic knowledge Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

38 Nouvelles Technologies de l Informa6on : des pistes de recherche " ODP- Based Adapted LDA! In order to detect the topics presented by the users tweets, we use Latent Dirichlet Allocation (LDA) Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

39 Nouvelles Technologies de l Informa6on : des pistes de recherche " ODP- Based Adapted LDA! We apply Latent Dirichlet Allocation (LDA) on the cleaned tweets data Topic 1 Topic 2 Julie Chris Adam Lauren Topic 1 Gallery Design Job Photograph Can we automatically generate understandable labels for topics? Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

40 Nouvelles Technologies de l Informa6on : des pistes de recherche $ ODP- Based Topics Semantic! We construct for each latent topic obtained from previous step a structured tree Topic 1 Gallery Design Job Photograph Projet «Femmes Artisanes» Alger, CERIST, 10 novembre Topic- ML file 40

41 Nouvelles Technologies de l Informa6on : des pistes de recherche % N- depth High Level Topics! Each latent topic is characterized by a topical hierarchy and domains distribution. Topic 1 T opic 1 Arts Level 0: Computers Arts Level 1: Business Employment Level 2: Employment Web Design a 0nd Development.018 Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

42 Nouvelles Technologies de l Informa6on : des pistes de recherche N- depth High Level Topics %! User s tweets are then represented by the domains distribution Topic 1 Topic 2. Julie Chris Adam Lauren Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

43 Nouvelles Technologies de l Informa6on : des pistes de recherche Community Extraction based on Topic- Driven- Model This part is divided into three steps:! First, we calculate the semantic distance between users. " Then we construct the graph which presents the different closeness relationship between users; Finally we construct users communities based on the previous graph. $ Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

44 Nouvelles Technologies de l Informa6on : des pistes de recherche! Distance between users (Jensen- Shannon Divergence )! Distance between users according to topics distance between user i and user j is:! Distance between users according to domains! Distance between users according to both topics and domains Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

45 Nouvelles Technologies de l Informa6on : des pistes de recherche " Graph Construction Alex! create a link from user m to user n, if user n is the closest to user m for topic k or domain j or both. Michael Maria! The weight of this link is calculated as the distance between the two users. John! If there is another link from user m to user n for another topic or domain or both, we choose the minimal distance between them. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre 2014 Laura 45

46 Nouvelles Technologies de l Informa6on : des pistes de recherche $ Extraction of user s community Extract users communities by adapting the Girvan Newman algorithm q Calculate the betweenness scores for all links in the network. q Find the link with the highest score and remove it from the network. q Repeat the research and the removal until getting the communities. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

47 Nouvelles Technologies de l Informa6on : des pistes de recherche Evaluation of extracted communities! The question asked, is How to get the best result?! We use the popular modularity measure! It is the number of edges within community minus expected number in an equivalent network with edges placed at random equal 1 if i and j belong to the same community, and 0 otherwise Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

48 Nouvelles Technologies de l Informa6on : des pistes de recherche Experimentation! We trained our proposed model on data collected by crawling one week of public tweets. q The total number of tweets crawled is ! We select the first 100 relevant users according to different criteria.! We apply our community extraction method Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

49 Nouvelles Technologies de l Informa6on : des pistes de recherche Experimentation Example - The first five most treated topics in one community Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

50 Nouvelles Technologies de l Informa6on : des pistes de recherche 4. Communauties Detection by FCA Thèse de Sid Ali Selamne Laboratoire ERIC, Université Lyon 2 Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

51 Nouvelles Technologies de l Informa6on : des pistes de recherche Réseau social Defini6on Une structure sociale de nœuds (Acteurs) qui sont liés les uns aux autres par des liens divers tels que l'ami7é, affinité, collabora7on,... Diffèrent types de graphes Graphes simples, dirigés, pondérés ou é7quetés Graphe monopar7s (One- mode) ou mul7par7s (many- mode) pour des réseaux d informa7ons hétérogènes avec plus d un type de nœuds ou de liens. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

52 Nouvelles Technologies de l Informa6on : des pistes de recherche Détecter des groupes sociaux ou communautés : Exemple des Femmes du Sud Photograph by Ben Shahn, Natchez, MS, October, 1935! Etude des contacts informels qui existent au sein des femmes de la ville de Natchez, Mississippi, la race (blanche ou noire) et la classe sociale (riche, pauvre ou moyenne). W. Lloyd Warner et all (Harvard University, 1933) Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

53 Nouvelles Technologies de l Informa6on : des pistes de recherche Participation des Femmes du Sud aux Evènements Participants 1.Mrs.EVELYNJefferson 2.MissLAURAMandeville 3.MissTHERESAanderson 4.MissBRENDARogers 5.MissCHARLOTTEMcDowd 6.MissFRANCESAnderson 7.MissELEANORNye 8.MissPEARLOglethorpe 9.MissRUTHDeSand 10.MissVERNESanderson 11.MissMYRALiddell 12.MissKATHERINERogers 13.Mrs.SYLVIAAvondale 14.Mrs.NORAFayette 15.Mrs.HELENLloyd 16.Mrs.DOROTHYMurchison 17.MrsOLIVIACarleton 18.MrsFLORAPrice E1 27-juin E2 02-mars E3 12-avr E4 26-sept E5 25-févr E6 19-mai Evènement/Date E7 E8 15-mars 16-sept E9 08-avr E10 10-juin E11 23-févr E12 07-avr E13 21-nov E14 03-août Collecte de données sur 9 mois : données systéma7ques bipar7s (femme événement), 18 femmes 14 événements sociaux informels (travail d'un jour derrière le comptoir d'un magasin, réunion du club des femmes, souper de l'église, une par=e de cartes, une réunion de l'associa=on parents- enseignants ) Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

54 Nouvelles Technologies de l Informa6on : des pistes de recherche Graphe issu de la matrice de participation Deux groupes distincts Les cercles en Rouge représentent les 18 femmes Les carrés en Bleu représente les 14 évènements Les arcs représente la par7cipa7on d une femme à un évènement. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

55 Nouvelles Technologies de l Informa6on : des pistes de recherche Assignation de Groupes (Méthode Intuitive) deux groupes de femmes (encadré rouges) partageant les mêmes événements, et trois groupes d évènements (encadrés bleus) qui sont partagés par les femmes Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

56 Nouvelles Technologies de l Informa6on : des pistes de recherche Définition du problème! G = (V, E) représentant un réseau social! V : ensemble d individus du réseau social, n = V : nbre de nœuds dans G! E : ensemble de liens sociaux entre les individus, m = E : nbre d arêtes dans G! Détecter les communautés ó clustering du graphe! avoir des groupes de nœuds fortement connectés entre eux, mais qui ont peu de liens avec d autres nœuds du graphe. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

57 Nouvelles Technologies de l Informa6on : des pistes de recherche GNOM- FCA pour la détection de communautés! Analyse Formelle de Concepts pour la découverte de communautés dans les Réseaux Sociaux! Nouvelle méthode de détection de communautés pour :! Prendre en compte l ensemble des acteurs du RS! Améliorer la qualité des communautés obtenues! Proposer une mesure de performance! adaptée aux méthodes de détection de communautés permettant de les évaluer Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

58 Nouvelles Technologies de l Informa6on : des pistes de recherche GNOM- FCA pour la détection de communautés Modélisation et visualisation Treillis de Galois Graphe!! Graphe. G = (V, E) représentant un réseau social!! V : ensemble des individus du réseau social E : ensemble des liens sociaux entre les individus Contexte formel. F = (V,C, I) le contexte formel associant les Cliques maximales (CM) d un graphe à l ensemble de ses acteurs V où :!! C : ensembles des CM extraites du graphe G. I : relation binaire qui lie les ensemble V et C. Autrement dit, si un acteur appartient à une CM, I() = 1 sinon, I() = 0. Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

59 Nouvelles Technologies de l Informa6on : des pistes de recherche GNOM- FCA pour la détection de communautés Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

60 Nouvelles Technologies de l Informa6on : des pistes de recherche Quelle recommanda6on pour les réseaux sociaux? Contexte et probléma6que Profusion des données sociales dans le web 2.0 Fouille de données sociales du web Baromètre de l'opinion des u7lisateurs Créa7on de l informa7on collec7ve Emergence de mo7fs non évidents Besoins croissant des systèmes de recommanda6on Différentes techniques d'extrac6on de connaissances sont u6lisées Détec7on de communautés Regroupement et analyse de sen7ments/ opinions Analyse sta7s7que et classifica7on Règles d'associa7on Objec6f v Développement d'un système de recommanda7on pour les réseaux sociaux basé sur les règles d'associa7on triadiques Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

61 Nouvelles Technologies de l Informa6on : des pistes de recherche P- TRIAR : personnalisa6on basées sur les règles d associa6on triadiques Solu6on proposée Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

62 Nouvelles Technologies de l Informa6on : des pistes de recherche P- TRIAR : personnalisa6on basées sur les règles d associa6on triadiques Exemples de recommanda6on Sugges6on de liens Recommanda6on partagée Projet «Femmes Artisanes» Alger, CERIST, 10 novembre

63 Projet «Towards a new Manner to use Affordable Technologies and Social Networks to Improve Business for Women in Emerging Countries» Alger- CERIST, 10 novembre 2014 Merci Questions? Projet «Femmes Artisanes» Alger, CERIST, 10 novembre