Hadoop / Big Data. Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS

Transcription

1 Hadoop / Big Data Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS

2 TP 3 TP noté Méthodologie Map/Reduce - programmation Hadoop - Sqoop

3 Préparation du TP 1 Importer la machine virtuelle.ova du TP. Il s'agit d'un système GNU/Linux Debian, amd64. Il ne s'agit pas de la même machine virtuelle que précédemment. Démarrer la machine virtuelle. S'identifier avec le login: hadoop, mot de passe: mbds. Démarrer Hadoop avec les commandes: start-dfs.sh & start-yarn.sh & (ignorer les warnings)

4 Préparation du TP 2 Vérifier le bon fonctionnement de Hadoop en exécutant la commande: hdfs dfsadmin -report La commande vérifie le statut de HDFS. Elle devrait afficher: Datanodes available: 1 (1 total, 0 dead)

5 Objectifs 3 Ce TP est noté. Il peut être effectué seul ou en groupe (au maximum 4 personnes). Merci d'envoyer la constitution de vos groupes à l'adresse: ben@tokidev.fr. Le TP constitue une mise en situation; il vise à évaluer votre compréhension et votre maîtrise de la méthodologie map/reduce, de Hadoop, et de l'outil additionnel Sqoop dans un exemple applicatif «réaliste».

6 Objectifs 4 On imagine qu'une entreprise (à titre d'exemple, Microsoft) souhaite connaître les tendances d'opinion la concernant en analysant les tweets la concernant: ceux contenant le hashtag #Microsoft. Une tâche automatisée importe régulièrement ces tweets au sein d'une base de données MySQL, dans une table tweets. Par ailleurs, un formulaire a été mis en place permettant de sélectionner une période de temps. Ce formulaire produit deux ids numériques: id_min et id_max, correspondant à la clef primaire id du premier tweet à analyser et à celle du dernier tweet à analyser, au sein de la table de la base MySQL.

7 Objectifs 5 Vous avez pour tâche de développer un script qui va: Recevoir les valeurs id_min et id_max. Exécuter un import Sqoop pour récupérer les tweets correspondant à ces valeurs depuis la base MySQL dans HDFS. Exécuter un programme Hadoop map/reduce analysant les tweets ainsi importés pour déterminer une mesure d'opinion basique. Exécuter un export Sqoop pour exporter les résultats de l'analyse au sein d'une seconde table results dans la même base de données. Vous devez également développer le programme Hadoop map/reduce en question.

8 Objectifs 6

9 Informations 7 Vous n'avez pas à développer le formulaire de sélection de la période de temps. Il n'est pas nécessaire non plus de s'occuper de la partie installation/alimentation de la base de données. On imagine donc que votre tâche débute à la réception des deux identifiants id_min et id_max; dans cette mise en situation, ils seraient typiquement passés à votre application par le formulaire en question (via un appel au script). Le développement du script d'exécution lui-même est optionnel (pour des points bonus en plus); votre tâche consiste à développer le programme map/reduce, et à créer deux commandes Sqoop lui correspondant: une pour l'import des tweets sur HDFS et l'autre pour l'export des résultats sur MySQL.

10 Machine virtuelle 8 La machine virtuelle associée au TP contient d'ores et déjà: Hadoop/HDFS, la base de données MySQL, Sqoop, et les données relatives au TP lui-même. Deux tunnels devraient normalement déjà être configurés sur la machine virtuelle: Le premier pour SSH, sur le port Il vous est ainsi possible d'accéder à la console via PuTTY/autre client SSH en vous connectant sur :2222. Le second pour un serveur web tournant également sur la machine, sur le port Son but essentiel est de vous permettre d'accéder à une interface PHPMyAdmin si vous le souhaitez, à l'adresse:

11 Machine virtuelle 9 Les informations de connexion à la base de données MySQL: Serveur: localhost Login: hadoop Mot de passe: mbds Base de données: hadoop Vous pouvez accéder à la base pour analyser la structure des tables par le biais de PHPMyAdmin (voir slide précédente), ou simplement depuis la console par le biais du client MySQL CLI, avec la commande: mysql -u hadoop -pmbds hadoop (tapez ensuite vos requêtes, par exemple «desc tweets;».

12 Machine virtuelle 10 Toutes les commandes sont à taper via l'utilisateur système hadoop. Au sein du répertoire home de cet utilisateur (/home/hadoop), un répertoire big_data_hadoop_tp_3 contient les fichiers suivants: wordlist_bad.txt: les mot-clefs désignant un tweet comme «négatif». wordlist_good.txt: les mot-clefs désignant un tweet comme «positif». tweets_import.sql: les requêtes ayant permis de créer la base de données (normalement, n'est pas utile). examples/: les codes sources des programmes Anagrammes et WordCount des précédents TPs pour vous aider si nécessaire; également présents sous forme déjà compilée.

13 Analyse d'opinion 11 Votre tâche map/reduce doit analyser les tweets et en sortir quatre compteurs: Un nombre de tweets négatifs. Un nombre de tweets positifs. Un nombre de tweets inconcluants. Un nombre de tweets neutres. Comme indiqué plus haut, on se sert d'une liste de mot-clefs pour déterminer si un tweet est positif ou négatif. Il s'agit évidemment là d'une approche basique (qui ne suffirait pas dans un cas réel), mais elle suffit dans le cadre de ce TP. De même, la quantité de tweets est faible (< 500), là aussi pour des raisons de simplicité et de rapidité d'exécution.

14 Analyse d'opinion 12 Un tweet doit être considéré comme: Positif s'il contient au moins un mot clef de la liste des mot-clefs positifs (wordlist_good.txt), et aucun de la liste des mot-clefs négatifs. Négatif s'il contient au moins un mot clef de la liste des mot-clefs négatifs (wordlist_bad.txt), et aucun de la liste des mot-clefs positifs. Inconcluant s'il contient au moins un mot des deux listes, positives et négatives (par exemple «excellent» et «lamentable»). Neutre s'il ne contient aucun mot d'aucune des deux listes négatives et positives. Il n'est pas nécessaire de retenir quels sont les mots rencontrés; on cherche uniquement à l'issue du programme map/reduce à avoir les quatres compteurs déjà mentionnés précédemment, et à les importer dans la table results.

15 Structure des tables 13 La table finale results est constituée de deux champs: opinion, un champs texte qui doit prendre pour valeur «positif», «negatif», «neutre» ou «inconcluant». amount, un champs numérique qui doit prendre pour valeur le compteur correspondant. La table d'entrée tweets est constituée de quatre champs: id, une clef unique numérique (sur laquelle s'applique la restriction id_min/id_max). author, un champs texte contenant l'auteur du tweet. tweet, un champs texte contenant le tweet lui-même. postdate, un champs texte contenant la date où le tweet a été posté.

16 Rendu du TP 14 A l'issu du TP, vous devrez rendre: Le code source de votre programme Hadoop map/reduce, en Java ou autre langage de programmation (via l'utilitaire streaming). Les deux commandes Sqoop d'import des données initiales et d'export des résultats. D'éventuelles remarques associées à leur exécution si nécessaire. Pour avoir tous les points, votre programme devra s'exécuter et effectuer le travail demandé. Pour des points en plus, vous pouvez également développer le script bash permettant l'automatisation de l'exécution de toutes ces étapes (voir plus loin). Rendez votre travail par (ben@tokidev.fr).

17 Remarques 15 Lors de l'analyse des tweets, pensez à d'éventuelles contraintes liées aux espaces / délimiteurs de mots. Tous les champs de la base d'entrée ne sont pas forcément à utiliser! Vous pouvez filtrer ceux qui ne vous intéressent pas via l'import Sqoop, ou bien au sein de votre programme map/reduce (la première solution est recommandée). Pour vous aider, inspirez-vous des exemples des TPs précédents. Vous avez évidemment le droit de consulter toute documentation utile en ligne; notamment pour ce qui touche au parsing de chaîne de caractères en Java (analyse des tweets).

18 Remarques 16 Si vous ne souhaitez pas utiliser la machine virtuelle mais votre propre machine, une archive contenant les fichiers du répertoire big_data_hadoop_tp_3 est disponible à l'adresse: Rappel: pour compiler votre programme, deux possibilités: Via Eclipse/Netbeans (pensez à inclure les librairies Hadoop). Manuellement, en faisant par exemple (ajustez le nom du package en conséquence): javac *.java mkdir -p org/mbds/hadoop/tp3 mv *.class org/mbds/hadoop/tp3 jar -cvf mbds_tp3.jar -C. org

19 Bonus: script d'automatisation 17 Pour (quelques) points en plus, rédigez un petit script bash qui automatise toutes ces opérations. Il devra prendre deux arguments: id_min et id_max (accessible dans bash via les variables $1 et $2), de sorte qu'en appelant par exemple:./opinion.sh toutes les opérations s'exécutent pour les tweets entre 20 et 200 et les résultats finaux soient importés au sein de la table results.