Analyse de très larges flots de données

Transcription

1 Analyse de très larges flots de données Projet d'ingénieur Groupe 40 Groupe: Tuteurs et client: KAOU Abdoullah SIMON Gwendal (RSM) GAO Xin PELOV Alexander (RSM) OULABAS Ahmed KERMARREC Yvon (LUSSI) SUN Botu LE MERRER Erwan (Technicolor) HUARD Guillaume Institut Mines-Télécom

2 Introduction Présentation du plan de management 2

3 Introduction Plan : Présentation de la problématique Besoin du client Gestion du projet Organisation dans la gestion du projet Organisation dans le travail technique 3

4 Problématique Le nouvel enjeu des calculs sur de grandes bases de données 4

5 Mutation du besoin Actuellement : Développement constante de la technologie informatique De nouvelles utilisations grand public font leur apparition Un débit via Internet en constante augmentation Exemples : Fréquentation croissante des plateformes «Cloud» Conséquences : Des données de plus en plus importantes à stocker et à traiter Nouvelle solution : Un traitement des données en temps réel Les données ne sont plus stockées Seule l'information utile est conservée 5

6 Avantages et inconvénients Approches différentes: Les approches de chacune des solutions sont adaptées à des besoins différents Il n'existe pas de bonne solution dans le cas général Avantages: Traitement des donnée en temps réel, résultat instantané Plus de nécessité de stocker l'ensemble des données à traiter le temps du traitement, meilleure résistance aux pannes Inconvénients: Traitement partiel, moins efficace qu'un traitement sur l'ensemble des données 6

7 Problématiques Déterminer la faisabilité de l'utilisation de cette solution sur deux exemples S interroger sur l efficacité de la solution dans ces deux exemples simples au travers de différents tests. 7

8 Besoin du client 8

9 Besoin du client Objectif : Faire des traitements en temps réel sur des flots de données entrants. Nécessité d'une plate-forme Choisir une seule puisqu'il y en a plusieurs. Implémenter les algorithmes. Les tester sur deux cas : Justin.tv Système d'identification d'appareils électriques 9

10 Cas 1: Justin.tv Botu Vidéo 1 Vidéo 2 Vidéo Vidéo 1 Ahmed Vidéo 4 Vidéo N Guillaume Vidéo

11 Cas 2: Système d'identification d'appareils électriques Puissance en temps réel Prédiction de la consommation 11

12 Besoin du client Les contraintes : Finir à temps Minimiser les bugs Assurer l évolutivité du code Fournir une spécification claire Penser à la réutilisabilité du code 12

13 Les livrables à fournir Livrable 1: Sélection de la plate-forme la plus adaptée Livrable 2: Plan de management Livrable 3: Sélection de deux algorithmes adaptés aux cas d étude. Livrable 4: Code source de l algorithme implémenté Livrable 5: Sélection de tests Livrable 6: Résultats des tests Livrable 7: Rapport final 13

14 Organigramme des tâches Phases principales du projet 14

15 Méthode de Gestion du projet Gestions techniques et organisationnelles Organigramme des tâches, Gantt, analyse des risques 15

16 Moyens organisationnels Répartition des rôles Gestion de planning Organigramme des tâches Analyse des risques 16

17 Répartition des rôles Partition des rôles suivant Compétence Intérêt Rôle Responsabilité Personnes en charge Chef du projet Gestion du projet HUARD Guillaume Communication Contact avec le client et tuteurs KAOU Abdoullah Forum Organisation du forum GAO Xin Budget Gestion du budget et avancement OULABAS Ahmed Documentation Gestion des documentations SUN Botu 17

18 Outils de collaboration Échange et stockage de documents: Dropbox Rapide et Pratique Travail simultané: Google Drive Permet de travailler en même temps Communication: Mailing-liste de Google Groupe Communication interne du groupe 18

19 Gestion de planning Diagramme de Gantt Microsoft Project 19

20 Suivi de projet Rapport d avancement Travail de la semaine Travail de la semaine suivante Suivi de Gantt et Risque Nombre d'heure mis en travail Suivi de Gantt Mis à jour d'état des tâches Surveillance des retards 20

21 Organigramme des tâches WBS (Work Breakdown Structure) 21

22 Analyse des risques 22

23 Conclusion 23