Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Dimension: px
Commencer à balayer dès la page:

Download "Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr"

Transcription

1 Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1

2 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les serveurs Les applications Contraintes Remarques Après? Conclusion 2

3 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les serveurs Les applications Contraintes Remarques Après? Conclusion 3

4 Introduction Besoin : historique des exports NetFlow Analyse anomalies Capacity planning Stockage : > 1To de données par jour Temps de réponse des applications Solution : Hadoop? 4

5 Rappel : NetFlow Définition d un flux: IP source IP destination port source port destination protocole type de service index de l'interface d entrée 5

6 Rappel : NetFlow IP Header Version HLEN ToS Identification flags Time to Live Protocol Source IP Address Destination IP Address Total Length Fragment Offset Header Checksum 31 TCP Header Source Port Number Destination Port Number Sequence Number Acknowledgement Number Header Reserved TCP Flags Window Size TCP Checksum Urgent Pointer 6

7 Rappel : NetFlow Exemple : connexion au site Nb Octets Nb Paquets Index In Index Out IP Source IP Dest Prot Port Sce Port Dst

8 Rappel : NetFlow Exemple : connexion au site Nb Octets Nb Paquets Index In Index Out IP Source IP Dest Prot Port Sce Port Dst

9 Rappel : NetFlow Exemple : connexion au site Nb Octets Nb Paquets Index In Index Out IP Source IP Dest Prot Port Sce Port Dst

10 En chiffres ~ 70 routeurs échantillonnage 1:1,1:10,1:20 NetFlow export version 9 >180 Mbits/s d export UDP > 800 interfaces clientes ~ flux/s ~ 16 milliards flux par jour 1,4 To / jour (8 milliards de flux après déduplication) 10

11 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les serveurs Les applications Contraintes Remarques Après? Conclusion 11

12 Hadoop Framework opensource Fondation Apache A quoi ça sert? Stocker Compter Trier Joindre Indexer Agréger Graphes 12

13 Hadoop briques de base Zookerper (admin) Vos programmes (C, Java, Python ) HBase Pig/Hive Analyse de données Map Reduce (moteur d exécution) HDFS Oozie (Scheduling) 13

14 Hadoop briques de base Zookerper (admin) Nos programmes Python HBase Pig/Hive Analyse de données Map Reduce (moteur d exécution) HDFS Oozie (Scheduling) 14

15 Hadoop - écosystème Giraph apprentissage automatique Traitement temps réel Splunk Mahout Oozie ordonnancement Blur PIG Azkaban Impala Hive Cascading Toolkit, traitement des données HBase Dumbo Cascalog Map/ Reduce HDFS Crunch RHiPE Hue Ambari administration Flume WebHDFS Intégration des données Sqoop 15

16 Hadoop - écosystème Giraph apprentissage automatique Traitement temps réel Splunk Mahout Oozie ordonnancement Blur PIG Azkaban Impala Hive Cascading Toolkit, traitement des données HBase Dumbo Cascalog Map/ Reduce HDFS Crunch RHiPE Hue Ambari administration Flume WebHDFS Intégration des données Sqoop 16

17 Hadoop - distributions Apache Bigtop Cloudera distribution for Hadoop HDFS, MapReduce, HBase, Hive, Mahout, Oozie, Pig, Sqoop, Whirr, Zookeeper, Flume MapR Distribution n utilise pas HDFS mais leur propre système de fichier basé sur NFS Hortonworks Data Plateforme 17

18 Hadoop - principe 18

19 Hadoop - principe Architecture maître/esclave : Nœud Maître NameNode Nœud de données DataNode HDFS Nœud de données DataNode HDFS Nœud de données DataNode HDFS Processus (au repos): NameNode SecondaryNameNode JobTracker TaskTracker DataNode 19

20 Hadoop - HDFS HDFS (Java) au dessus de EXT3 (ou EXT4, XFS) Pas de RAID ni LVM Fichiers en blocs de 64Mo (ou +) Taille qui sera traitée par une tâche Map Réplication des données automatique!! 20

21 1 4 6 HDFS - réplication Parties du fichier sans réplication activée 9 10 Parties du fichier de la 1ère réplication Parties du fichier de la seconde réplication 21

22 Tâches Map Hadoop Map/Reduce - Principe Bloc1 Map 1 Bloc2 Map 2 Bloc3 Map 3 Entrée <clé, valeur> <clé2, valeur2> Données intermédiaires 22

23 Tâches Map Hadoop Map/Reduce - Principe Bloc1 Map 1 Bloc2 Map 2 Bloc3 Map 3 Entrée <clé, valeur> <clé2, valeur2> Données intermédiaires 23

24 Tâches Map Hadoop Map/Reduce - Principe Bloc1 Map 1 Bloc2 Map 2 Bloc3 Map 3 Entrée <clé, valeur> <clé2, valeur2> Données intermédiaires <clé2, liste(valeur2)> Sortie 24 <clé3, valeur3>

25 Tâches Map Bloc1 Hadoop Map/Reduce - Principe Map 1 Tâches Reduce R1 Bloc2 Map 2 R2 Bloc3 Map 3 R3 Entrée <clé, valeur> <clé2, valeur2> Données intermédiaires <clé2, liste(valeur2)> Sortie 25 <clé3, valeur3>

26 Tâches Map Bloc1 Hadoop Map/Reduce - Principe Map 1! Tâches Reduce R1 Bloc2 Map 2! R2 Bloc3 Map 3! R3 Entrée <clé, valeur> <clé2, valeur2> Données intermédiaires <clé2, liste(valeur2)> Sortie 26 <clé3, valeur3>

27 Hadoop Map/Reduce exécution 1 JVM par tâche 2 tâches / thread Exécution d un Job : En vert : Exécution des tâches Maps En bleu : copie des résultats En orange : tâches Reduces 27

28 Hadoop Map/Reduce shell vs hadoop En shell : cat <mes données> <mon programme de parcours> sort <mon programme d agrégation> > <mon résultat> Avec Hadoop : hadoop jar contrib/streaming/hadoop-*streaming*.jar \ -file <mon programme de parcours> \ -mapper <mon programme de parcours> \ -file <mon programme d agrégation> \ -reducer <mon programme d agrégation> \ -input <mes données> \ -output <mon résultats> 28

29 Hadoop Map/Reduce shell vs hadoop En shell : cat <mes données> <mon programme de parcours> sort <mon programme d agrégation> > <mon résultat> Avec Hadoop : hadoop jar contrib/streaming/hadoop-*streaming*.jar \ -file <mon programme de parcours> \ -mapper <mon programme de parcours> \ -file <mon programme d agrégation> \ -reducer <mon programme d agrégation> \ -input <mes données> \ -output <mon résultats> 29

30 Hadoop Map/Reduce shell vs hadoop En shell : cat <mes données> <mon programme de parcours> sort <mon programme d agrégation> > <mon résultat> Avec Hadoop : hadoop jar contrib/streaming/hadoop-*streaming*.jar \ -file <mon programme de parcours> \ -mapper <mon programme de parcours> \ -file <mon programme d agrégation> \ -reducer <mon programme d agrégation> \ -input <mes données> \ -output <mon résultats> 30

31 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les serveurs Les applications Contraintes Remarques Après? Conclusion 31

32 L architecture déployée Backbone RENATER UDP NetFlow v9 Collecteur NetFlow ASCII Hadoop 32

33 L architecture déployée Backbone RENATER UDP NetFlow v9 Collecteur NetFlow ASCII Hadoop 1,4To/jour 8Go/5min 33

34 Les serveurs (1) DELL R420 1U - * 11 Bi processeur Xeon E (2,4GHz, 6 cœurs 12 Threads) 32 Go RAM 1DD 146 Go 2 DD 15Krpm 300Go 34

35 Les serveurs (2) Utilisation mémoire Utilisation disque 35

36 Les applications En Python, utilisation de la classe Java «streaming» de Hadoop Recherche de flux (à la demande) Agrégation de données (en continu) : TOP n IPs TOP n AS BGP Détection anomalies (DDOS) 36

37 Contraintes de temps t t+5 t+10 t+15 Temps en minutes Collecte Collecte Collecte transfert transfert transfert Job 1 J 2 J 4 J 3 J 5 Job 1 J 2 J 4 J 3 J 5 Job 1 J 2 J 4 J 3 J 5 37

38 Contraintes de temps t t+5 t+10 t+15 Temps en minutes 38

39 Contraintes de temps t t+5 t+10 t+15 Temps en minutes Collecte ~ transfert 39

40 Exemples de Jobs 40

41 Exemples de Jobs 41

42 Exemples de Jobs 42

43 Exemples de Jobs 43

44 Temps d exécution des applications Données en Go Période # blocs traités temps # tâches Map # blocs déplacés # tâches Reduce observée sur place 6,8 5min 44s ,4 10min 37s ,4 10min 84s ,9 1h 76s ~16h 8m

45 Temps d exécution des applications Données en Go Période # blocs traités temps # tâches Map # blocs déplacés # tâches Reduce observée sur place 6,8 5min 44s ,4 10min 37s ,4 10min 84s ,9 1h 76s ~16h 8m

46 Temps d exécution des applications Données en Go Période # blocs traités temps # tâches Map # blocs déplacés # tâches Reduce observée sur place 6,8 5min 44s ,4 10min 37s ,4 10min 84s ,9 1h 76s ~16h 8m

47 Temps d exécution des applications Données en Go Période # blocs traités temps # tâches Map # blocs déplacés # tâches Reduce observée sur place 6,8 5min 44s ,4 10min 37s ,4 10min 84s ,9 1h 76s ~16h 8m

48 Temps d exécution des applications Données en Go Période # blocs traités temps # tâches Map # blocs déplacés # tâches Reduce observée sur place 6,8 5min 44s ,4 10min 37s ,4 10min 84s ,9 1h 76s ~16h 8m

49 Quelques remarques Modification de la réplication : attention! Ajout d un nœud : sans problème stop/start Hadoop : attention au temps de démarrage de HDFS Modification des paramètres d optimisation À faire en fonction de vos applications et non en fonction des benchmarks du web 49

50 Après Utilisation d un ressource manager!! Hadoop 2 (Yarn) Update temps réel (Flume) Compression? Pas très green Spark, better than Hadoop? Hadoop & Cloud 50

51 Conclusion Big Data analytics? Take it easy with Hadoop 51

52 Remerciements Ker Data Team (INRIA Rennes - Bretagne Atlantique et ENS Cachan - Antenne de Bretagne) JRES 52

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12

Plus en détail

HADOOP ET SON ÉCOSYSTÈME

HADOOP ET SON ÉCOSYSTÈME HADOOP ET SON ÉCOSYSTÈME Mars 2013 2012 Affini-Tech - Diffusion restreinte 1 AFFINI-TECH Méthodes projets Outils de reporting & Data-visualisation Business & Analyses BigData Modélisation Hadoop Technos

Plus en détail

Labs Hadoop Février 2013

Labs Hadoop Février 2013 SOA - BRMS - ESB - BPM CEP BAM - High Performance Compute & Data Grid - Cloud Computing - Big Data NoSQL - Analytics Labs Hadoop Février 2013 Mathias Kluba Managing Consultant Responsable offres NoSQL

Plus en détail

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13

L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com. Tuesday, July 2, 13 L écosystème Hadoop Nicolas Thiébaud ni.thiebaud@gmail.com HUG France 250 membres sur la mailing liste 30 présentations 9 meetups organisés, de 20 à 100 invités Présence de Cloudera, MapR, Hortonworks,

Plus en détail

Hadoop, les clés du succès

Hadoop, les clés du succès Hadoop, les clés du succès Didier Kirszenberg, Responsable des architectures Massive Data, HP France Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject

Plus en détail

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase

Big Data : utilisation d un cluster Hadoop HDFS Map/Reduce HBase Big Data : utilisation d un cluster cluster Cécile Cavet cecile.cavet at apc.univ-paris7.fr Centre François Arago (FACe), Laboratoire APC, Université Paris Diderot LabEx UnivEarthS 14 Janvier 2014 C. Cavet

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Offre formation Big Data Analytics

Offre formation Big Data Analytics Offre formation Big Data Analytics OCTO 2014 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél : +33 (0)1 58 56 10 00 Fax : +33 (0)1 58 56 10 01 www.octo.com 1 Présentation d OCTO Technology 2 Une

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

Maîtriser les technologies Big Data pour obtenir des résultats en quasi-temps réel

Maîtriser les technologies Big Data pour obtenir des résultats en quasi-temps réel LIVRE BLANC Processeurs Intel Xeon Unités de stockage SSD Intel Cartes réseau convergé Ethernet Intel Distribution Intel pour logiciel * Maîtriser les technologies Big Data pour obtenir des résultats en

Plus en détail

Les journées SQL Server 2013

Les journées SQL Server 2013 Les journées SQL Server 2013 Un événement organisé par GUSS Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne

Plus en détail

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont

Plus en détail

Introduction à MapReduce/Hadoop et Spark

Introduction à MapReduce/Hadoop et Spark 1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -

Plus en détail

Anticiper et prédire les sinistres avec une approche Big Data

Anticiper et prédire les sinistres avec une approche Big Data Anticiper et prédire les sinistres avec une approche Big Data Julien Cabot Directeur Big Data Analytics OCTO jcabot@octo.com @julien_cabot OCTO 2013 50, avenue des Champs-Elysées 75008 Paris - FRANCE Tél

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

R+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata!

R+Hadoop = Rhadoop* Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! R+Hadoop = Rhadoop* * Des logiciels libres complémentaires, une implémentation, une réponse au nouveau paradigme du bigdata! 27 Janvier 2014 / Université Paul Sabatier / DTSI / David Tsang-Hin-Sun Big

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2 Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions

Plus en détail

Hadoop dans l entreprise: du concept à la réalité. Pourquoi et comment?

Hadoop dans l entreprise: du concept à la réalité. Pourquoi et comment? Hadoop dans l entreprise: du concept à la réalité. Pourquoi et comment? Jean-Marc Spaggiari Cloudera jms@cloudera.com @jmspaggi Mai 2014 1 2 Avant qu on commence Agenda -Qu est-ce que Hadoop et pourquoi

Plus en détail

Tables Rondes Le «Big Data»

Tables Rondes Le «Big Data» Tables Rondes Le «Big Data» 2012-2013 1 Plan Introduc9on 1 - Présenta9on Ingensi 2 - Le Big Data c est quoi? 3 - L histoire 4 - Le monde du libre : Hadoop 5 - Le système HDFS 6 - Les algorithmes distribués

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

Avant-propos. Organisation du livre

Avant-propos. Organisation du livre Avant-propos Avec Hadoop par la pratique, les développeurs vont apprendre à maîtriser Hadoop et vont acquérir de nombreuses compétences sur la résolution de problèmes à l aide de ce framework. Ils vont

Plus en détail

Introduc)on à Map- Reduce. Vincent Leroy

Introduc)on à Map- Reduce. Vincent Leroy Introduc)on à Map- Reduce Vincent Leroy Sources Apache Hadoop Yahoo! Developer Network Hortonworks Cloudera Prac)cal Problem Solving with Hadoop and Pig Les cours seront mis en ligne sur hhp://membres.liglab.fr/leroy/

Plus en détail

Introduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014

Introduction aux algorithmes MapReduce. Mathieu Dumoulin (GRAAL), 14 Février 2014 Introduction aux algorithmes MapReduce Mathieu Dumoulin (GRAAL), 14 Février 2014 Plan Introduction de la problématique Tutoriel MapReduce Design d algorithmes MapReduce Tri, somme et calcul de moyenne

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Julien Gerlier Siman Chen Rapport de projet de fin d étude ASR 2010/2011 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Encadrants

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Préface Dunod Toute reproduction non autorisée est un délit. Les raisons de l émergence du Big Data sont bien connues. Elles sont d abord économiques et technologiques. La chute exponentielle des coûts

Plus en détail

MapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306

MapReduce et Hadoop. Alexandre Denis Alexandre.Denis@inria.fr. Inria Bordeaux Sud-Ouest France ENSEIRB PG306 MapReduce et Hadoop Alexandre Denis Alexandre.Denis@inria.fr Inria Bordeaux Sud-Ouest France ENSEIRB PG306 Fouille de données Recherche & indexation de gros volumes Appliquer une opération simple à beaucoup

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Hadoop : une plate-forme d exécution de programmes Map-Reduce

Hadoop : une plate-forme d exécution de programmes Map-Reduce Hadoop : une plate-forme d exécution de programmes Map-Reduce Jonathan Lejeune UPMC 8 octobre 2013 PSIA 2013 Inspiré du cours des années précédentes de Luciana Arantes J. Lejeune (UPMC) Hadoop Map-Reduce

Plus en détail

Analytics & Big Data. Focus techniques & nouvelles perspectives pour les actuaires. Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014

Analytics & Big Data. Focus techniques & nouvelles perspectives pour les actuaires. Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014 Analytics & Big Data Focus techniques & nouvelles perspectives pour les actuaires Local Optimization European Minded Université d Eté de l Institut des Actuaires Mardi 8 juillet 2014 Intervenants : Alexandre

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Introduction à Hadoop & MapReduce

Introduction à Hadoop & MapReduce Introduction à Hadoop & MapReduce Cours 2 Benjamin Renaut MOOC / FUN 2014-2015 5 Hadoop: présentation Apache Hadoop 5-1 Projet Open Source fondation Apache. http://hadoop.apache.org/

Plus en détail

Les quatre piliers d une solution de gestion des Big Data

Les quatre piliers d une solution de gestion des Big Data White Paper Les quatre piliers d une solution de gestion des Big Data Table des Matières Introduction... 4 Big Data : un terme très vaste... 4 Le Big Data... 5 La technologie Big Data... 5 Le grand changement

Plus en détail

Plan. Rappels sur Netflow v1 v8. Netflow v9. Collecteur UTC «IPFlow» Cisco IOS : Implémentation de Netflow IPv6

Plan. Rappels sur Netflow v1 v8. Netflow v9. Collecteur UTC «IPFlow» Cisco IOS : Implémentation de Netflow IPv6 Netflow-IPv6 Plan Qu est-ce qu un flux principes de Netflow Rappels sur Netflow v1 v8 Netflow v9 Collecteur UTC «IPFlow» Cisco IOS : Implémentation de Netflow IPv6 2 Qu est-ce qu un flux principes de Netflow

Plus en détail

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia

Projet Xdata. Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Projet Xdata Cinequant, Data Publica, EDF, ESRI, Hurence, INRIA, Institut Mines Telecom, La Poste, Orange, Veolia Mutualisation des données XData = Cross Data En croisant des données d origine diverses,

Plus en détail

Introduction. Adresses

Introduction. Adresses Architecture TCP/IP Introduction ITC7-2: Cours IP ESIREM Infotronique Olivier Togni, LE2I (038039)3887 olivier.togni@u-bourgogne.fr 27 février 2008 L Internet est basé sur l architecture TCP/IP du nom

Plus en détail

Notes de cours Practical BigData

Notes de cours Practical BigData Notes de cours Practical BigData Nguyen-Nhut DOAN 15 janvier 2015 Introduction Ces notes personnelles traduisent la deuxième partie du cours INF553 de l Ecole Polytechnique sur les bases de données et

Plus en détail

Big Data. Les problématiques liées au stockage des données et aux capacités de calcul

Big Data. Les problématiques liées au stockage des données et aux capacités de calcul Big Data Les problématiques liées au stockage des données et aux capacités de calcul Les problématiques liées au Big Data La capacité de stockage - Traitement : Ponctuel ou permanent? - Cycle de vie des

Plus en détail

Importation et exportation de données dans HDFS

Importation et exportation de données dans HDFS 1 Importation et exportation de données dans HDFS Introduction Dans une installation type, Hadoop se trouve au cœur d un flux de données complexe. Ces données proviennent souvent de systèmes disparates

Plus en détail

IPFIX (Internet Protocol Information export)

IPFIX (Internet Protocol Information export) IPFIX (Internet Protocol Information export) gt-metro, réunion du 20/11/06 Lionel.David@rap.prd.fr 20-11-2006 gt-metro: IPFIX 1 Plan Définition d IPFIX Le groupe de travail IPFIX Les protocoles candidats

Plus en détail

Hadoop : une plate-forme d exécution de programmes Map-Reduce

Hadoop : une plate-forme d exécution de programmes Map-Reduce Hadoop : une plate-forme d exécution de programmes Map-Reduce Jonathan Lejeune École des Mines de Nantes Janvier 2015 CODEL 2014/2015 J. Lejeune (École des Mines de Nantes) Hadoop Map-Reduce Janvier 2015

Plus en détail

ÉCOLE DE TECHNOLOGIE SUPÉRIEURE UNIVERSITÉ DU QUÉBEC RAPPORT DE PROJET PRÉSENTÉ À L ÉCOLE DE TECHNOLOGIE SUPÉRIEURE

ÉCOLE DE TECHNOLOGIE SUPÉRIEURE UNIVERSITÉ DU QUÉBEC RAPPORT DE PROJET PRÉSENTÉ À L ÉCOLE DE TECHNOLOGIE SUPÉRIEURE ÉCOLE DE TECHNOLOGIE SUPÉRIEURE UNIVERSITÉ DU QUÉBEC RAPPORT DE PROJET PRÉSENTÉ À L ÉCOLE DE TECHNOLOGIE SUPÉRIEURE COMME EXIGENCE PARTIELLE À L OBTENTION DE LA MAÎTRISE EN GÉNIE PAR Sébastien SERVOLES

Plus en détail

RFC 791 (Jon Postel 1981)

RFC 791 (Jon Postel 1981) RFC 791 (Jon Postel 1981) 0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + Version IHL Type of Service Total Length

Plus en détail

Réseaux IUP2 / 2005 IPv6

Réseaux IUP2 / 2005 IPv6 Réseaux IUP2 / 2005 IPv6 1 IP v6 : Objectifs Résoudre la pénurie d'adresses IP v4 Délai grâce à CIDR et NAT Milliards d'hôtes même avec allocation inefficace des adresses Réduire la taille des tables de

Plus en détail

Vue d'ensemble de NetFlow. Gestion et Supervision de Réseau

Vue d'ensemble de NetFlow. Gestion et Supervision de Réseau Vue d'ensemble de NetFlow Gestion et Supervision de Réseau Sommaire Netflow Qu est-ce que Netflow et comment fonctionne-t-il? Utilisations et applications Configurations et mise en œuvre fournisseur Cisco

Plus en détail

Le monitoring de flux réseaux à l'in2p3 avec EXTRA

Le monitoring de flux réseaux à l'in2p3 avec EXTRA Le monitoring de flux réseaux à l'in2p3 avec EXTRA Journée JoSy «Supervision systèmes et réseaux dans un laboratoire de recherche» 27 mars 2008, ENS Paris Denis Pugnère, CNRS / IN2P3 / IPNL basé sur une

Plus en détail

http://blog.khaledtannir.net

http://blog.khaledtannir.net Algorithme de parallélisations des traitements Khaled TANNIR Doctorant CIFRE LARIS/ESTI http://blog.khaledtannir.net these@khaledtannir.net 2e SéRI 2010-2011 Jeudi 17 mars 2011 Présentation Doctorant CIFRE

Plus en détail

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les

Plus en détail

Certificat Big Data - Master MAthématiques

Certificat Big Data - Master MAthématiques 1 / 1 Certificat Big Data - Master MAthématiques Master 2 Auteur : Sylvain Lamprier UPMC Fouille de données et Medias Sociaux 2 / 1 Rich and big data: Millions d utilisateurs Millions de contenus Multimedia

Plus en détail

Big Data, un nouveau paradigme et de nouveaux challenges

Big Data, un nouveau paradigme et de nouveaux challenges Big Data, un nouveau paradigme et de nouveaux challenges Sebastiao Correia 21 Novembre 2014 Séminaire Thématique : Traitement et analyse statistique des données massives, Poitiers. 1 Présentation Sebastiao

Plus en détail

La supervision des services dans le réseau RENATER

La supervision des services dans le réseau RENATER La supervision des services dans le réseau RENATER Simon Muyal (Services IP Avancés GIP RENATER) François-Xavier Andreu (Service de suivi opérationnel GIP RENATER) 1 Agenda Introduction Les nouveautés

Plus en détail

Gestion et Surveillance de Réseau

Gestion et Surveillance de Réseau Gestion et Surveillance de Réseau NetFlow These materials are licensed under the Creative Commons Attribution-Noncommercial 3.0 Unported license (http://creativecommons.org/licenses/by-nc/3.0/) Sommaire

Plus en détail

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15

MapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué

Plus en détail

Cassandra et Spark pour gérer la musique On-line

Cassandra et Spark pour gérer la musique On-line Cassandra et Spark pour gérer la musique On-line 16 Juin 2015 @ Paris Hammed RAMDANI Architecte SI 3.0 et BigData mramdani@palo-it.com +33 6 80 22 20 70 Appelez-moi Hammed ;-) (Sidi Mo)Hammed Ramdani @smramdani

Plus en détail

Document réalisé par Khadidjatou BAMBA

Document réalisé par Khadidjatou BAMBA Comprendre le BIG DATA Document réalisé par Khadidjatou BAMBA 1 Sommaire Avant propos. 3 Historique du Big Data.4 Introduction.....5 Chapitre I : Présentation du Big Data... 6 I. Généralités sur le Big

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

Fast and furious decision tree induction

Fast and furious decision tree induction Institut National des Sciences Appliquées de Rennes Rapport de pré-étude Encadrants : Nikolaos Parlavantzas - Christian Raymond Fast and furious decision tree induction Andra Blaj Nicolas Desfeux Emeline

Plus en détail

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr

VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr VirtualScale L expert infrastructure de l environnement Open source HADOOP Sofiane Ammar sofiane.ammar@virtualscale.fr Avril 2014 Virtualscale 1 Sommaire Les enjeux du Big Data et d Hadoop Quels enjeux

Plus en détail

M2 GL UE DOC «In memory analytics»

M2 GL UE DOC «In memory analytics» M2 GL UE DOC «In memory analytics» Alexandre Termier 2014/2015 Sources Travaux Amplab, U.C. Berkeley Slides Ion Stoica Présentations Databricks Slides Pat McDonough Articles de M. Zaharia et al. sur les

Plus en détail

Chapitre I. La couche réseau. 1. Couche réseau 1. Historique de l Internet

Chapitre I. La couche réseau. 1. Couche réseau 1. Historique de l Internet Chapitre I La couche réseau 1. Couche réseau 1 Historique de l Internet Né 1969 comme projet (D)ARPA (Defense) Advanced Research Projects Agency; US Commutation de paquets Interconnexion des universités

Plus en détail

Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS. Salon du Big Data 11 mars 2015

Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS. Salon du Big Data 11 mars 2015 Stephan Hadinger, Sr. Mgr Solutions Architecture, AWS Salon du Big Data 11 mars 2015 Accélération de l innovation +500 +280 Amazon EC2 Container Service +159 AWS Storage Gateway Amazon Elastic Transcoder

Plus en détail

Configuration des grappes de serveurs d applications ADOBE LIVECYCLE ES3 à l aide de JBOSS

Configuration des grappes de serveurs d applications ADOBE LIVECYCLE ES3 à l aide de JBOSS Configuration des grappes de serveurs d applications ADOBE LIVECYCLE ES3 à l aide de JBOSS Informations juridiques Informations juridiques Pour les informations juridiques, voir http://help.adobe.com/fr_fr/legalnotices/index.html.

Plus en détail

Département Informatique 5 e année 2013-2014. Hadoop: Optimisation et Ordonnancement

Département Informatique 5 e année 2013-2014. Hadoop: Optimisation et Ordonnancement École Polytechnique de l Université de Tours 64, Avenue Jean Portalis 37200 TOURS, FRANCE Tél. +33 (0)2 47 36 14 14 www.polytech.univ-tours.fr Département Informatique 5 e année 2013-2014 Hadoop: Optimisation

Plus en détail

Surveillance et corrélation de flux réseaux via sondes applicatives embarquées

Surveillance et corrélation de flux réseaux via sondes applicatives embarquées Surveillance et corrélation de flux réseaux via sondes applicatives embarquées Mini projet mars 2006 Mastère SSI Supélec / ENST B Présenté par Ali Bruno Alfredo Stéphane DELLAOUI KEROUANTON LEIVA SCHVARTZ

Plus en détail

Spécialiste Systèmes et Réseaux

Spécialiste Systèmes et Réseaux page 1/5 Titre professionnel : «Technicien(ne) Supérieur(e) en Réseaux Informatiques et Télécommunications» inscrit au RNCP de niveau III (Bac + 2) (J.O. du 19/02/2013) 24 semaines + 8 semaines de stage

Plus en détail

Map-Reduce : un cadre de programmation parallèlle pour l analyse de grandes données. Stéphane Genaud ENSIIE

Map-Reduce : un cadre de programmation parallèlle pour l analyse de grandes données. Stéphane Genaud ENSIIE Map-Reduce : un cadre de programmation parallèlle pour l analyse de grandes données Stéphane Genaud ENSIIE Traitement de données distribuées Google a introduit Map-Reduce [Dean and Ghemawat 2004] Ils s

Plus en détail

Hadoop / Big Data. Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS 2014-2015

Hadoop / Big Data. Benjamin Renaut <renaut.benjamin@tokidev.fr> MBDS 2014-2015 Hadoop / Big Data Benjamin Renaut MBDS 2014-2015 TP 1 Méthodologie Map/Reduce - programmation Hadoop. 1 Installer VirtualBox (https://www.virtualbox.org/). Importer la machine

Plus en détail

BIG DATA PLATFORM FOR RESEARCH AND INNOVATION TERALAB

BIG DATA PLATFORM FOR RESEARCH AND INNOVATION TERALAB BIG DATA PLATFORM FOR RESEARCH AND INNOVATION TERALAB Présentation Vocation Encourager l exploitation massive des données Une plateforme dédiée à la recherche / innovation / enseignement projets de recherche

Plus en détail

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ

BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Laboratoire LaTICE Univ. de Tunis INRIA LYON Avalon Team Laboratoire d Informatique de Paris Nord (LIPN) BONJOURGRID : VERSION ORIENTÉE DONNÉE & MAPREDUCE SÉCURISÉ Heithem Abbes Heithem Abbes Rencontres

Plus en détail

CONFIGURATION DES GRAPPES DE SERVEURS D APPLICATIONS ADOBE DIGITAL ENTERPRISE PLATFORM DOCUMENT SERVICES A L AIDE DE JBOSS

CONFIGURATION DES GRAPPES DE SERVEURS D APPLICATIONS ADOBE DIGITAL ENTERPRISE PLATFORM DOCUMENT SERVICES A L AIDE DE JBOSS CONFIGURATION DES GRAPPES DE SERVEURS D APPLICATIONS ADOBE DIGITAL ENTERPRISE PLATFORM DOCUMENT SERVICES A L AIDE DE JBOSS Informations juridiques Informations juridiques Pour les informations juridiques,

Plus en détail

Exploration des Big Data pour optimiser la Business Intelligence

Exploration des Big Data pour optimiser la Business Intelligence Intel IT Meilleures pratiques IT Business Intelligence Juillet 2012 Exploration des Big Data pour optimiser la Business Intelligence Vue d ensemble La capacité à extraire et analyser les Big Data permet

Plus en détail

Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012

Livre. blanc. Solution Hadoop d entreprise d EMC. Stockage NAS scale-out Isilon et Greenplum HD. Février 2012 Livre blanc Solution Hadoop d entreprise d EMC Stockage NAS scale-out Isilon et Greenplum HD Par Julie Lockner et Terri McClure, Analystes seniors Février 2012 Ce livre blanc d ESG, qui a été commandé

Plus en détail

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives

Hadoop, Spark & Big Data 2.0. Exploiter une grappe de calcul pour des problème des données massives Hadoop, Spark & Big Data 2.0 Exploiter une grappe de calcul pour des problème des données massives Qui suis-je? Félix-Antoine Fortin Génie info. (B. Ing, M. Sc, ~PhD) Passionné de Python, Data Analytics,

Plus en détail

Aménagements technologiques

Aménagements technologiques Aménagements technologiques Janvier 2015 Système d exploitation Recommandation du matériel Poste de travail Serveur de données Gestionnaire de base de données Modules «Internet» et «Intranet» (Assurez-vous

Plus en détail

Amazon Elastic MapReduce (Amazon EMR)

Amazon Elastic MapReduce (Amazon EMR) Amazon Web Services S'inscrire Compte / Console Français Produits et solutions AWS Product Information Développeurs Support Amazon EMR Présentation d'amazon EMR FAQ Tarification Ressources pour développeurs

Plus en détail

Professeur-superviseur Alain April

Professeur-superviseur Alain April RAPPORT TECHNIQUE PRÉSENTÉ À L ÉCOLE DE TECHNOLOGIE SUPÉRIEURE DANS LE CADRE DU COURS GTI792 BASE DE DONNÉES DISTRIBUÉE APPLIQUÉE EN GÉNÉTIQUE DANS LE CADRE DE L'ANALYSE DE SÉQUENÇAGE GÉNOMIQUE JEAN-PHILIPPE

Plus en détail

«clustering» et «load balancing» avec Zope et ZEO

«clustering» et «load balancing» avec Zope et ZEO IN53 Printemps 2003 «clustering» et «load balancing» avec Zope et ZEO Professeur : M. Mignot Etudiants : Boureliou Sylvain et Meyer Pierre Sommaire Introduction...3 1. Présentation générale de ZEO...4

Plus en détail

Exigences système Edition & Imprimeries de labeur

Exigences système Edition & Imprimeries de labeur Exigences système Edition & Imprimeries de labeur OneVision Software France Sommaire Asura 10.2, Asura Pro 10.2, Garda 10.2...2 PlugBALANCEin10.2, PlugCROPin 10.2, PlugFITin 10.2, PlugRECOMPOSEin 10.2,

Plus en détail

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

Protection des données avec les solutions de stockage NETGEAR

Protection des données avec les solutions de stockage NETGEAR Protection des données avec les solutions de stockage NETGEAR Solutions intelligentes pour les sauvegardes de NAS à NAS, la reprise après sinistre pour les PME-PMI et les environnements multi-sites La

Plus en détail

Professeur-superviseur Alain April

Professeur-superviseur Alain April RAPPORT TECHNIQUE PRÉSENTÉ À L ÉCOLE DE TECHNOLOGIE SUPÉRIEURE DANS LE CADRE DU COURS GTI792 PROJET DE FIN D'ÉTUDES EN GÉNIE DES TI BASE DE DONNÉES DISTRIBUÉE APPLIQUÉE À LA GÉNÉTIQUE DANS LE CADRE DE

Plus en détail

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic

Mesures DNS à l ère du Big Data : outils et défis. JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Mesures DNS à l ère du Big Data : outils et défis JCSA, 9 juillet 2015 Vincent Levigneron, Afnic Sommaire 1. Mesures DNS réalisées par l Afnic 2. Volumes et biais 3. Limitations 4. Pourquoi une approche

Plus en détail

FILTRAGE de PAQUETS NetFilter

FILTRAGE de PAQUETS NetFilter TP RESEAUX MMI Semestre 3 FILTRAGE de PAQUETS NetFilter OBJECTIF : Introduction à Netfilter. Configuration d'un firewall. MATERIELS : (Machines Virtuelles) 1 Serveur Debian avec apache d'installé, 1 Poste

Plus en détail

Skype (v2.5) Protocol Data Structures (French) Author : Ouanilo MEDEGAN http://www.oklabs.net

Skype (v2.5) Protocol Data Structures (French) Author : Ouanilo MEDEGAN http://www.oklabs.net Skype (v2.5) Protocol Data Structures (French) Author : Ouanilo MEDEGAN http://www.oklabs.net : Champ Encodé SKWRITTEN() : Champ Variable défini Précédemment & définissant l état des champs à suivre ECT

Plus en détail

RFC 7011 : Specification of the IP Flow Information export (IPFIX) Protocol for the Exchange of Flow Information

RFC 7011 : Specification of the IP Flow Information export (IPFIX) Protocol for the Exchange of Flow Information RFC 7011 : Specification of the IP Flow Information export (IPFIX) Protocol for the Exchange of Flow Information Stéphane Bortzmeyer Première rédaction de cet article le

Plus en détail

Firewall. Souvent les routeurs incluent une fonction firewall qui permet une première sécurité pour le réseau.

Firewall. Souvent les routeurs incluent une fonction firewall qui permet une première sécurité pour le réseau. Firewall I- Définition Un firewall ou mur pare-feu est un équipement spécialisé dans la sécurité réseau. Il filtre les entrées et sorties d'un nœud réseau. Cet équipement travaille habituellement aux niveaux

Plus en détail

ManageEngine Netflow Analyser

ManageEngine Netflow Analyser Supervision des flux Netflow Eléments à surveiller : flux provenant de la carte NAM, CISCO Routeur, Enterasys Il est souhaitable de paramétrer les équipements réseaux pour renvoyer les flux Netflow sur

Plus en détail

Plan de cette matinée

Plan de cette matinée Plan de cette matinée Windows 2008 Les différentes versions Migration Rôles et fonctionnalités Présentation des nouveautés Windows 2008 R2 Les apports de cette nouvelle version Windows 7 Les différentes

Plus en détail

Le projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet

Le projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet Le projet Gaïa, le Big Data au service du traitement de données satellitaires CRIP - 16/10/2013 Pierre-Marie Brunet 1 SOMMAIRE Le calcul scientifique au CNES Le BigData au CNES, le cas Gaïa HPC et BigData

Plus en détail

Savoir-faire Linux Inc Administration et Conseil Linux

Savoir-faire Linux Inc Administration et Conseil Linux Savoir-faire Linux Inc Administration et Conseil Linux Maxime Chambreuil maxime.chambreuil@insa-rouen.fr maxime.chambreuil@savoirfairelinux.com November 6, 2004 p.1/29 Plan Profil de l entreprise Objectifs

Plus en détail