Big Data, gros trafic et consommation l optimisation à la rescousse des réseaux infonuagiques Brunilde Sansò Professeur titulaire et Federico Larumbe étudiant de Ph.D. Laboratoire de Réseaux à Large Bande École Polytechnique de Montréal Département de génie électrique Groupe d études et de recherche en analyse des décisions Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 1 / 22
Définition de Big Data une nouvelle génération de technologies et architectures conçues pour extraire de la valeur économique à une grande variété de données en permettant leur capture à haute vitesse, leur découverte et/ou analyse (firme IDC citée dans 1 ). 1. John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 2 / 22
Définition de Big Data une nouvelle génération de technologies et architectures conçues pour extraire de la valeur économique à une grande variété de données en permettant leur capture à haute vitesse, leur découverte et/ou analyse (firme IDC citée dans 1 ). 1. John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 2 / 22
Big Data.- Quelques citations La quantité de données du monde digital à la fin de 2011 a été estimée à 1.8 zettabytes (10 21 bytes) 2. D ici 2020, l univers digital doublera à chaque deux ans 3. À chaque deux jours nous créons autant d information que celle creéé du début du temps jusqu à 2003 (Eric Schmidt ex-pdg de Google). 2. Paul Zikopoulos, Dick deroos, Krishnan Parasuraman, Thomas Deutch, David Corrigan, and James Giles. Harness the power of big data : the IBM big data platform. McGraw-Hill Osborne Media, October 2012 3. John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 3 / 22
Big Data.- Quelques citations La quantité de données du monde digital à la fin de 2011 a été estimée à 1.8 zettabytes (10 21 bytes) 2. D ici 2020, l univers digital doublera à chaque deux ans 3. À chaque deux jours nous créons autant d information que celle creéé du début du temps jusqu à 2003 (Eric Schmidt ex-pdg de Google). 2. Paul Zikopoulos, Dick deroos, Krishnan Parasuraman, Thomas Deutch, David Corrigan, and James Giles. Harness the power of big data : the IBM big data platform. McGraw-Hill Osborne Media, October 2012 3. John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 3 / 22
Big Data.- Quelques citations La quantité de données du monde digital à la fin de 2011 a été estimée à 1.8 zettabytes (10 21 bytes) 2. D ici 2020, l univers digital doublera à chaque deux ans 3. À chaque deux jours nous créons autant d information que celle creéé du début du temps jusqu à 2003 (Eric Schmidt ex-pdg de Google). 2. Paul Zikopoulos, Dick deroos, Krishnan Parasuraman, Thomas Deutch, David Corrigan, and James Giles. Harness the power of big data : the IBM big data platform. McGraw-Hill Osborne Media, October 2012 3. John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 3 / 22
Big Data.- Quelques citations La quantité de données du monde digital à la fin de 2011 a été estimée à 1.8 zettabytes (10 21 bytes) 2. D ici 2020, l univers digital doublera à chaque deux ans 3. À chaque deux jours nous créons autant d information que celle creéé du début du temps jusqu à 2003 (Eric Schmidt ex-pdg de Google). 2. Paul Zikopoulos, Dick deroos, Krishnan Parasuraman, Thomas Deutch, David Corrigan, and James Giles. Harness the power of big data : the IBM big data platform. McGraw-Hill Osborne Media, October 2012 3. John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 3 / 22
Internet Le Big Data est possible grâce à l architecture d Internet Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 4 / 22
Internet Le Big Data est possible grâce à l architecture d Internet Vision d Internet projet OPTE [5] Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 4 / 22
Internet Le Big Data est possible grâce à l architecture d Internet Vision d Internet projet OPTE [5] Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 4 / 22
1 Données passent à travers Internet 2 Gardées dans des Centres de données (Datacenters) 3 Mise en place de centres de données et d applications distribuées pour un accès rapide à l information Infonuagique Le problème est la consommation grandissante d Internet et, en particulier celle des centres de données Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 5 / 22
1 Données passent à travers Internet 2 Gardées dans des Centres de données (Datacenters) 3 Mise en place de centres de données et d applications distribuées pour un accès rapide à l information Infonuagique Le problème est la consommation grandissante d Internet et, en particulier celle des centres de données Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 5 / 22
Quelques statistiques de consommation globale 1 Les centres de données ont consommé 1.5%-2% de toute l électricité du monde en 2007 et le taux de croissance était estimé à 12%/année. 4 2 Un centre de données de taille grande (100 MW) consomme actuellement la même énergie que 80000 maisons américaines ou 250000 maisons européennes moyennes. 5 4. Jonathan G Koomey. Worldwide electricity used in data centers. Environmental Research Letters, 3(3), 2008 5. Gary Cook. How clean is your cloud? Greenpeace International, Amsterdam, The Netherlands, April 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 6 / 22
Quelques statistiques de consommation globale 1 Les centres de données ont consommé 1.5%-2% de toute l électricité du monde en 2007 et le taux de croissance était estimé à 12%/année. 4 2 Un centre de données de taille grande (100 MW) consomme actuellement la même énergie que 80000 maisons américaines ou 250000 maisons européennes moyennes. 5 4. Jonathan G Koomey. Worldwide electricity used in data centers. Environmental Research Letters, 3(3), 2008 5. Gary Cook. How clean is your cloud? Greenpeace International, Amsterdam, The Netherlands, April 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 6 / 22
Quelques statistiques de consommation globale 1 Les centres de données ont consommé 1.5%-2% de toute l électricité du monde en 2007 et le taux de croissance était estimé à 12%/année. 4 2 Un centre de données de taille grande (100 MW) consomme actuellement la même énergie que 80000 maisons américaines ou 250000 maisons européennes moyennes. 5 4. Jonathan G Koomey. Worldwide electricity used in data centers. Environmental Research Letters, 3(3), 2008 5. Gary Cook. How clean is your cloud? Greenpeace International, Amsterdam, The Netherlands, April 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 6 / 22
Quelques statistiques de consommation globale Consommation energetique (TWh) 0 1000 2000 3000 4000 Etats-Unis Chine Russie 3 Si les centres de données étaient un pays, il serait en 5ème position de consommation dans le monde Japon Cloud Inde Allemagne Canada France Adapté de Cook 2012. Gary Cook. How clean is your cloud? Greenpeace International, Amsterdam, The Netherlands, April 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 7 / 22
Tous les centres de données ne sont pas équivalents La relation entre l énergie totale consommée et celle requise juste pour la partie IT a une grande variance Utiliser l air des régions froides peut réduire de 40% la consommation énergétique d un centre de données Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 8 / 22
Tous les centres de données ne sont pas équivalents La relation entre l énergie totale consommée et celle requise juste pour la partie IT a une grande variance Utiliser l air des régions froides peut réduire de 40% la consommation énergétique d un centre de données Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 8 / 22
Tous les centres de données ne sont pas équivalents 1 À la consommation énergétique s ajoute l impact de la source d énergie utilisée 2 Les efforts d efficacité énergétique doivent être complémentés par le choix de sites avec des énergies vertes. Energie CO 2 (g/kwh) Vent 9 Hydroélectrique 10 Géothermique 38 Nucléaire 66 Gas naturel 443 Diesel 778 Charbon 960 Source : Sovacool 2008 B.K. Sovacool. Valuing the greenhouse gas emissions from nuclear power : a critical survey. Energy Policy, 36(8) :2950 2963, 2008 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 9 / 22
Tous les centres de données ne sont pas équivalents 1 À la consommation énergétique s ajoute l impact de la source d énergie utilisée 2 Les efforts d efficacité énergétique doivent être complémentés par le choix de sites avec des énergies vertes. Energie CO 2 (g/kwh) Vent 9 Hydroélectrique 10 Géothermique 38 Nucléaire 66 Gas naturel 443 Diesel 778 Charbon 960 Source : Sovacool 2008 B.K. Sovacool. Valuing the greenhouse gas emissions from nuclear power : a critical survey. Energy Policy, 36(8) :2950 2963, 2008 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 9 / 22
En résumé... L emplacement est importante car il entraine... un type de climat Mais... un type de source d énergie Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 10 / 22
En résumé... L emplacement est importante car il entraine... un type de climat Mais... un type de source d énergie Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 10 / 22
En résumé......il entraine également un temps de réponse! Comment localiser les centres de données pour qu ils soient eco-énergétiques, économiques et permettent une bonne qualité de service? Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 11 / 22
En résumé......il entraine également un temps de réponse! Comment localiser les centres de données pour qu ils soient eco-énergétiques, économiques et permettent une bonne qualité de service? Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 11 / 22
Proposition CLOPTIMUS : un système d optimisation de la planification et opération des centres de données dans des systèmes infonuagiques 6. Idée : Considérer de façon simultanée l optimisation de : 1 L emplacement des centres de données 2 L emplacement des composantes logiciel 3 Le dimensionnement des liens 4 Le routage Engin multi-critères qui permet de choisir les meilleures solutions concernant : les émissions de CO 2 la latence le CAPEX et l OPEX 6. F. Larumbe and B. Sansò. Cloptimus : a multi-objective cloud data center and software component location framework. In 1st IEEE International Conference on Cloud Networking (CLOUDNET), pages 23 28, November 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 12 / 22
Approche multi-couche Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 13 / 22
Modélisation de Cloptimus Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 14 / 22
Exemple Moteur de recherche web (Web search engine) Demande des clients 665 Gbps Demande interne 673 Gbps Serveurs 200,000 Noeuds points d échange : 25 sites potentiels : 24 routeurs : 36 Total : 85 Distribution par région Afrique : 5.7 % Asie et Pacifique : 48.3 % Europe : 22.7 % Amérique Latine : 10.3 % Amérique du Nord : 13.0 % F. Larumbe and B. Sansò. Cloptimus : a multi-objective cloud data center and software component location framework. In 1st IEEE International Conference on Cloud Networking (CLOUDNET), pages 23 28, November 2012 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 15 / 22
Design du réseau infonuagique Stratégie A : minimisation des coûts Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 16 / 22
Design du réseau infonuagique Stratégie B : minimisation du délai Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 17 / 22
Design du réseau infonuagique Stratégie C : minimisation du CO 2 Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 18 / 22
Extensions Réseaux de distribution de contenu (Content Delivery Networks) Centre de données beaucoup plus petits Largement distribués Milliers de sites potentiels Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 19 / 22
Conclusions Le Big Data est possible grâce à l architecture Internet Cette architecture inclut des centres de données infonuagiques L impact eco-énergétique de ces centres est de plus en plus significatif L emplacement des éléments des réseaux infonuagiques a une grande importance sur La consommation énergétique et les émissions CO2. La qualité de service Le CAPEX et l OPEX Nous avons développé une vision globale pour la localisation et le design Nous travaillons actuellement sur les problèmes en temps réel Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 20 / 22
Références I [1] Gary Cook. How clean is your cloud? Greenpeace International, Amsterdam, The Netherlands, April 2012. [2] John Gantz and David Reinsel. The digital universe in 2020 : big data, bigger digital shadows, and biggest growth in the far east. Technical report, IDC, December 2012. [3] Jonathan G Koomey. Worldwide electricity used in data centers. Environmental Research Letters, 3(3), 2008. [4] F. Larumbe and B. Sansò. Cloptimus : a multi-objective cloud data center and software component location framework. In 1st IEEE International Conference on Cloud Networking (CLOUDNET), pages 23 28, November 2012. Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 21 / 22
Références II [5] Barrett Lyon. The Opte project. http ://www.opte.org. [6] B.K. Sovacool. Valuing the greenhouse gas emissions from nuclear power : a critical survey. Energy Policy, 36(8) :2950 2963, 2008. [7] Paul Zikopoulos, Dick deroos, Krishnan Parasuraman, Thomas Deutch, David Corrigan, and James Giles. Harness the power of big data : the IBM big data platform. McGraw-Hill Osborne Media, October 2012. Brunilde Sansò (GERAD - PolyMTL) Big Data, gros trafic et consommation le 30 mai 2013 22 / 22