Objectif et contexte business : piliers du traitement efficace des données -l exemple de RANK- Khalid MEHL Jean-François WASSONG 10 mars 2015

Transcription

1 Objectif et contexte business : piliers du traitement efficace des données -l exemple de RANK- Khalid MEHL Jean-François WASSONG 10 mars 2015

2 1. fifty-five : présentation 2. Objectifs de Rank 3. Une approche pluri-disciplinaire 4. Le data stream de Rank

3 1. fifty-five : présentation 2. Objectifs de Rank 3. Une approche pluri-disciplinaire 4. Le data stream de Rank

4

5 We bring advertisers and consumers closer together by collecting, exploring, and activating data.

6 Nous appréhendons votre activité digitale de façon exhaustive Données site & applis Cross-device : mobile, desktop, tablettes User experience & interactions site E-commerce Branding Données publicitaires Données post-click & post-impression Données de coût : CPA, CPC, etc. Multi-touch point Attribution Données client Transactions : panier moyen, fréquence d achat Navigation : statut visiteur, canal préféré, etc. Attachement à la marque : activité réseaux sociaux, NPS, etc. Lifetime value & segmentation Données du marché comscore (part de voix internet*, ) Radian 6 (part de parole totale des internautes**, ) NPS, part de marché, Mediametrie, Nielsen, SAP, L2 6

7 Nous relions ces données digitales aux données offline Données site & applis Cross-device : mobile, desktop, tablettes User experience & interactions site E-commerce Branding Données publicitaires Données post-click & post-impression Données de coût : CPA, CPC, etc. Multi-touch point Attribution Données client Transactions : panier moyen, fréquence d achat Navigation : statut visiteur, canal préféré, etc. Attachement à la marque : activité réseaux sociaux, NPS, etc. Lifetime value & segmentation Données marché comscore (part de voix internet*, ) Radian 6 (part de parole totale des internautes**, ) NPS, part de marché, Mediametrie, Nielsen, SAP, L2 Données de vente Réseau propriétaire de points de vente Réseau de distribution Centres d appel Données CRM / programmes de fidélité Informations personnelles / Sociodémographiques Historique de transaction Intérêts déclarés, opt-in, etc. Campagnes publicitaires offline Campagnes télé Campagnes affichage Etc. 7

8 Nous avons l expertise et les ressources pour accompagner nos clients vers la maîtrise des données, internes et externes à l entreprise Expertise Data Partenaire d Excellence Webanalyse & Média Ingénierie & Analytics Prédictif Suite Propriétaire de Produits Expérience et Formation d Excellence Experts Digitaux, Mobile, Média Ingénieurs Big Data & Data Science Polyvalence & Pluridisciplinarité Offre Intégrée & Synergies Expérience Business, Orientation Résultats Expertise & Innovation Technique 30+ Années d Expérience chez Google Connaissance Client & Optimisation d Engagement Achat Média & Conseil Média Collecte de Données & Tracking 8

9 Nous aidons 60+ entreprises à devenir des champions digitaux Branding & CRM Amplifier l attachement à la marque & la fidélité Génération de contacts & drive-tostore Augmenter les ventes dans le réseau physique E-commerce Intégrer l e-commerce à la stratégie globale 9

10 1. fifty-five : présentation 2. Objectifs de Rank 3. Une approche pluri-disciplinaire 4. Le data stream de Rank

11 Taux de clics L ordonnancement choisi influe sur les performances d un site Les utilisateurs concentrent leurs efforts sur les premiers résultats trouvés Exemple : performances Google 80% des clics Évolution du pourcentage de clics Position 11

12 Comment ordonnancer ses produits pour augmenter le taux de conversion de son site e-commerce?? 12

13 Besoin stratégique pour les E-commerçants ~ 60 % des visites commencent directement dans les rayons 13

14 Besoin stratégique pour les E-commerçants ~ 60 % des visites commencent directement dans les rayons Les 20 premiers articles d un rayon cumulent plus de 50 % des clics 14

15 Besoin stratégique pour les E-commerçants ~ 60 % des visites commencent directement dans les rayons Les 20 premiers articles d un rayon cumulent plus de 50 % des clics Problème complexe : Nouveaux articles / Saisonnalité / Animations commerciales / État des Stocks / Trous de tailles / Multi-coloris / Notation / etc. Ne se résume pas aux ventes passées Nécessite un rafraîchissement quotidien 15

16 Besoin stratégique pour les E-commerçants ~ 60 % des visites commencent directement dans les rayons Les 20 premiers articles d un rayon cumulent plus de 50 % des clics Problème complexe : Nouveaux articles / Saisonnalité / Animations commerciales / État des Stocks / Trous de tailles / Multi-coloris / Notation / etc. Ne se résume pas aux ventes passées Nécessite un rafraîchissement quotidien Personnalisation au visiteur : taille, sensibilité au prix, aux marques, Couleurs, etc. 16

17 Fonctionnement de Rank Product List Product Page Add To basket Order 17

18 Fonctionnement de Rank Product List Product Page Add To basket Order Un algorithme dédié à chaque étape de l entonnoir d achat permet de prédire le taux de transformation de chaque article en fonction de sa position dans les listes 18

19 Le développement de Rank est un processus d amélioration continu A/B Testing 50% 50% Data Platform 55 Collect Process Activate Test & Learn 19

20 1. fifty-five : présentation 2. Objectifs de Rank 3. Une approche pluri-disciplinaire 4. Le data stream de Rank

21 Un processus à la croisée de plusieurs disciplines Tracking Fiabiliser la collecte d information par un tracking s intégrant à des plateformes souvent complexes. Data Processing Transformer des logs bruts en pépites d optimisation Intégration Réconcilier des environnements hétérogènes (webanalyse, données backend, ) Synchroniser les modifications (vers différents systèmes et outils de mesure) 21

22 Un processus à la croisée de plusieurs exigences Agilité De nombreuses itérations sur des traitements complexes. «Multiplier les configurations et les tester en vrai» Réactivité Sélectionner la variante gagnante et la mettre en production en connaissance de cause. «Click to deploy», «Click to rollback» Évolutivité Le processus sollicite différents outils qui évoluent à des rythmes variables. 22

23 Agilité De nombreuses itérations sur des traitements complexes Challenge Solution Results Lancer facilement les différentes variantes possibles. 23

24 Agilité De nombreuses itérations sur des traitements complexes Challenge Solution Results Lancer facilement les différentes variantes possibles. Manipuler des jeux de paramètres plutôt que du code. 24

25 Agilité De nombreuses itérations sur des traitements complexes Challenge Solution Results Lancer facilement les différentes variantes possibles. Manipuler des jeux de paramètres plutôt que du code. Développement classique de moteur Itérations en mode plus interactif 25

26 Réactivité Sélectionner la variante gagnante et la mettre en production en connaissance de cause Challenge Solution Results Activation simple pour effet immédiat. 26

27 Réactivité Sélectionner la variante gagnante et la mettre en production en connaissance de cause Challenge Solution Results Découper le processus en maillons simples Activation simple pour effet immédiat. Normalisation des interactions Intégration avec les plateformes connues Monitoring constant des différents intervenants 27

28 Réactivité Sélectionner la variante gagnante et la mettre en production en connaissance de cause Challenge Solution Results Découper le processus en maillons simples Activation simple pour effet immédiat. Normalisation des interactions Intégration avec les plateformes connues Monitoring constant des différents intervenants Des nœuds de traitement en pleine maîtrise des différentes problématiques sollicitées : - Mode de tracking - A B test - Intégration backend - Data quality 28

29 Évolutivité Une chaîne de traitement efficace intégrant les outils les plus adaptés Challenge Solution Results Difficile d avoir un outil unique assurant : Performance Souplesse Fiabilité Exhaustivité ET Facilité de prise en main 29

30 Evolutivité Une chaîne de traitement efficace intégrant les outils les plus adaptés Challenge Solution Results Difficile d avoir un outil unique assurant : Performance Souplesse Fiabilité Exhaustivité ET Facilité de prise en main Isoler les domaines d excellence et industrialiser les échanges entre outils 30

31 Evolutivité Une chaîne de traitement efficace intégrant les outils les plus adaptés Challenge Solution Results Difficile d avoir un outil unique assurant : Performance Souplesse Fiabilité Exhaustivité ET Facilité de prise en main Isoler les domaines d excellence et industrialiser les échanges entre outils Données : Mysql-Hive-BigQuery Traitements : Java-Python-R Plate-forme : OnPremise-ComputeEngine 31

32 1. fifty-five : présentation 2. Objectifs de Rank 3. Une approche pluri-disciplinaire 4. Le data stream de Rank

33 Approche BigData WebLogs Product Feeds

34 Approche BigData Pivot Visitors WebLogs Events Product Feeds

35 Approche BigData Pivot SmartData WebLogs Visitors Segments calculation Segments Events Events Sequences Product Feeds Variables calculation Variables

36 Approche BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring

37 Approche BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring Client Custom Generic

38 Approche BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring Client Custom Generic 1 version per client Version 1 version for all clients 15% Scripts Size 85% 75% CPU Time 25%

39 En amont du Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring S adapter à la réalité du site client Ex: Nombre d articles par ligne et par page

40 En amont du Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring S adapter à la réalité du site client Ex: Nombre d articles par ligne et par page Uniformiser les données Ex :Dates : unix_timestamp, YYYY-MM-dd HH:mm:ss, etc

41 En amont du Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring S adapter à la réalité du site client Ex: Nombre d articles par ligne et par page Uniformiser les données Ex :Dates : unix_timestamp, YYYY-MM-dd HH:mm:ss, etc Qualité de la collecte Ex: Visites : filtrage des Robots, compagne ing, bugs de tracking, Site-under

42 En amont du Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring S adapter à la réalité du site client Ex: Nombre d articles par ligne et par page Uniformiser les données Ex :Dates : unix_timestamp, YYYY-MM-dd HH:mm:ss, etc Qualité de la collecte Ex: Visites : filtrage des Robots, campagnes ing, bugs de tracking, Site-under S adapter aux données BackOffice Ex: stocks, marge, prix, décotes, hiérarchie, etc

43 Sur le Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring Sanity check Unitaires Détecter les trous de dates dans les tables Vérifier si le nombre d événements par jour est régulier Le nombre d articles par rayon Vérifier les séquences d événements Etc

44 En aval du Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring Isoler des Briques de traitements Un Data Scientist par Brique pour mieux maîtriser la complexité Exécution des briques en parallèle

45 En aval du Pivot BigData Pivot SmartData Output WebLogs Visitors Segments calculation Segments Web services Events Events Sequences Algorithms Product Feeds Variables calculation Variables Monitoring Isoler des Briques de traitements Produire des Outputs Un Data Scientist par Brique pour mieux maîtriser la complexité Exécution des briques en parallèle Les DataSets d apprentissage des algorithmes Les Tables de performances pour les monitoring WebService (Segments des visiteurs/ Variables Produits/ Etc )

46 En aval du Pivot BigData Pivot SmartData Output WebLogs 75% CPU Time Visitors Events Segments calculation Events Sequences Segments Web services Algorithms Product Feeds Variables calculation Variables Monitoring Isoler des Briques de traitements Produire des Outputs Un Data Scientist par Brique pour mieux maîtriser la complexité Exécution des briques en parallèle Les DataSets d apprentissage des algorithmes Les Tables de performances pour les monitoring WebService (Segments des visiteurs/ Variables Produits/ Etc.) Evolutions Comparer deux versions avec le même pivot et faire l A/B testing

47 L agilité est la clé de la performance! 47

48 Le Data Scientist est une équipe Math & Statistics Programming & database Scientists Engineers Data Collection Business, domain & soft skills Consultants Communication & Visualisation