#nosql #solr #elasticsearch

Transcription

1 Solr et ElasticSearch en Action #nosql #solr

2 Objectif Les moteurs de recherche et NoSQL Patterns darchitecture d architecture et d intégration Zoom sur le fonctionnement interne et sur le noyau Lucene Outils pour démarrer et exploiter au mieux les technologies Démonstrations ti

3 Historique avant Browse Filter Sort Get Appli < > idx BD Répertoire file file file www < > < >

4 Historique après Search Filter Sort Get Index Appli < > idx BD Répertoire file file file www < > < >

5 Moteurs de recherche valeur ajoutée Expérience utilisateur / Ergonomie de l application Navigation «à la Google» Accèsquasi directà ladonnée recherchée Navigation par facettes Pagination disponible «out of the box» Performances maximisées impliquant pq une fluidité accrue des applications Suggestions (auto complétion) des termes à rechercher Fonctionnalités de recherche h sémantique tè très puissantes Recherche approximative, recherche phonétique, correction grammaticaleetet d orthographe, gestion des mots techniques, des synonymes et des mots composés Plus rapide que les approches SQL traditionnels

6 Auto complétion (suggestions de résultats) Surbrillance gérée par le moteur Recherche rapide «full text t» Accès aux recherches multicritères Recherche approximative et suggestions d orthographe Tri sur l ensemble des résultats (pas seulement page en cours) Nombre total des résultats Résultats affichés sous la forme de «mini fiches» Navigation par facettes Calculées avec les résultats de recherche Filtres de recherche à renseigner apostériori éi i Pagination gérée éé par le moteur

7 Alimenter l index Importer une BD Join Solr Data Import Handler : Entités et référencement avec ${parent.id} «Jointures» externes Indexer des fichiers binaires (Word, Excel, PDF) SQL : GROUP_CONCAT ElasticSearch : JDBC River => Construisez votre propre injecteur

8 Analyzers / Tokenizers / Token filters Indexation Id Nom Document entrée 1 Céline Nom Celin Recherche Terme recherché Ascii folding Celine Celin Ascii folding Lowercase celine celin Lowercase EdgeNGram Index ce cel celi celin celine Clé Id document ce 1 cel 1 celi 1 celin 1 celine 1

9 Analyzers / Tokenizers / Token filters Indexation Documents entrée Ascii folding Lowercase EdgeNGram Id Nom Nom 1 Céline 2 Celia Celine, Celia celine, celia ce cel celi celin celine ce cel celi celia Clé ce 1, 2 Index cel 1, 2 celi 1, 2 celin 1 celine 1 celia 2 Id document Célin Recherche Terme recherché Celin Ascii folding celin Lowercase ce cel celi celin EdgeNGram

10 NoSQL et Moteurs de Recherche vs SGBDs classiques et BI traditionnelle Certaines requêtes (ex. ORDER BY, GROUP BY ou LIKE) iront plus vite Facettes simples ou complexes calculées en même temps que les résultats de recherche Synchronisation temps réel Utilisation du moteur à la place ou en complément de la base de données Alternative aux outils BI traditionnels La navigation par facettes Les statistiques sur les champs Le regroupement automatique des résultats de recherche

11 Intégration d un moteur de recherche (avant tnosql)

12 NoSQL? En général é BDs non traditionnelle N utilisent pas / ne sont pas construites autour de SQL Distribués, architecture résistante aux pannes Modèle allégé pour permettre la scalabilité horizontale Pour un moteur de recherche : Indexation et recherche distribuées Real time Get, Versioning et Optimistic Locking Durable updates (transaction log) HA sans SPOF Near Real time Search Options schema less

13 Solr 4 What s new? Fonctionalités NoSQL À noter: Atomic updates et Shard Splitting Améliorations Nouvelle interface d administration Facettes hiérarchiques Pseudo Joinet autres requêtes spécialisées éilié Lucene 4 Modèlesplus flexibles et nouvelles statistiques pour le scoring Codec api + nouveau codec par défaut (compression) AutomatonQuery (=> performances de FuzzyQuery, nouvelle implémentation du Suggester) Amélioration de la performance à l indexation et à la recherche

14 Start Quick Unzip $ cd example $ java jar start.jar lh l In an App Server Standalone Jetty Apache Tomcat SolrCloud Wellcome ZooKeeper

15 HA sans SPOF ZooKeeper Démarrage d un nœud avec conf 2 shards g Pas encore de quorum ZooKeeper Démarrage du deuxième nœud Démarrage des nœuds 3 et 4 afin d avoir une replica Démarrage de plusieurs instances ZooKeeper No SPOF

16 Real time Get, optimistic locking et Add book Get book Delete by version atomic updates Update Version semantics (>1, 1, <0, 0)

17 «Schemaless» Schema REST API Dynamic schema Schemaless avec Lucene «Deviner» le schéma > beaucoup d inconvenients Dynamic fields

18 Collections API Create collection Create alias Delete collection Reload collection Shard splitting Shard_1 Shard_2 Shard_3 Shard_2_0 Pas sur les clusters avec custom hashing Cores et retro compatibilité Shard_2_1

19 Solr 4 vs ElasticSearch NoSQL since 2012 Lucene since 2004 Merge avec Lucene en 2010 NoSQL since 2010 Lucene since 2004 Via le projet Compass

20 ElasticSearch what s new? Lucene 4.3 Optimisation de la mémoire Nouveau «suggester» common terms query rescore tri sur champs multi valués

21 Intégration Elasticsearch

22 Elasticsearch clustering

23 Outils de test curl & commandes JSON Index curl XPUT ' d '{ "user" : Get "kimchy", "post_date" : " T14:12:12", "message" : "trying out Elastic Search" }' curl XGET ' Update curl XPOST 'localhost:9200/test/type1/1/_update' d '{ "doc" : { "name" : "new_name" } }' Search curl XGET ' curl XGET ' d '{ "query" : { "term" : { "user" : "kimchy" } } } Statut curl XGET '

24 Démo Pertinence Comment est calculé le score Comment influencer le score "explain" : 1

25 Démo recherche Analyse à la recherche, requêtes composés Highlighting Fuzzy Facettes Filtres

26 Use case métier E commerce Beaucoup de critères de pertinence métier à implémenter Ressources humaines Recherche de personnes Recherche full texte (catalogues formation, CVs, compétences) Poste de travail Modèle métier complexe Indexation temps réel Portail intranet Hétérogénéité des sources données: annuaires, wikis, fichiers, applications Internet Pertinence du premier résultat. Ex. : «I m feeling lucky» de Google, Siri, LeMoteur.fr

27 Merci Q & A