RDISK: une architecture prototype pour la recherche par le contenu dans les grandes masses de données.

Transcription

1 RDISK: une architecture prototype pour la recherche par le contenu dans les grandes masses de données. Stéphane Guyetant Mathieu Giraud IRISA Université de Rennes 1 Présentation RDISK. JDAC 29/09/04 1

2 Contexte Bases (ou banques, ou masses) de données: Forte croissance Faible structuration, biais d annotation automatique (validation) / humaine (subjectivité, ontologies) Recherche par le contenu: Algorithmes complexes sur données brutes, non indexées Parcours de la base entière Double problématique: Capacité calculatoire Accès aux données Annee Evolution (echelle log.) de la Banque GenBank et du nombre de transistor des processeurs Intel Présentation RDISK. JDAC 29/09/ Moore: x2 / 18 mois GenBank GenBank: x2 / 12 mois Nombre de transistors

3 Quelles données? Scientifiques Génomique Physique des particules Astrophysique, Géographie, Environnement Multimédia Banques d images Banques de données sonores, vidéo Textuelles Données Web, XML Captage d s, d évènements Présentation RDISK. JDAC 29/09/04 3

4 Réponses: Accélérateurs matériels Clusters Disques intelligents Présentation RDISK. JDAC 29/09/04 4

5 Les accélérateurs Unités de traitements spécialisées (en technologie ASIC ou reconfigurable) réparties sur des cartes d extensions Architecture classique (Bioscan, Samba) CPU ACC Réutilisation des données (BioXL/H) RAM CPU ACC RAM Présentation RDISK. JDAC 29/09/04 5

6 Parallélisation Clusters de stations Banques réparties sur les noeuds Parallélisation des accès RAID ACC CPU ACC Approche mixte Genematcher BlastMachine Présentation RDISK. JDAC 29/09/04 6

7 L approche «Disques Intelligents» Utilisation de la puissance du contrôleur de disque DC DC CPU DC 3 projets vers 1998: IDISK, SmartDisk et Active Disks Plusieurs niveaux de complexité déportée Communications point-à-point possibles Cryptographie, réseaux, SGBD, Présentation RDISK. JDAC 29/09/04 7

8 Principe de RDISK Etape de filtrage simple délocalisée: Heuristiques Calculs en précision réduite Parallélisation de noeuds reconfigurables: disque + filtre Filtrage «à la volée» et convergence des hits Présentation RDISK. JDAC 29/09/04 8

9 Détail d une Contrôleur de disque dur carte : Contrôle de conf. (MCU) Interface de test SDRAM SoC Interface ethernet reconfigurable (Spartan II) Présentation RDISK. JDAC 29/09/04 9 RJ 45

10 Système reconfigurable avec filtre Contrôleur Ethernet Interface SDRAM Cache µc XR-16 Test Reconf Filtre applicatif Contrôleur IDE Présentation RDISK. JDAC 29/09/04 10

11 Chaîne de développement boot.s Image.hex network.c ide.c system.c xr16 lcc+xr16 VHDL VHDL VHDL XSOC.prj XSOC.ucf XSOC.bmm hex2mem image.sys hex2sys Image.mem Synplify xsoc.edf xsoc-jtag.bit System Xilinx P&R xsoc.bit Config. data2bram bitgen-jtag.ut bitgen.ut xsoc_bd.bmm xsoc-code.bit xsoc.rdk bit2rdk Présentation RDISK. JDAC 29/09/04 11

12 Système de fichiers Post_filter.c Host_main.c fopen_rdisk( ) GCC EXE Méta-RDisk pointeur, taille Disque hôte Rdisk distant Présentation RDISK. JDAC 29/09/04 12

13 Scénario d interrogation Eth XR-16 IDE Config_base Reconf RAM MCU Présentation RDISK. JDAC 29/09/04 13

14 Scénario d interrogation Eth XR-16 IDE Reconf RAM MCU Choix application, choix du filtre. Eventuellement, diffusion d un nouveau bitstream Présentation RDISK. JDAC 29/09/04 14

15 Scénario d interrogation Eth Boot XR-16 IDE Config_X Reconf Filtre_X MCU Présentation RDISK. JDAC 29/09/04 15

16 Scénario d interrogation RAM Eth Reconf Boot Filtre_X XR-16 IDE OS_XR16 MCU Présentation RDISK. JDAC 29/09/04 16

17 Scénario d interrogation Eth Cache XR-16 Reconf Requete_X Filtre_X IDE MCU Diffusion de la requête Présentation RDISK. JDAC 29/09/04 17

18 Scénario d interrogation Eth Cache XR-16 Reconf Requête_X Filtre_X IDE MCU Récupération des hits, post-traitements Présentation RDISK. JDAC 29/09/04 18

19 Comparaison de séquences d ADN Recherche de similarité dans les chaînes de caractères Complexité en O(nm) ccggttcttcttacaacgtgcataaagccagcacaagaaagt cgtagtacggtcattagaccccgcagtgagccttacgt ac.gtgcataa.agccag acggt.cattagaccccg Nécessité d une heuristique Présentation RDISK. JDAC 29/09/04 19

20 Comparaison de séquences d ADN Calcul des cellules de la matrice d alignement: Découpage recherche d ancrages / programmation dynamique Présentation RDISK. JDAC 29/09/04 20

21 Reconnaissance de motifs protéiques Motifs à syntaxe PROSITE C-x(2,4)-C-x(3)-[LIVMFYWC]-x(8)-H-x(3,5)-H Expressions régulières: automate fini non déterministe: reconnaissance exacte de C-x(1,2)-[ILV] I C x x L x V Automates pondérés: reconnaissance avec erreurs (I,L,V, 0) (C, 0) x x ? (others, -1) (others, -1) Présentation RDISK. JDAC 29/09/04 21

22 Application multimédia Recherche par le contenu dans une banque d images Insuffisance des méthodes à histogramme et analyse fréquentielle Recherche des plus proches voisins sur des descripteurs d images: vecteurs d entier 8bits de dimension 24 Ces deux images partagent 16 points d intérêt proches sur un total de 50 à 600 points par image. Présentation RDISK. JDAC 29/09/04 22

23 Performances Comparaison de séquences d ADN Alignement d un EST de 300 bases contre une banque de bases RDISK = 3s contre 40s pour exécuter Blast (W=7) sur un SunFire 6800 (16 processeurs) Recherche de motifs protéiques Recherche avec un automate à 75 transitions RDISK = 21s contre 1h pour PIV 2GHz + quelques minutes de compilation! Présentation RDISK. JDAC 29/09/04 23

24 Avancement du projet: Specifications du projet Etude des prototypes, du PCB Developpement du SoC Fabrication de cartes prototypes Tests sur prototypes Etude des filtres ADN, motifs, images Fabrication et assemblage de RDISK-48 Experimentation réseau Intégration des applications Présentation RDISK. JDAC 29/09/04 24

25 Autour du projet RDISK: Steven Derrien, MdC IFSIC, IRISA Mathieu Giraud, Doc INRIA, IRISA Stéphane Guyetant, Doc CNRS, IRISA Dominique Lavenier, DR CNRS, IRISA Ludovic L hours, Doc MENRT, IRISA Frédéric Raimbault, MdC UBS Stéphane Rubini, MdC UBO Présentation RDISK. JDAC 29/09/04 25