Compression d Images par une Technique Hybride de Parallélisation de Réseau de Neurones 1

Transcription

1 SETIT th Internatinal Cnference: Sciences f Electrnic, Technlgies f Infrmatin and Telecmmunicatins March 25-29, 2007 TUNISIA Cmpressin d Images par une Technique Hybride de Parallélisatin de Réseau de Neurnes 1 E.M. Daudi *, A.hajji ** et E.M. Jaara ** * Université Mhamed 1 er, Ecle Natinale des Sciences Appliquées d Oujda mdaudi@ensa.univ-ujda.ac.ma ** Université Mhamed 1 er, Faculté des Sciences d Oujda a.hajji@sciences.univ-ujda.ac.ma jaara@sciences.univ-ujda.ac.ma Résumé: Pur minimiser le cût de stckage et de transmissin d images n utilise les techniques de cmpressin qui permettent de réduire la taille des dnnées représentant l image. L bjet de ce travail est l étude de la parallélisatin des méthdes de cmpressin basées sur les réseaux de neurnes multicuches. La technique de parallélisatin prpsée est une technique hybride qui est un cmprmis entre la technique statique, qui a l avantage d avir un surcût de cmmunicatin réduit mais a l incnvénient de déséquilibrage de charge; et la technique dynamique, qui présente un meilleur équilibrage de charge au détriment d un surcût de cmmunicatin élevé. Les tris techniques, à savir techniques statique, dynamique et hybride nt été implémentées et cmparées sur un réseau de prcesseurs. Les tests numériques mntrent que les meilleurs résultats peuvent être btenus avec la méthde hybride. Mts clés : Cmpressin d images, Réseau de neurnes, Réseau de prcesseurs, Equilibrage de charge. INTRODUCTION Parmi les difficultés rencntrées dans le dmaine du traitement d images, il y a la quantité énrme de dnnées qui représentent une image numérique [ABD 1]. Par cnséquent la transmissin et le stckage des images snt très cûteux, d u l intérêt des techniques de cmpressin qui deviennent nécessaires. Parmi les méthdes utilisées, n cite la cmpressin par réseau de neurnes Multi-Cuches [ABD 1] dnt le principe cnsiste à chercher les pids de cnnexins adéquats pur cnstruire un réseau cmpresseur, cmpsé de la cuche d entrée et la cuche cachée, et un réseau décmpresseur, cmpsé de la cuche cachée et la cuche de srtie (vir figure 1), de telle façn que les dnnées qui représentent l image au niveau de la cuche d entrée, sernt réduit seln un taux de cmpressin calculé par le rapprt entre le nmbre de neurnes de la cuche cachée et celui de la cuche d entrée. Au niveau de la cuche de srtie, n dit avir presque les mêmes dnnées d entrées. Vu la quantité de dnnées que représentent les images numériques et la lngue durée de la phase d apprentissage qui demande des milliers d itératins sur les machines mnprcesseur, le recurs au traitement parallèle est naturel. 1 Sutenu par l UMP dans le cadre du PGR

2 calculer les h i (les états des neurnes de la cuche cachée) puis les X i (les états des neurnes de la cuche srtie). calculer les gradients des cellules de la cuche de srtie puis ceux de la cuche cachée. mise à jur des pids par l algrithme du gradient. fin tant que. fin répéter Figure 1 : Réseau Cmpresseur -Décmpresseur X i : l entrée de la cellule i, X i : la srtie de la cellule i, h i : l état de la cellule i dans la cuche cachée, W, : la matrice des pids entre la cuche d entrée et la cuche cachée, i j W ' i, j : la matrice des pids entre la cuche cachée et la cuche de srtie. 1. L algrithme d apprentissage utilisé Dans ntre implémentatin le réseau de neurnes utilisé a les caractéristiques suivantes : Une cuche d entrée de 64 cellules, Une cuche cachée de 4 cellules, Une cuche de srtie de 64 cellules. La base d exemples d apprentissage est frmée des images subdivisées en blcs de taille (8x8) pixels. Descriptin de l algrithme de rétrprpagatin : initialisatin des matrices des pids ( W ) i64 ij 1j 4 ( W' ij) i4 1j 64 et par des valeurs aléatires dans l intervalle [-0.5, 0.5], répéter pur chaque blc affecter les X i (les dnnées du blc) aux cellules de la cuche d entrée. tant que l erreur quadratique est supérieure à un seuil, 2. Technique statique La méthde statique [DAO 3][JAA 4] explite le parallélisme de dnnées. Tute image de la base d exemples d apprentissage est décupée en n blcs de mêmes tailles. On affecte à chaque prcesseur p blcs u p est le nmbre de prcesseurs. Un PMC lcal est implémenté sur chaque prcesseur. Les blcs reçus dans chaque prcesseur frment la base d exemples d apprentissage du PMC lcal [DAO 2][PAU 6], qui utilise l algrithme de rétrprpagatin du gradient [NAI 5] de façn indépendante. Bien que cette apprche permette d éviter les échanges de dnnées, l expérimentatin de cet algrithme mntre que la charge des prcesseurs n est pas équilibrée. En effet, quand un prcesseur termine sn travail (apprentissage des blcs lcaux), il devient inactif même s il existe des blcs dans d autres prcesseurs en attente. L algrithme parallèle de la méthde statique : affecter à chaque prcesseur p blcs. pur chaque prcesseur : Traitement des blcs lcaux d une façn séquentielle en utilisant l algrithme de rétr-prpagatin du gradient. Fin pur 3. La technique dynamique Dans le but d équilibrer la charge des prcesseurs, une technique de parallélisatin dynamique [DAO 3][JAA 4], basée sur l architecture maître-esclave, est intrduite dnt la descriptin est la suivante : L image est subdivisée en n blcs cmme dans le cas de la méthde statique. Il y a (p-1) prcesseurs esclaves et un prcesseur maître. Au début du traitement, chaque prcesseur esclave cmmence à traiter un blc, le prcesseur maître affecte les blcs aux prcesseurs esclaves au fur et à mesure qu ils deviennent inactifs

3 Le prcessus est répété tant qu il reste encre des blcs nn traités. L algrithme parallèle de la méthde dynamique : Prcesseur maître : envie d un blc à chaque prcesseur esclave, Tant qu ils existent des blcs en attente réceptin de la demande d un prcesseur inactif Y, envie d un blc au prcesseur Y, fin Tant que. infrmer tus les prcesseurs esclaves de l épuisement du travail. Prcesseur esclave : initialisatin des pids du PMC lcal, réceptin d un blc du prcesseur maître, traitement du blc reçu, tant qu il reste du travail (il existe des blcs nn encre traités), envie la demande au prcesseur maître, réceptin d un blc du maître, traitement du blc reçu, fin Tant que. 4. Technique hybride La trisième technique qu n prpse dans ce travail représente un cmprmis entre la technique statique et la technique dynamique, de telle façn qu n utilise les avantages des deux méthdes. La façn de distributin des blcs est la suivante : il y a (p-1) prcesseurs esclaves et un prcesseur maître. Au début du traitement le prcesseur maître envie k blcs pur chaque prcesseur esclave, avec n 1 k, (pur k=1, c est le cas p dynamique et pur k c est le cas statique) p ( n pk blcs restants sernt Les ) distribués aux prcesseurs esclaves un par un de la même façn que la méthde dynamique au fur et à mesure qu ils terminent leur travail (apprentissage des blcs lcaux). effectués sur une image de taille (312312) pixels (vir figure 2), subdivisée en (3939) blcs chacun de taille (88) pixels. Le maître est un Pentium 4 cadencé à 3.2 Ghz et équipé de 512 M de RAM, les 4 esclaves snt des Pentium 2 cadencés à 300 Mhz. La taille de RAM pur chacun est de 64 M. Les différentes PCs snt cnnectés à un HUB. Figure 2 : Image avant cmpressin Figure 3 : Image après décmpressin 5. Résultats expérimentaux Nus avns implémenté cette technique sur un réseau de 5 prcesseurs sus l envirnnement de prgrammatin parallèle MPI [PET 7]. Les tests snt - 3 -

4 k Prcesseur numér Nmbre de blcs traités Temps d exécutin (s) Table1: Temps d exécutin en fnctin de la variatin de k Dans la table 1, n reprte le temps d exécutin (par 1000 itératins) btenu en secndes pur l apprentissage suivant le nmbre de blcs k initialement affectés à chaque prcesseur esclave. Dans la clnne 3 n reprte le nmbre de blcs réellement traités par chaque prcesseur et dans la clnne 4 n reprte le temps d exécutins (calcul + cmmunicatin) pur chaque prcesseur. Les résultats expérimentaux mntrent : un déséquilibrage de charge pur la technique statique (pur k=380). Le temps d exécutin des différents prcesseurs varie entre 700s et 847s. une améliratin de l équilibrage de charge pur la technique dynamique (pur k=1). Le temps d exécutin des différents prcesseurs varie entre 650s et 688s. un meilleur équilibrage de charge est btenu pur la technique hybride avec k=24. Le temps d exécutin pur les différents prcesseurs varie entre 498s et 503s. Remarque : la valeur k=24 est btenue expérimentalement. Une étude thérique est nécessaire pur estimer la valeur de k qui dnne le temps d exécutin minimum. 6. Cnclusin Dans ce travail, nus avns expsé les avantages et les incnvénients de deux techniques d apprentissage des réseaux de neurnes cnçus pur la cmpressin d images. La première technique statique est basée sur une distributin unifrme des blcs, le grand avantage de cette méthde se résume dans l éliminatin des cmmunicatins entre les différents prcesseurs, mais l incnvénient majeur qui se pse pur cette méthde est le prblème d équilibrage de charge. La secnde méthde dynamique résud le prblème d équilibrage de charge psé par la technique statique, mais pse le prblème de cmmunicatins entre les prcesseurs esclaves et le prcesseur maître. La technique hybride, prpsée dans cet article, représente un cmprmis entre les deux techniques citées précédemment, pur minimiser le temps d exécutin. Au début, le prcesseur maître distribue d une façn unifrme un nmbre de blcs k à tus les prcesseurs esclaves, et si un prcesseur termine sn travail sur les blcs lcaux, il demande au prcesseur maître un blc nn encre traité. Ce qui explique la réductin du cût de cmmunicatins, et par cnséquent elle rassemble les avantages des deux techniques. Les études expérimentales que nus avns effectuées pur cette technique nus permettent de truver le nmbre de blcs k affectés au départ à chaque prcesseur pur avir un temps d exécutin minimal. En perspectives : Effectuer le test sur plusieurs images. étude préalable des dnnées des images qui frment la base d apprentissage avant la distributin des blcs aux prcesseurs. Faire une étude thérique incluant les paramètres de la machine et les caractéristiques de l image afin d estimer le nmbre de blcs k réalisant le temps d exécutin minimum

5 REFERENCES [1] O. ABDEL-WAHHAB et M.M. FAHMY, Image Cmpressin using Multilayer Neural Netwr, IEEE Prc - Vis. Image Signal Prcess, Vl N 5 Octber [2] E.M. DAOUDI, E.M. JAARA, Parallel Methds f Training fr Multilayer Neural Netwrk 5 th Internatinal Eur-Par Cnference, Tuluse, France, August/September 1999, Lecture Ntes in Cmputer Science 1685, p [3] E.M. DAOUDI, E.M. JAARA, H. NAIT CHERIF, Étude de la Parallélisatin de la Cmpressin d Images par Réseaux de Neurnes Multicuches, CARI 2000 ANTANANARIVO (Madagascar) Sessin 8A Architecture dédiées. [4] E.M. JAARA, Étude et Implémentatin Parallèles des Réseaux de Neurnes, Thèse de Dctrat, Faculté des Sciences d Oujda, 19 Septembre [5] H. NAIT CHARIF, A Fault Tlerant Learning Algrithm fr Feedfrward Neural Netwrks Cnference FTPD 1996, Hawaï. [6] H. PAUGAM-MOISY, Réseaux de Neurnes Artificiels : Parallélisme, Apprentissage et Mdélisatin Habilitatin à Diriger des Recherches, Ecle Nrmale Supérieure de Lyn, 6 Janvier [7] PETER S. PATCHECO, Parallel Prgramming with MPI, Mrgan Kaufman Publishers,