La physiologie du cerveau montre que celui-ci est constitué de cellules (les neurones) interconnectées. Quelques étapes de cette découverte :

Save this PDF as:
 WORD  PNG  TXT  JPG

Dimension: px
Commencer à balayer dès la page:

Download "La physiologie du cerveau montre que celui-ci est constitué de cellules (les neurones) interconnectées. Quelques étapes de cette découverte :"

Transcription

1 Chaptre 3 Apprentssage automatque : les réseaux de neurones Introducton Le Perceptron Les réseaux mult-couches 3.1 Introducton Comment l'homme fat-l pour rasonner, parler, calculer, apprendre,...? Comment s'y prendre pour créer une ou de l'ntellgence artfcelle? Deux types d'approches ont été essentellement explorées : procéder d'abord à l'analyse logque des tâches relevant de la cognton humane et tenter de les reconsttuer par programme. C'est cette approche qu a été prvlégée par l'intellgence Artfcelle et la psychologe cogntve classques. Cette démarche est étquetée sous le nom de cogntvsme. pusque la pensée est produte par le cerveau ou en est une proprété, commencer par étuder comment celu-c fonctonne. C'est cette approche qu a condut à l'étude de réseaux de neurones formels. On désgne par connexonnsme la démarche consstant à voulor rendre compte de la cognton humane par des réseaux de neurones. La seconde approche a donc menée à la défnton et l'étude de réseaux de neurones formels qu sont des réseaux complexes d'untés de calcul élémentare nterconnectées. Il exste deux courants de recherche sur les réseaux de neurones : un premer motvé par l'étude et la modélsaton des phénomènes naturels d'apprentssage à l'ade de réseaux de neurones, la pertnence bologque est mportante ; un second motvé par l'obtenton d'algorthmes effcaces ne se préoccupant pas de la pertnence bologque. Nous nous plaçons du pont de vue du second groupe. En effet, ben que les réseaux de neurones formels aent été défns à partr de consdératons bologques, pour la plupart d'entre eux, et en partculer ceux étudés dans ce cours, de nombreuses caractérstques bologques (le temps, la mémore,...) ne sont pas prses en compte. Toutefos, nous donnons, dans la sute de cette ntroducton, un bref aperçu de quelques proprétés élémentares de neurophysologe qu permettent au lecteur de reler neurones réels et neurones formels. Nous donnons ensute un rapde hstorque des réseaux de neurones. Enfn, nous donnons une classfcaton des dfférents types de réseau et les prncpales applcatons Quelques éléments de physologe du cerveau La physologe du cerveau montre que celu-c est consttué de cellules (les neurones) nterconnectées. Quelques étapes de cette découverte : Van Leuwenhook (1718) : premère descrpton fdèle de ce qu'on appellera plus tard les axones, Dutrochet (1824) : observaton du corps cellulare des neurones Valentn : découverte des dendrtes, Deters (1865) : mage actuelle de la cellule nerveuse Sherngton (1897) : les synapses, les neuro-transmetteurs (premère moté du sècle). Page 1 sur 26

2 Fgure 3.1 : Les neurones schématsés Les neurones reçovent les sgnaux (mpulsons électrques) par des extensons très ramfées de leur corps cellulare (les dendrtes) et envoent l'nformaton par de longs prolongements (les axones). Les mpulsons électrques sont régénérées pendant le parcours le long de l'axone. La durée de chaque mpulson est de l'ordre d'1 ms et son ampltude d'envron 100 mvolts. Les contacts entre deux neurones, de l'axone à une dendrte, se font par l'ntermédare des synapses. Lorsqu'un potentel d'acton attent la termnason d'un axone, des neuromédateurs sont lbérés et se lent à des récepteurs post-synaptques présents sur les dendrtes. L'effet peut être exctateur ou nhbteur. Chaque neurone ntègre en permanence jusqu'à un mller de sgnaux synaptques. Ces sgnaux n'opèrent pas de manère lnéare (effet de seul). Quelques nformatons en vrac : le cerveau content envron 100 mllards de neurones. on ne dénombre que quelques dzanes de catégores dstnctes de neurones. aucune catégore de neurones n'est propre à l'homme (cela serat trop beau!). la vtesse de propagaton des nflux nerveux est de l'ordre de 100m/s. C'est à dre ben nféreure à la vtesse de transmsson de l'nformaton dans un crcut électronque. on compte de quelques centanes à pluseurs dzanes de mllers de contacts synaptques par neurone. Le nombre total de connexons est estmé à envron la connectque du cerveau ne peut pas être codée dans un << document bologque >> tel l'adn pour de smples rasons combnatores. La structure du cerveau provent donc en parte des contacts avec l'envronnement. L'apprentssage est donc ndspensable à son développement. le nombre de neurones décrot après la nassance. Cependant, cette affrmaton semble remse en queston. on observe par contre une grande plastcté de l'axone, des dendrtes et des contacts synaptques. Celle-c est surtout très mportante après la nassance (on a observé chez le chat un accrossement des contacts synaptques de quelques centanes à entre le 10ème et le 35ème jour). Cette plastcté est conservée tout au long de l'exstence. les synapses entre des neurones qu ne sont pas smultanément actfs sont affabls pus élmnés. l semble que l'apprentssage se fasse par un double mécansme : des connectons sont étables de manère redondantes et aléatores pus seules les connexons entre des neurones smultanément actfs sont conservés (phase de sélecton) tands que les autres sont élmnés. On parle de stablsaton sélectve. Nous consellons sur le sujet deux lvres accessbles au profane et passonnants : L'homme neuronal de Jean-Perre Changeux et La bologe de la conscence de Gerald Edelman. Pour un survol de quelques pages, vor [ Kor97]. Pour ceux que l'anglas n'effrae pas et qu ament les bandes dessnées, vor [ GZ98]. Les recherches sur la physologe du cerveau sont actuellement Page 2 sur 26

3 très actves Le connexonnsme et les réseaux de neurones formels La queston fondamentale du connexonnsme est : comment rendre compte des processus cogntfs à partr d'un ensemble d'untés, dotées chacunes d'une fable pussance de calcul et nterconnectées en réseau? La défnton de réseaux de neurones formels et l'expérmentaton menée sur ces réseaux permettent d'étuder et de tester cette hypothèse. Ctons quelques étapes dans la formalsaton des réseaux de neurones : Premère défnton d'un neurone formel par McCulloch et Ptts en 1943 Les percepts ou concepts sont physquement représentés dans le cerveau par l'entrée en actvté (smultanée) d'une assemblée de neurones (Donald Hebb, 1949). L'hypothèse concurrente est la spécalsaton de certans neurones dans des tâches cogntves complexes (cf le fameux neurone << grand-mère >>). deux neurones entrant en actvté smultanément vont être assocés (c'est-à-dre que leur contacts synaptques vont être renforcés). On parle de lo de Hebb et d' assocatonnsme Le perceptron de Frank Rosenblatt (1958) : le premer modèle pour lequel un processus d'apprentssage a pu être défn. De cette pérode, date également les travaux de Wdrow et Hoff. Le lvre de Mnsk et Papert "Perceptrons" (1969). Cet ouvrage content une étude crtque très complète des perceptrons. On lu reproche parfos volemment d'avor sonné le glas des recherches sur les réseaux neuronaux dans les années 70, ce que nent leurs auteurs. Ce lvre a été réédté en 1980, avec des ajouts et correctons manuscrtes dans les marges, sans doute pour qu'on ne pusse pas les accuser de camoufler la premère verson du texte! l'algorthme de rétropropagaton du gradent dans les réseaux mult-couches découvert au début des années 80 par Rumelhart et McClelland, Parker, Hnton, Le Cun. Les << nventeurs >> sont nombreux car l'dée de descente de gradent est naturelle. La plupart de ces travaux étaent assocés à des études emprques montrant la pussance du modèle. le modèle de Hopfeld (1982) qu utlse des réseaux totalement connectés basés sur la règle de Hebb qu ont perms de défnr la noton d'attracteurs et de mémore assocatve. les cartes de Kohonen (1984) avec un algorthme non supervsé basé sur l'auto-organsaton. la machne de Boltzman (1985), autre type de réseaux à attracteurs avec une dynamque de Monte-Carlo Classfcaton des réseaux de neurones Un réseau de neurones formels est consttué d'un grand nombre de cellules de base nterconnectées. De nombreuses varantes sont défnes selon le chox de la cellule élémentare, de l'archtecture du réseau et de la dynamque du réseau. Une cellule élémentare peut manpuler des valeurs bnares ou réelles. Les valeurs bnares sont représentées par 0 et 1 ou -1 et 1. Dfférentes fonctons peuvent être utlsées pour le calcul de la sorte. Le calcul de la sorte peut être détermnste ou probablste. L'archtecture du réseau peut être sans rétroacton, c'est à dre que la sorte d'une cellule ne peut nfluencer son entrée. Elle peut être avec rétroacton totale ou partelle. La dynamque du réseau peut être synchrone : toutes les cellules calculent leurs sortes respectves smultanément. La dynamque peut être asynchrone. Dans ce derner cas, on peut avor une dynamque asynchrone séquentelle : les cellules calculent leurs sortes chacune à son tour en séquence ou avor une dynamque asynchrone aléatore. Par exemple, s on consdère des neurones à sorte stochastque -1 ou 1 calculée par une foncton à seul basée sur la foncton sgmoïde, une nterconnecton complète et une dynamque synchrone, on obtent le modèle de Hopfeld et la noton de mémore assocatve. S on consdère des neurones détermnstes à sorte réelle calculée à l'ade de la foncton sgmoïde, une archtecture sans rétroacton en couches successves avec une couche d'entrées et une couche de sortes, une dynamque asynchrone séquentelle, on obtent le modèle du Perceptron mult-couches (PMC) qu sera étudé dans les paragraphes suvants Applcatons des réseaux de neurones Page 3 sur 26

4 Les prncpales applcatons des réseaux de neurones sont l'optmsaton et l'apprentssage. En apprentssage, les réseaux de neurones sont essentellement utlsés pour : l'apprentssage supervsé ; l'apprentssage non supervsé ; l'apprentssage par renforcement. Pour ces tros types d'apprentssage, l y a également un chox tradtonnel entre : l'apprentssage << off-lne >> : toutes les données sont dans une base d'exemples d'apprentssage qu sont tratés smultanément ; l'apprentssage << on-lne >> : Les exemples sont présentés les uns après les autres au fur et à mesure de leur dsponblté. Nous nous lmtons, dans ce cours, à l'apprentssage supervsé à partr d'une base d'exemples. Dans ce cadre, l'apprentssage à l'ade de réseaux de neurones est ben adapté pour l'apprentssage à partr de données complexes (mages sur une rétne, sons,...) mas auss à partr de données symbolques. Les entrées peuvent être représentées par de nombreux attrbuts à valeurs réelles ou symbolques, les attrbuts pouvant être dépendants ou non. La ou les sortes peuvent être réelles ou dscrètes. L'apprentssage à l'ade de réseaux de neurones est tolérant au brut et aux erreurs. Le temps d'apprentssage peut être long, par contre, après apprentssage, le calcul des sortes à partr d'un vecteur d'entrée est rapde. La crtque prncpale est que le résultat de l'apprentssage, c'est-à-dre le réseau de neurones calculé par l'algorthme d'apprentssage, n'est pas nterprétable par l'utlsateur : on ne peut pas donner d'explcaton au calcul d'une sorte sur un vecteur d'entrée. On parle de << boîte nore >>. Cec est la prncpale dfférence entre réseaux de neurones et arbres de décson. S l'utlsateur a beson de pouvor nterpréter le résultat de l'apprentssage, l chosra un système basé sur les arbres de décson, snon les deux méthodes sont concurrentes. Nous n'étudons que le perceptron, brque de base des modèles plus complexes, et le perceptron mult-couches (PMC). L'accent sera ms sur les algorthmes d'apprentssage pour ces deux modèles, en partculer sur l'algorthme de rétropropagaton du gradent applqué aux PMC. Cet algorthme est, en effet, le premer algorthme d'apprentssage convancant dans un modèle suffsamment pussant et cet algorthme a de nombreuses applcatons. 3.2 Le Perceptron Le perceptron est un modèle de réseau de neurones avec algorthme d'apprentssage créé par Frank Rosenblatt en La verson c-dessous est smplfée par rapport à l'orgnale. Vous trouverez une descrpton de cette dernère dans l'exercce?? Défnton du Perceptron Défnton 5 Un perceptron lnéare à seul (vor fgure??) prend en entrée n valeurs x 1,..., x n et calcule une sorte o. Un perceptron est défn par la donnée de n +1 constantes : les coeffcents synaptques w 1,..., w n et le seul (ou le bas) q. La sorte o est calculée par la formule : o = 1s 0snon w x > q Page 4 sur 26

5 Fgure 3.2 : Le perceptron avec seul Les entrées x 1,..., x n peuvent être à valeurs dans {0,1} ou réelles, les pods peuvent être enters ou réels. Une varante très utlsée de ce modèle est de consdérer une foncton de sorte prenant ses valeurs dans {-1,1} plutôt que dans {0,1}. Il exste également des modèles pour lesquels le calcul de la sorte est probablste. Dans la sute de cette parte sur le perceptron, nous consdérerons toujours le modèle détermnste avec une sorte calculée dans {0,1}. Pour smplfer les notatons et certanes preuves, nous allons remplacer le seul par une entrée supplémentare x 0 qu prend toujours comme valeur d'entrée la valeur x 0 =1. À cette entrée est assocée un coeffcent synaptque w 0. Le modèle correspondant est décrt dans la fgure??. On peut décomposer le calcul de la sorte o en un premer calcul de la quantté S w x appelée potentel post-synaptque ou l' entrée totale suv d'une applcaton d'une foncton d'actvaton sur cette entrée totale. La foncton d'actvaton est la foncton de Heavsde défne par : f( x) = 1 x > 0 0snon Fgure 3.3 : Le perceptron avec entrée supplémentare Ben que consdérant une entrée supplémentare x 0, un perceptron est toujours consdéré comme assocant une sorte o aux n entrées x 1,..., x n. L'équvalence entre le modèle avec seul et le modèle avec entrée supplémentare à 1 est mmédate : le coeffcent est l'opposé du seul q. Nous consdérerons toujours ce derner modèle de perceptron lnéare à seul par la sute. w 0 Pour passer du modèle avec sortes à valeurs dans {0,1} au modèle à valeurs dans {-1,1}, l sufft de remplacer la foncton de Heavsde f par la foncton g défne par : g( x) = 2 f( x) - 1. D'autres fonctons d'actvaton peuvent également être utlsées. Exemple 10 Un perceptron qu calcule le OU logque avec les deux versons : seul ou entrée supplémentare est présenté Page 5 sur 26

6 dans la fgure??. Fgure 3.4 : perceptrons qu calculent le OU On vot que quelques uns des trats prncpaux des neurones réels ont été retenus dans la défnton du perceptron : les entrées modélsent les dendrtes, les mpulsons en entrée sont pondérées par les coeffcents synaptques et l'mpulson émse, c'est-à-dre la sorte, obét à un effet de seul (pas d'mpulson s l'entrée totale est trop fable). Un perceptron à n entrées réelles (respectvement bnares) est une foncton de R n (respectvement {0,1} n ) dans {0,1}. S l'on veut fare le len avec les chaptres précédents, on peut vor les neurones d'entrées comme décrvant un espace de descrpton avec des attrbuts réels (respectvement bnares) et le perceptron comme une procédure de classfcaton bnare (c'est-à-dre en deux classes) sur cet espace. Un système d'apprentssage à base de perceptrons dot générer, à partr d'un ensemble d'apprentssage, une hypothèse qu est un perceptron. Nous nous ntéressons, dans la secton suvante, à cet espace d'hypothèses, c'est-à-dre à l'étude des fonctons calculables par perceptron Interprétaton géométrque et lmtatons Défnton 6 Sot S un ensemble d'exemples dans R n { 0,1}. On note S 0 = { s Î R n ( s,0) Î S } et S 1 = { s Î R n ( s,1) Î S }. On dt que S est lnéarement séparable s'l exste un hyperplan H de R n tel que les ensembles S 0 et S 1 soent stués de part et d'autre de cet hyperplan. Théorème 2 Un perceptron lnéare à seul à n entrées dvse l'espace des entrées R n en deux sous-espaces délmtés par un hyperplan. Récproquement, tout ensemble lnéarement séparable peut être dscrmné par un perceptron. Démonstraton : Il sufft pour s'en convancre de se rappeler que l'équaton d'un hyperplan dans un espace de dmenson n est de la forme : a 1 x a n x n = b Un perceptron est donc un dscrmnant lnéare. On montre faclement qu'un échantllon de est séparable par un hyperplan s et seulement s l'échantllon de R n+1 obtenu en rajoutant une entrée toujours égale à 1 est séparable par un hyperplan passant par l'orgne. Toute foncton de dans {0,1} est-elle calculable par perceptron? La réponse est évdemment non. De même, toute foncton booléenne peut-elle être calculée par un perceptron? La réponse est également non. Le contre-exemple le plus smple est le << OU exclusf >> (XOR) sur deux varables. R n Théorème 3 Le XOR ne peut pas être calculé par un perceptron lnéare à seul. Démonstraton : R n Démonstraton algébrque : Supposons qu'l exste un perceptron défn par les coeffcents synaptques ( w 0, w 1, w 2 ) calculant le XOR sur deux entrées booléennes x 1 et x 2. On devrat avor : Page 6 sur 26

7 w w w 2 = w 0 0 (3.1) w w w 2 = w 0 + w 2 > 0 (3.2) w w w 2 = w 0 + w 1 > 0 (3.3) w w w 2 = w 0 + w 1 + w 2 0 (3.4) Il sufft d'addtonner l'équaton?? et l'équaton?? d'une part, l'équaton?? et l'équaton?? d'autre part pour se rendre compte que l'hypothèse est absurde. Démonstraton géométrque : on << vot >> ben qu'aucune drote ne peut séparer les ponts de coordonnées (0,0) et (1,1) des ponts de coordonnées (0,1) et (1,0) (vor Fgure??). S on consdère une entrée x 0 =1, l n'exste pas de plan passant par l'orgne qu sépare les ponts de coordonnées (1,0,0) et (1,1,1) des ponts de coordonnées (1,0,1) et (1,1,0). Fgure 3.5 : Comment trouver une drote séparant les ponts (0,0) et (1,1) des ponts (0,1) et (1,0)? Algorthme d'apprentssage par correcton d'erreur Présentaton de l'algorthme Étant donné un échantllon d'apprentssage S de R n {0,1} (respectvement {0,1} n {0,1}), c'est-à-dre un ensemble d'exemples dont les descrptons sont sur n attrbuts réels (respectvement bnares) et la classe est bnare, l s'agt de trouver un algorthme qu nfère à partr de S un perceptron qu classfe correctement les éléments de S au vu de leurs descrptons s c'est possble ou au meux snon. Exemple 11 Pour apprendre la noton de chffre par ou mpar, on peut consdérer un échantllon composé des 10 chffres écrts sur une rétne à 7 leds. Page 7 sur 26

8 Fgure 3.6 : Les 10 chffres sur une rétne à 7 leds En représentant chaque chffre par le symbole qu le désgne habtuellement, un échantllon d'apprentssage complet est : S = {( ,0), ( ,1), ( ,0), ( ,1), ( ,0), ( ,1), ( ,0), ( ,1), ( ,0), ( ,1)}. Le but sera d'nférer, à partr de S, un perceptron qu prend ses entrées dans {0,1} 7 et qu retourne la classe 0 s le vecteur d'entrée correspond à un chffre par et 1 snon. Sur cet exemple, l'échantllon S est complet (toutes les entrées possbles sont décrtes). Il est fréquent, pour les problèmes concrets, d'avor un échantllon non complet. L'algorthme d'apprentssage peut être décrt succnctement de la manère suvante. On ntalse les pods du perceptron à des valeurs quelconques. A chaque fos que l'on présente un nouvel exemple, on ajuste les pods selon que le perceptron l'a correctement classé ou non. L'algorthme s'arrête lorsque tous les exemples ont été présentés sans modfcaton d'aucun pods. Dans la sute, nous noterons x une descrpton qu sera un élément de R n ou {0,1} n. La -ème composante de x sera notée x. Un échantllon S est un ensemble de couples ( x, c) où c est la classe de x. Lorsqu'l sera utle de désgner un élément partculer de S, nous noterons ( x s, c s ) le s-ème élément de S. x s désgnera la -ème composante du vecteur d'entrée x s. S une entrée x s est présentée en entrée d'un perceptron, nous noterons o s la sorte bnare calculée par le perceptron. Nous rappelons qu'l exste une n+1-ème entrée x 0 de valeur 1 pour le perceptron. L'algorthme d'apprentssage par correcton d'erreur du perceptron lnéare à seul est : Algorthme par correcton d'erreur: Entrée : un échantllon S de R n {0,1} ou {0,1} n {0,1} Intalsaton aléatore des pods w pour entre 0 et n Répéter Prendre un exemple ( x, c) dans S Calculer la sorte o du perceptron pour l'entrée x - - Mse à jour des pods - - Pour de 0 à n w w + ( c- o) x fnpour fnrépéter Sorte : Un perceptron P défn par ( w 0, w 1,..., w n ) La procédure d'apprentssage du perceptron est une procédure de correcton d'erreur pusque les pods ne sont pas modfés lorsque la sorte attendue c est égale à la sorte calculée o par le perceptron courant. Étudons les modfcatons sur les pods lorsque c dffère de o : s o=0 et c=1, cela sgnfe que le perceptron n'a pas assez prs en compte les neurones actfs de l'entrée (c'est-à-dre les neurones ayant une entrée à 1) ; dans ce cas, w w + x ; l'algorthme ajoute la valeur de la rétne aux pods synaptques ( renforcement). s o=1 et c=0, alors w w - x ; l'algorthme retranche la valeur de la rétne aux pods synaptques ( nhbton). Remarquons que, en phase de calcul, les constantes du perceptron sont les pods synaptques alors que les varables sont les entrées. Tands que, en phase d'apprentssage, ce sont les coeffcents synaptques qu sont varables alors que les entrées de l'échantllon S apparassent comme des constantes. Certans éléments mportants ont été lassés volontarement mprécs. En premer leu, l faut précser comment est fat le chox d'un élément de S : aléatorement? En suvant un ordre prédéfn? Dovent-ls être tous présentés? Le crtère d'arrêt de la boucle prncpale de l'algorthme n'est pas défn : après un certan nombre d'étapes? Lorsque tous les exemples ont été présentés? Lorsque les pods ne sont plus modfés pendant un certan nombre d'étapes? Nous revendrons sur toutes ces questons par la sute. Tout d'abord, examnons le comportement de l'algorthme sur deux exemples : Page 8 sur 26

9 Exemple 12 Apprentssage du OU : les descrptons appartennent à {0,1} 2, les entrées du perceptron appartennent à {0,1} 3, la premère composante correspond à l'entrée x 0 et vaut toujours 1, les deux composantes suvantes correspondent aux varables x 1 et x 2. On suppose qu'à l'ntalsaton, les pods suvants ont été choss : w 0 =0 ; w 1 = 1 et w 2 = -1. On suppose que les exemples sont présentés dans l'ordre lexcographque. étape w 0 w 1 w 2 Entrée S 0 2 w x o c w 0 w 1 w 2 nt x1 1+0x0-1+0x x1 1+1x 0-1+1x (-1)x1 1+(-1)x0 0+(-1)x x1 1+1x0 0+1x (-1)x1 1+(-1)x0 1 +(-1)x Aucune entrée ne modfe le perceptron à partr de cette étape. Vous pouvez asément vérfer que ce perceptron calcule le OU logque sur les entrées x 1 et x 2. Exemple 13 Apprentssage d'un ensemble lnéarement séparable : les descrptons appartennent à R 2, le concept cble est défn à l'ade de la drote d'équaton y= x /2. Les couples ( x, y ) tels que y> x /2 sont de classe 1 ; Les couples ( x, y) tels que y x /2 sont de classe 0. L'échantllon d'entrée est S ={((0,2),1), ((1,1),1), ((1,2.5),1), ((2,0),0), ((3,0.5),0)}. On suppose qu'à l'ntalsaton, les pods suvants ont été choss : w 0 =0 ; w 1 = 0 et w 2 = 0. On chost de présenter tous les exemples en alternant exemple postf (de classe 1) et exemple négatf. étape w 0 w 1 w 2 Entrée S 0 2 w x o c w 0 w 1 w 2 nt (1,0,2) (1,2,0) (1,1,1) (1,3,0.5) (1,1,2.5) Aucune entrée ne modfe le perceptron à partr de cette étape car ce perceptron classfe correctement tous les exemples de S. Le perceptron de sorte assoce la classe 1 aux couples ( x, y ) tels que y> x /3-1/3. Page 9 sur 26

10 Fgure 3.7 : échantllon S ; hyperplans séparateurs cble et apprs Dans les deux exemples, l'échantllon d'apprentssage est un ensemble lnéarement séparable. Lors de la phase d'apprentssage, tous les exemples sont présentés jusqu'à la convergence, c'est-à-dre jusqu'à ce qu'une présentaton complète des exemples n'entraîne aucune modfcaton de l'hypothèse en cours. Nous démontrons, dans la secton suvante, que cec est un résultat général. Théorème d'apprentssage par correcton d'erreur Théorème 4 S l'échantllon S est lnéarement séparable et s les exemples sont présentés équtablement (c'est-à-dre que la procédure de chox des exemples n'en exclut aucun), la procédure d'apprentssage par correcton d'erreur converge vers un perceptron lnéare à seul qu calcule S. Démonstraton : Sot un échantllon d'entrée sur n varables réelles (le cas de varables bnares s'en dédut), sot S l'échantllon obtenu en ajoutant une n+1-ème entrée x 0 toujours égale à 1, par hypothèse l'échantllon est lnéarement séparable, donc l exste un hyperplan de R n+1 passant par l'orgne qu sépare S, sot encore, l exste un vecteur v =( v 0,..., v n ) de R n+1 tel que : " ( x,1) Î S x. v= Comme S est fn, cela mplque qu'l exste un réel d strctement postf tel que : n =0 x v >0 et " ( x,0) Î S x. v<0 (3.5) " ( x,1) Î S x. v> d et " ( x,0) Î S x. v<- d (3.6) Sot le vecteur des pods synaptques chos à l'ntalsaton de l'algorthme, sot ( ) la sute des valeurs successves w 0 w Î I dfférentes des vecteurs de pods au cours de l'exécuton de l'algorthme, c'est-à-dre que l'on suppose que, pour tout, w w +1 (le lecteur remarquera qu'l se peut que le vecteur w reste nchangé pour un certan nombre d'exemples). Supposons que l'algorthme d'apprentssage ne s'arrête pas, la présentaton des exemples étant équtable, cec mplque qu'l y a une nfnté de. Nous allons montrer que cette hypothèse est absurde. w Sot M un majorant de { x 2 ( x, c) Î S}, nous allons calculer des bornes pour w 2 et w. v. Lors du passage de w à w, deux cas peuvent se produre : Page 10 sur 26

11 +1 premer cas : l'exemple ( x, c) vérfe c=1 et la sorte calculée sur cette entrée par le perceptron courant est o=0. o=0 donc x. w 0 ; c=1 donc x. v > 0. D'après la règle de mse à jour des pods, on a w +1= w + x. On en dédut que : w +1 2=( w + x ) 2 = w x. w + x 2 w 2 + x 2 w 2 + M ; w +1. v = ( w + x ). v = w. v + x. v > w. v + d. sot w w + M et w. +1 v> w. v+ d (3.7) deuxème cas : l'exemple ( x, c) vérfe c=0 et la sorte calculée sur cette entrée par le perceptron courant est o=1. o=1 donc x. w > 0 ; c=0 donc x. v 0. D'après la règle de mse à jour des pods, on a w +1= w - x. On montre de même que : 2 w < +1 w + M et 2 w. +1 v w. v+ d (3.8) Par conséquent, à l'ade des négaltés?? et??, nous dédusons que, pour tout 0, on a : w w + M et w. +1 v w. v+ d (3.9) D'où, pour tout 1, nous obtenons : w 2 w + et 0 2 M w. v w. 0 v+ d (3.10) Comme d>0, l exste un enter 0 tel que, pour tout 0, w 0. v + d >0, en utlsant les négaltés de??, nous obtenons que, pour tout 0, ( 0 w. v+ d) 2 ( w. v) 2 = w 2 v 2 ( w + ) v 2 (3.11) 0 2 M Cette négalté nous amène à la contradcton recherchée. En effet, le terme de gauche est un polynôme de degré 2 en majoré par le terme de drote qu est lnéare en. Crtques sur la méthode par correcton d'erreur Nous venons de démontrer que s l'échantllon est lnéarement séparable, s tous les exemples sont présentés équtablement et que le crtère d'arrêt est la stablté de l'hypothèse après une présentaton complète de l'échantllon alors l'algorthme s'arrête avec un perceptron qu classfe correctement l'échantllon d'apprentssage. Que se passe-t-l s l'échantllon d'entrée n'est pas lnéarement séparable? L'nconvénent majeur de cet algorthme est que s l'échantllon présenté n'est pas lnéarement séparable, l'algorthme ne convergera pas et l'on aura aucun moyen de le savor. On pourrat penser qu'l sufft d'observer l'évoluton des pods synaptques pour en dédure s l'on dot arrêter ou non l'algorthme. En effet, s les pods et le seul prennent deux fos les mêmes valeurs sans que le perceptron at apprs et alors que tous les exemples ont été présentés, cela sgnfe d'après le théorème précédent que l'échantllon n'est pas séparable. Et l'on peut penser que l'on peut borner les pods et le seul en foncton de la talle de la rétne. C'est vra mas les résultats de complexté énoncés c-dessous (sans démonstraton) montrent que cette dée n'est pas applcable en pratque. Théorème 5 Page 11 sur 26

12 1. Toute foncton booléenne lnéarement séparable sur n varables peut être mplantée par un perceptron dont les pods synaptques enters w sont tels que w ( n +1) n +1/2. 2. Il exste des foncton booléennes lnéarement séparables sur n varables qu requèrent des pods enters supéreurs à 2 n +1/2. Ces résultats sont assez décevants. Le premer montre que l'on peut borner les pods synaptques en foncton de la talle de la rétne, mas par un nombre tellement grand que toute applcaton pratque de ce résultat semble exclue. Le second résultat montre en partculer que l'algorthme d'apprentssage peut nécesster un nombre exponentel d'étapes (en foncton de la talle de la rétne) avant de s'arrêter. En effet, les pods ne varent qu'au plus d'une unté à chaque étape. Même lorsque l'algorthme d'apprentssage du perceptron converge, ren ne garantt que la soluton sera robuste, c'est-à-dre qu'elle ne sera pas remse en cause par la présentaton d'un seul nouvel exemple. Pour s'en persuader, l sufft de se reporter à l'exemple??. Supposons qu'on ajoute l'exemple ((3,1),0), cet exemple remet en cause l'hypothèse générée car le perceptron sort par notre algorthme assoce la classe 1 à la descrpton (3,1). Un << bon >> algorthme d'apprentssage devrat produre une soluton robuste. Graphquement, s on consdère un échantllon lnéarement séparable, une soluton robuste serat << à m-chemn >> entre les ponts de classe 1 et de classe 0 comme le montre la Fgure??. Fgure 3.8 : Un nouvel exemple peut remettre en cause le perceptron apprs. Pre encore, cet algorthme n'a aucune tolérance au << brut >> : s du brut, c'est-à-dre une nformaton mal classée, vent perturber les données d'entrée, le perceptron ne convergera jamas. En effet, des données lnéarement séparables peuvent ne plus l'être à cause du brut. En partculer, les problèmes non-détermnstes, c'est-à-dre pour lesquels une même descrpton peut représenter des éléments de classes dfférentes ne peuvent pas être tratés à l'ade d'un perceptron. S on consdère les données de l'exemple présenté dans la Fgure??, les données ne sont pas lnéarement séparables, mas un << bon >> algorthme d'apprentssage pour le perceptron devrat être capable de produre un séparateur lnéare comme celu qu est présenté dans cette même fgure, ce qu n'est pas le cas de l'algorthme par correcton d'erreur. Page 12 sur 26

13 Fgure 3.9 : Apprentssage en présence de brut Le but des sectons suvantes est de présenter des algorthmes d'apprentssage du perceptron qu produsent des solutons robustes pour des échantllons lnéarement séparables et des solutons << approxmatves >> pour des échantllons non lnéarement séparables Apprentssage par descente de gradent Introducton Plutôt que d'obtenr un perceptron qu classfe correctement tous les exemples, l s'agra mantenant de calculer une erreur et d'essayer de mnmser cette erreur. Pour ntrodure cette noton d'erreur, on utlse des pods réels et on élmne la noton de seul (ou d'entrée supplémentare), ce qu sgnfe que la sorte sera égale au potentel post-synaptque et sera donc réelle. Défnton 7 Un perceptron lnéare prend en entrée un vecteur x de n valeurs x 1,..., x n et calcule une sorte o. Un perceptron est défn par la donnée d'un vecteur w de n constantes : les coeffcents synaptques w 1,..., w n. La sorte o est défne par : o= x. w= n =1 w x (3.12) L'erreur d'un perceptron P défn par w =( w 1,..., w n ) sur un échantllon d'apprentssage S d'exemples ( x s, c s ) est défne en utlsant la foncton erreur quadratque par : E( w) = 1/2 ( c s - o s ) 2 (3.13) ( x s,c s )Î S où o s est la sorte calculée par P sur l'entrée x s. L'erreur mesure donc l'écart entre les sortes attendue et calculée sur l'échantllon complet. On remarque que E( w ) = 0 s et seulement s le perceptron classfe correctement l'échantllon complet. On suppose S fxé, le problème est donc de détermner un vecteur w qu mnmse E( w ). Une méthode qu permet de rechercher le mnmum d'une foncton est d'utlser la méthode du gradent. Cette méthode est rappelée mantenant : Méthode du gradent Sot f une foncton d'une varable réelle à valeurs réelles, suffsamment dérvable dont on recherche un mnmum. La méthode du gradent construt une sute x qu dot en prncpe s'approcher du mnmum. Pour cela, on part d'une valeur Page 13 sur 26

14 n quelconque x 0 et l'on construt la sute récurrente par : pour tout n > 0, x n+1 = x n + D x n avec D x n = - e f'( x n ) où e est une valeur << ben >> chose. On a : f( x n+1 ) = f( x n - e f'( x n ))» f( x n ) - e ( f'( x )) 2 n d'après le théorème des approxmatons fnes s e f'( x n ) est << suffsamment >> pett. On vot que, sous réserve de la correcton de l'approxmaton, f( x n+1 ) est nféreur à f( x n ). Fgure 3.10 : La méthode du gradent On remarque que x n+1 est d'autant plus élogné de x n que la pente de la courbe en x n est grande. On peut décder d'arrêter l'tératon lorsque cette pente est suffsamment fable. Les nconvénents ben connus de cette méthode sont : 1. le chox de e est emprque, 2. s e est trop pett, le nombre d'tératons peut être très élevé, 3. s e est trop grand, les valeurs de la sute rsquent d'oscller autour du mnmum sans converger, 4. ren ne garantt que le mnmum trouvé est un mnmum global. Algorthme d'apprentssage par descente de gradent E est une foncton des n varables w. La méthode du gradent a été rappelée dans le cas d'une varable réelle, mas cette méthode peut être étendue au cas de fonctons de pluseurs varables réelles. Pour mettre en oeuvre la méthode applquée à la foncton erreur quadratque E, nous allons, tout d'abord, évaluer la dérvée partelle de E par rapport à w, pour tout. On a : E( w) 1 = w 2 w S ( c s - o s ) 2 1 = 2 S w ( c s - o s ) 2 1 = 2 S 2 ( c s - o s ) w ( c s - o s )= S ( c s - o s ) w ( c s - w. s x )= S ( c s - o s ) (- x s ) où x s est la ème composante du vecteur x s. L'applcaton de la méthode du gradent nous nvte donc à modfer le pods w après une présentaton complète de S d'une quantté D w défne par : D w = - e E( w) = e w S ( c s - o s ) x s (3.14) L'algorthme d'apprentssage par descente de gradent du perceptron lnéare peut mantenant être défn : Page 14 sur 26

15 Algorthme par descente de gradent : Entrée : un échantllon S de R n {0,1} ; e Intalsaton aléatore des pods w pour entre 1 et n Répéter Pour tout D w 0 fnpour Pour tout exemple ( x s, c s ) de S calculer la sorte o s Pour tout D w D w + e ( c s - o s ) x s fnpour fnpour Pour tout w w + D w fnpour fnrépéter Sorte : Un perceptron P défn par ( w 1,..., w n ) La foncton erreur quadratque ne possède qu'un mnmum (la surface est une paraboloïde). L'algorthme précédent est assuré de converger, même s l'échantllon d'entrée n'est pas lnéarement séparable, vers un mnmum de la foncton erreur pour un e ben chos suffsamment pett. S e est trop grand, on rsque d'oscller autour du mnmum. Pour cette rason, une modfcaton classque est de dmnuer graduellement la valeur de e en foncton du nombre d'tératons. Le prncpal défaut est que la convergence peut être très lente et que chaque étape nécesste le calcul sur tout l'ensemble d'apprentssage. Algorthme d'apprentssage de Wdrow-Hoff Cet algorthme est une varante très utlsée de l'algorthme précédent. Au leu de calculer les varatons des pods en sommant sur tous les exemples de S, l'dée est de modfer les pods à chaque présentaton d'exemple. La règle de modfcaton des pods donnée dans l'équaton?? devent : D w = e ( c s - o s ) x s (3.15) Cette règle est appelée règle delta, ou règle Adalne, ou encore règle de Wdrow-Hoff d'après le nom de ses nventeurs. L'algorthme s'écrt alors : Algorthme de Wdrow-Hoff : Entrée : un échantllon S de R n {0,1} ; e Intalsaton aléatore des pods w pour entre 1 et n Répéter Prendre un exemple ( x, c) dans S Calculer la sorte o du perceptron pour l'entrée x - - Mse à jour des pods - - Pour de 1 à n w w + e ( c- o) x fnpour fnrépéter Sorte : Un perceptron P défn par ( w 0, w 1,..., w n ) En général, on parcourt l'échantllon dans un ordre prédéfn. Le crtère d'arrêt généralement chos est : pour un passage complet de l'échantllon, toutes les modfcatons de pods sont en dessous d'un seul prédéfn. Au coeffcent e près dans la règle de modfcaton des pods, on retrouve l'algorthme d'apprentssage par correcton d'erreur. Pour l'algorthme de Wdrow-Hoff, l y a correcton chaque fos que la sorte totale (qu est un réel) est dfférente de la valeur attendue (égale à 0 ou 1). Ce n'est donc pas une méthode d'apprentssage par correcton d'erreur pusqu'l y a modfcaton du perceptron dans (presque) tous les cas. Rappelons également que l'algorthme par correcton d'erreur produt en sorte un perceptron lnéare à seul alors que l'algorthme par descente de gradent produt un perceptron lnéare. L'avantage de l'algorthme de Wdrow-Hoff par rapport à l'algorthme par correcton d'erreur est que, même s l'échantllon d'entrée n'est pas lnéarement séparable, l'algorthme va converger vers une soluton << optmale >> (sous réserve du bon chox du paramètre e). L'algorthme est, par conséquent, plus robuste au brut (vor Fgure??). Page 15 sur 26

16 L'algorthme de Wdrow-Hoff s'écarte de l'algorthme du gradent sur un pont mportant : on modfe les pods après présentaton de chaque exemple en foncton de l'erreur locale et non de l'erreur globale. Ren ne prouve donc que la dmnuton de l'erreur en un pont ne va pas être compensée par une augmentaton de l'erreur pour les autres ponts. La justfcaton emprque de cette manère de procéder est commune à toutes les méthodes adaptatves : le champ d'applcaton des méthodes adaptatves est justement l'ensemble des problèmes pour lesquels des ajustements locaux vont fnr par converger vers une soluton globale. L'algorthme de Wdrow-Hoff est très souvent utlsé en pratque et donne de bons résultats. La convergence est, en général, plus rapde que par la méthode du gradent. Il est fréquent pour cet algorthme de fare dmnuer la valeur de e en foncton du nombre d'tératons comme pour l'algorthme du gradent Concluson En concluson, l'apprentssage par perceptron ou par la méthode du gradent ne sont ren d'autre que des technques de séparaton lnéare qu'l faudrat comparer aux technques utlsées habtuellement en statstques. Ces méthodes sont non paramétrques, c'est-à-dre qu'elles n'exgent aucune autre hypothèse sur les données que la séparablté. On peut montrer que << presque >> tous les échantllons de mons de 2n exemples sont lnéarement séparables lorsque n est le nombre de varables. Une classfcaton correcte d'un pett échantllon n'a donc aucune valeur prédctve. Par contre, lorsque l'on travalle sur suffsamment de données et que le problème s'y prête, on constate emprquement que le perceptron apprs par un des algorthmes précédents a un bon pouvor prédctf. Il est ben évdent que la plupart des problèmes d'apprentssage qu se posent naturellement ne peuvent pas être résolus par des méthodes auss smples : l n'y a que très peu d'espor que les exemples << naturels >> se répartssent << sagement >> de part et d'autre d'un hyperplan. Une manère de résoudre cette dffculté serat sot de mettre au pont des séparateurs non-lnéares, sot (ce qu revent à peu près au même) de complexfer l'espace de représentaton de manère à lnéarser le problème ntal. C'est ce que permettent de fare les réseaux multcouches que nous étudons mantenant. 3.3 Les réseaux mult-couches Introducton et défnton de l'archtecture Un perceptron lnéare à seul est ben adapté pour des échantllons lnéarement séparables. Cependant, dans la plupart des problèmes réels, cette condton n'est pas réalsée. Un perceptron lnéare à seul est consttué d'un seul neurone. On s'est très vte rendu compte qu'en combnant pluseurs neurones le pouvor de calcul état augmenté. Par exemple, dans le cas des fonctons booléennes, l est facle de calculer le XOR en utlsant deux neurones lnéares à seul. Cet exemple est présenté dans la fgure??. Fgure 3.11 : Il sufft de rajouter un neurone ntermédare entre la rétne et la cellule de décson pour pouvor calculer le XOR Page 16 sur 26

17 La noton de perceptron mult-couches (PMC) a ans été défne. On consdère une couche d'entrée qu correspond aux varables d'entrée, une couche de sortes, et un certan nombre de couches ntermédares. Les lens n'exstent qu'entre les cellules d'une couche avec les cellules de la couche suvante. Le XOR peut être calculé par un perceptron mult-couches présenté dans la fgure?? en transformant légèrement le réseau présenté dans la fgure??. Fgure 3.12 : PMC pour le XOR ; les lens avec pods nul ne sont pas représentés Défnton 8 Un réseau de neurones à couches cachées est défn par une archtecture vérfant les proprétés suvantes : les cellules sont répartes de façon exclusve dans des couches C 0, C 1,..., C q, la premère couche C 0 est la rétne composée des cellules d'entrée qu correspondent aux n varables d'entrée ; les couches C 1,..., C q -1 sont les couches cachées ; la couche C q est composée de la (ou les) cellule(s) de décson, Les entrées d'une cellule d'une couche C avec 1 sont toutes les cellules de la couche C -1 et aucune autre cellule. La dynamque du réseau est synchrone. Le réseau présenté dans la fgure?? pour le calcul du XOR est un réseau à une couche cachée. L'archtecture d'un réseau à couches cachées est sans rétroacton. Dans notre défnton, nous avons supposé qu'une cellule avat pour entrée toutes les cellules de la couche précédente, ce peut être un sous-ensemble des cellules de la couche précédente. Ce qu est prmordal dans la défnton, c'est que les entrées appartennent unquement à la couche précédente, c'est-à-dre que la structure en couches est respectée et qu'l n'y a pas de rétroacton. Supposons que les cellules élémentares soent des perceptrons lnéares à seul, on parle alors de perceptrons mult-couches (PMC) lnéare à seul. Sot n varables bnares, l est facle de montrer que le OU n-are est calculable par un perceptron lnéare à seul et que toute conjoncton sur les lttéraux défns à partr des n varables est calculable par un perceptron lnéare à seul. Étant donné une foncton booléenne sur n varables, cette foncton peut être mse sous forme normale dsjonctve, l sufft alors que chaque cellule de la couche cachée calcule une conjoncton et que la cellule de sorte calcule la dsjoncton des résultats. Nous avons ans démontré que : Proposton 1 Toute foncton booléenne peut être calculée par un PMC lnéare à seul comprenant une seule couche cachée. Cependant, s l'on utlse cette méthode pour construre un réseau de neurones pour calculer une foncton booléenne quelconque, la couche cachée pourra contenr jusqu'à 2 n neurones (où n est la talle de la rétne), ce qu est nacceptable en pratque. On peut montrer par alleurs que cette soluton est lon d'être la melleure (vor le cas de la foncton parté dans Page 17 sur 26

18 l'exercce??). Pour pouvor utlser les réseaux mult-couches en apprentssage, deux choses sont ndspensables : une méthode ndquant comment chosr une archtecture de réseau pour résoudre un problème donné. C'est-à-dre, pouvor répondre aux questons suvantes : comben de couches cachées? comben de neurones par couches cachées? une fos l'archtecture chose, un algorthme d'apprentssage qu calcule, à partr de l'échantllon d'apprentssage, les valeurs des coeffcents synaptques pour construre un réseau adapté au problème. Le premer pont est encore un sujet de recherche actf : quelques algorthmes d'apprentssage auto-constructfs ont été proposés. Leur rôle est double : apprentssage de l'échantllon avec un réseau courant, modfcaton du réseau courant, en ajoutant de nouvelles cellules ou une nouvelle couche, en cas d'échec de l'apprentssage. Il semble assez facle de concevor des algorthmes auto-constructfs qu classent correctement l'échantllon, mas beaucoup plus dffcle d'en obtenr qu aent un bon pouvor de généralsaton. Il a fallu attendre le début des années 80 pour que le deuxème problème trouve une soluton : l'algorthme de rétropropagaton du gradent, découvert smultanément par des équpes françase et amércane. Cet algorthme est, comme son nom l'ndque, basé sur la méthode du gradent. Il est donc nécessare de consdérer des fonctons d'erreur dérvables. Cec mplque qu'l n'est pas possble de consdérer comme cellule élémentare un perceptron lnéare à seul. L'dée est alors de prendre comme cellule élémentare un perceptron lnéare. Malheureusement, dans ce cas, l'ntroducton de cellules supplémentares n'augmente pas l'expressvté. En effet, une combnason lnéare de fonctons lnéares est une foncton lnéare! Nous allons donc avor beson de consdérer une nouvelle cellule élémentare. La sorte de cette cellule sera une foncton de varable réelle dérvable qu est une approxmaton de la foncton de Heavsde. Nous donnons dans la secton suvante la défnton d'une telle cellule et présentons l'algorthme de rétropropagaton du gradent L'algorthme de rétropropagaton du gradent La foncton sgmoïde de paramètre k>0 est défne par : Défnton du PMC s k ( x) = e kx 1 e kx = +1 1+e-kx (3.16) Cette foncton est une approxmaton ndéfnment dérvable de la foncton à seul de Heavsde, d'autant melleure que k est grand. Nous prendrons k=1 dans la sute, sot la foncton s (vor fgure??) défne par : s( x) = e x e x = e-x (3.17) Page 18 sur 26

19 Fgure 3.13 : La foncton sgmoïde On peut remarquer que la dérvée de la foncton s est smple à calculer : s'( x) = e x ( )(1- ( )) (3.18) (1+ ex) 2= s x s x Il est essentel que ce calcul sot smple car la dérvée de cette foncton sera utlsée dans la règle de mse à jour des pods par l'algorthme de rétropropagaton du gradent. On utlse auss parfos, pour cette rason, la foncton th( x) qu est une approxmaton de la foncton de Heavsde dont la dérvée est égale à 1- th 2 ( x). Nous pouvons mantenant défnr les réseaux consdérés dans la sute de ce cours : Défnton 9 Une cellule élémentare à n entrées réelles x = (x 1,...,x n ) est défne par les pods synaptques réels w = (w 1,...,w n ) et la sorte o est calculée par la formule suvante : o( x) = 1 1+e -yoù y = x. w= Introducton de l'algorthme Le prncpe de l'algorthme est, comme dans le cas du perceptron lnéare, de mnmser une foncton d'erreur. Il s'agt ensute de calculer la contrbuton à cette erreur de chacun des pods synaptques. C'est cette étape qu est dffcle. En effet, chacun des pods nflue sur le neurone correspondant, mas, la modfcaton pour ce neurone va nfluer sur tous les neurones des couches suvantes. Ce problème est parfos désgné sous le nom de << Credt Assgnment Problem >>. Sot un PMC défn par une archtecture à n entrées et à p sortes, sot w le vecteur des pods synaptques assocés à tous les lens du réseau. L'erreur du PMC sur un échantllon d'apprentssage S d'exemples ( x s, c s ) est défne par : n =1 w x (3.19) un perceptron mult-couches (PMC) est un réseau de neurones à couches cachées avec les cellules élémentares ans défnes. E( w) = 1/2 ( x s, c s )Î S p k=1 ( c s k - o s k ) 2 (3.20) où o s k est la k-ème composante du vecteur de sorte o s calculé par le PMC sur l'entrée x s. L'erreur mesure donc l'écart entre les sortes attendue et calculée sur l'échantllon complet. On suppose S fxé, le problème est donc de détermner un vecteur w qu mnmse E( w ). Cependant, de la même façon que pour le perceptron avec la règle de Wdrow-Hoff, plutôt que de chercher à mnmser l'erreur globale sur l'échantllon complet, on cherche à mnmser l'erreur sur chaque présentaton ndvduelle d'exemple. L'erreur pour un exemple est : E ( x, c ) ( w) = 1/2 p k=1 ( c k - o ) 2 k (3.21) Nous notons E la foncton E (x,c ), E est une foncton des pods synaptques, pour applquer la méthode du gradent, l nous faut évaluer les dérvées partelles de cette foncton E par rapport aux pods synaptques. Les calculs qu suvent sont facles. La seule complcaton provent de la complexté des notatons et des ndces utlsés, complcaton due à la structure du PMC. Nous utlsons les notatons suvantes (vor fgure??) : Page 19 sur 26

20 chaque cellule est défne par un ndce, le réseau comporte p cellules de sorte, s est l'ndce d'une cellule de sorte, c est la sorte attendue pour cette cellule sur l'entrée x, w j est le pods synaptque assocé au len entre cellule j vers la cellule, ce qu mplque qu'elles se trouvent sur deux couches successves par défnton de l'archtecture, x j est l'entrée assocée au len entre cellule j vers cellule, Pred( ) est l'ensemble des cellules dont la sorte est une entrée de la cellule ; cec mplque que la cellule n'est pas une cellule d'entrée et que tous les éléments de Pred( ) appartennent à la couche précédente de celle à laquelle appartent la cellule, y l'entrée totale de la cellule, sot y = j Î Pred( ) w j x j, o est la sorte de la cellule, sot o = s( y ), Succ( ) est l'ensemble des cellules qu prennent comme entrée la sorte de la cellule, cec mplque la cellule n'est pas une cellule de sorte et que tous les éléments de Succ( ) appartennent à la couche suvante de celle à laquelle appartent la cellule. Fgure 3.14 : notatons utlsées Il nous reste mantenant à évaluer E( w )/ w j que nous noterons E / w j. Tout d'abord remarquons que w j ne peut nfluencer la sorte du réseau qu'à travers le calcul de la quantté, ce qu nous autorse à écrre que : E w = E y j y = E x w y j (3.22) j Il nous sufft donc de calculer E / y, pour cela, nous allons dstnguer deux cas : le cas où la cellule est une cellule de sorte et le cas où c'est une cellule nterne. La cellule est une cellule de sorte Dans ce cas, la quantté ne peut nfluencer la sorte du réseau que par le calcul de. Nous avons donc : y y E y = E o o (3.23) y Nous allons mantenant calculer chacune des deux dérvées partelles apparassant dans l'équaton??. Pour la premère de ces deux dérvées nous avons : o E o = 1 o 2 p ( c k - o k ) 2 Page 20 sur 26

21 Seul le terme correspondant à k= a une dérvée non nulle, ce qu nous donne fnalement : E o = 1 o ( 2 c - o ) 2 = -( c - o ) (3.24) Pour la seconde des deux dérvées de l'équaton??, en utlsant la défnton du calcul de la sorte d'une cellule élémentare et la formule de calcul de la dérvée de la foncton sgmoïde donnée en??, nous avons : o s( y ) = = s( y )(1- ( ))= (1- ) (3.25) y y s y o o En substtuant les résultats obtenus par les équatons?? et?? dans l'équaton??, nous obtenons : E = -( c - ) (1- ) (3.26) y o o o La cellule est une cellule nterne Dans ce cas, la quantté y va nfluencer le réseau par tous les calculs des cellules de l'ensemble Succ( ). Nous avons alors : Sot encore : E y = k Î Succ( ) E y k y k y = k Î Succ( ) E = o (1- ) y o Par l'étude de ces deux cas, nous avons obtenu deux équatons?? et?? qu nous permettent de calculer les dérvées partelles E / y pour toute cellule. Le calcul devra être fat pour les cellules de sorte pus des cellules de l'avant-dernère couche jusqu'aux cellules de la premère couche. C'est pour cette rason que l'on parle de << rétropropagaton >>. Grace à l'équaton??, nous pouvons calculer toutes les dérvées partelles E( w )/ w j. Enfn, pour en dédure la modfcaton à effectuer sur les pods synaptques, l nous reste smplement à rappeler que la méthode du gradent nous ndque que : Tous les éléments sont donc en place pour nous permettre de défnr l'algorthme de rétropropagaton du gradent. Pour écrre l'algorthme, nous allons smplfer quelques notatons. Nous appelons d la quantté - E / y. En utlsant les équatons??,??,?? et??, nous obtenons les formules suvantes : k=1 E y k o y = k o y k Î Succ( ) E( w) D w j = - e (3.28) w j k Î Succ( ) E w (3.27) y k k Algorthme de rétropropagaton du gradent E w (1- ) y k o o k pour une cellule de sorte, nous avons : = (1- )( - ) (3.29) d o o c o pour une cellule nterne, nous avons : la modfcaton du pods est alors défne par : w j = (1- ) d o o k Î Succ( ) d k w k (3.30) Page 21 sur 26

Solution : 1. Soit y = α + βt, l équation de la droite considérée. Le problème de régression linéaire s écrit. i=1 2(α + βt i b i )t i

Solution : 1. Soit y = α + βt, l équation de la droite considérée. Le problème de régression linéaire s écrit. i=1 2(α + βt i b i )t i Exercces avec corrgé succnct du chaptre 3 (Remarque : les références ne sont pas gérées dans ce document, par contre les quelques?? qu apparassent dans ce texte sont ben défns dans la verson écran complète

Plus en détail

Exercices d algorithmique

Exercices d algorithmique Exercces d algorthmque Les algorthmes proposés ne sont pas classés par ordre de dffculté Nombres Ecrre un algorthme qu renvoe la somme des nombre entre 0 et n passé en paramètre Ecrre un algorthme qu renvoe

Plus en détail

Remboursement d un emprunt par annuités constantes

Remboursement d un emprunt par annuités constantes Sére STG Journées de formaton Janver 2006 Remboursement d un emprunt par annutés constantes Le prncpe Utlsaton du tableur Un emprunteur s adresse à un prêteur pour obtenr une somme d argent (la dette)

Plus en détail

Utilisation du symbole

Utilisation du symbole HKBL / 7 symbole sgma Utlsaton du symbole Notaton : Pour parler de la somme des termes successfs d une sute, on peut ou ben utlser les pontllés ou ben utlser le symbole «sgma» majuscule noté Par exemple,

Plus en détail

Le théorème du viriel

Le théorème du viriel Le théorème du vrel On se propose de démontrer le théorème du vrel de deux manères dfférentes. La premère fat appel à deux "trcks" qu l faut vor. Cette preuve met en avant une quantté, notée S c, qu permet

Plus en détail

Valeur absolue et fonction valeur absolue Cours

Valeur absolue et fonction valeur absolue Cours Valeur absolue foncton valeur absolue Cours CHAPITRE 1 : Dstance entre deu réels 1) Eemples prélmnares 2) Défnton 3) Proprétés CHAPITRE 2 : Valeur absolue d un réel 1) Défnton 2) Proprétés CHAPITRE 3 :

Plus en détail

Représentation de l'information

Représentation de l'information 1. L nformaton 1-1 Dualté état et temps Représentaton de l'nformaton La noton d'nformaton correspond à la connassance d'un état donné parm pluseurs possbles à un nstant donné. La Fgure 1 llustre cette

Plus en détail

Cours de Calcul numérique MATH 031

Cours de Calcul numérique MATH 031 Cours de Calcul numérque MATH 03 G. Bontemp, A. da Slva Soares, M. De Wulf Département d'informatque Boulevard du Tromphe - CP22 http://www.ulb.ac.be/d Valeurs propres en pratque. Localsaton. Méthode de

Plus en détail

Université Pierre & Marie Curie (Paris 6) Licence de Mathématiques L3 UE LM364 Intégration 1 Année 2011 12. TD4. Tribus.

Université Pierre & Marie Curie (Paris 6) Licence de Mathématiques L3 UE LM364 Intégration 1 Année 2011 12. TD4. Tribus. Unversté Perre & Mare Cure (Pars 6) Lcence de Mathématques L3 UE LM364 Intégraton 1 Année 2011 12 TD4. Trbus. Échauffements Exercce 1. Sot X un ensemble. Donner des condtons sur X pour que les classes

Plus en détail

Analyse Numérique - Projet A rendre au plus tard le jour de l examen final, en Janvier 2010.

Analyse Numérique - Projet A rendre au plus tard le jour de l examen final, en Janvier 2010. Master 1ère année de Mathématques Analyse Numérque - Projet A rendre au plus tard le jour de l examen fnal, en Janver 2010. CMI, Unversté de Provence Année 2009-2010 Ce qu vous est demandé : Rédger les

Plus en détail

Feuilles de style CSS

Feuilles de style CSS Feulles de style CSS 71 Feulles de style CSS Les standards du web Les langages du web : le HTML et les CSS Depus la verson 4 de l'html (décembre 1999), le W3C propose les feulles de style en cascade, les

Plus en détail

Corrélation et régression linéaire

Corrélation et régression linéaire Corrélaton et régresson lnéare 1. Concept de corrélaton. Analyse de régresson lnéare 3. Dfférences entre valeurs prédtes et observées d une varable 1. Concept de corrélaton L objectf est d analyser un

Plus en détail

Les jeunes économistes

Les jeunes économistes Chaptre1 : les ntérêts smples 1. défnton et calcul pratque : Défnton : Dans le cas de l ntérêt smple, le captal reste nvarable pendant toute la durée du prêt. L emprunteur dot verser, à la fn de chaque

Plus en détail

Proposition d'une solution au problème d initialisation cas du K-means

Proposition d'une solution au problème d initialisation cas du K-means Proposton d'une soluton au problème d ntalsaton cas du K-means Z.Guelll et L.Zaou, Unversté des scences et de la technologe d Oran MB, Unversté Mohamed Boudaf USTO -BP 505 El Mnaouer -ORAN - Algére g.zouaou@gmal.com,

Plus en détail

N - ANNEAUX EUCLIDIENS

N - ANNEAUX EUCLIDIENS N - ANNEAUX EUCLIDIENS Dans ce qu sut A est un anneau untare, mun de deux opératons notées addtvement et multplcatvement. Le neutre de l addton est noté 0, celu de la multplcaton est noté e. On pose A

Plus en détail

SIMNUM : Simulation de systèmes auto-gravitants en orbite

SIMNUM : Simulation de systèmes auto-gravitants en orbite SIMNUM : Smulaton de systèmes auto-gravtants en orbte sujet proposé par Ncolas Kelbasewcz : ncolas.kelbasewcz@ensta-parstech.fr 14 janver 2014 1 Établssement du modèle 1.1 Approxmaton de champ lontan La

Plus en détail

Miroirs sphériques Dioptres sphériques. 1 Miroirs sphériques. 1.1 Introduction : focaliser la lumière. 1.2 Miroir concaves faisceau parallèle

Miroirs sphériques Dioptres sphériques. 1 Miroirs sphériques. 1.1 Introduction : focaliser la lumière. 1.2 Miroir concaves faisceau parallèle Mrors spérques Doptres spérques Nous allons mantenant aborder des systèmes optques un peu plus complexes, couramment utlsés pour produre des mages. Nous allons commencer par étuder un mror spérque de façon

Plus en détail

Prévision des ventes des articles textiles confectionnés. B. Zitouni*, S. Msahli* * Unité de Recherches Textiles, Ksar-Hellal, Tunisie.

Prévision des ventes des articles textiles confectionnés. B. Zitouni*, S. Msahli* * Unité de Recherches Textiles, Ksar-Hellal, Tunisie. Prévson des ventes des artcles textles confectonnés B Ztoun*, S Msahl* * Unté de Recherches Textles, Ksar-Hellal, Tunse Résumé Dans cette étude, on se propose de détermner s le recours à des réseaux de

Plus en détail

I. Fonctionnalités du tableur

I. Fonctionnalités du tableur Olver Coma Macro MRP pour Excel Decembre 1999 I. Fonctonnaltés du tableur I.1. Feulle «Nomenclature «Le tableur propose pluseurs optons à l ouverture du fcher. Cnq boutons apparassent à drote de la feulle

Plus en détail

UNIVERSITÉ PARIS OUEST NANTERRE LA DÉFENSE U.F.R. SEGMI Année universitaire 2015 2016. Statistiques Descriptives

UNIVERSITÉ PARIS OUEST NANTERRE LA DÉFENSE U.F.R. SEGMI Année universitaire 2015 2016. Statistiques Descriptives UNIVERSITÉ PARIS OUEST NANTERRE LA DÉFENSE U.F.R. SEGMI Année unverstare 215 216 L1 Économe Cours de B. Desgraupes Statstques Descrptves Séance 7: Indces synthétques Table des matères 1 Introducton 1 1.1

Plus en détail

Chapitre 5. Menu de SUPPORT

Chapitre 5. Menu de SUPPORT 155 Chaptre 5. Menu de SUPPORT Ce que vous apprendrez dans ce chaptre Ce chaptre vous présentera des routnes supplémentares susceptbles de vous ader dans les analyses de données présentées dans le chaptre

Plus en détail

Montage émetteur commun

Montage émetteur commun tour au menu ontage émetteur commun Polarsaton d un transstor. ôle de la polarsaton La polarsaton a pour rôle de placer le pont de fonctonnement du transstor dans une zone où ses caractérstques sont lnéares.

Plus en détail

Fi chiers. Créer/ouvrir/enregistrer/fermer un fichier. i i

Fi chiers. Créer/ouvrir/enregistrer/fermer un fichier. i i Fchers F chers Offce 2013 - Fonctons de base Créer/ouvrr/enregstrer/fermer un fcher Clquez sur l onglet FICHIER. Pour créer un nouveau fcher, clquez sur l opton Nouveau pus, selon l applcaton utlsée, clquez

Plus en détail

Gestion et stratégie Utilisateur

Gestion et stratégie Utilisateur Geston et stratége Utlsateur GESTION ET STRATEGIE UTILISATEUR...2 1.) Comment gérer des utlsateurs?...2 1.1) Geston des utlsateurs en groupe de traval...2 1.2) Geston des utlsateurs par domane...2 Rôle

Plus en détail

Note méthodologique. Traitements hebdomadaires Quiestlemoinscher.com. Quelle méthode de collecte de prix? Qui a collecté les prix?

Note méthodologique. Traitements hebdomadaires Quiestlemoinscher.com. Quelle méthode de collecte de prix? Qui a collecté les prix? Note méthodologque Tratements hebdomadares Questlemonscher.com Quelle méthode de collecte de prx? Les éléments méthodologques ont été défns par le cabnet FaE onsel, socété d études et d analyses statstques

Plus en détail

Chapitre 5: La programmation dynamique

Chapitre 5: La programmation dynamique Chaptre 5: La programmaton dynamque. Introducton La programmaton dynamque est un paradgme de concepton qu l est possble de vor comme une améloraton ou une adaptaton de la méthode dvser et régner. Ce concept

Plus en détail

Définition des tâches

Définition des tâches Défnton des tâches Défnton des tâches Project 2010 Sasr les tâches d'un projet Les tâches représentent le traval à accomplr pour attendre l'objectf du projet. Elles représentent de ce fat, les éléments

Plus en détail

Editions ENI. Excel 2010. Collection Référence Bureautique. Extrait

Editions ENI. Excel 2010. Collection Référence Bureautique. Extrait Edtons ENI Excel 2010 Collecton Référence Bureautque Extrat Tableau crosé dynamque Tableau crosé dynamque Excel 2010 Créer un tableau crosé dynamque Un tableau crosé dynamque permet de résumer, d analyser,

Plus en détail

EXAMEN FINAL DE STATISTIQUES DESCRIPTIVES L1 AES - SESSION 1 - Correction -

EXAMEN FINAL DE STATISTIQUES DESCRIPTIVES L1 AES - SESSION 1 - Correction - EXAME FIAL DE STATISTIQUES DESCRIPTIVES L1 AES - SESSIO 1 - Correcton - Exercce 1 : 1) Consdérons une entreprse E comportant deux établssements : E1 et E2 qu emploent chacun 200 salarés. Au sen de l'établssement

Plus en détail

Champ magnétique. 1 Notions préliminaires. 1.1 Courant électrique et densité de courant

Champ magnétique. 1 Notions préliminaires. 1.1 Courant électrique et densité de courant 4 Champ magnétque 1 Notons prélmnares 1.1 Courant électrque et densté de courant Un courant électrque est défn par un déplacement de charges électrques élémentares (ex : les électrons de conducton dans

Plus en détail

Ch 4 Séries statistiques à une dimension Définitions et représentation graphique

Ch 4 Séries statistiques à une dimension Définitions et représentation graphique Ch 4 Séres statstques à une dmenson Défntons et représentaton graphque Termnologe Ensemble étudé = populaton Eléments de cet ensemble = ndvdus ou untés Attrbut consdéré = caractère qu peut être qualtatf

Plus en détail

Pour ce problème, une analyse est proposée à l adresse : http://www.ac-amiens.fr/pedagogie/maths/new/ue2007/synthese_atelier_annette_alain.

Pour ce problème, une analyse est proposée à l adresse : http://www.ac-amiens.fr/pedagogie/maths/new/ue2007/synthese_atelier_annette_alain. Pour ce problème, une analyse est proposée à l adresse : http://www.ac-amens.fr/pedagoge/maths/new/ue2007/synthese_ateler_annette_alan.pdf 1 La règle du jeu Un drecteur de casno se propose d nstaller le

Plus en détail

classification non supervisée : pas de classes prédéfinies Applications typiques

classification non supervisée : pas de classes prédéfinies Applications typiques Qu est ce que le clusterng? analyse de clusterng regroupement des obets en clusters un cluster : une collecton d obets smlares au sen d un même cluster dssmlares au obets appartenant à d autres clusters

Plus en détail

V FORMATION DES IMAGES DANS L EXEMPLE DU MIROIR PLAN

V FORMATION DES IMAGES DANS L EXEMPLE DU MIROIR PLAN Chaptre V page V-1 V FORMTION DES IMGES DNS L EXEMPLE DU MIROIR PLN Le but de ce chaptre est d ntrodure la noton d mage { travers l exemple du mror plan. Vous vous êtes sûrement déjà regardé(e) dans un

Plus en détail

Mesure avec une règle

Mesure avec une règle Mesure avec une règle par Matheu ROUAUD Professeur de Scences Physques en prépa, Dplômé en Physque Théorque. Lycée Alan-Fourner 8000 Bourges ecrre@ncerttudes.fr RÉSUMÉ La mesure d'une grandeur par un système

Plus en détail

TP Programmation de protocoles de communication Basé sur un TP de M1- Master IST, Université Paris-Sud

TP Programmation de protocoles de communication Basé sur un TP de M1- Master IST, Université Paris-Sud IUT Bordeaux 1 2008-2009 Département Informatque ASR2-Réseaux TP Programmaton de protocoles de communcaton Basé sur un TP de M1- Master IST, Unversté Pars-Sud Ce TP a pour objectf d'nter à la programmaton

Plus en détail

Les nombres premiers ( Spécialité Maths) Terminale S

Les nombres premiers ( Spécialité Maths) Terminale S Les nombres premers ( Spécalté Maths) Termnale S Dernère mse à jour : Mercred 23 Avrl 2008 Vncent OBATON, Ensegnant au lycée Stendhal de Grenoble (Année 2007-2008) Lycée Stendhal, Grenoble ( Document de

Plus en détail

Cours Corporate finance

Cours Corporate finance Cours Corporate fnance Eléments de théore du portefeulle Le edaf Franços Longn www.longn.fr lan Notons de rentablté Défnton odélsaton Eléments de théore du portefeulle ortefeulle Dversfcaton Le edaf Le

Plus en détail

Ajustement affine par les moindres carrés

Ajustement affine par les moindres carrés 1. Nveau Termnales STG et ES Ajustement affne par les mondres carrés 2. Stuaton-problème proposée Introducton à la méthode des mondres carrés. 3. Support utlsé Tableur et calculatrce. 4. Contenu mathématque

Plus en détail

Fiche n 7 : Vérification du débit et de la vitesse par la méthode de traçage

Fiche n 7 : Vérification du débit et de la vitesse par la méthode de traçage Fche n 7 : Vérfcaton du débt et de la vtesse par la méthode de traçage 1. PRINCIPE La méthode de traçage permet de calculer le débt d un écoulement ndépendamment des mesurages de hauteur et de vtesse.

Plus en détail

L'INDUCTION ON5WF (MNS)

L'INDUCTION ON5WF (MNS) 'IDUCTIO ème parte / O5WF (MS) Dans la ère parte de cet artcle, nous avons vu qu'un courant électrque donnat leu à un champ magnétque (expérence d'oersted). ous avons ensute vu comment Faraday, après avor

Plus en détail

MODELISATION DES PROCESSUS LINEAIRES

MODELISATION DES PROCESSUS LINEAIRES MDELISATIN DES PRCESSUS LINEAIRES Dans un premer temps, nous ne consdérons que des processus partculers, supposés notamment statonnare. Cec permet de présenter un certan nombre d'outls dans un cadre relatvement

Plus en détail

Réseaux de Neurones Artificiels pour la Gestion d un Système d Énergie. Applicabilité et limitations des paradigmes principaux Gonzalo Joya

Réseaux de Neurones Artificiels pour la Gestion d un Système d Énergie. Applicabilité et limitations des paradigmes principaux Gonzalo Joya Réseaux de Neurones Artfcels pour la Geston d un Système d Énerge. Applcablté et lmtatons des paradgmes prncpaux Gonzalo Joya ETSI Telecomuccacón 2917 Málaga joya@dte.uma.es París, le 29 mars 21 1. Justfcaton

Plus en détail

STATISTIQUE AVEC EXCEL

STATISTIQUE AVEC EXCEL STATISTIQUE AVEC EXCEL Excel offre d nnombrables possbltés de recuellr des données statstques, de les classer, de les analyser et de les représenter graphquement. Ce sont prncpalement les tros éléments

Plus en détail

UNIVERSITE MONTESQUIEU BORDEAUX IV. Année universitaire 2006-2007. Semestre 2. Prévisions Financières. Travaux Dirigés - Séances n 3

UNIVERSITE MONTESQUIEU BORDEAUX IV. Année universitaire 2006-2007. Semestre 2. Prévisions Financières. Travaux Dirigés - Séances n 3 UNIVERSITE MONTESQUIEU BORDEAUX IV Lcence 3 ère année Econome - Geston Année unverstare 2006-2007 Semestre 2 Prévsons Fnancères Travaux Drgés - Séances n 3 «Les Crtères Fondamentaux des Chox d Investssement»

Plus en détail

Q x2 = 1 2. est dans l ensemble plus grand des rationnels Q. Continuons ainsi, l équation x 2 = 1 2

Q x2 = 1 2. est dans l ensemble plus grand des rationnels Q. Continuons ainsi, l équation x 2 = 1 2 Exo7 Nombres complexes Vdéo parte. Les nombres complexes, défntons et opératons Vdéo parte. Racnes carrées, équaton du second degré Vdéo parte 3. Argument et trgonométre Vdéo parte 4. Nombres complexes

Plus en détail

Algorithme approché d optimisation d un modèle de Processus Décisionnel de Markov sur Graphe

Algorithme approché d optimisation d un modèle de Processus Décisionnel de Markov sur Graphe Algorthme approché d optmsaton d un modèle de Processus Décsonnel de Markov sur Graphe Nathale Peyrard Régs Sabbadn INRA-MIA Avgnon et Toulouse E-Mal: {peyrard,sabbadn}@toulouse.nra.fr Réseau MSTGA, Avgnon,

Plus en détail

Activité Intitulé de l'activité Volume horaire

Activité Intitulé de l'activité Volume horaire Informatons de l'unté d'ensegnement Implantaton Cursus de ECAM Insttut Supéreur Industrel Bacheler en Scences ndustrelles Electronque applquée B2150 Cycle 1 Bloc 2 Quadrmestre 2 Pondératon 4 Nombre de

Plus en détail

3- Réseau Neurologique (NN) 3-1- Réseau classique

3- Réseau Neurologique (NN) 3-1- Réseau classique OUTILS DE PREVISION DE LA VITESSE DE VENT : APPLICATION A LA CARACTERISATION ET A L OPTIMISATION DES CENTRALES EOLIENNES POUR L'INTEGRATION DANS LES RESEAUX ELECTRIQUES A MADAGASCAR. Andramahtasoa Bernard

Plus en détail

EXAMEN FINAL DE STATISTIQUES DESCRIPTIVES L1 ECO - SESSION 1 - Correction - Minimum Moyenne Ecart-type

EXAMEN FINAL DE STATISTIQUES DESCRIPTIVES L1 ECO - SESSION 1 - Correction - Minimum Moyenne Ecart-type EAME FIAL DE STATISTIQUES DESCRIPTIVES L1 ECO - SESSIO 1 - Correcton - Exercce 1 : 1) Questons à Chox Multples (QCM). Cochez la bonne réponse Classer ces statstques selon leur nature (ndcateur de poston

Plus en détail

Electronique TD1 Corrigé

Electronique TD1 Corrigé nersté du Mane - Faculté des Scences! etour D électronque lectronque D1 Corrgé Pour un sgnal (t) quelconque : 1 $ (t) # MOY! (t) dt 1 FF! (t) dt (t) MX MOY mpltude crête à - crête mpltude Mn Pérode t emarque

Plus en détail

La fourniture de biens et facteurs publics en présence de ménages et d entreprises mobiles

La fourniture de biens et facteurs publics en présence de ménages et d entreprises mobiles La fournture de bens et facteurs publcs en présence de ménages et d entreprses mobles Pascale Duran-Vgneron évrer 007 Le modèle On suppose un pays drgé par un gouvernement central ayant compétence sur

Plus en détail

Apprentissage incrémental dans un système de filtrage adaptatif

Apprentissage incrémental dans un système de filtrage adaptatif VSST'200 32 TEXTES DES COMMUNICATIONS - Tome I Apprentssage ncrémental dans un système de fltrage adaptatf Mohand BOUGHANEM, Mohamed TMAR boughane@rt.fr, tmar@rt.fr IRIT/SIG, Campus Unv. Toulouse III,

Plus en détail

GEA I Mathématiques nancières Poly. de révision. Lionel Darondeau

GEA I Mathématiques nancières Poly. de révision. Lionel Darondeau GEA I Mathématques nancères Poly de révson Lonel Darondeau Intérêts smples et composés Voc la lste des exercces à révser, corrgés en cours : Exercce 2 Exercce 3 Exercce 5 Exercce 6 Exercce 7 Exercce 8

Plus en détail

LES POMPES. Devant la grande diversité de situations possibles, on trouve un grand nombre de machines que l on peut classer en deux grands groupes :

LES POMPES. Devant la grande diversité de situations possibles, on trouve un grand nombre de machines que l on peut classer en deux grands groupes : Ste: http://gene.ndustrel.aa.free.fr LES POMPES Les pompes sont des apparels permettant un transfert d énerge entre le flude et un dspostf mécanque convenable. Suvant les condtons d utlsaton, ces machnes

Plus en détail

Enseignement secondaire. PHYSI Physique Programme

Enseignement secondaire. PHYSI Physique Programme Ensegnement secondare Dvson supéreure PHYSI Physque Programme 3CB_3CC_3CF_3MB_3MC_3MF Langue véhculare : franças Nombre mnmal de devors par trmestre : 1 PHYSI_3CB_3CC_3CF_3MB_3MC_3MF_PROG_10-11 Page 1

Plus en détail

Combinaison de dires d'experts en élicitation de lois a priori. pour Listeria chez la souris. Exposé AppliBugs

Combinaison de dires d'experts en élicitation de lois a priori. pour Listeria chez la souris. Exposé AppliBugs Combnason de dres d'experts en élctaton de los a pror. Applcaton à un modèle doseréponse pour Lstera chez la sours. Exposé ApplBugs ISABELLE ALBERT 8 / / 03 INTRODUCTION Cet exposé présente une parte du

Plus en détail

Exercices d Électrocinétique

Exercices d Électrocinétique ercces d Électrocnétque Intensté et densté de courant -1.1 Vtesse des porteurs de charges : On dssout une masse m = 20g de chlorure de sodum NaCl dans un bac électrolytque de longueur l = 20cm et de secton

Plus en détail

On dépose une espèce à une certaine concentration, puis on observe comment sa concentration se répartit en fonction de la distance.

On dépose une espèce à une certaine concentration, puis on observe comment sa concentration se répartit en fonction de la distance. Moblté des espèces en soluton I_ Les dfférents modes de transport En soluton, les molécules peuvent se déplacer selon tros modes dfférents : onvecton, la matère est déplacée par contrante mécanque (agtaton)

Plus en détail

Partie I: Différences finies avec centrage partiel

Partie I: Différences finies avec centrage partiel U. PARIS VI et ÉCOLE POLYTECHNIQUE 7 anver 04 Spécalté Probablté et Fnance du Master de Scences et Technologe EXAMEN DU COURS ANALYSE NUMÉRIQUE DES ÉQUATIONS AUX DÉRIVÉES PARTIELLES EN FINANCE verson 03/0/04

Plus en détail

Courant alternatif. Dr F. Raemy La tension alternative et le courant alternatif ont la représentation mathématique : U t. cos (!

Courant alternatif. Dr F. Raemy La tension alternative et le courant alternatif ont la représentation mathématique : U t. cos (! Courant alternatf Dr F. Raemy La tenson alternatve et le courant alternatf ont la représentaton mathématque : U t = U 0 cos (! t + " U ) ; I ( t) = I 0 cos (! t + " I ) Une résstance dans un crcut à courant

Plus en détail

Exercices Électrocinétique

Exercices Électrocinétique ercces Électrocnétque alculs de tensons et de courants -21 éseau à deu malles Détermner, pour le crcut c-contre, l ntensté qu 1 2 traverse la résstance 2 et la tenson u au bornes de la résstance 3 : 3

Plus en détail

Mémento de théorie de l information

Mémento de théorie de l information Mémento de théore de l nformaton Glles Zémor 6 octobre 204 0 Rappels de probabltés Espaces probablsés. Un espace probablsé (Ω, P ) est un ensemble Ω mun d une mesure de probablté P qu est, lorsque Ω est

Plus en détail

1.0 Probabilité vs statistique...1. 1.1 Expérience aléatoire et espace échantillonnal...1. 1.2 Événement...2

1.0 Probabilité vs statistique...1. 1.1 Expérience aléatoire et espace échantillonnal...1. 1.2 Événement...2 - robabltés - haptre : Introducton à la théore des probabltés.0 robablté vs statstque.... Expérence aléatore et espace échantllonnal.... Événement.... xomes défnton de probablté..... Quelques théorèmes

Plus en détail

Université d El Oued Cours Circuits Electriques 3 LMD-EM

Université d El Oued Cours Circuits Electriques 3 LMD-EM ère parte : Electrocnétque Chaptre ntroducton L Electrocnétque est la parte de l Electrcté qu étude les courants électrques. - Courant électrque -- Défntons Défnton : un courant électrque est un mouvement

Plus en détail

Editions ENI. Project 2010. Collection Référence Bureautique. Extrait

Editions ENI. Project 2010. Collection Référence Bureautique. Extrait Edtons ENI Project 2010 Collecton Référence Bureautque Extrat Défnton des tâches Défnton des tâches Project 2010 Sasr les tâches d'un projet Les tâches représentent le traval à accomplr pour attendre l'objectf

Plus en détail

L Interprétation des Images Médicales Cérébrales : Segmentation par L approche Split et Merge

L Interprétation des Images Médicales Cérébrales : Segmentation par L approche Split et Merge L Interprétaton des Images Médcales Cérébrales : Segmentaton par L approche Splt et Merge Berrch Fatma Zohra 1, Benyettou Mohamed 1 1 Laboratore de Modélsaton et Optmsaton des Systèmes Industrels : LAMOSI.

Plus en détail

Méthode de Vogel Modifiée pour la résolution du problème de transport simple

Méthode de Vogel Modifiée pour la résolution du problème de transport simple Appled Mathematcal Scences, Vol. 5, 2011, no. 48, 2373-2388 Méthode de Vogel Modfée pour la résoluton du problème de transport smple Salmata G. Dagne Département de Mathématques Unversté Chekh Anta Dop,

Plus en détail

La décomposition en valeurs singulières: un outil fort utile

La décomposition en valeurs singulières: un outil fort utile La décomposton en valeurs sngulères: un outl fort utle Références utles: 1- Sonka et al.: sectons 3.2.9 et 3.2.1 2- Notes manuscrtes du cours 3- Press et al: Numercal recpes * Dernère révson: Patrck Hébert

Plus en détail

1 Introduction. 2 Définitions des sources de tension et de courant : Cours. Date : A2 Analyser le système Conversion statique de l énergie. 2 h.

1 Introduction. 2 Définitions des sources de tension et de courant : Cours. Date : A2 Analyser le système Conversion statique de l énergie. 2 h. A2 Analyser le système Converson statque de l énerge Date : Nom : Cours 2 h 1 Introducton Un ConVertsseur Statque d énerge (CVS) est un montage utlsant des nterrupteurs à semconducteurs permettant par

Plus en détail

Détection et suivi de visages par Support Vector Machine robustes aux changements d échelle

Détection et suivi de visages par Support Vector Machine robustes aux changements d échelle Détecton et suv de vsages par Support Vector Machne robustes au changements d échelle Lonel CARMINATI Drectrce de Thèse : Jenny Benos-Pneau Projet Analyse et Indeaton Vdéo lcarmna@labr.fr http://www.labr.fr/recherche/imageson/aiv/

Plus en détail

5- Analyse discriminante

5- Analyse discriminante 5. ANALYSE DISCRIMINANTE... 5. NOTATION ET FORMULATION DU PROBLÈME... 5. ASPECT DESCRIPTIF...3 5.. RECHERCHE DU VECTEUR SÉPARANT LE MIEUX POSSIBLE LES GROUPES...4 5.. Cas partculer de deu groupes...7 5.3

Plus en détail

Travaux pratiques : GBF et oscilloscope

Travaux pratiques : GBF et oscilloscope Travaux pratques : et osclloscope S. Benlhajlahsen ésumé L objectf de ce TP est d apprendre à utlser, c est-à-dre à régler, deux des apparels les plus couramment utlsés : le et l osclloscope. I. Premère

Plus en détail

Dire qu un entier naturel est premier signifie qu il admet deux diviseurs : un et lui-même.

Dire qu un entier naturel est premier signifie qu il admet deux diviseurs : un et lui-même. Vdoune Termnale S Chaptre spé Arthmétque PPCM et nombres premers Nombre premer Dre qu un enter naturel est premer sgnfe qu l admet deux dvseurs : un et lu-même. Zéro est-l un nombre premer? Un est-l un

Plus en détail

éléments d'analyse statistique

éléments d'analyse statistique éléments danalse statstque applcaton à lhdrologe deuxème édton D. Ther octobre 989 R 30 73 EAU 4S 89 BUREAU DE RECHERCHES GEOLOGIQUES ET MINIERES SERVICES SOL ET SOUS-SOL Département Eau B.P. 6009-45060

Plus en détail

Généralités sur les fonctions 1ES

Généralités sur les fonctions 1ES Généraltés sur les fonctons ES GENERALITES SUR LES FNCTINS I. RAPPELS a. Vocabulare Défnton Une foncton est un procédé qu permet d assocer à un nombre x appartenant à un ensemble D un nombre y n note :

Plus en détail

Plan. Gestion des stocks. Les opérations de gestions des stocks. Les opérations de gestions des stocks

Plan. Gestion des stocks. Les opérations de gestions des stocks. Les opérations de gestions des stocks Plan Geston des stocks Abdellah El Fallah Ensa de Tétouan 2011 Les opératons de gestons des stocks Les coûts assocés à la geston des stocks Le rôle des stocks Modèle de la quantté économque Geston calendare

Plus en détail

Informations de l'unité d'enseignement Implantation. Cursus de. Intitulé. Code. Cycle 1. Bloc 1. Quadrimestre 1-2. Pondération 5. Nombre de crédits 5

Informations de l'unité d'enseignement Implantation. Cursus de. Intitulé. Code. Cycle 1. Bloc 1. Quadrimestre 1-2. Pondération 5. Nombre de crédits 5 Informatons de l'unté d'ensegnement Implantaton ECAM Cursus de Bacheler en Scences ndustrelles Informatque et communcaton B1030 Cycle 1 Bloc 1 Quadrmestre 1-2 Pondératon 5 Nombre de crédts 5 Nombre d heures

Plus en détail

Interfaces Windows 8 et Bureau

Interfaces Windows 8 et Bureau Interfaces Wndows 8 et Bureau Interfaces Wndows 8 et Bureau Découvrr l nterface Wndows 8 Après s être dentfé va un compte Mcrosoft ou un compte local, l utlsateur vot apparaître sur son écran la toute

Plus en détail

Editions ENI. Excel 2013. Collection Référence Bureautique. Extrait

Editions ENI. Excel 2013. Collection Référence Bureautique. Extrait Edtons ENI Excel 2013 Collecton Référence Bureautque Extrat Tableaux de données Tableaux de données Excel 2013 Créer un tableau de données Un tableau de données, auss appelé lste de données (dans les ancennes

Plus en détail

Découvrir l interface Windows 8

Découvrir l interface Windows 8 Wndows 8.1 L envronnement Wndows 8 Interfaces Wndows 8 et Bureau L envronnement Wndows 8 Découvrr l nterface Wndows 8 Après s être dentfé va un compte Mcrosoft ou un compte local, l utlsateur vot apparaître

Plus en détail

MASTER ECONOMETRIE ET STATISTIQUE APPLIQUEE (ESA)

MASTER ECONOMETRIE ET STATISTIQUE APPLIQUEE (ESA) MASTER ECONOMETRIE ET STATISTIQUE APPLIQUEE (ESA) Unversté d Orléans Econométre des Varables Qualtatves Chaptre 3 Modèles à Varable Dépendante Lmtée Modèles Tobt Smples et Tobt Généralsés Chrstophe Hurln

Plus en détail

Interface OneNote 2013

Interface OneNote 2013 Interface OneNote 2013 Interface OneNote 2013 Offce 2013 - Fonctons avancées Lancer OneNote 2013 À partr de l'nterface Wndows 8, utlsez une des méthodes suvantes : - Clquez sur la vgnette OneNote 2013

Plus en détail

Hansard OnLine. Guide relatif au Unit Fund Centre

Hansard OnLine. Guide relatif au Unit Fund Centre Hansard OnLne Gude relatf au Unt Fund Centre Table des matères Page Présentaton du Unt Fund Centre (UFC) 3 Utlsaton de crtères de recherche parm les fonds 4-5 Explotaton des résultats des recherches par

Plus en détail

LE RÉGIME DE RETRAITE DU PERSONNEL CANADIEN DE LA CANADA-VIE (le «régime») INFORMATION IMPORTANTE CONCERNANT LE RECOURS COLLECTIF

LE RÉGIME DE RETRAITE DU PERSONNEL CANADIEN DE LA CANADA-VIE (le «régime») INFORMATION IMPORTANTE CONCERNANT LE RECOURS COLLECTIF 1 LE RÉGIME DE RETRAITE DU PERSONNEL CANADIEN DE LA CANADA-VIE (le «régme») INFORMATION IMPORTANTE CONCERNANT LE RECOURS COLLECTIF AVIS AUX RETRAITÉS ET AUX PARTICIPANTS AVEC DROITS ACQUIS DIFFÉRÉS Expédteurs

Plus en détail

Calcul de structure en fatigue vibratoire. Fascicule u2.05 : Mécanique de la rupture et de l'endommagement

Calcul de structure en fatigue vibratoire. Fascicule u2.05 : Mécanique de la rupture et de l'endommagement Ttre : Calcul de structure en fatgue vbratore Date : 14/11/2012 Page : 1/9 Calcul de structure en fatgue vbratore 1 But Ce document a pour but de décrre la mse en œuvre d'un calcul de structure en fatgue

Plus en détail

CHAPITRE 14 : RAISONNEMENT DES SYSTÈMES DE COMMANDE

CHAPITRE 14 : RAISONNEMENT DES SYSTÈMES DE COMMANDE HAITRE 4 : RAISONNEMENT DES SYSTÈMES DE OMMANDE RAISONNEMENT DES SYSTÈMES DE OMMANDE... 2 INTRODUTION... 22 RAELS... 22 alcul de la valeur ntale de la répone à un échelon... 22 alcul du gan tatque... 22

Plus en détail

Mode d'emploi. Servomoteur radiofréquence 1187 00

Mode d'emploi. Servomoteur radiofréquence 1187 00 Mode d'emplo Servomoteur radofréquence 1187 00 Table des matères A propos de ce mode d'emplo... 2 Représentaton de l'apparel... 3 Montage... 3 Démontage... 3 Almentaton... 4 Mettre la ple en place... 4

Plus en détail

EXEMPLES D UTILISATION DE LA TECHNIQUE DES OBSERVATIONS INSTANTANÉES.

EXEMPLES D UTILISATION DE LA TECHNIQUE DES OBSERVATIONS INSTANTANÉES. EXEMPLES D UTILISATIN DE LA TECHNIQUE DES BSERVATINS INSTANTANÉES. Chrstan Fortn, ng., Ph.D. Ergonome et hygénste du traval Centre of santé et servces socaux de la Montagne, Montréal. Résumé La technque

Plus en détail

Calculer le coût amorti d une obligation sur chaque exercice et présenter les écritures dans les comptes individuels de la société Plumeria.

Calculer le coût amorti d une obligation sur chaque exercice et présenter les écritures dans les comptes individuels de la société Plumeria. 1 CAS nédt d applcaton sur les normes IAS/IFRS Coût amort sur oblgatons à taux varable ou révsable La socété Plumera présente ses comptes annuels dans le référentel IFRS. Elle détent dans son portefeulle

Plus en détail

MODELISATION ET SIMULATION NUMERIQUE DES SYSTEMES ANALOGIQUES

MODELISATION ET SIMULATION NUMERIQUE DES SYSTEMES ANALOGIQUES MODELISATION ET SIMULATION NUMERIQUE DES SYSTEMES ANALOGIQUES Hervé MOREL Drecteur de Recherche - CNRS Herve.Morel@nsa-lyon.fr AMPERE - INSA de LYON mard 2 octobre 24 Modélsaton et smulaton des systèmes

Plus en détail

Méthodologie quiestlemoinscher de comparaison de prix entre magasins

Méthodologie quiestlemoinscher de comparaison de prix entre magasins Méthodologe questlemonscher de comparason de prx entre magasns Les éléments méthodologques ont été défns par le cabnet FaCE Consel, socété d études et d analyses statstques ndépendante. Le cabnet FaCE

Plus en détail

(Licence L1 /Durée 3H) Stand d étude de l'effort tranchant dans une poutre Règle Des accroches poids

(Licence L1 /Durée 3H) Stand d étude de l'effort tranchant dans une poutre Règle Des accroches poids (Lcence L1 /Durée 3H) Objectfs : Se famlarser avec l apparel d étude de l'effort tranchant dans une poutre (les pèces consttutves, mode d emplo...) Ben matrser les étapes qu mènent à l élaboraton des dfférents

Plus en détail

IFT1575 Modèles de recherche opérationnelle (RO) 7. Programmation non linéaire

IFT1575 Modèles de recherche opérationnelle (RO) 7. Programmation non linéaire IFT575 Modèles de recherche opératonnelle (RO 7. Programmaton non lnéare Fonctons convees et concaves Sot et deu ponts dans R n Le segment de drote jognant ces deu ponts est l ensemble des ponts + λ( -

Plus en détail

- Equilibre simultané IS/LM : Pour déterminer le couple d équilibre général, il convient de résoudre l équation IS = LM.

- Equilibre simultané IS/LM : Pour déterminer le couple d équilibre général, il convient de résoudre l équation IS = LM. Exercce n 1 Cet exercce propose de détermner l équlbre IS/LM sur la base d une économe dépourvue de présence étatque. Pour ce fare l convent, dans un premer temps de détermner la relaton (IS) marquant

Plus en détail

TD 1. Statistiques à une variable.

TD 1. Statistiques à une variable. Danel Abécasss. Année unverstare 2010/2011 Prépa-L1 TD de bostatstques. Exercce 1. On consdère la sére suvante : TD 1. Statstques à une varable. 1. Calculer la moyenne et l écart type. 2. Calculer la médane

Plus en détail

Traitement des valeurs manquantes et des valeurs aberrantes

Traitement des valeurs manquantes et des valeurs aberrantes Etudes Statstques 2 (1/10) Tratement des valeurs manquantes et des valeurs aberrantes Avant de trater les données, vérfer la qualté des données : Les données peuvent être : manquantes aberrantes : la valeur

Plus en détail

Théorie des Nombres - TD1 Rappels d arithmétique élémentaire

Théorie des Nombres - TD1 Rappels d arithmétique élémentaire Unversté Perre & Mare Cure Master de mathématques 1 Année 2012-2013 Module MM020 Théore des Nombres - TD1 Rappels d arthmétque élémentare Exercce 1 : Trouver tous les enters n N tels que ϕ(n) = 6. Même

Plus en détail

Modélisation et simulation du démarrage d un véhicule à boite de vitesses automatique avec les bond graphs

Modélisation et simulation du démarrage d un véhicule à boite de vitesses automatique avec les bond graphs Modélsaton et smulaton du démarrage d un véhcule à bote de vtesses automatque avec les bond graphs Dragos N. CRUCERU, Andre N. MACIAC, Valeran CROIORESCU, Génevève DAUPHIN ANGUY Laboratore d Automatque,

Plus en détail

CHAPITRE 2. La prévision des ventes

CHAPITRE 2. La prévision des ventes CHAPITRE La prévson des ventes C est en foncton des prévsons de ventes que l entreprse détermne la producton, les achats et les nvestssements nécessares. La prévson des ventes condtonne l ensemble de la

Plus en détail