Théorie de l information : historique
|
|
- Victoire Lamothe
- il y a 8 ans
- Total affichages :
Transcription
1 Théorie de l information : historique Développée dans les années quarante par Claude Shannon. Objectif : maximiser la quantité d information pouvant être transmise par un canal de communication imparfait. Shannon voulait déterminer les maxima théoriques de : la compression de données (l entropie) le taux de transmission du canal (la capacité du canal) Shannon a montré que l on pouvait transmettre de l information à travers un canal bruité avec une probabilité d erreur nulle tant que l on ne dépasse pas la capacité du canal. Méthodes probabilistes - Théorie de l information p./42
2 Liens avec le TAL La théorie de l information a servi de cadre théorique aux premiers travaux de TAL probabiliste dans les années 70. Plusieurs applications de TAL peuvent être modélisées à l aide des outils de la théorie de l information en particulier la reconnaissance de la parole et la traduction automatique. Les mesures développées dans le cadre de la théorie de l information (entropie et information mutuelle) sont utiles pour de nombreux aspects du TAL. Méthodes probabilistes - Théorie de l information p.2/42
3 Plan Entropie Le théorème du canal sans bruit. Information mutuelle Le théorème du canal bruité Application du modèle du canal bruité au TAL Méthodes probabilistes - Théorie de l information p.3/42
4 Surprise Soit E, l un des événements pouvant survenir à la suite d une expérience. A quel point serions-nous surpris d apprendre que E a effectivement eu lieu? La surprise liée à E est liée à la probabilité de E. Elle est d autant plus élevée que la probabilité est faible. Méthodes probabilistes - Théorie de l information p.4/42
5 Suprise La surprise est formalisée sous la forme d une fonction S(p), où p est une probabilité différente de 0. On désire que cette fonction réponde aux conditions suivantes :. S() = 0 il n y a pas de surprise à apprendre qu un événement certain est effectivement arrivé. 2. S est une fonction strictement décroissante de p. (si p < q alors S(p) > S(q)). Plus un événement est improbable plus grande sera notre surprise. 3. S(pq) = S(p) + S(q) Méthodes probabilistes - Théorie de l information p.5/42
6 Suprise S(pq) = S(p) + S(q) Soient deux événement indépendants E et F de probabilités respectives p et q. Comme P(EF) = pq, la surprise correspondant à l apparition simultanée de E et F est S(pq). On apprend que E est survenu, puis, plus tard, que F est survenu lui aussi. La surprise additionnelle créée par le fait que F survienne vaut : S(pq) S(p) F étant indépendant de E, l information sur E ne change pas la probabilité de F, la surprise conditionnelle doit donc être S(q), d où la condition : S(pq) = S(p) + S(q) Méthodes probabilistes - Théorie de l information p.6/42
7 Suprise Une fonction vérifiant les conditions précédentes est la fonction suivante : S(p) = log 2 (p) La surprise est mesurée en bits binary digits. Un bit est la quantité d information correspondant à une probabilité de /2. Exemple : on tire une carte d un jeu de 52 cartes. Soit E l événement la carte tirée est l as de pique. P(E) = 52 S( 52 ) = log 2( 52 ) = log 2(52) = 5.7bits 6 bits : 2 pour la couleur et 4 pour la valeur. Méthodes probabilistes - Théorie de l information p.7/42
8 Entropie d une variable aléatoire Soit X une variable aléatoire qui prend ses valeurs dans l ensemble {x,x 2,...x n } avec les probabilités correspondantes p,p 2,...p n (P(X = x i ) = p i ). La grandeur log 2 (p i ) représentant la mesure de la surprise associée à l événement X = x i, la surprise moyenne créée lorsqu on apprend quelle valeur X a prise est : H(X) = n p i log 2 (p i ) i= Cette quantité est appelée entropie de la variable aléatoire X (par convention, si l un des p i vaut 0, on déclare que 0 log 2 (0) vaut 0). Méthodes probabilistes - Théorie de l information p.8/42
9 Entropie d une variable aléatoire On peut montrer que H(X) est maximale lorsque tous les p i sont égaux. Méthodes probabilistes - Théorie de l information p.9/42
10 Exemple de la pièce P(X = pile) = p P(X = face) = p H(X) p Méthodes probabilistes - Théorie de l information p.0/42
11 Entropie d une variable aléatoire H(X) représente la surprise moyenne associée à la découverte de la valeur de X. On peut aussi l assimiler à la quantité d incertitude relative à cette variable aléatoire. La théorie de l information considère H(X) comme l information liée à l observation de X. On peut donc dire que : la surprise moyenne causée par X, l incertitude liée à X l information moyenne recelée par X, représentent en fait le même concept abordé par des points de vue un peu différents. Méthodes probabilistes - Théorie de l information p./42
12 Théorie du codage et entropie On désire transmettre la valeur prise par une variable aléatoire discrète X d un point A où on l observe, jusqu à un point B, ceci grâce à un système de communication ne véhiculant que des 0 ou des. On code les diverses valeurs que X peut prendre pour les transformer en chaînes de 0 et de. Pour éviter toute ambiguïté, on exige normalement qu il soit impossible de former un code simplement en ajoutant une séquence de 0 et de à un code existant. Méthodes probabilistes - Théorie de l information p.2/42
13 Théorie du codage et entropie Supposons que X puisse prendre l une des quatre valeurs x,x 2,x 3,x 4. Un code possible est : x 00 x 2 0 x 3 0 x 4 Méthodes probabilistes - Théorie de l information p.3/42
14 Théorie du codage et entropie On peut aussi utiliser le code suivant : x 0 x 2 0 x 3 0 x 4 Ce dernier code a ceci de particulier que tous les codes n ont pas la même longueur. L un des objectifs ordinairement assignés au codage est de minimiser la longueur moyenne des messages à transmettre de A à B, la longueur d un message étant le nombre de bits qui le compose. Méthodes probabilistes - Théorie de l information p.4/42
15 Théorie du codage et entropie Si l on suppose que la loi de probabilité de la variable X est la suivante : P(X = x ) = 2 P(X = x 2 ) = 4 P(X = x 3 ) = 8 P(X = x 4 ) = 8 Le second code utilisera en moyenne : =, 75 bits pour transmettre une des 4 valeurs x,x 2,x 3,x 4. Alors que le premier code nécessite 2 bits en moyenne. Méthodes probabilistes - Théorie de l information p.5/42
16 Théorie du codage et entropie Etant donné une variable aléatoire X, quel est l efficacité maximale que puisse atteindre un codage? La réponse à cette question est donnée par le théorème du codage sans bruit qui dit que pour tout codage, il faudra transmettre un nombre de bits moyen au moins égal à l entropie de X. Méthodes probabilistes - Théorie de l information p.6/42
17 Théorème du codage sans bruit Soit X une variable aléatoire pouvant prendre les valeurs x,...x N avec pour probabilités respectives p(x )...p(x N ). Tout codage de X traduisant x i grâce à n i bits utilisera un nombre moyen de bits supérieur ou égal à l entropie de X. N n i p(x i ) H(X) = N p(x i ) log 2 (p(x i )) i= i= Méthodes probabilistes - Théorie de l information p.7/42
18 Entropie conjointe L entropie conjointe d une paire de variables aléatoires discretes X,Y de loi de probabilité conjointe p(x,y) est la quantité d information nécessaire en moyenne pour spécifier leurs deux valeurs. Soient deux variables aléatoires X et Y prenant leurs valeurs respectivement dans {x,x 2,...x n } et {y,y 2,...y n }, leur loi de probabilité conjointe étant : p(x i,y j ) = P(X = x i,y = y j ) On calcule grâce à cette loi conjointe l entropie H(X,Y ) attachée au vecteur aléatoire (X,Y ) : H(X,Y ) = i,j p(x i,y j ) log 2 p(x i,y j ) Méthodes probabilistes - Théorie de l information p.8/42
19 Entropie conditionnelle Admettons maintenant que l on ait observé que Y = y j. La quantité restante d incertitude sur X est : H(X Y = y j ) = i p(x i y j ) log 2 (p(x i y j )) où : p(x i y j ) = P(X = x i Y = y j ) Aussi écrira-t-on comme suit l incertitude moyenne associée à X après observation de Y : H(X Y ) = j H(X Y = y j )P(Y = y j ) Méthodes probabilistes - Théorie de l information p.9/42
20 Calcul de l entropie conditionnelle H(X Y ) = j p(y j )H(X Y = y j ) = j p(y j ) i p(x i y j ) log 2 p(x i y j ) = i,j p(y j,x i ) log 2 p(x i y j ) Méthodes probabilistes - Théorie de l information p.20/42
21 Entropie conjointe et entropie conditionnelle Relation entre l entropie conjointe et l entropie conditionnelle : H(Y,X) = H(Y X) + H(X) H(X,Y ) = i,j p(x i,y j ) log 2 p(x i,y j ) = i,j p(x i,y j ) log 2 p(y j x i )p(x i ) = i,j p(x i,y j ) log 2 p(y j x i ) i,j p(x i,y j ) log 2 p(x i ) = i,j p(x i,y j ) log 2 p(y j x i ) i p(x i ) log 2 p(x i ) = H(Y X) + H(X) Méthodes probabilistes - Théorie de l information p.2/42
22 Information mutuelle On appelle information mutuelle entre deux variables aléatoires X et Y la diminution de l incertitude associée à une variable aléatoire due à notre connaissance (observation) de l autre variable aléatoire : I(X;Y ) = H(X) H(X Y ) = H(Y ) H(Y X) L information mutuelle est une mesure symétrique de l information commune de deux variables. I(X;Y ) 0 I(X;Y ) = 0 si X et Y sont indépendantes Elle croît en fonction de la dépendance de deux variables ainsi que de leur entropie. I(X;X) = H(X) Méthodes probabilistes - Théorie de l information p.22/42
23 Calcul de l information mutuelle I(X; Y ) = H(X) H(X Y ) = H(X) + H(Y ) H(X, Y ) = X i p(x i )log 2 p(x i ) X j p(y j )log 2 p(y j ) + X i,j p(x i, y j )log 2 p(x i, y j ) = X i p(x i )log 2 p(x i ) + X j p(y j )log 2 p(y j ) + X i,j p(x i, y j ) log 2 p(x i, y j ) = X i,j p(x i, y j ) log 2 p(x i ) + X i,j p(x i, y j )log 2 p(y j ) X i,j p(x i, y j ) log 2 p(x i, y j ) = X i,j p(x i, y j ) log 2 p(x i, y j ) p(x i )p(y j ) Méthodes probabilistes - Théorie de l information p.23/42
24 Exemple On dispose d objets caractérisés par leur forme et leur couleur. trois formes (carré (C), triangle(t), rectangle (R)) trois couleurs (vert (V), noir (N), bleu (B)) on définit deux variables aléatoires : C pour la couleur F pour la forme on dispose de la loi de probabilité conjointe p(c, F) Méthodes probabilistes - Théorie de l information p.24/42
25 Exemple V N B C T R I(C; F) = 3 3 log 2 = log 2 3 =.58 bits 3 9 H(C) = H(F) = 3 ( 3 log 2 3) =.58 bits! Méthodes probabilistes - Théorie de l information p.25/42
26 Exemple 2 C 3 8 T 8 R V N B I(C; F) = 3 ( 3 8 log log 2 = 3 ( ) 8 = 0.25 bits log 2 ) Méthodes probabilistes - Théorie de l information p.26/42
27 Exemple 3 C 9 T 9 R 9 3 V N B I(C; F) = 9 ( 9 log 2 = 0 bits 9 9 ) C et F sont indépendantes. Méthodes probabilistes - Théorie de l information p.27/42
28 Relations entre l information mutuelle et l entropie H(X,Y) H(X Y) H(Y X) I(X;Y) H(X) H(Y) Méthodes probabilistes - Théorie de l information p.28/42
29 Modèle du canal bruité W X n canal encodeur message p(y x) Y n decodeur Ŵ estimation du message Les symboles d une source sont traduits en symboles du canal (encodeur) Le canal produit une séquence de symboles en sortie Le canal est bruité : pour un symbole en entrée, il produit une distribution de probabilités sur les symboles possibles en sortie. La séquence de symboles en sortie est utilisée pour reconstruire le message (décodeur) Méthodes probabilistes - Théorie de l information p.29/42
30 Modèle du canal bruité Toute séquence d entrée définit une distribution de probabilité sur les séquences de sortie. Deux séquences d entrée différentes peuvent produire la même séquence de sortie, deux entrées peuvent donc être confondues. Méthodes probabilistes - Théorie de l information p.30/42
31 Canal discret Un canal discret est un système composé d un alphabet d entrée X, d un alphabet de sortie Y et d une matrice de probabilité de transition p(y x) qui exprime la probabilité d observer le symbole y en sortie si l on a le symbole x en entrée. Un canal est dit sans mémoire si la distribution de probabilité en sortie ne dépend que de l entrée au même instant, et qu elle est indépendante des entrées et sorties du canal précédentes. Méthodes probabilistes - Théorie de l information p.3/42
32 Exemple : le canal binaire symetrique p 0 0 p p p La probabilité d erreur est égale à p pour chacun des deux symboles. Méthodes probabilistes - Théorie de l information p.32/42
33 Qualité d un canal Soit X une variable aléatoire définie sur X décrivant le symbole en entrée du canal Soit Y une variable aléatoire définie sur Y décrivant le symbole en sortie du canal. Quelle information Y nous donne-t-elle sur X? On calcule I(X;Y ) Pour cela il faut fixer une distribution p(x) Méthodes probabilistes - Théorie de l information p.33/42
34 Evolution de l information mutuelle p=0.0 p=0. p=0.2 p=0.3 p=0.4 p=0.5 I(X;Y) P(X=) Méthodes probabilistes - Théorie de l information p.34/42
35 Interprétation pour p = 0 et pour p X uniforme, I(X;Y ) vaut bit. cela veut dire que l observation de Y nous permet de déterminer avec certitude la valeur de X. lorsque I(X;Y ) <, l observation de Y ne nous permet plus de déterminer avec certitude la valeur de X, une partie de l information a été perdue dans le canal. Méthodes probabilistes - Théorie de l information p.35/42
36 Capacité d un canal On appelle capacité d un canal discret sans mémoire l information mutuelle maximale entre la sortie et l entrée qu il permet d atteindre : C = max p(x) I(X;Y ) Méthodes probabilistes - Théorie de l information p.36/42
37 Interprétation de la notion de capacité Supposons que le canal permette de transmettre bit/sec et que la capacité du canal soit de 0.5 bit. Bien que la vitesse de transmission soit de bit/sec. la vitesse de transmission d information est inférieure à cette valeur. Pour réaliser une transmission fiable, il faut ajouter de la redondance et, par conséquent, diminuer la vitesse de transmission d information. Le canal ne pourra transmettre de l information à une vitesse supérieure à 0.5 bit/sec sans commettre d erreurs. Méthodes probabilistes - Théorie de l information p.37/42
38 Le théorème du canal bruité Etant donné un canal de capacité C, il est possible de transmettre de l information à une vitesse V < C avec un taux d erreur arbitrairement faible. En d autres termes, il existe un encodage qui permet de réaliser une vitesse de transmission de l information égale à la capacité. Le théorème du canal bruité n est pas constructif, il ne dit pas comment réaliser un tel encodage. Méthodes probabilistes - Théorie de l information p.38/42
39 Relation avec le TAL Le modèle du canal bruité (MCB) a servi de modèle aux premiers travaux de TAL probabiliste dans les années 70 Des chercheurs du centre de recherche Watson de IBM ont modélisé la reconnaissance de la parole et la traduction automatique à l aide du canal bruité. Dans l application du MCB au TAL, on ne contrôle pas la phase d encodage, on cherche à décoder la sortie pour retrouver l entrée la plus probable. Méthodes probabilistes - Théorie de l information p.39/42
40 Relation avec le TAL De nombreuses applications de TAL peuvent être vues comme une tentative de construire l entrée la plus probable étant donné une sortie. Ê = arg max E P(E S) = arg max E = arg max E = arg max E P(ES) P(S) P(E)P(S E) P(S) P(E)P(S E) Méthodes probabilistes - Théorie de l information p.40/42
41 Relation avec le TAL Deux probabilités doivent être calculées : P(E) probabilité d une séquence d entrée, elle est calculée à l aide d un modèle de langage P(S E) probabilité d une sortie étant donné une entrée, elle est calculée à l aide d un modèle du canal. Méthodes probabilistes - Théorie de l information p.4/42
42 Application du MCB au TAL Application Entrée Sortie P(E) P(S E) Traduction séquence de séquence de proba. de seq. modèle Automatique mots de L mots de L 2 de mots de L traducti Correction séquence séquence proba. de seq. modèle Automatique de mots de mots de mots erreurs Etiquetage morpho séquence de séqence de proba. de seq. p(m c) syntaxique catégories mots de catégories Reconnaissance de séquence signal proba. de seq. modèle la parole de mots acoustique de mots acousti Méthodes probabilistes - Théorie de l information p.42/42
Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34
Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second
Plus en détailThéorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France
Théorie et Codage de l Information (IF01) exercices 2013-2014 Paul Honeine Université de technologie de Troyes France TD-1 Rappels de calculs de probabilités Exercice 1. On dispose d un jeu de 52 cartes
Plus en détailSystèmes de communications numériques 2
Systèmes de Communications Numériques Philippe Ciuciu, Christophe Vignat Laboratoire des Signaux et Systèmes CNRS SUPÉLEC UPS SUPÉLEC, Plateau de Moulon, 91192 Gif-sur-Yvette ciuciu@lss.supelec.fr Université
Plus en détailTransmission d informations sur le réseau électrique
Transmission d informations sur le réseau électrique Introduction Remarques Toutes les questions en italique devront être préparées par écrit avant la séance du TP. Les préparations seront ramassées en
Plus en détailChapitre 2 : communications numériques.
Chapitre 2 : communications numériques. 1) généralités sur les communications numériques. A) production d'un signal numérique : transformation d'un signal analogique en une suite d'éléments binaires notés
Plus en détailCompression et Transmission des Signaux. Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette
Compression et Transmission des Signaux Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette 1 De Shannon à Mac Donalds Mac Donalds 1955 Claude Elwood Shannon 1916 2001 Monsieur X 1951 2 Où
Plus en détailGPA770 Microélectronique appliquée Exercices série A
GPA770 Microélectronique appliquée Exercices série A 1. Effectuez les calculs suivants sur des nombres binaires en complément à avec une représentation de 8 bits. Est-ce qu il y a débordement en complément
Plus en détailTransmission de données. A) Principaux éléments intervenant dans la transmission
Page 1 / 7 A) Principaux éléments intervenant dans la transmission A.1 Equipement voisins Ordinateur ou terminal Ordinateur ou terminal Canal de transmission ETTD ETTD ETTD : Equipement Terminal de Traitement
Plus en détail1.1 Codage de source et test d hypothèse
Théorie de l information et codage 200/20 Cours 8février20 Enseignant: Marc Lelarge Scribe: Marc Lelarge Pour information Page webdu cours http://www.di.ens.fr/~lelarge/info.html Notations Pour des variables
Plus en détailAnalyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I
Analyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I Roxane Duroux 1 Cadre de l étude Cette étude s inscrit dans le cadre de recherche de doses pour des essais cliniques
Plus en détailChaine de transmission
Chaine de transmission Chaine de transmission 1. analogiques à l origine 2. convertis en signaux binaires Échantillonnage + quantification + codage 3. brassage des signaux binaires Multiplexage 4. séparation
Plus en détailLoi d une variable discrète
MATHEMATIQUES TD N : VARIABLES DISCRETES - Corrigé. P[X = k] 0 k point de discontinuité de F et P[X = k] = F(k + ) F(k ) Ainsi, P[X = ] =, P[X = 0] =, P[X = ] = R&T Saint-Malo - nde année - 0/0 Loi d une
Plus en détailLES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION
LES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION LES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION ) Caractéristiques techniques des supports. L infrastructure d un réseau, la qualité de service offerte,
Plus en détailChapitre 13 Numérisation de l information
DERNIÈRE IMPRESSION LE 2 septembre 2013 à 17:33 Chapitre 13 Numérisation de l information Table des matières 1 Transmission des informations 2 2 La numérisation 2 2.1 L échantillonage..............................
Plus en détailUE 503 L3 MIAGE. Initiation Réseau et Programmation Web La couche physique. A. Belaïd
UE 503 L3 MIAGE Initiation Réseau et Programmation Web La couche physique A. Belaïd abelaid@loria.fr http://www.loria.fr/~abelaid/ Année Universitaire 2011/2012 2 Le Modèle OSI La couche physique ou le
Plus en détailCorrection du Baccalauréat S Amérique du Nord mai 2007
Correction du Baccalauréat S Amérique du Nord mai 7 EXERCICE points. Le plan (P) a une pour équation cartésienne : x+y z+ =. Les coordonnées de H vérifient cette équation donc H appartient à (P) et A n
Plus en détailLEÇON N 7 : Schéma de Bernoulli et loi binomiale. Exemples.
LEÇON N 7 : Schéma de Bernoulli et loi binomiale. Exemples. Pré-requis : Probabilités : définition, calculs et probabilités conditionnelles ; Notion de variables aléatoires, et propriétés associées : espérance,
Plus en détailProgrammation linéaire
1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit
Plus en détail6. Hachage. Accès aux données d'une table avec un temps constant Utilisation d'une fonction pour le calcul d'adresses
6. Hachage Accès aux données d'une table avec un temps constant Utilisation d'une fonction pour le calcul d'adresses PLAN Définition Fonctions de Hachage Méthodes de résolution de collisions Estimation
Plus en détailCRYPTOGRAPHIE. Signature électronique. E. Bresson. Emmanuel.Bresson@sgdn.gouv.fr. SGDN/DCSSI Laboratoire de cryptographie
CRYPTOGRAPHIE Signature électronique E. Bresson SGDN/DCSSI Laboratoire de cryptographie Emmanuel.Bresson@sgdn.gouv.fr I. SIGNATURE ÉLECTRONIQUE I.1. GÉNÉRALITÉS Organisation de la section «GÉNÉRALITÉS»
Plus en détailTraitement bas-niveau
Plan Introduction L approche contour (frontière) Introduction Objectifs Les traitements ont pour but d extraire l information utile et pertinente contenue dans l image en regard de l application considérée.
Plus en détailINF 232: Langages et Automates. Travaux Dirigés. Université Joseph Fourier, Université Grenoble 1 Licence Sciences et Technologies
INF 232: Langages et Automates Travaux Dirigés Université Joseph Fourier, Université Grenoble 1 Licence Sciences et Technologies Année Académique 2013-2014 Année Académique 2013-2014 UNIVERSITÉ JOSEPH
Plus en détailMaster 1 Informatique MIF11 - Réseau Codage et éléments de théorie de l'information
Master 1 Informatique MIF11 - Réseau Codage et éléments de théorie de l'information Florent Dupont Université Claude Bernard Lyon1 / Laboratoire LIRIS Florent.Dupont@liris.cnrs.fr http://liris.cnrs.fr/florent.dupont
Plus en détailProbabilité. Table des matières. 1 Loi de probabilité 2 1.1 Conditions préalables... 2 1.2 Définitions... 2 1.3 Loi équirépartie...
1 Probabilité Table des matières 1 Loi de probabilité 2 1.1 Conditions préalables........................... 2 1.2 Définitions................................. 2 1.3 Loi équirépartie..............................
Plus en détailCorrection du baccalauréat ES/L Métropole 20 juin 2014
Correction du baccalauréat ES/L Métropole 0 juin 014 Exercice 1 1. c.. c. 3. c. 4. d. 5. a. P A (B)=1 P A (B)=1 0,3=0,7 D après la formule des probabilités totales : P(B)=P(A B)+P(A B)=0,6 0,3+(1 0,6)
Plus en détailCouples de variables aléatoires discrètes
Couples de variables aléatoires discrètes ECE Lycée Carnot mai Dans ce dernier chapitre de probabilités de l'année, nous allons introduire l'étude de couples de variables aléatoires, c'est-à-dire l'étude
Plus en détailFonctions de la couche physique
La Couche physique 01010110 01010110 Couche physique Signal Médium Alain AUBERT alain.aubert@telecom-st-etienne.r 0 Fonctions de la couche physique 1 1 Services assurés par la couche physique Transmettre
Plus en détailObjectifs. Clustering. Principe. Applications. Applications. Cartes de crédits. Remarques. Biologie, Génomique
Objectifs Clustering On ne sait pas ce qu on veut trouver : on laisse l algorithme nous proposer un modèle. On pense qu il existe des similarités entre les exemples. Qui se ressemble s assemble p. /55
Plus en détailLes indices à surplus constant
Les indices à surplus constant Une tentative de généralisation des indices à utilité constante On cherche ici en s inspirant des indices à utilité constante à définir un indice de prix de référence adapté
Plus en détailTexte Agrégation limitée par diffusion interne
Page n 1. Texte Agrégation limitée par diffusion interne 1 Le phénomène observé Un fût de déchets radioactifs est enterré secrètement dans le Cantal. Au bout de quelques années, il devient poreux et laisse
Plus en détailI. Introduction. 1. Objectifs. 2. Les options. a. Présentation du problème.
I. Introduction. 1. Objectifs. Le but de ces quelques séances est d introduire les outils mathématiques, plus précisément ceux de nature probabiliste, qui interviennent dans les modèles financiers ; nous
Plus en détailBaccalauréat ES Antilles Guyane 12 septembre 2014 Corrigé
Baccalauréat ES Antilles Guyane 12 septembre 2014 Corrigé EXERCICE 1 5 points Commun à tous les candidats 1. Réponse c : ln(10)+2 ln ( 10e 2) = ln(10)+ln ( e 2) = ln(10)+2 2. Réponse b : n 13 0,7 n 0,01
Plus en détailUne introduction aux codes correcteurs quantiques
Une introduction aux codes correcteurs quantiques Jean-Pierre Tillich INRIA Rocquencourt, équipe-projet SECRET 20 mars 2008 1/38 De quoi est-il question ici? Code quantique : il est possible de corriger
Plus en détailChapitre 3. Mesures stationnaires. et théorèmes de convergence
Chapitre 3 Mesures stationnaires et théorèmes de convergence Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.1 I. Mesures stationnaires Christiane Cocozza-Thivent, Université de Marne-la-Vallée
Plus en détailAlgorithmes de Transmission et de Recherche de l Information dans les Réseaux de Communication. Philippe Robert INRIA Paris-Rocquencourt
Algorithmes de Transmission et de Recherche de l Information dans les Réseaux de Communication Philippe Robert INRIA Paris-Rocquencourt Le 2 juin 2010 Présentation Directeur de recherche à l INRIA Institut
Plus en détail!-.!#- $'( 1&) &) (,' &*- %,!
0 $'( 1&) +&&/ ( &+&& &+&))&( -.#- 2& -.#- &) (,' %&,))& &)+&&) &- $ 3.#( %, (&&/ 0 ' Il existe plusieurs types de simulation de flux Statique ou dynamique Stochastique ou déterministe A événements discrets
Plus en détailQuantification Scalaire et Prédictive
Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction
Plus en détailCompression Compression par dictionnaires
Compression Compression par dictionnaires E. Jeandel Emmanuel.Jeandel at lif.univ-mrs.fr E. Jeandel, Lif CompressionCompression par dictionnaires 1/25 Compression par dictionnaire Principe : Avoir une
Plus en détailUniversité de La Rochelle. Réseaux TD n 6
Réseaux TD n 6 Rappels : Théorème de Nyquist (ligne non bruitée) : Dmax = 2H log 2 V Théorème de Shannon (ligne bruitée) : C = H log 2 (1+ S/B) Relation entre débit binaire et rapidité de modulation :
Plus en détailActuariat I ACT2121. septième séance. Arthur Charpentier. Automne 2012. charpentier.arthur@uqam.ca. http ://freakonometrics.blog.free.
Actuariat I ACT2121 septième séance Arthur Charpentier charpentier.arthur@uqam.ca http ://freakonometrics.blog.free.fr/ Automne 2012 1 Exercice 1 En analysant le temps d attente X avant un certain événement
Plus en détailChapitre 18 : Transmettre et stocker de l information
Chapitre 18 : Transmettre et stocker de l information Connaissances et compétences : - Identifier les éléments d une chaîne de transmission d informations. - Recueillir et exploiter des informations concernant
Plus en détailPython - introduction à la programmation et calcul scientifique
Université de Strasbourg Environnements Informatique Python - introduction à la programmation et calcul scientifique Feuille de TP 1 Avant de commencer Le but de ce TP est de vous montrer les bases de
Plus en détailIntroduction à l étude des Corps Finis
Introduction à l étude des Corps Finis Robert Rolland (Résumé) 1 Introduction La structure de corps fini intervient dans divers domaines des mathématiques, en particulier dans la théorie de Galois sur
Plus en détailModélisation et Simulation
Cours de modélisation et simulation p. 1/64 Modélisation et Simulation G. Bontempi Département d Informatique Boulevard de Triomphe - CP 212 http://www.ulb.ac.be/di Cours de modélisation et simulation
Plus en détailEconomie de l incertain et de l information Partie 1 : Décision en incertain probabilisé Chapitre 1 : Introduction à l incertitude et théorie de
Economie de l incertain et de l information Partie 1 : Décision en incertain probabilisé Chapitre 1 : Introduction à l incertitude et théorie de l espérance d utilité Olivier Bos olivier.bos@u-paris2.fr
Plus en détailChapitre I La fonction transmission
Chapitre I La fonction transmission 1. Terminologies 1.1 Mode guidé / non guidé Le signal est le vecteur de l information à transmettre. La transmission s effectue entre un émetteur et un récepteur reliés
Plus en détailISO/CEI 11172-3 NORME INTERNATIONALE
NORME INTERNATIONALE ISO/CEI 11172-3 Première édition 1993-08-01 Technologies de l information - Codage de l image animée et du son associé pour les supports de stockage numérique jusqu à environ Ii5 Mbit/s
Plus en détailApprentissage Automatique
Apprentissage Automatique Introduction-I jean-francois.bonastre@univ-avignon.fr www.lia.univ-avignon.fr Définition? (Wikipedia) L'apprentissage automatique (machine-learning en anglais) est un des champs
Plus en détailRupture et plasticité
Rupture et plasticité Département de Mécanique, Ecole Polytechnique, 2009 2010 Département de Mécanique, Ecole Polytechnique, 2009 2010 25 novembre 2009 1 / 44 Rupture et plasticité : plan du cours Comportements
Plus en détailLa classification automatique de données quantitatives
La classification automatique de données quantitatives 1 Introduction Parmi les méthodes de statistique exploratoire multidimensionnelle, dont l objectif est d extraire d une masse de données des informations
Plus en détailSystèmes de transmission
Systèmes de transmission Conception d une transmission série FABRE Maxime 2012 Introduction La transmission de données désigne le transport de quelque sorte d'information que ce soit, d'un endroit à un
Plus en détailLois de probabilité. Anita Burgun
Lois de probabilité Anita Burgun Problème posé Le problème posé en statistique: On s intéresse à une population On extrait un échantillon On se demande quelle sera la composition de l échantillon (pourcentage
Plus en détailModélisation et simulation
Modélisation et simulation p. 1/36 Modélisation et simulation INFO-F-305 Gianluca Bontempi Département d Informatique Boulevard de Triomphe - CP 212 http://www.ulb.ac.be/di Modélisation et simulation p.
Plus en détailRaisonnement probabiliste
Plan Raisonnement probabiliste IFT-17587 Concepts avancés pour systèmes intelligents Luc Lamontagne Réseaux bayésiens Inférence dans les réseaux bayésiens Inférence exacte Inférence approximative 1 2 Contexte
Plus en détailTD : Codage des images
TD : Codage des images Les navigateurs Web (Netscape, IE, Mozilla ) prennent en charge les contenus textuels (au format HTML) ainsi que les images fixes (GIF, JPG, PNG) ou animée (GIF animée). Comment
Plus en détailLagrange, où λ 1 est pour la contrainte sur µ p ).
Chapitre 1 Exercice 1 : Portefeuilles financiers Considérons trois types d actions qui sont négociées à la bourse et dont les rentabilités r 1, r 2 et r 3 sont des variables aléatoires d espérances µ i
Plus en détailProgrammes des classes préparatoires aux Grandes Ecoles
Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme
Plus en détailSimulation de variables aléatoires
Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo
Plus en détailCryptographie Quantique
Cryptographie Quantique Jean-Marc Merolla Chargé de Recherche CNRS Email: jean-marc.merolla@univ-fcomte.fr Département d Optique P.-M. Duffieux/UMR FEMTO-ST 6174 2009 1 Plan de la Présentation Introduction
Plus en détailExpérience 3 Formats de signalisation binaire
Expérience 3 Formats de signalisation binaire Introduction Procédures Effectuez les commandes suivantes: >> xhost nat >> rlogin nat >> setenv DISPLAY machine:0 >> setenv MATLABPATH /gel/usr/telecom/comm_tbx
Plus en détailIFT1215 Introduction aux systèmes informatiques
Introduction aux circuits logiques de base IFT25 Architecture en couches Niveau 5 Niveau 4 Niveau 3 Niveau 2 Niveau Niveau Couche des langages d application Traduction (compilateur) Couche du langage d
Plus en détailCodage hiérarchique et multirésolution (JPEG 2000) Codage Vidéo. Représentation de la couleur. Codage canal et codes correcteurs d erreur
Codage hiérarchique et multirésolution (JPEG 000) Codage Vidéo Représentation de la couleur Codage canal et codes correcteurs d erreur Format vectoriel (SVG - Scalable Vector Graphics) Organisation de
Plus en détailCours d initiation à la programmation en C++ Johann Cuenin
Cours d initiation à la programmation en C++ Johann Cuenin 11 octobre 2014 2 Table des matières 1 Introduction 5 2 Bases de la programmation en C++ 7 3 Les types composés 9 3.1 Les tableaux.............................
Plus en détailÉPREUVE COMMUNE DE TIPE 2008 - Partie D
ÉPREUVE COMMUNE DE TIPE 2008 - Partie D TITRE : Les Fonctions de Hachage Temps de préparation :.. 2 h 15 minutes Temps de présentation devant le jury :.10 minutes Entretien avec le jury :..10 minutes GUIDE
Plus en détailSouad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/
Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation
Plus en détailArithmétique binaire. Chapitre. 5.1 Notions. 5.1.1 Bit. 5.1.2 Mot
Chapitre 5 Arithmétique binaire L es codes sont manipulés au quotidien sans qu on s en rende compte, et leur compréhension est quasi instinctive. Le seul fait de lire fait appel au codage alphabétique,
Plus en détailCodage d information. Codage d information : -Définition-
Introduction Plan Systèmes de numération et Représentation des nombres Systèmes de numération Système de numération décimale Représentation dans une base b Représentation binaire, Octale et Hexadécimale
Plus en détailI. TRANSMISSION DE DONNEES
TD I. TRANSMISSION DE DONNEES 1. QU'EST-CE QU'UN CANAL DE TRANSMISSION? 1.1 Rappels Une ligne de transmission est une liaison entre les deux machines. On désigne généralement par le terme émetteur la machine
Plus en détailCHAPITRE VI ALEAS. 6.1.Généralités.
CHAPITRE VI ALEAS 6.1.Généralités. Lors de la synthèse des systèmes logique (combinatoires ou séquentiels), nous avons supposé, implicitement, qu une même variable secondaire avait toujours la même valeur
Plus en détailCryptologie. Algorithmes à clé publique. Jean-Marc Robert. Génie logiciel et des TI
Cryptologie Algorithmes à clé publique Jean-Marc Robert Génie logiciel et des TI Plan de la présentation Introduction Cryptographie à clé publique Les principes essentiels La signature électronique Infrastructures
Plus en détailProbabilités. I - Expérience aléatoire. II - Evénements
Probabilités Voici le premier cours de probabilités de votre vie. N avez-vous jamais eut envie de comprendre les règles des grands joueurs de poker et de les battre en calculant les probabilités d avoir
Plus en détailL information sera transmise selon des signaux de nature et de fréquences différentes (sons, ultrasons, électromagnétiques, électriques).
CHAINE DE TRANSMISSION Nous avons une information que nous voulons transmettre (signal, images, sons ). Nous avons besoin d une chaîne de transmission comosée de trois éléments rinciaux : 1. L émetteur
Plus en détailFormes quadratiques. 1 Formes quadratiques et formes polaires associées. Imen BHOURI. 1.1 Définitions
Formes quadratiques Imen BHOURI 1 Ce cours s adresse aux étudiants de niveau deuxième année de Licence et à ceux qui préparent le capes. Il combine d une façon indissociable l étude des concepts bilinéaires
Plus en détailLe concept cellulaire
Le concept cellulaire X. Lagrange Télécom Bretagne 21 Mars 2014 X. Lagrange (Télécom Bretagne) Le concept cellulaire 21/03/14 1 / 57 Introduction : Objectif du cours Soit un opérateur qui dispose d une
Plus en détailCommunications numériques
Communications numériques 1. Modulation numérique (a) message numérique/signal numérique (b) transmission binaire/m-aire en bande de base (c) modulation sur fréquence porteuse (d) paramètres, limite fondamentale
Plus en détail16H Cours / 18H TD / 20H TP
INTRODUCTION AUX BASES DE DONNEES 16H Cours / 18H TD / 20H TP 1. INTRODUCTION Des Fichiers aux Bases de Données 2. SYSTEME DE GESTION DE BASE DE DONNEES 2.1. INTRODUCTION AUX SYSTEMES DE GESTION DE BASES
Plus en détailLa demande Du consommateur. Contrainte budgétaire Préférences Choix optimal
La demande Du consommateur Contrainte budgétaire Préférences Choix optimal Plan du cours Préambule : Rationalité du consommateur I II III IV V La contrainte budgétaire Les préférences Le choix optimal
Plus en détailThéorie et codage de l information
Théorie et codage de l information Les codes linéaires - Chapitre 6 - Principe Définition d un code linéaire Soient p un nombre premier et s est un entier positif. Il existe un unique corps de taille q
Plus en détailArchitecture des ordinateurs TD1 - Portes logiques et premiers circuits
Architecture des ordinateurs TD1 - Portes logiques et premiers circuits 1 Rappel : un peu de logique Exercice 1.1 Remplir la table de vérité suivante : a b a + b ab a + b ab a b 0 0 0 1 1 0 1 1 Exercice
Plus en détailLicence MASS 2000-2001. (Re-)Mise à niveau en Probabilités. Feuilles de 1 à 7
Feuilles de 1 à 7 Ces feuilles avec 25 exercices et quelques rappels historiques furent distribuées à des étudiants de troisième année, dans le cadre d un cours intensif sur deux semaines, en début d année,
Plus en détailLe codage informatique
Outils de Bureautique Le codage informatique (exemple : du binaire au traitement de texte) PLAN 3) Le codage binaire 4) Représentation physique des bits 5) Le bit est un peu court... 6) Codage de texte
Plus en détailFonctions de plusieurs variables
Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme
Plus en détailDe même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que
Introduction. On suppose connus les ensembles N (des entiers naturels), Z des entiers relatifs et Q (des nombres rationnels). On s est rendu compte, depuis l antiquité, que l on ne peut pas tout mesurer
Plus en détail3. Caractéristiques et fonctions d une v.a.
3. Caractéristiques et fonctions d une v.a. MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v2) MTH2302D: fonctions d une v.a. 1/32 Plan 1. Caractéristiques d une distribution 2. Fonctions
Plus en détailModel checking temporisé
Model checking temporisé Béatrice Bérard LAMSADE Université Paris-Dauphine & CNRS berard@lamsade.dauphine.fr ETR 07, 5 septembre 2007 1/44 Nécessité de vérifier des systèmes... 2/44 Nécessité de vérifier
Plus en détailExercices types Algorithmique et simulation numérique Oral Mathématiques et algorithmique Banque PT
Exercices types Algorithmique et simulation numérique Oral Mathématiques et algorithmique Banque PT Ces exercices portent sur les items 2, 3 et 5 du programme d informatique des classes préparatoires,
Plus en détailM2 IAD UE MODE Notes de cours (3)
M2 IAD UE MODE Notes de cours (3) Jean-Yves Jaffray Patrice Perny 16 mars 2006 ATTITUDE PAR RAPPORT AU RISQUE 1 Attitude par rapport au risque Nousn avons pas encore fait d hypothèse sur la structure de
Plus en détailProbabilités. C. Charignon. I Cours 3
Probabilités C. Charignon Table des matières I Cours 3 1 Dénombrements 3 1.1 Cardinal.................................................. 3 1.1.1 Définition............................................. 3
Plus en détailNumérisation du signal
Chapitre 12 Sciences Physiques - BTS Numérisation du signal 1 Analogique - Numérique. 1.1 Définitions. Signal analogique : un signal analogique s a (t)est un signal continu dont la valeur varie en fonction
Plus en détailSimulation centrée individus
Simulation centrée individus Théorie des jeux Bruno BEAUFILS Université de Lille Année 4/5 Ce document est mis à disposition selon les termes de la Licence Creative Commons Attribution - Partage dans les
Plus en détailMoments des variables aléatoires réelles
Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................
Plus en détaildonnées en connaissance et en actions?
1 Partie 2 : Présentation de la plateforme SPSS Modeler : Comment transformer vos données en connaissance et en actions? SPSS Modeler : l atelier de data mining Large gamme de techniques d analyse (algorithmes)
Plus en détailProjet Matlab : un logiciel de cryptage
Projet Matlab : un logiciel de cryptage La stéganographie (du grec steganos : couvert et graphein : écriture) consiste à dissimuler une information au sein d'une autre à caractère anodin, de sorte que
Plus en détailChapitre 2. Eléments pour comprendre un énoncé
Chapitre 2 Eléments pour comprendre un énoncé Ce chapitre est consacré à la compréhension d un énoncé. Pour démontrer un énoncé donné, il faut se reporter au chapitre suivant. Les tables de vérité données
Plus en détailLA COUCHE PHYSIQUE EST LA COUCHE par laquelle l information est effectivemnt transmise.
M Informatique Réseaux Cours bis Couche Physique Notes de Cours LA COUCHE PHYSIQUE EST LA COUCHE par laquelle l information est effectivemnt transmise. Les technologies utilisées sont celles du traitement
Plus en détailFormats d images. 1 Introduction
Formats d images 1 Introduction Lorsque nous utilisons un ordinateur ou un smartphone l écran constitue un élément principal de l interaction avec la machine. Les images sont donc au cœur de l utilisation
Plus en détailJoueur B Pierre Feuille Ciseaux Pierre (0,0) (-1,1) (1,-1) Feuille (1,-1) (0,0) (-1,1) Ciseaux (-1,1) (1,-1) (0.0)
CORRECTION D EXAMEN CONTROLE CONTINU n 1 Question de cours Question 1 : Les équilibres de Cournot et de Stackelberg sont des équilibres de situation de duopole sur un marché non coopératif d un bien homogène.
Plus en détailAlgorithmique des Systèmes Répartis Protocoles de Communications
Algorithmique des Systèmes Répartis Protocoles de Communications Master Informatique Dominique Méry Université de Lorraine 1 er avril 2014 1 / 70 Plan Communications entre processus Observation et modélisation
Plus en détail