Modèles à Événements Discrets. Réseaux de Petri Stochastiques

Modèles à Événements Discrets Réseaux de Petri Stochastiques

Table des matières 1 Chaînes de Markov Définition formelle Idée générale Discrete Time Markov Chains Continuous Time Markov Chains Propriétés Analyse de Performance 2 Réseaux de Petri Stochastiques Idée generale Types de Réseaux de Petri Stochastiques Graphe d atteignabilité Matrice de transition Indices de performances Exercices () Modèles à Événements Discrets 2 / 36

Chaînes de Markov Table des matières 1 Chaînes de Markov Définition formelle Idée générale Discrete Time Markov Chains Continuous Time Markov Chains Propriétés Analyse de Performance 2 Réseaux de Petri Stochastiques Idée generale Types de Réseaux de Petri Stochastiques Graphe d atteignabilité Matrice de transition Indices de performances Exercices () Modèles à Événements Discrets 3 / 36

Chaînes de Markov Chaînes de Markov Définition formelle Définition formelle Un processus stochastique {X(t), t 0} forme une chaîne de Markov à temps continu si pour tous les entiers n, et pour n importe quelle séquence t 0, t 1,..., t n, t n+1 telle que t 0 < t 1 <... < t n < t n+1, on a Prob{X(t n+1 ) = x n+1 X(t 0 ) = x 0, X(t 1 ) = x 1,..., X(t n ) = x n } = Prob{X(t n+1 = x n+1 X(t n ) = x n } Probabilités de transition À partir du processus stochastique Prob{X(t n+1 = x n+1 X(t n ) = x n } on peut écrire les probabilités de transition d une chaîne de Markov à temps continu et non-homogène par : p ij (s, t) = Prob{X(t) = j X(s) = i} où X(t) est l état de la chaîne de Markov dans le temps t s () Modèles à Événements Discrets 4 / 36

Chaînes de Markov Chaînes de Markov Idée générale Pourquoi étudier ce modèle? Formalisme classique ; Avantage : simplicité et facilité d utilisation ; Problème : quasiment impossible d envisager une modélisation directe pour de grands systèmes. Les propriétés mathématiques facilitent l analyse des performances. Modélisation par des Chaînes de Markov Représentation du système en terme d états/transitions ; La dynamique du système est représentée par une matrice de transition ; Échelles de temps : Temps continu, distribution exponentielle, taux de transition ; Temps discret, distribution géométrique, probabilités de transition. () Modèles à Événements Discrets 5 / 36

Chaînes de Markov Chaînes de Markov Idée générale Définition Une chaîne de Markov est une suite de variables aléatoires (X n, n Æ) qui permet de modéliser l évolution discrète et dynamique d un système aléatoire : X n représente l état du système à l instant n. Propriété de Markov La propriété fondamentale des chaînes de Markov, dite propriété de Markov, est que son évolution future ne dépende du passé que au travers de sa valeur actuelle. Autrement dit, (X o,..., X n ) et (X n+k, k Æ) sont indépendants en relation à X n. () Modèles à Événements Discrets 6 / 36

Chaînes de Markov Chaînes de Markov Idée générale Représentation graphique a R b S d E c R (reveillé), S (sommeil) et E (endormi) sont des états ; a, b, c et d sont des taux ou probabilités de transition. () Modèles à Événements Discrets 7 / 36

Chaînes de Markov Discrete Time Markov Chains Chaînes de Markov à temps discret - DTMC Présentation Dans une chaîne de Markov à temps discret, on observe l état du système dans un ensemble discret du temps. Autrement dit, l intervalle de temps entre chaque observation est constant. Intervalle d observation Un important paramètre dans le DTMC est le choix de l intervalle de temps entre les observations : Un intervalle trop petit ne permet pas d observer des changements d état. Un intervalle trop grand permet de multiples changements d état entre chaque observation. () Modèles à Événements Discrets 8 / 36

Chaînes de Markov Discrete Time Markov Chains Chaînes de Markov à temps discret - DTMC Étudiant endormi 0.5 R 0.3 S 0.9 E 0.6 Matrice de transition P =??? P est une matrice stochastique si la somme de chaque ligne est égal 1. () Modèles à Événements Discrets 9 / 36

Chaînes de Markov Continuous Time Markov Chains Chaînes de Markov à temps continu - CTMC Présentation Dans une chaîne de Markov à temps continu, le changement d état peut se produire dans n importe quel point dans le temps. Ces points sont aléatoires et pas nécessairement entiers. Intervalle de temps L intervalle de temps entre chaque changement d état suit une variable exponentielle dont le taux dépend uniquement de l état courant du système. () Modèles à Événements Discrets 10 / 36

Chaînes de Markov Rappels lois exponentielles Continuous Time Markov Chains X variable aléatoire à valeur dans R 0 Distribution sur R 0 Densité de probabilité : f : R 0 R 0 telle que R 0 f(t)dt = 1 Fonction de répartition : F(x) = P(X x) = x t=0 f(t)dt Propriété sans mémoire On cherche une distribution de probabilité vérifiant la propriété : P(X > s + t X > t) = P(X > s) Solutions de cette équation : les lois exponentielles () Modèles à Événements Discrets 11 / 36

Chaînes de Markov Rappels lois exponentielles (2) Continuous Time Markov Chains Lois exponentielles Paramètre λ R >0 Densité de probabilité : f(t) = λe λt Fonction de répartition : F(x) = P(X x) = 1 e λx Densité de probabilité Fonction de répartition Propriétés loi sans mémoire Espérance (valeur moyenne) = 1 λ () Modèles à Événements Discrets 12 / 36

Chaînes de Markov Continuous Time Markov Chains Chaînes de Markov à temps continu - CTMC Étudiant endormi 3 R 2 S 6 E 4 Matrice de transition Q =??? () Modèles à Événements Discrets 13 / 36

Propriétés Chaînes de Markov Propriétés Irreductibilité état accessible : Un état j est dit accessible à partir d un état i (i j) si à partir de l état i on peut arriver à l état j avec une probabilité non-nulle. état communicant : Un état i est dit communicant avec l état j (i j) si i j et j i. Un ensemble d états C est une classe communicante si tous les états dans C communique avec tous les autres et aucun état dans C communique avec un état en dehors de C. Chaîne de Markov irréductible Une chaîne de Markov est dite irréductible si son espace d états est formé par une seule classe communicante. Autrement dit, s il est possible d atteindre n importe quel état à partir d un état quelconque. () Modèles à Événements Discrets 14 / 36

Propriétés Chaînes de Markov Propriétés Periodicité état périodique : Un état i a une période k si tout retour à l état i doit avoir lieu dans un nombre de pas multiple de k (k > 1). état apériodique : Si k = 1, alors l état est dit apériodique. Chaîne de Markov apériodique Une chaîne de Markov est apériodique si tous les états sont aperiodiques. Il suffit d un seul état apériodique pour que tous les états d une chaîne de Markov irréductible soient aperiodiques. () Modèles à Événements Discrets 15 / 36

Propriétés Chaînes de Markov Propriétés Récurrence état transitoire : un état i est dit transitoire si, étant donné qu on commence par l état i, il y a une probabilité non-nulle de ne plus jamais retourner à l état i. état récurrent : un état i est récurrent s il n est pas un état transitoire. état absorbant : un état i est dit absorbant s il est impossible de sortir de cet état. () Modèles à Événements Discrets 16 / 36

Propriétés Chaînes de Markov Propriétés Ergodicité état ergodique : un état i est dit ergodique s il est apériodique et récurrent. Chaîne de Markov ergodique Une chaîne de Markov est ergodique si elle est apériodique, et si tous ses états sont ergodiques. () Modèles à Événements Discrets 17 / 36

Chaînes de Markov Analyse de performance Analyse de Performance Type d analyse Transitoire : évolution du comportement du système (dépendant du temps et de l état initial) ; Stationnaire : comportement moyen du système (independant du temps et de l état initial). L analyse transitoire nous permet d observer l évolution d un système dans le temps à partir d un état initial. Ces systèmes ont tendance à aller vers un comportement stationnaire, indépendant de l état initial et du temps. Évolution du système 1... Probabilité de l état x Régime stationnaire... π[x] 0 0 1 2 3 t Temps... () Modèles à Événements Discrets 18 / 36

Chaînes de Markov Analyse de Performance Analyse de performance : cas ergodique On considère des chaînes de Markov ergodiques Discrete Time Markov Chain On note Q la matrice de transition. Le comportement en régime stationnaire est caractérisé par une distribution de probabilités π, vecteur de taille n (nb d états de la chaîne de Markov), vérifiant : i π i = 1 π.q = π Continuous Time Markov Chain On note Q la matrice de transition. Le comportement en régime stationnaire est caractérisé par une distribution de probabilités π, vecteur de taille n (nb d états de la chaîne de Markov), vérifiant : i π i = 1 π.q = 0 () Modèles à Événements Discrets 19 / 36

Chaînes de Markov Exercice - Chaînes de Markov Analyse de Performance PageRank (simplifié) PageRank est l algorithme d analyse des liens concourant au système de classement des pages Web utilisé par le moteur de recherche Google. Il mesure quantitativement la popularité d une page web. Fonctionnement Le principe de base est d attribuer à chaque page une valeur proportionnelle au nombre de fois que passerait par cette page un utilisateur parcourant le graphe du Web en cliquant aléatoirement, sur un des liens apparaissant sur chaque page. Chaque lien d une page vers une autre correspond à une transition. Chaque page représente un état. () Modèles à Événements Discrets 20 / 36

Chaînes de Markov Exercice - Chaînes de Markov Analyse de Performance Exercice Considerez un ensemble de 4 pages web. Chaque page a les liens suivants : Page 1 : 2 et 3 Page 2 : 3 et 4 Page 3 : 1, 2 et 4 Page 4 : 1 et 2 Donnez la chaîne de Markov, la matrice de transition et le PageRank de chaque page. () Modèles à Événements Discrets 21 / 36

Réseaux de Petri Stochastiques Table des matières 1 Chaînes de Markov Définition formelle Idée générale Discrete Time Markov Chains Continuous Time Markov Chains Propriétés Analyse de Performance 2 Réseaux de Petri Stochastiques Idée generale Types de Réseaux de Petri Stochastiques Graphe d atteignabilité Matrice de transition Indices de performances Exercices () Modèles à Événements Discrets 22 / 36

Réseaux de Petri Stochastiques Idée generale Réseaux de Petri Stochastiques Définition générale Un réseau de Petri stochastique est un réseau de Petri dans lequel les temps de franchissement des transitions sont générés par des variables aléatoires de distributions données quelconques à support dans [0, ). Motivations Permet de modéliser des tâches avec des temps d exécution non determinites Possibilité de prendre en compte des pannes aléatoires... Pourquoi utiliser des RdPS? ils permettent de modéliser et spécifier le comportement du système étudié de valider le modèle d évaluer le modèle (simulation ou calcul numérique) () Modèles à Événements Discrets 23 / 36

Réseaux de Petri Stochastiques Types de Réseaux de Petri Stochastiques Differents Réseaux de Petri Stochastiques Cas général Le comportement dynamique d un réseau de Petri stochastique est décrit au travers de processus stochastiques : A chaque transtion t, on associe un processus stochastique {X t (k), k = 1,.., }, où X t (k) est une variable aléatoire correspondant au k me temps de franchissement de la transition t. Independance des variables Les X t (k) pour k = 1,.., sont des distributions identiques et indépendantes. Les séquences {X t (k), k = 1,.., } pour tout t T, sont mutuellement indépendantes. () Modèles à Événements Discrets 24 / 36

Réseaux de Petri Stochastiques Types de Réseaux de Petri Stochastiques Réseaux de Petri Stochastiques - Distribution exponentielle Réseaux de Petri Stochastiques / Stochastic Petri Nets (SPN) RdP temporisé dans lequel les temps d exécution des transitions sont représentés par des variables aléatoires de distributions exponentielles. Réseaux de Petri Stochastiques Généralisés / Generalized Stochastic Petri Net (GSPN) RdP dans lequel le franchissement de certaines transitions est immédiat, et les temps d exécution des autres transitions sont représentés par des variables aléatoires de distributions exponentielles. Réseaux de Petri Stochastiques et déterministes / Deterministic and Stochastic Petri Net (SPN) C est une extension des GSPN dans laquelle les temps d exécution des transtions temporisées sont déterministes ou représentés par des variables aléatoires de distributions exponentielles. () Modèles à Événements Discrets 25 / 36

Définition formelle Réseaux de Petri Stochastiques Types de Réseaux de Petri Stochastiques Définition Soit SPN = (P, T, Pre, Post, M 0,Λ) un réseau de Petri stochastique où : P est un ensemble fini de places ; T est un ensemble fini de transitions ; Pre et Post sont, respectivement, les matrices d incidence avant et après ; M 0 est le marquage initial ; Λ = (λ 1,..,λ T ) où λ i est le taux associé à la transition t i (paramètre de la loi exponentielle). Rappel : le taux est l inverse de la moyenne des temps de franchissement. () Modèles à Événements Discrets 26 / 36

Réseaux de Petri Stochastiques Hypothèses necessaires Types de Réseaux de Petri Stochastiques Hypothèses Les taux associés aux transitions sont indépendants du marquage ; Chaque transition correspond à un serveur unique (pas de transitions multiples au même instant) ; On choisit une politique concurrentielle (pas de reservations de tokens). () Modèles à Événements Discrets 27 / 36

RdPS - Exemple Réseaux de Petri Stochastiques Types de Réseaux de Petri Stochastiques Étudiant endormi P 1 t 4 t 2 t 1 Transition Taux t 1 3 t 2 2 t 3 4 t 4 6 P 3 P 2 t 3 () Modèles à Événements Discrets 28 / 36

Réseaux de Petri Stochastiques Grafe d atteignabilité Graphe d atteignabilité Propriétés Le graphe d atteignabilité d un SPN est identique à celui du réseau de Petri non temporisé correspondant. Un SPN est isomorphe à une chaîne de Markov à temps continu (CTMC). En particulier, un SPN k-borné est isomorphe à une CTMC finie. Construction de la CTMC Le graphe d atteignabilité, valué par les taux correspondant au franchissement des transitions, définit le générateur d un processus markovien homogéne. La CTMC associée à un RdPS donné est donc obtenue en appliquant les règles suivantes : 1 l espace d états de la CTMC S = {s i }correspond à l ensemble des marquages atteignables à partir de M 0 (i.e. R(M 0 )) du réseau de Petri ; 2 Les taux pour passer de l état s i (correspondant à M i ) à l état s j (M j ) est obtenu en sommant tous les taux de franchissement des transitions qui permettent de passer de M i à M j. () Modèles à Événements Discrets 29 / 36

Réseaux de Petri Stochastiques SPN CTMC : exemple Graphe d atteignabilité Étudiant endormi t 1 3 1,0,0 0,1,0 t 2 1,0,0 0,1,0 2 t 4 0,0,1 t 3 6 0,0,1 4 2 étudiants Comment modeliser le comportement de deux étudiants? () Modèles à Événements Discrets 30 / 36

Réseaux de Petri Stochastiques Matrice de transition Matrice de transition Matrice de transition Q La matrice de transition Q (appelée aussi générateur du processus markovien) est obtenue ainsi : { k/t q ij = k E j (M i ) λ k si i j q i si i = j où q i = k/t k E(M i ) λ k E(M i ) : ensemble des transitions franchissables à partir du marquage M i E j (M i ) : ensemble des transitions de E(M i ) permettant d obtenir M j Construisez la matrice de transition de l exemple précédent pour 2 étudiants. () Modèles à Événements Discrets 31 / 36

Réseaux de Petri Stochastiques Indices de performances Indices de performances Temps de séjour Le temps de séjour suit une loi exponentielle de taux q i (la somme des taux de toutes les transitions possibles). On a donc : La probabilité de franchir en premier t j E(M i ) à partir de M i est égal à λ j q i Le temps de séjour moyen dans la marquage M i est égal à 1 q i Probabilités en régime stationnaire La distribution de probabilité des états d un SPN en régime stationnaire est représentée par un vecteur π = (π 1,..,π s ) = (π(m 1 ),..,π(m s )) de dimension s, où s correspond au nombre de marquages du SPN. Si le SPN est ergodique, π est obtenu en résolvant le système suivant : { πq = 0 s i=1 π i = 1 () Modèles à Événements Discrets 32 / 36

Réseaux de Petri Stochastiques Indices de performances Indices de performances Fonction indice On peut associer à chaque marquage une fonction indice (ou récompense) r(m). Cette fonction associe le marquage à la probabilité d état correspondant au marquage. L indice moyen est defini par : R = i/m i R(M 0 ) r(m i )π i Probabilité d une condition particulière Si γ(m) est vraie uniquement dans certains marquages du SPN, on peut définir une fonction indice tel que : { 1 si γ(m) est vraie r(m) = 0 sinon on définit alors : P(γ) = i M i A π i = R où A = {M i R(M 0 ) γ(m i )vraie} () Modèles à Événements Discrets 33 / 36

Réseaux de Petri Stochastiques Indices de performances Indices de performances Nombre moyen de jetons Pour calculer le nombre moyen de jetons, on définit la fonction indice tel que : r(m) = n ssi M(P i ) = n On obtient ainsi : E(M(P i )) = np{a(i, n)} où A(i, n) = {M j R(M 0 )/M j (P i ) = n} n>0 Nombre moyen de franchissement Le nombre moyen de franchissement par unité de temps pour une transition t i est défini par : F i = j M j A i λ i q j π j où A i = {M j R(M 0 ) t i E(M j )} () Modèles à Événements Discrets 34 / 36

Réseaux de Petri Stochastiques Exercices Ordinateur à memoire partagée Problème Considérez un ordinateur avec 4 processeurs et une seule mémoire partagée entre ces processeurs. Chaque processeur peut être dans les états suivants : Calcul, Attente et Memoire. A chaque fois que le calcul se termine, le processeur passe à l état d attente pour pouvoir accéder à la mémoire et récupérer de nouvelles données. Un seul processeur peut accéder à la mémoire à la fois. Lorqu il a les nouvelles données, il reprend le calcul. Considérez les taux suivants : Transition Taux C -> A 5 A -> M 10 M -> C 5 Quelle est la probabilité qu un seul processeur soit dans l état d attente? Combien de processeurs peut-on mettre dans cet ordinateur sans perdre de performances? () Modèles à Événements Discrets 35 / 36

Test de logiciel Réseaux de Petri Stochastiques Exercices Problème Imaginez un logiciel pour lire et convertir de la musique MP3. L interface du logiciel est composée de trois boutons : Ouverture, lecture et conversion. L utilisateur ne peut pas commencer la lecture ou la conversion avant d ouvrir le fichier. Toutefois, il peut ouvrir un nouveau fichier lorsqu il est en train de lire ou de convertir un fichier. Chaque boutons déclenche une fonction différente du logiciel. Nous voulons tester exhaustivement chacune des trois fonction du logiciel, mais nous n avons que la possibilité d en tester deux. Quelles sont les fonctions plus utilisées? () Modèles à Événements Discrets 36 / 36