odèles stochastues Chaîne de arkov en temps contnu
Dans le chapître précédent sur les chaînes de arkov, les moments (temps) t etaent dscrets ( t =,, ). antenant, nous allons analyser des stuatons où les observatons se font de façon contnue plutôt u'à des moments dscrets.. Formulaton + états mutuellement exclusfs:,,, L'analyse débute au temps et le temps t s'écoule de façon contnue = état du système au temps : {,,, } X t t X t Les ponts de changement d'états (pas nécessarement enters): t, t, sont des ponts aléatores dans le temps 2 t t t 2 3 X X ( t ) X ( t2 )
Consdérons tros ponts consécutfs dans le temps où l y a eu changement d'états: r ( r ) temps passé s ( s > r) temps courant (actuel) s + t ( t ) t untés de temps dans le futur. = = { } Supposons ue X s et ue X r l, avec, l,,. L'évaluaton de ( ) P X s + t = X s = and X r = l =,, est faclté par la proprété de arkov (.e., sans mémore). Défnton { X ( t) t } Un processus stochastue en temps contnu ; a la arkov s ( and ) { } proprété de P X s + t = X s = X r = l = P X s + t = X s =,, l, ; r, s > r, t >.
Défnton { X ( t) t } Un processus stochastue en temps contnu ; a la arkov s ( and ) { } proprété de P X s + t = X s = X r = l = P X s + t = X s =,, l, ; r, s > r, t > Le processus stochastue est alors une chaîne de arkov en temps contnu. ( ( + ) = = ) probabltés de tran Les probabltés P X s t X s sont des smlares à celles ue nous avons en temps dscret. ( ) ston Les probabltés de transton sont stat onnares pusu'elles sont ndépendantes de s : ( t) P X s + t = X s = = P X t = X = s > Par symétre avec le cas dscret ( ) où p dénote la foncton de probablté de transton en temps contnu p t = P X t = X =
Les probabltés de transton sont stat onnares pusu'elles sont ndépendantes de s : ( ) P X s + t = X s = = P X t = X = s > Par symétre avec le cas dscret ( t) ( ) où p dénote la foncton de probablté de transton en temps contnu p t = P X t = X = L'hypothèse suvante est fate: lm t p ( t) s = = s
2. Varables aléatores mportantes 2. Temps dans un état Dans l'évoluton du processus, dénotons T = varable aléatore du temps passé dans l'état avant de se déplacer vers un autre état ( ) [ ] Supposons ue le processus entre dans l'état au temps t = s. Pour toute durée t >, T > t X t = t s, s + t. ( > + > ) = ( > ) {,, } La proprété de statonnarté des probabltés de transton entraîne ue P T s t T s P T t.
Supposons ue le processus entre dans l'état au temps t = s. Pour toute durée t >, ( ) [ ] T > t X t = t s, s + t. La proprété de statonnarté des probabltés de transton entraîne ue ( > + > ) = ( > ) P T s t T s P T t Proprété partculère: la dstrbuton du temps restant d'c la prochane sorte de par le processus est la même uelle ue sot le temps déa passé dans l' état. La varable T est sans mémore.. La seule dstrbuton de varable aléatore contnue ayant la dstrbuton exponentelle. cette proprété est
Proprété partculère: la dstrbuton du temps restant d'c la prochane sorte de par le processus est la même uelle ue sot le temps déa passé dans l' état. La varable T est sans mémore. La seule dstrbuton de varable aléatore contnue ayant la dstrbuton exponentelle. cette proprété est Rappel : La dstrbuton exponentelle T possède un seul paramètre t P T t = e t >, et sa moyenne (espérance mathématue) est [ ] E T =. Ce résultat nous permet de décrre une chaîne de arkov en temps contnu d'une façon éuvalente comme sut:
Ce résultat nous permet de décrre une chaîne de arkov en temps contnu d'une façon éuvalente comme sut:. La varable aléatore T a une dstrbuton exponentelle avec moyenne de 2. Quand le processus utte l'état, l passe à l'état avec une probablté de p satsfasant les condtons suvantes: = { } p =,, { } p =,, 3. Le prochan état vsté après est ndépendant du temps passé dans l'état
2.2 Intenstés de transtons Les ntenstés de transton ouent un rôle pour les chaînes de arkov en temps contnu analogue aux probabltés de transton dans le cas des chaînes de arkov dscrète: ( t) d p = p = lm dt t t {,, } d p ( t) = p = lm = p dt t t, {,, } ; où p ( t) est la foncton de la probablté de transton en temps contnu et est décrt à l'tem 2. de la défnton éuvalente de la chaîne de arkov p en temps contnu. Par symétre avec le cas dscret ( t) ( ) où p dénote la foncton de probablté de transacton en temps contnu L'hypothèse suvante est fate: s = lm p ( t) = t s 2. Quand le processus utte l'état, l passe à l'état avec une probablté de p satsfasant les condtons suvantes: = { } p =,, { } p =,, p t = P X t = X =
2.2 Intenstés de transtons Les ntenstés de transton ouent un rôle pour les chaînes de arkov en temps contnu analogue aux probabltés de transton dans le cas des chaînes de arkov dscrète: d p t = p = lm dt t t {,, } d p ( t) = p = lm = p dt t t, {,, } ; où p ( t) est la foncton de la probablté de transton en temps contnu et est décrt à l'tem 2. de la défnton éuvalente de la chaîne de arkov p en temps contnu. De plus, le est en fat le paramètre défnssant la dstrbuton exponentelle de. T. La varable aléatore T a une dstrbuton exponentelle avec moyenne de
En partculer: a) = taux de transton à partr de = E[ T ] où E[ T ] = moyenne du temps passé à chaue vste dans l'état. b) = taux de transton de vers = nombre moyen de fos ue le processus passe de à par unté temps passé dans l'état de Il s'ensut ue = =.
En partculer: a) = taux de transton à partr de = E[ T ] où E[ T ] = moyenne du temps passé à chaue vste dans l'état. b) = taux de transton de vers = nombre moyen de fos ue le processus passe de à par unté de temps passé dans l'état Par analoge avec, est le paramètre de la dstrbuton exponentelle de la varable aléatore defne comme sut: Chaue fos ue le processus attent, le temps passé dans avant une transton vers (cette transton étant la premère) est une varable aléatore { } T,,,,. Les varables T sont ndépendantes, exponentelles avec paramètres dont les moyennes E T =.
Par analoge avec, est le paramètre de la dstrbuton exponentelle de la varable aléatore defne comme sut: Chaue fos ue le processus attent, le temps passé dans avant une transton vers (cette transton étant la premère) est une varable aléatore { } T,,,,. Les varables T sont ndépendantes, exponentelles avec paramètres dont les moyennes E T =. Le temps passé dans l'état avant une transton.e., T est le mnmum sur tous les des T. Quand la transton se produt, la probablté u'elle sot vers l'état est p =.
3. Probabltés à l'éulbre Nous retrouvons des proprétes smlares à celles des chaînes de arkov dscrètes. Probabltés de transton satsfont les éuatons de Chapman-Kolmogorov: = ( ), { } p t p s p t s k k k = Les états et communuent s t, t > tels ue 2 2 p t > et p t > Tous les états u communuent forment une classe > > { }, ; s t S tous les états forment une seule classe, alors la chaîne de arkov est rréductble (nous allons fare cette hypothèse par la sute dans notre analyse): p t t ;,,,.
S tous les états forment une seule classe, alors la chaîne de arkov est rréductble Probabltés à l'éulbre (probablté statonnare) de la chaîne de arkov: lm t (nous allons fare cette hypothèse par la sute dans notre analyse): p t = π =,, > > { } p t t ;,,,. exste et est ndépendante de l'état ntal de la chaîne de arkov Les probabltés à l'éulbre satsfont les relatons suvantes = = π = π p t =,, ; t AIS les éuatons d'éulbre suvantes donne un système d'éuatons plus facle à résoudre pour dentfer les π : = {,, } π = π π = n lm p = π > n π =π p =
Interprétaton ntutve: π : taux auuel le processus part de AIS les éuatons d'éulbre suvantes donne un système d'éuatons plus facle à résoudre pour dentfer les π : = = π = {,, } π = π pusue π : probablté (à l'éulbre) ue le processus sot dans l'état : taux de transton pour sortr de l'état étant donné ue le processus est dans l'état π : taux de passage de l'état à l'état = pusue π : taux de passage à l'état uelue sot l'état dans leuel se trouve le processus : taux de transton de l'état à l'état étant donné ue le processus est dans l'état Donc l s'ensut ue taux de départ de = taux d'arrvée à
Interprétaton ntutve: π : taux auuel le processus part de pusue π : probablté (à l'éulbre) ue le processus sot dans l'état : taux de transton pour sortr de l'état étant donné ue le processus est dans l'état π : taux de passage de l'état à l'état = π pusue : taux de transton de l'état à l'état étant donné ue le processus est dans l'état : taux de passage à l'état uelue sot l'état dans leuel se trouve le processus Donc l s'ensut ue taux de départ de = taux d'arrvée à Nous utlsons donc par la sute ces ÉQUATIONS DE BALANCE
Éuatons d'éulbre = = ÉQUATIONS DE BALANCE {,, } π = π π = Remplaçons les valeurs des dans les éuatons d'éulbre: = = = Intenstés de transton = =. {,, } π = π π = π Donc les éuatons de balance devennent π = = = {,, } = π π = taux de départ de = taux d'arrvée à
Exemple: Deux machnes dentues fonctonnent de façon contnue à mons d'être brsés. Un réparateur dsponble au beson pour réparer les machnes. Temps de réparaton sut une dstrbuton exponentelle avec une moyenne de.5 ournée. Une fos réparée, le temps d'utlsaton d'une machne avant son prochan brs sut une dstrbuton exponentelle de moyenne de ournée. Nous supposons ue ces dstrbutons sont ndépendantes. Consdérons le processus aléatore défn en terme du nombre de machnes en panne. La varable aléatore X ( t ) = États de X ( t ): {,,2} nombre de machnes en panne au temps t. Le temps de réparaton suvant une dstrbuton exponentelle et le temps usu'au prochan brs suvant également une dstrbuton exponentelle entraînent ue { X ( t ) t } ; est une chaîne de arkov en temps contnu
( ) = nombre de machnes en panne au temps t. X t États de X ( t ): {,,2} Le temps de réparaton suvant une dstrbuton exponentelle et le temps usu'au prochan brs suvant également une dstrbuton exponentelle entraînent ue { X ( t ) t } ; est une chaîne de arkov en temps contnu Temps de réparaton sut une dstrbuton exponentelle avec une moyenne de.5 ournée. Taux de réparaton = = 2 machnes par our.5 Une fos réparée, le temps d'utlsaton d'une machne avant son prochan brs sut une dstrbuton exponentelle de moyenne de ournée. Taux de brs d'une machne = = our
Taux de transton ( ) entre les états: Hypothèses: Les deux machnes ne peuvent se brser au même moment: = Le réparateur ne répare u'une seule machne à la fos: = 2 2 Temps de réparaton sut une dstrbuton exponentelle avec une moyenne de.5 ournée taux de réparaton = = 2 machnes par our.5 Le temps d'utlsaton d'une machne avant son prochan brs sut une dstrbuton exponentelle de moyenne de ournée taux de brs = = our Au moment où les deux machnes fonctonnent, alors taux de brs = taux de brs de machne + taux de brs de machne = + = 2
= 2 2 = 2 = 2 2 = 2 Taux de transton ( ) Hypothèses: entre les états: Les deux machnes ne peuvent se brser au même moment: = Le réparateur ne répare u'une seule machne à la fos: = Taux de réparaton = 2 machnes par our.5 = Taux de brs d'une machne = our = Taux de brs s deux machnes sont en marche = 2 2 2
= 2 2 = 2 = 2 2 = 2 Rappe l: ÉQUATIONS DE BALANCE π = = = {,, } = π π = taux de départ de = taux d'arrvée à État : π = π 2π = 2π ( ) État : π + = π + π 2 + π = 2π + 2π 3π = 2π + 2π 2 2 2 2 2 État 2: π = π 2π = π 2 2 2 2 π + π + π + 2
= 2 2 = 2 = 2 2 = 2 État : π = π 2π = 2π ( ) État : π + = π + π 2 + π = 2π + 2π 3π = 2π + 2π 2 2 2 2 2 État 2: π = π 2π = π 2 2 2 2 π + π + π + 2 2π = 2π π = π 2π 2 = π π 2 =.5π π + π +.5π = 2.5π = π =.4 π + π + π 2 = π + π + π 2 = Donc ( π, π, π ) = (.4,.4,.2) 2
Donc = 2 2 = 2 = 2 2 = 2 2 ( π, π, π ) = (.4,.4,.2) 2 Probabltés à l'éulbre π = P aucune machne brsée =.4 π = P une machne brsée =.4 π = P 2 machnes brsées =.2 Nombre moyen de machnes brsée 2 (espérance mathématue) π + π + 2 π = +.4 +.4 =.8