Policy iteration algorithm for zero-sum stochastic games with mean payoff

Transcription

1 Polcy teraton algorthm for zero-sum stochastc games wth mean payoff Jean Cochet-Terrasson, Stéphane Gaubert To cte ths verson: Jean Cochet-Terrasson, Stéphane Gaubert. Polcy teraton algorthm for zero-sum stochastc games wth mean payoff. Comptes Rendus. Mathématque, Centre Mersenne ( ) ; Elsever Masson ( ), 2006, 343 (5), pp /j.crma nra HAL Id: nra Submtted on 1 May 2007 HAL s a mult-dscplnary open access archve for the depost and dssemnaton of scentfc research documents, whether they are publshed or not. The documents may come from teachng and research nsttutons n France or abroad, or from publc or prvate research centers. L archve ouverte plurdscplnare HAL, est destnée au dépôt et à la dffuson de documents scentfques de nveau recherche, publés ou non, émanant des établssements d ensegnement et de recherche franças ou étrangers, des laboratores publcs ou prvés.

2 POLICY ITERATION ALGORITHM FOR ZERO-SUM STOCHASTIC GAMES WITH MEAN PAYOFF JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT ABSTRACT. We gve a polcy teraton algorthm to solve zero-sum stochastc games wth fnte state and acton spaces and perfect nformaton, when the value s defned n terms of the mean payoff per turn. Ths algorthm does not requre any rreducblty assumpton on the Markov chans determned by the strateges of the players. It s based on a dscrete nonlnear analogue of the noton of reducton of a super-harmonc functon. ALGORITHME D ITÉRATION SUR LES POLITIQUES POUR LES JEUX STOCHASTIQUES À SOMME NULLE AVEC GAIN MOYEN RÉSUMÉ. Nous donnons un algorthme d tératon sur les poltques pour résoudre les jeux stochastques à somme nulle, avec espaces d état et d acton fns, en nformaton parfate, lorsque la valeur du jeu est défne en termes de gan moyen par tour. Cet algorthme ne demande pas que les chaînes de Markov détermnées par les stratéges des deux joueurs soent rréductbles. Il repose sur un analogue dscret non-lnéare de la noton de rédute d une foncton surharmonque. VERSION ABRÉGÉE EN FRANÇAIS Une applcaton f défne sur R n est dte polyédrale s l on peut recouvrr R n par un nombre fn de polyèdres de sorte que la restrcton de f à chacun des polyèdres sot affne. Une applcaton f : R n R n est dte contractante pour une norme s f(x) f(y) x y. Kohlberg [12] a démontré que s f : R n R n est polyédrale et contractante pour une norme quelconque, on peut trouver des vecteurs v et η dans R n tels que f(v + tη) = v + (t + 1)η, pour tout réel t assez grand. Nous appellerons dem-drote une applcaton de la forme t v + tη, et nous drons qu elle est nvarante (relatvement à f) s elle Date: June 16,

3 2 JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT vérfe la proprété précédente. L ntérêt d une dem-drote nvarante est qu elle détermne le taux de crossance des orbtes de f, χ(f) := lm k f k (x)/k, où l on désgne par f k la k-ème térée de f, et où x désgne un vecteur quelconque de R n. On vérfe en effet que χ(f) = η. Dans cette note, nous donnons un algorthme pour calculer une dem-drote nvarante lorsque l applcaton polyédrale f est crossante au sens large (pour l ordre partel usuel de R n ) ans qu addtvement homogène, ce qu sgnfe qu elle commute avec l addton d un vecteur constant. Vor [8] pour plus de détals sur cette classe d applcatons. Ce traval est motvé par l étude des jeux stochastques à deux joueurs et à somme nulle, en nformaton parfate, avec gan moyen. Lorsque l espace d états est {1,..., n}, et lorsque les espaces d actons sont fns, l opérateur de programmaton dynamque du jeu vérfe les hypothèses précédentes. La coordonnée χ (f) fournt la valeur du jeu lorsque l état ntal est. Notre algorthme étend l tératon sur les poltques de Howard [10], qu s applque au cas à un seul joueur. Hoffman et Karp [9] ont donné une premère généralsaton au cas à deux joueurs, cependant, leur méthode exge que les matrces de Markov ndutes par un couple quelconque de stratéges statonnares des deux joueurs soent rréductbles. Snon, on rencontre des tératons dégénérées, dans lesquelles la nouvelle stratége qu est chose n amélore pas nécessarement la valeur de la précédente. L algorthme peut alors cycler. Nous résolvons c cette dffculté en ncorporant dans chaque tératon dégénérée un analogue non-lnéare du calcul de la rédute d une foncton surharmonque, ce qu revent à résoudre un problème auxlare d arrêt optmal (à un joueur), assurant ans la termnason de l algorthme. Cec étend au cas stochastque les algorthmes développés par Gunawardena et les auteurs [7, 4] dans le cas des jeux détermnstes. La preuve explote des résultats d Akan et du second auteur [1], sur la structure de l ensemble des ponts fxes d une applcaton convexe, crossante, addtvement homogène. L exstence d un algorthme polynômal pour calculer χ(f) est un problème ouvert [5, 2, 11]. Sgnalons qu une verson prélmnare du présent traval est apparue dans [3].

4 POLICY ITERATION ALGORITHM FOR ZERO-SUM STOCHASTIC GAMES WITH MEAN PAYOFF 3 Présentons mantenant l analogue non-lnéare de la noton de foncton surharmonque rédute utlsé dans l algorthme. Sot g : R n R n une applcaton convexe, crossante, addtvement homogène, telle que χ(g) = 0. Un vecteur u R n est dt harmonque (relatvement à g) s g(u) = u. Il est dt surharmonque s g(u) u. Rappelons quelques défntons et résultats de [1]. Supposons qu l exste au mons un vecteur harmonque, u. Nous défnssons le sous-dfférentel de g au pont u, g(u) := {M R n n g(x) g(u) M(x u), x R n }, et notons que cet ensemble est formé de matrces stochastques. Un nœud est dt crtque s l appartent à une classe de récurrence d une des matrces M g(u). L ensemble des nœuds crtques est ndépendant du chox du vecteur harmonque u. En fat, lorsque g provent d un problème de contrôle stochastque avec crtère ergodque, un nœud est crtque s et seulement s l est récurrent pour une stratége statonnare optmale. Pour tout sous-ensemble I {1,..., n}, et pour tout vecteur x R n, nous notons r I x R N la restrcton de x, défne par (r I x) := x, Nous posons x I := r I x, Sot J := {1,..., n} \ I. Nous défnssons l applcaton g I := r I g, et désgnons par ı I l applcaton dentfant canonquement R I R J à R n, laquelle envoe (y, z) vers le vecteur x tel que x = y pour tout I et x = z pour tout J. Théorème 1. Sot g : R n R n une applcaton convexe, crossante, addtvement homogène, admettant au mons un vecteur harmonque. Sot C l ensemble des nœuds crtques de g, N := {1,..., n} \ C, et sot u un vecteur surharmonque. L une quelconque des condtons suvantes défnt de manère unque le même vecteur v : () v est harmonque et coïncde avec u sur C ; () v est le plus pett vecteur surharmonque majorant u sur C ; () v coïncde avec u sur C, et sa restrcton à N est l unque pont fxe de l applcaton y g N (ı N (y, u C )). Nous notons Q g u l unque vecteur harmonque v défn dans le Théorème 1. Lorsque g(x) = Mx est lnéare, et que la matrce M est stochastque, Q g u coïncde avec la rédute du vecteur surharmonque u relatvement à l ensemble C. Le calcul de Q g u est équvalent à la résoluton d un problème d arrêt optmal, qu peut être menée par tératon sur les poltques [6].

5 4 JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT Nous défnssons mantenant un opérateur analogue à Q g agssant sur les dem-drotes. Nous supposons pour cela que g : R n R n est polyédrale, convexe, crossante, et addtvement homogène, et que sa -ème coordonnée est donnée par l expresson (1) c-dessous, dans laquelle B est un ensemble fn, r b R, and P b est un vecteur (lgne) stochastque. Sot η := χ(g). Défnssons l applcaton ḡ(x) := lm t g(x + tη) (t + 1)η. Les coordonnées de ḡ sont données par ḡ (x) = max b B η +r b +P b x, où B est l ensemble des b attegnant le maxmum dans l expresson max b B P b η. L ensemble des nœuds crtques de g, C(g), est par défnton l ensemble des nœuds crtques de ḡ. Nous drons qu une dem-drote w(t) est surnvarante s g w(t) w(t + 1), pour t assez grand. Corollare 1. Sot g : R n R n une applcaton polyédrale, convexe, crossante, et addtvement homogène. Sot w(t) = v + tη une dem-drote surnvarante de g, telle que η = χ(g). Il exste une unque dem-drote nvarante de g qu coïncde avec w sur l ensemble des nœuds crtques de g. Elle est donnée par t Qḡv + tη. Nous posons Q g w(t) := Qḡv + tη. Dans la sute, nous supposons que chaque coordonnée f de f est donnée par (2), où A est un ensemble fn, et où chaque f a est une applcaton polyédrale crossante, addtvement homogène, et convexe, de R n dans R. Une stratége (statonnare, en boucle fermée) est une applcaton σ de {1,..., n} dans 1 n A telle que σ() A. Pour toute stratége σ, nous désgnons par f (σ) l applcaton de R n dans lu même dont la -ème coordonnée est donnée par f (σ) = f σ(). Algorthme 1 (Itératon sur les poltques pour les jeux stochastques). Donnée : Une applcaton f dont les coordonnées sont de la forme (2). Résultat : Une dem-drote nvarante de f. (1) Intalsaton. Chosr une stratége arbtrare σ 1, et calculer une dem-drote nvarante de f (σ1), w (1) (t) = v (1) + tη (1). Poser k = 1. (2) S f w k (t) = w k (t + 1) a leu pour t assez grand, l algorthme s arrête. (3) Snon, amélorer la stratége en sélectonnant une nouvelle stratege σ k+1 telle que f w k (t) = f (σk+1) w k (t) at leu pour t assez grand. Le chox de σ k+1

6 POLICY ITERATION ALGORITHM FOR ZERO-SUM STOCHASTIC GAMES WITH MEAN PAYOFF 5 dot être effectué de manère conservatrce, ce qu sgnfe que σ k+1 () = σ k () s f w k (t) = f (σ k) w k (t) pour t assez grand. (4) Calculer une dem-drote nvarante arbtrare w(t) = v + tη de f (σ k+1). S η η (σ k), on pose w k+1 = w. S η = η (σ k), l tératon est qualfée de dégénérée, et on pose w k+1 = Q f (σ k+1 )w k. On défnt v k+1 et η (σ k+1) par w k+1 (t) = v k+1 + tη (σ k+1). (5) Augmenter k d une unté, et retourner à l étape 2. Théorème 2. La même stratége n est jamas sélectonnée deux fos et donc l algorthme s arrête. Ce résultat est démontré à l ade du Théorème 1. On montre notamment que χ(f (σ k+1) ) χ(f (σ k) ), et que s χ(f (σ k+1) ) = χ(f (σ k) ), on a w k+1 w k, w k+1 = w k pour tout C(f (σ k+1) ), et C(f (σ k+1) ) C(f (σ k) ). 1. INTRODUCTION A map f defned on R n s polyhedral f there s a coverng of R n by fntely many polyhedra such that the restrcton of f to any of these polyhedra s affne. A self-map f of R n s nonexpansve n a norm f f(x) f(y) x y. Kohlberg [12] showed that f f s a polyhedral self-map of R n that s nonexpansve n some norm, then, there exst two vectors v and η n R n such that f(v + tη) = v + (t + 1)η, for all t R large enough. A map of the form t v + tη s called a half-lne. It s nvarant f t satsfes the latter property. The nterest of an nvarant half-lne s that ts lnear part determnes the growth rate of the orbts of f, χ(f) := lm k f k (x)/k. Here, f k denotes the k-th terate of f, and x s an arbtrary vector of R n. If f has an nvarant half-lne t v + tη, then, χ(f) does exst and s equal to η. In ths note, we gve an algorthm to compute an nvarant half-lne, when the polyhedral map f satsfes the followng condtons. We requre f to be order-preservng, meanng

7 6 JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT that x y = f(x) f(y), where denotes the standard orderng of R n. We also requre f to be addtvely homogeneous, meanng that t commutes wth the addton of a constant vector. These two condtons mply that f s nonexpansve n the sup-norm. (See [8] for more background on ths class of nonlnear maps.) Ths work s motvated by the study of zero-sum two players stochastc games wth perfect nformaton and mean payoff. When the state space s {1,..., n}, and when the acton spaces are fnte, the dynamc programmng operator of the game satsfes the prevous assumptons. The coordnate χ (f) gves the value of an nfnte game wth mean payoff, n whch the ntal state s and the payoff of the nfnte trajectory nduced by a par of strateges of the two players s defned as the Cesaro lmt of the expectatons of the payoffs of the successve transtons. Our algorthm extends Howards polcy teraton algorthm [10], whch apples to the one player case. Hoffman and Karp [9] gave a partal extenson to the two players case. However, ther method requres every Markov chan assocated to a par of statonary feedback strateges of the two players to be rreducble. If ths assumpton does not hold, degenerate teratons may occur, n whch the new strategy whch s selected may not have an mproved value. Then, the algorthm may cycle. We solve ths dffculty by computng a non-lnear analogue of a reduced super-harmonc functon, at each degenerate teraton, whch requres solvng an auxlary (one player) optmal stoppng problem. Ths s ntmately related wth Perron s method n the study of the Drchlet problem. The present algorthm extends the ones whch have been developed by the authors and Gunawardena [7, 4] n the case of determnstc games. Its proof explots earler results of Akan and the second author [1], on the structure of the fxed pont set of a convex order-preservng addtvely homogeneous map. The exstence of a polynomal tme algorthm to compute χ(f) s an open queston [5], even n the determnstc case [2, 11]. Fnally, we note that a prelmnary account of the present work has appeared n [3].

8 POLICY ITERATION ALGORITHM FOR ZERO-SUM STOCHASTIC GAMES WITH MEAN PAYOFF 7 2. REDUCED SUPER-HARMONIC VECTORS AND POLICY ITERATION ALGORITHM We frst present the non-lnear analogue of a result of classcal potental theory, on whch the algorthm reles. Assume that g s a self-map of R n that s convex, order preservng, addtvely homogeneous, wth χ(g) = 0. We say that a vector u R n s harmonc (wth respect to g) f g(u) = u, and that t s super-harmonc f g(u) u. Let us recall some defntons and results of [1]. Assume that there exsts at least one harmonc vector, u. The subdfferental of g at pont u s defned by g(u) := {M R n n g(x) g(u) M(x u), x R n }. Ths set conssts of stochastc matrces. We say that a node s crtcal f t belongs to a recurrence class of some matrx M g(u). The set of crtcal nodes s ndependent of the choce of the harmonc vector u. Indeed, when g arses from a stochastc control problem wth ergodc reward, a node s crtcal ff t s recurrent for some statonary optmal strategy. If I s any subset of {1,..., n}, we denote by r I the restrcton from R n to R I, such that (r I x) := x, for all I. For all u R n, we defne u I := r I u. Let J := {1,..., n}\i. We defne the map g I := r I g, and we denote by ı I the canoncal map dentfyng R I R J to R n, whch sends (y, z) to the vector u such that u = y for all I and u = z for all J. Theorem 1. Let g denote a convex, order preservng, and addtvely homogeneous selfmap of R n. Assume that g admts at least one harmonc vector. Let C denote the set of crtcal nodes of g, let N denote the complement of C n {1,..., n}, and let u denote a super-harmonc vector. Then, any of the followng condtons defnes unquely the same vector v: () v s harmonc and concdes wth u on C; () v s the smallest super-harmonc vector that domnates u on C; () v concdes wth u on C and ts restrcton to N s the unque fxed pont of the map y g N (ı N (y, u C )). We denote by Q g u the unque harmonc vector v defned n Theorem 1. When g(x) = Mx s a lnear operator, and M s a stochastc matrx, Q g u concdes wth the reduced super-harmonc vector of u wth respect to the set C. When g s a max-plus lnear operator,

9 8 JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT the operator Q g concdes wth the spectral projector whch has been defned n the maxplus lterature, see [4]. For ths reason, we call Q g the (nonlnear) spectral projector of g. Let us now explan how to compute Q g u when g s polyhedral. Assume that every coordnate g s gven as follows: (1) g (x) = max b B r b + P b x, where B s a fnte set, r b R, and P b s a stochastc (row) vector. Note frst that an nvarant half-lne of g can be computed by applyng the multchan polcy teraton algorthm of Denardo and Fox [6]. Ths provdes χ(g), together wth an harmonc vector of g when χ(g) = 0. Once an harmonc vector of g s known, the set of crtcal nodes can be computed by the algorthm of [1, 6.3]. Hence, to compute v := P g u, t suffces to apply the standard fxed pont teraton to the latter map. Alternatvely (experments ndcate ths s faster), one may note that the vector y soluton of y = g N (ı N (y, u C )) s the value of an optmal stoppng problem, n whch the process des when reachng the set C. Ths vector can be computed by the orgnal polcy teraton algorthm of Howard [10]. We now defne a spectral projector actng on half-lnes. We assume that g s a polyhedral, convex, order preservng, and addtvely homogeneous self-map of R n. Let η := χ(g), and defne ḡ(x) := lm t g(x + tη) (t + 1)η. Snce g s polyhedral, the lmt s attaned for all suffcently large t. Indeed, f the coordnates of g are of the form (1), we have ḡ (x) = max b B η + r b + P bx, where B s the set of actons b attanng the maxmum n max b B P b η. We defne the set of crtcal nodes of g, C(g), to be the set of crtcal nodes of ḡ. An half-lne w(t) = v + tη s super-nvarant f g w(t) w(t + 1), for t large enough. Corollary 1. Assume that g s a polyhedral, convex, order preservng, and addtvely homogeneous self-map of R n. Assume that w(t) = v + tη s a super-nvarant half-lne of g wth η = χ(g). Then, there exsts a unque nvarant half-lne of g whch concdes wth w on the set of crtcal nodes of g. It s gven by t Qḡv + tη.

10 POLICY ITERATION ALGORITHM FOR ZERO-SUM STOCHASTIC GAMES WITH MEAN PAYOFF 9 We defne Q g w to be the map t Qḡv + tη. In order to present the algorthm, we assume that every coordnate of f s gven by: (2) where A s a fnte set, and f a f (x) = nf a A f a (x), s a polyhedral order preservng, addtvely homogeneous, and convex map from R n to R. We call (statonary, feedback) strategy a map σ from {1,..., n} to 1 n A such that σ() A. For all strateges σ, we denote by f (σ) the self-map of R n the -th coordnate of whch s gven by f (σ) = f σ(). Algorthm 1 (Polcy teraton for stochastc games). Input: A map f the coordnates of whch are of the form (2). Output: An nvarant half-lne of f. (1) Intalsaton. Select an arbtrary strategy σ 1. Compute an nvarant half-lne of f (σ1), w (1) (t) = v (1) + tη (1). Set k = 1. (2) If f w k (t) = w k (t + 1) holds for t large enough, the algorthm halts. (3) Otherwse, mprove the strategy, by selectng a strategy σ k+1 such that f w k (t) = f (σ k+1) w k (t), for t large enough. The choce of σ k+1 must be conservatve, meanng that σ k+1 () = σ k () f f w k (t) = f (σ k) w k (t), for t large enough. (4) Compute an arbtrary nvarant half-lne w(t) = v + tη of f (σ k+1). If η η (σ k), we set w k+1 = w. If η = η (σ k), we say that the teraton s degenerate. Set w k+1 = Q f (σ k+1 )w k, and defne v k+1 and η (σ k+1) by w k+1 (t) = v k+1 +tη (σ k+1). (5) Increment k by one and go to step 2. Theorem 2. A strategy cannot be selected twce, and so, the algorthm termnates. Ths result s proved usng Theorem 1. We show, as ntermedate results, that χ(f (σ k+1) ) χ(f (σ k) ), and that, when χ(f (σ k+1) ) = χ(f (σ k) ), we have w k+1 w k, w k+1 = w k for all C(f (σ k+1) ), and C(f (σ k+1) ) C(f (σ k) ). Let us gve the mssng detals n the mplementaton of Algorthm 1, when every map f a s gven by f a = sup b B a r ab + P ab x, where B a s a fnte set, rab R, and P ab a stochastc vector. Then, for all strateges σ, f σ s the dynamc programmng operator of a Markov decson process wth fnte state and acton spaces. Recall that an nvarant s

11 10 JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT half-lne of f (σ) can be computed by applyng the polcy teraton algorthm for multchan Markov decson processes [6]. The next state s to evaluate the asymptotc behavour of f w(t), where w(t) s an half-lne, as t tends to nfnty. Computng the sum of two half-lnes, multplyng an half-lne by a scalar, and computng the nfmum or supremum of two half-lnes when t tends to nfnty, are lnear tme operatons. It follows that f w(t) can be evaluated (Step 2) n a tme whch s lnear n the sze of the codng of the operator f, and a strategy σ k+1 satsfyng the condtons of Step 3 s obtaned as a byproduct of ths evaluaton. Example 1. Consder a drected graph, wth set of nodes 1,..., n and set of arcs E {1,..., n} 2, n whch each arc (, j) s equpped wth a weght r j R. The map f defned by: f (x) = 1 ( max 2 r j + x j + mn r ) j + x j j: (,j) E j: (,j) E arses as the dynamc programmng operator of a varant wth mean payoff of the tug of war game [14] and n a class of aucton games [13]. Let us apply the algorthm to the complete graph wth 3 nodes, wth the weghts r 11 = 1, r 12 = 2, r 13 = 7, r 21 = 3, r 22 = 3, r 23 = 4, r 31 = 8, r 32 = 5, r 33 = 1. The acton space n every state can be dentfed wth {1,..., 3}. Let us choose the greedy strategy σ 1, such that σ 1 (1) = 1, σ 1 (2) = 1, σ 1 (3) = 3. The correspondng operator s gven by f (σ1) (x) = ( (1 + x 1 + max(1 + x 1, 2 + x 2, 7 + x 3 ))/2, (3 + x 1 + max(3 + x 1, 3 + x 2, 4 + x 3 ))/2, (1 + x 3 + max(8 + x 1, 5 + x 2, 1 + x 3 ))/2 ) T. We compute an nvarant half-lne of f (σ 1) by the algorthm of [6]. We obtan for nstance w 1 = v 1 + tη 1, where v 1 = (0.5, 0, 1) T and η 1 = (λ, λ, λ) T, wth λ := Snce f(w 1 (t)) < f (σ1) (w 1 (t)), we mprove the polcy. We get σ 2 (1) = 1, σ 2 (2) = 2, σ 2 (3) = 3. One can check, agan by the algorthm of [6], that χ(f (σ2) ) = (λ, λ, λ) T, and so, the teraton s degenerate. Usng the algorthm of [1, 6.3], we get that the set C of crtcal nodes of f (σ2) s {1, 3}, and so, N = {2}. Let g := f (σ2). By Corollary 1, the mage of w 1 by the spectral projector Q g s of the form z + tη (1), where z 1 = v1, 1 z 3 = v3, 1 and z 2 s obtaned by solvng the equaton z 2 = (3 + z 2 + max(3 + z 1, 3 + z 2, 4 + z 3 ))/2. The unque soluton s

12 POLICY ITERATION ALGORITHM FOR ZERO-SUM STOCHASTIC GAMES WITH MEAN PAYOFF 11 z 2 = 0.5 (n general, ths soluton could be found by the basc polcy teraton algorthm of [10]). So, w (2) (t) = (0.5, 0.5, 1) T + t(λ, λ, λ) T s an nvarant half-lne of f (σ2). Snce f(w 2 (t)) = w 2 (t + 1), the algorthm stops, showng that χ(f) = (λ, λ, λ) T. REFERENCES [1] M. Akan and S. Gaubert. Spectral theorem for convex monotone homogeneous maps, and ergodc control. Nonlnear Analyss. Theory, Methods & Applcatons, 52(2): , [2] H. Bjorklund, S. Sandberg, and S. Vorobyov. A combnatoral strongly subexponental strategy mprovement algorthm for mean payoff games. Techncal Report 05, DIMACS, [3] J. Cochet-Terrasson. Algorthmes d tératon sur les poltques pour les applcatons monotones contractantes. Thèse, École des Mnes de Pars, [4] J. Cochet-Terrasson, S. Gaubert, and J. Gunawardena. A constructve fxed pont theorem for mn-max functons. Dynamcs and Stablty of Systems, 14(4): , [5] A. Condon. The complexty of stochastc games. Inform. and Comput., 96(2): , [6] E. V. Denardo and B. L. Fox. Multchan Markov Renewal Programs. SIAM J.Appl.Math, 16: , [7] S. Gaubert and J. Gunawardena. The dualty theorem for mn-max functons. C.R. Acad. Sc., 326(1):43 48, [8] S. Gaubert and J. Gunawardena. The Perron-Frobenus theorem for homogeneous, monotone functons. Trans. of AMS, 356(12): , [9] A. J. Hoffman and R. M. Karp. On nontermnatng stochastc games. Management scences, 12(5): , [10] R. Howard. Dynamc Programmng and Markov Processes. Wley, [11] M. Jurdzńsk, M. Paterson, and U. Zwck. A determnstc subexponental algorthm for solvng party games. In Proceedngs of the ACM-SIAM Symposum on Dscrete Algorthms (SODA 2006), January [12] E. Kohlberg. Invarant half-lnes of nonexpansve pecewse-lnear transformatons. Math. Oper. Res., 5(3): , [13] A. J. Lazarus, D. E. Loeb, J. G. Propp, W. R. Stromqust, and D. H. Ullman. Combnatoral games under aucton play. Games Econom. Behav., 27(2): , [14] Y. Peres, O. Schramm, S. Sheffeld, and D. Wlson. Tug-of-war and the nfnty Laplacan. arxv:math.ap/ , 2006.

13 12 JEAN COCHET-TERRASSON AND STÉPHANE GAUBERT JEAN COCHET-TERRASSON, CGA, 14 RUE SAINT DOMINIQUE, PARIS, FRANCE. STÉPHANE GAUBERT (AUTHOR FOR CORRESPONDENCE). INRIA, DOMAINE DE VOLUCEAU, B.P. 105, LE CHESNAY CEDEX, FRANCE. TEL: , FAX: E-mal address: