Chapitre 1 : Introduction à la commande optimale

Chapitre 1 : Introduction à la commande optimale 1- Objet de la commande optimale Pour introduire la notion de commande optimale, considérons l exemple suivant : Pour arrêter la rotation d un rotor tournant à une vitesse constante, on peut lui appliquer une charge extérieure C( t ) perpendiculaire à son axe de rotation. Il s agit alors de déterminer la commande C( t ) qui permet d amener la vitesse de rotation du système de v = v à v =. Cette détermination répond souvent à un objectif tel que, l arrêt du système en un temps minimum. rouver C( t ) qui répond à cet objectif, est l objet de la théorie de la commande optimale. Le problème de détermination d une commande optimale d un processus peut s énoncer comme suit : Un processus dynamique étant donné et défini par son modèle (représentation d état, matrice de transfère, équations aux différences, ), trouver parmi les commandes admissibles celles qui permet à la fois : - de vérifier des conditions initiales et finales donnés. - de satisfaire diverses contraintes imposées. - d optimiser un critère choisi. La théorie de la commande optimale à un champ d application extrêmement vaste : - Régulation de la température d une pièce ou d un four en utilisant le minimum d énergie. - Problème de poursuite : on souhaite que la sortie du système suive le mieux possible la consigne désirée ou prévue. Il s agit dans ce cas de déterminer la commande qui minimise l énergie de poursuite. D un point de vue formel, le problème de commande optimale est un problème de minimisation ou de maximisation d une fonctionnelle ; c'est-à-dire, un problème de calcul des variations 2- Formulation du problème de commande optimale La théorie de la commande optimale couvre toutes les activités dynamiques où une performance optimale est exigée. Les systèmes à commander peuvent donc être d origine diverses : mécanique, électrique, électronique, biologie, chimie, économie, Chaque problème de commande nécessite une description des propriétés dynamiques du processus à commander. ISSA Kairouan 1

1. Détermination du modèle mathématique du système Les systèmes étudiés sont décrits par des variables d état. Par exemple : (a) Systèmes linéaires continus commandés X& = A( t) X + B( t) U où n X R et m U R. Dans le cas où les matrices A et B sont constantes, on dit que le système est stationnaire. (b) Systèmes non linéaires continus commandés X & = f ( X, U, t) où f ( X, U, t ) est une fonction vectorielle non linéaire. (c) Systèmes discrets linéaires X = A X + + B U k 1 k k k k (d) Systèmes discrets non linéaires X = k + 1 f ( X k, U k, k) Outre ce modèle, il faut formuler, pour un problème de commande optimale, le critère de performance à optimiser et les contraintes physiques. 2. Formulation de l indice de performances et des contraintes physiques Il s agit d une grandeur mathématique désignée dans la littérature techniques selon le domaine : critère (en automatique), fonction coût (en économie), fonctionnelle (en mathématique). Dans ce qui suit, on utilise le mot critère. Remarque : Sur le plan pratique il n est pas facile de déterminer un critère ; toutefois on peut toujours se ranger dans l une des catégories suivantes : - minimiser un temps ; - optimiser une amplitude ; - maximiser un profit où un revenu ; - minimiser une erreur ; - minimiser une consommation. Les critères les plus utilisés sont : (a) Problème à temps minimal J = dt (b) Cas linéaire quadratique ISSA Kairouan 2

1 1 J = X QX U RU dt t + 2 2 Cas général : ( ( ), ) J X L ( X, U, t ) dt = φ + où L( X, U, t ) est une fonction non linéaire et φ ( X ( ), ) représente la fonction coût terminal. Pour la formulation des contraintes, il faut noter leur diversité lors de la commande d un processus : soit sur le temps de simulation, sur la valeur de la commande, sur l état du système, On peut citer : - temps final fixe : est donné ; - temps final libre ; - état initial fixe ; - contrainte sur l état X ( ), ψ ( X ( )) = ; - contrainte sur la commande U. Par exemple : 1 U ( t) 1. ISSA Kairouan 3

Chapitre 2 : Commande optimale des systèmes continus où J ( ) et h( ) sont deux fonctionnelles scalaires (c-à-d fonctions de la fonction X ( t ) ). 1- Éléments de calcul des variations Nous présentons les deux relations les plus importantes pour la résolution du problème de commande optimale des systèmes continus. Ces relations seront utiles pour la détermination des conditions nécessaires d optimalité à partir de la minimisation du critère augmenté. 1.1 Relation entre variation et différentielle Soit X ( t ) une fonction continue en t, les deux différentielles dx ( t ) et dt sont alors dépendantes. On définit la variation δ X ( t) qui représente la variation sur X ( t ) à t fixé : 1.2 Règle de Leibnitz dx ( t) = δ X ( t) + Xdt & La règle de Leibnitz permet de déterminer la variation d une fonctionnelle de la forme : = ( ) J X h ( X ( t ), t ) dt Alors : h ( h X = ) X dj ( X ) h( X ( ), ) d h( X ( t ), t ) dt h ( X ( t), t) δ X ( t) dt = + 2- Solution du problème de commande optimale des systèmes continus 2.1 Position du problème Soit le système décrit par les équations d état : X & ( t) = f ( X ( t), U ( t), t) (1) n m avec X ( t) R et U ( t) R, et soit à minimiser le critère : J ( t ) = φ( X ( ), ) + L( X ( t), U ( t), t) dt (2) où φ ( X ( ), ) est la fonction coût terminal et L( X ( t), U ( t), t ) décrit le X coût à chaque instant sur la trajectoire X ( t ). ISSA Kairouan 4

On suppose que f, L et φ sont de classes 2 C. appelé Hamiltonien. Il s agit de déterminer U * ( t ) sur l intervalle [ t ] qui transfère, Le critère augmenté devient : le système décrit par (1) le long d une trajectoire optimale minimise le critère (2) et tel que : X * ( t ) qui J = φ( X ( ), ) + υ ψ ( X ( ), ) + H ( X ( t), U ( t), t) λ X& dt ψ ( X ( ), ) = (3) p avec ψ R appelé cible. 2.1 Hamiltonien et équations adjointes Pour résoudre ce problème de C.O nous allons utiliser les multiplicateurs de Lagrange. n p Soit λ( t) R et υ R les multiplicateurs correspondant respectivement à la contrainte donnée par les équations (1) et à la contrainte donnée par la cible (3). Le critère augmenté est alors : En utilisons la règle de Leibnitz pour déterminer dj, on obtient après calcul : dj = dj = donne les conditions d optimalité : La première condition redonne les équations d états du système : H X& = + = f ( X ( t), U ( t), t), t f t λ La deuxième condition donne le système suivant : J = φ( X ( ), ) + υ ψ ( X ( ), ) + L( X ( t), U ( t), t) + λ ( f ( X ( t), U ( t), t) X& dt Posons : H ( X ( t), U ( t), λ( t), t) = L( X ( t), U ( t), t) + λ f ( X ( t), U ( t), t) H f L & λ = = λ +, t p (4) X X X appelé système adjoint. ISSA Kairouan 5

La troisième condition est appelée condition de stationnarité : H f L = = λ + U U U X ( t ) donné, les variables dx ( ) et d ne sont pas indépendantes, la condition terminale est alors : ( φx ψ Xυ λ ) dx ( φt ψ t υ H ) dt (5) + + + + = (6) En effet on a : & λ = H (4) et H = (5). Si f et L ne dépendent pas du temps alors : H & = X U Dans le cas des systèmes stationnaires, le Hamiltonien est constant le long d une trajectoire. et enfin on retrouve la contrainte sur l état final : ψ ( X ( ), ) = Remarques : i. La solution du problème de C.O dépend de la condition initiale X ( t ) et de la condition terminale λ ( ) déterminée à partir de (6). Ce problème est en général très difficile à résoudre. ii. Le long d une trajectoire optimale nous avons : H& = H + H X& + H U& + H t X U λ λ t & { ( & λ) = Ht + HUU + H X + f 14243 = H & ISSA Kairouan 6

Chapitre 3 : Commande optimale linéaire quadratique (LQ) Dans ce cas le système à commander est représenté par des équations d états linéaires et le critère à minimiser est quadratique. 1- Mise en équations du problème Soit le système linéaire décrit par les équations suivantes : avec X& = A( t) X ( t) + B( t) U ( t) (7) n X R et m U R, l instant initial et soit le critère quadratique suivant : X ( t ) est donné. 1 1 J ( ) = X ( ) S( ) X ( ) + ( X Q( t) X U R( t) U ) dt 2 2 + (8) 1 H = X QX + U RU + AX + BU 2 ( ) λ ( ) La première condition nécessaire d optimalité redonne les équations d états du système : H X& = = AX + BU λ La deuxième condition (4) donne le système adjoint : H QX A & λ = = + λ (9) X et la condition de stationnarité est donné par : H RU B = = + λ (1) U D où l expression de U : où S( ) et Q sont des matrices semi-définies positives et R, matrice U 1 R B λ = (11) définie positive. Résoudre le problème LQ, revient à déterminer J t sur [ ] ( ) t., 2- Hamiltonien et équations adjointes U * ( t ) qui minimise En remplaçant (11) dans (7) on obtient : & (12) 1 X = AX BR B λ Les équations d état et les équations adjointes couplées donne alors le système suivant : Le hamiltonien de ce problème est donné par : ISSA Kairouan 7

X& A = BR B 1 X & λ Q A λ 3- Solution du problème LQ (13) Pour résoudre le système (13), il faut tenir compte des conditions terminales. Deux cas sont envisagés : - Etat final connu, conduisant à une commande en boucle ouverte. - Etat final libre, conduisant à une commande en boucle fermée. 3.1 Commande en boucle ouverte (Etat final connu) On suppose que l état final est connu X ( ) = r( ), c est-àdire dx ( ) =, le temps final étant fixé, alors d =, la condition (6) est donc vérifiée. D autre part, puisque X ( ) est fixé, le terme X ( ) S( ) X ( ) est une constante, il est donc inutile de le garder dans le critère. Il s agit de résoudre le système Hamiltonien (13) formé par 2n équations différentielles couplées connaissant la condition initiale X ( t ) et condition finale X ( ). Solution analytique dans le cas particulier Q = Le critère est alors réduit à : 1 J ( ) = 2 U RUdt Il s agit donc de déterminer la commande qui transfère le système de l état initial X ( t ) donné, à l état final X ( ) = r( ) donné, en minimisant l énergie de commande. Dans ce cas les équations d état et les équations adjacentes sont données par : et & (14) 1 X = AX BR B λ & = A λ (15) λ La solution de (15) est obtenue simplement en fonction de λ ( ) : λ A ( t) ( t) e λ( ) En utilisons (16) dans (14) : d où : = (16) & 1 A ( t) = λ( ) (17) X AX BR B e t A( t ) A( t ) 1 A ( ) τ X ( t) = e X ( t ) e BR B e τ λ( ) dτ (18) ISSA Kairouan 8

On a : A( t ) En l absence d entrée, X ( t) = e X ( t ). où encore : A( ) A( ) 1 A ( ) τ X ( ) e X ( t ) e BR B e τ λ( ) dτ = ii. L expression de U * ( t ) montre que la commande optimale est proportionnelle à la différence entre l état final désiré et la solution du système en régime libre à t =. avec : X e X t G t A ( ( ) = ) ( ) (, ) λ( ) = λ ( ) est alors donné par : A( τ ) 1 A ( τ ) G( t, ) e BR B e dτ λ ( A( ) ) 1 ( ) = G (, ) r( ) e X ( ) et la commande optimale d après (11) : * 1 A ( ) 1 ( ) ( ) t A t U t = R B e G (, ) r( ) e X ( ) iii. U * ( t ) existe si G(, ) est inversible, ce qui correspond à la condition de commondabilité du système. Donc si ( A, B ) est commandable alors il existe une commande optimale minimisant l énergie de commande (c-à-d 1 J ( ) = 2 U RUdt ) et qui transfère le système d un état initial donné à n importe quel état désiré. 3.2 Commande en boucle fermée (Etat final libre) L état X ( ) étant libre, dx ( ). D autre part, le temps est fixé, d =, la condition (6) devient alors : S( ) X ( ) = λ( ) Remarques : i. La commande optimale est en boucle ouverte puisqu elle dépend de l état initial et non de l état courant X ( t ). 1 En effet (6) φx = λ( ) car ( φ = 2 S( ) X ( ) = λ( ). X ( ) S( ) X ( ) ) soit ISSA Kairouan 9

Cette relation est la nouvelle condition terminale. On démontre qu elle est vraie pour t p. λ ( ) = S( ) X ( ) (a) En utilisons cette relation dans (12), on obtient : X& = AX t BR B S t X t 1 ( ) ( ) ( ) or (a) : & 1 λ = SX & + SX& = SX & + S ( AX BR B SX ) donc (9) devient : 1 ( ) SX & = Q + A S + SA SBR B S X Cette condition, valable pour tout t, nous avons : 1 S& = Q + A S + SA SBR B S, t p (19) Cette équation différentielle non linéaire est appelée équation de Ricatti dans le cas continu. Connaissant S( ), on peut déterminer S( t ) pour t p. La commande optimale est donné par : Soit : * 1 U t = R B λ t ( ) ( ) * 1 U t = R B S t X t ( ) ( ) ( ) = G( t) X ( t) G( t ) est appelé le gain de Kalman. Le système en boucle fermé est donné par : ( ) X& = A BG X On peut montrer aussi que le critère optimisé ne dépend que de X ( t ) et S( t ). 1 ( ) ( ) ( ) ( ) 2 * J = X S X 4- Commande LQ à horizon infini On suppose que les matrices A, B, Q, R sont indépendantes du temps. En régime permanent, c'est-à-dire pour, en supposant que S( t ) converge, nous avons alors : S& =, t p Dans ce cas S est une constante solution de l équation algébrique de Ricatti : 1 A S SA SBR B S Q + + = (2) ISSA Kairouan 1

La commande optimale est : Supposons que ( A, C ) est observable. Alors (, ) A B est stabilisable si et U = GX ( t) seulement si : avec : G 1 = R B S (21) - il existe une solution unique S définie positive de l équation de Ricatti. Mieux encore cette solution, est l unique solution définie positive de l équation algébrique de Ricatti. et le système bouclé est donné par : ( ) X& = A BG X (22) Nous devons donc connaître les conditions d existence d une telle limite pour tout S( ). De plus, il serait intéressant de savoir quand cette limite est indépendante de S( ). Les théorèmes suivants permettent de répondre à ces questions : héorème 1 : Si ( A, B ) est stabilisable alors pour chaque S( ), il existe une limite bornée S quand, solution de l équation de Ricatti. Mieux encore S est une solution semi définie positive de l équation algébrique de Ricatti. héorème 2 : - Le système bouclé donné par (22), où G est donné par (21), est asymptôtiquement stable. Remarques : i. La condition de stabilisabilité du système est une condition nécessaire pour la résolution du problème LQ à horizon infini. Or un système est stabilisable s il est commandable, ou si les variables non commandables ont une dynamique stable. Une condition moins forte que la condition de commandabilité du système est donc exigée. Notons que, comme on l a déjà vu, la solution dans le cas LQ à état final libre et à horizon fini, ne nécessite pas la commandabilité du système. ii. Le deuxième théorème a aussi permis de conclure à la stabilité asymptôtique du système en boucle fermée. iii. Par un choix convenable de Q et R, on peut placer les pôles Soit C une matrice tel que Q = C C. désirés du système en boucle fermée. ISSA Kairouan 11

5- Solution analytique de l équation de Ricatti Pour le problème LQ, les équations d état et les équations adjointes couplées s écrivent : X& A = BR B 1 X & λ Q A λ Posons : 1 A BR B H = Q A On montre que la solution de Ricatti peut être déterminée en fonction des valeurs propres et vecteurs propres de la matrice H. Posons : M D = M où M est une matrice diagonale contenant les valeurs propres instables de H (valeurs propres à partie réelle positive), et soit : W W W W W 11 12 = 21 22 la matrice de passage formée par les valeurs propres de H, avec : W11 W 21 les n vecteurs propres correspondant aux n valeurs propres stables de H. Nous avons donc : 1 W HW = D Définissons le changement de variables suivants : x λ W W w W W z 11 12 = 21 22 Si S( ) est la condition terminale de l équation de Ricatti, définissons : et ( ) 1 ( ) V ( ) = W S( ) W W S( ) W 22 12 21 11 ( ) ( ) V ( t) = e V ( ) e M t M t On obtient alors la solution de l équation de Ricatti : ( )( ) 1 S( t) = W + W V ( t) W + W V ( t) 21 22 11 12 Quand la solution de l équation algébrique de Ricatti s écrit : S = W W 1 21 12 ISSA Kairouan 12