Multi-Agent Modelling of Electricity Markets:

Multi-Agent Modelling of Electricity Markets: Transaction Processes and Generation Capacity Expansion under Competition THÈSE N O 3878 (2007) PRÉSENTÉE le 21 septembre 2007 À LA FACULTÉ DE L'ENVIRONNEMENT NATUREL, ARCHITECTURAL ET CONSTRUIT Laboratoire de systèmes énergétiques SECTION DE génie civil ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Abdelaziz Lahlou Ingénieur civil diplômé EPF et de nationalité marocaine acceptée sur proposition du jury: Prof. M. A. Hirt, président du jury Dr E. Gnansounou, directeur de thèse Dr S.-R. Cherkaoui, rapporteur Dr Y. Jaccard, rapporteur Dr A. Schmutz, rapporteur Lausanne, EPFL 2007

Summary of the thesis This thesis describes the development of three conceptual models built to serve as decision support tools in liberalised electricity markets. The introduction of competition, higher uncertainty and decentralised planning requires new planning and analysis tools on the medium to long term to support decision making at the level of the industry as well as at the level of the market authorities. We have mainly developed models of market simulation and investment decision by investigating how multi-agent systems can contribute to the understanding of the decentralised nature of competitive decision making in a liberalised electricity market. The thesis focused particularly on bilateral transactions arguing that such transaction processes are specially relevant from the point of view of risk management when considering medium to long term decisions (for both portfolio management and investment decision making). We have used decision analysis under uncertainty and dynamic modelling approaches under a multi-agent framework by considering that such approaches are more adequate in a competitive environment due to the market actors exposure to risks and need for adaptation in a changing environment. Monthly spot market prices are taken into account through scenarios that reproduce volatility by lognormal processes. Monte Carlo simulation is used to quantify the risks among which the spot prices are taken as the most significant source of uncertainty. The main objective of this thesis is to contribute to the problem of modelling investment decisions in new generation capacities using electricity market simulation from a planning point of view. This global objective is driven according to the: Modelling of the bilateral transaction processes between generation companies and demand companies at the level of wholesale market by taking into account the possible tradeoffs between spot and bilateral markets. The transaction processes models represent the market simulation modules by: - Distinguishing the different forms the transaction processes can take (negotiation vs. auctions). - Modelling of the market actors portfolio management from a planning perspective by taking into account the market uncertainties (sales portfolio for generation companies and supply portfolios for demand companies). Modelling of the investment decisions in new electricity generation power plants. i

«Negotiation based portfolio management in a liberalised electricity market: a multiagent approach» The first model of the thesis formalizes the transactions of demand companies that would have to face a single generation company. The transaction process is here modelled as a bilateral negotiation algorithm between buyers and a seller. The negotiation is driven on two issues: prices and quantities of monthly contracts. It is simulated as a succession of offers and counteroffers during a limited period of time. Each market actor is searching for efficient transactions that satisfy its objectives, preferences and constraints. The reasoning process of the agents is based on the multi-attribute tradeoffs under uncertainty seeking each month the optimal configuration of portfolios composed of bilateral and spot contracts. The simulated output of the negotiation does not necessarily optimise the social welfare as both parties have opposing interests and interact under incomplete information. The efficiency of the algorithm is characterized by a ratio relatively to the Pareto optimal contracts. It was found that a supplier with nuanced risk aversion have high efficiency beyond the Pareto optimal points (between 100 and 120%). It indicates that the single generation company has a higher bargaining power than the individual demand companies independently of the preferences and negotiation behaviour of its counterparts. The negotiation efficiency of the different demand companies ranges from 80 to 100% and is related to their attitude toward risks. Risk averse demand companies accept higher risk premiums in order to avoid spot market risk exposure unlike other agents that may have more nuanced risk preferences. The bilateral contracts concluded covers the electricity demand partially or totally depending on the risk attitude. Demand companies with nuanced risk aversion negotiate contracts in order to manage some flexibility and take benefit from potential spot market opportunities. «Bilateral transactions in a competitive electricity market: multiple auctions using an agent based approach» The second transaction process models bilateral transactions between demand companies and several generation companies through multiple auctions. In this context, the generation companies must compete between each other to satisfy the call-for-bids (CfBs) launched simultaneously by each demand company, i.e. each buyer in the system opens an auction by expressing its needs and preferences by product (base and peak). After receiving the CfBs, the ii

suppliers send offers responding to the multiple auctions opened by the demand companies. The offers timing is sequenced by a priority list that ranks the demand companies according to their value. The construction of the offers is modelled with a function of the evaluated utility of the customer based on its CfB. The demand companies, at the closure of their individual auction, compare and select the offers with maximum value by including the evaluation of the possible tradeoffs between bilateral and spot markets. The dynamic of competition requires the suppliers to adapt their monthly pricing strategies to satisfy their profit and market share objectives. The adaptive behaviour of the generation companies is here modelled using a directed learning approach. Learning is performed on the basis of two variables (risk premiums and market shares) which previous month instances permit causal inferences on eight rules of pricing parameters adaptation. The results of a case study show that the agents in the system build flexible portfolios (partial or full supply contracts, supply portfolio with several producers, spot contracts ). The agents learning process tend to satisfy their objectives of profit and market shares. The bilateral market transaction volume represents between 70 and 90% of the total transaction volume (10 to 30% of spot contracts) as a result of the tradeoffs between the two markets. «Electricity generation capacity expansion under competition: A multi-agent dynamic programming model» The last model proposed in this thesis intends to model the decentralized investment decision making in a competitive electricity market. The capacity expansion model proposed aims at evaluating the medium to long term investment decisions according to criteria of risks and profits maximisation. We use the agent-based multiple-auction module to simulate he electricity market. The investment decisions of each supplier agent in the system are assessed according to a dynamic programming algorithm that explores different potential expansion plans in predefined periods. We consider that capital rationing, preservation of capital under risk and market share targeted ranges are three constraints that bound the expansion plans. Two major sources of uncertainties are considered: market price risk and strategic risk. Strategic risks are evaluated through a customer and competitors focus by putting into perspective the investment decision relatively to the competitors potential expansion plans. Hence, the evaluation of an expansion plan is built as the convolution of the realizable incomes through the potential configurations of competitors strategic investment decisions. In our model, a supplier agent is seeking to take market positions relatively to its competitor iii

through the market share that he can expect to secure its investment decisions. It appears that risk reduction highlighted here through bilateral transactions is a more realistic approach when assessing investment decisions in a competitive and uncertain electricity market. Keywords: electricity, transaction processes, portfolio management, investment decision, planning. iv

Résumé de la thèse de doctorat Cette thèse de doctorat décrit le développement de trois modèles conceptuels dans le contexte des marchés de l électricité libéralisés selon une optique de planification et de valorisation des moyens de production d électricité. Les développements qu elle contient se rapportent principalement à la modélisation de la gestion des portefeuilles et de la décision d investissement suivant une perspective de planification. L accent est mis sur la modélisation des transactions bilatérales du fait notamment de leur importance pour la valorisation des moyens de production et de la gestion du risque sur le moyen et long terme. Nous avons utilisé des approches d analyse de la décision sous incertitudes et de modélisation dynamique dans le cadre d une architecture multi-agent en considérant que ces approches sont plus adéquates dans un environnement compétitif. Ces approches se justifient notamment du fait de l exposition aux risques des acteurs du marché et de leurs besoins d adaptation dans un environnement évolutif. L évaluation de l incertitude sur les résultats futurs (quantification du risque) se base sur la simulation de Monte Carlo. Les prix spots sont considérés comme la principale source d incertitude. Ces derniers sont pris en compte à travers des scénarios reproduisant la volatilité observée par des processus lognormaux. L objectif principal de la thèse est de contribuer à la modélisation de la décision d investissement dans de nouvelles capacités de production sur la base de la simulation des marchés de l électricité et selon un point de vue de planification. Cet objectif global est rempli à travers la démarche suivante : - Modélisation des processus de transactions bilatéraux entre agents producteurs et consommateurs d électricité au niveau du marché de gros en tenant compte du compromis entre marchés bilatéral et spot. Les modèles de processus de transaction représentent les modules de simulation du marché en o Distinguant les différentes formes que ces processus peuvent prendre (négociation vs enchères multiples) o Modélisant la gestion des portefeuilles selon une perspective de planification (de ventes pour les producteurs et d achats pour les consommateurs) en tenant compte des incertitudes du marché - Modélisation de la décision d investissement dans de nouvelles capacités de production d électricité v

«Negotiation based portfolio management in a liberalised electricity market: a multiagent approach» Le premier modèle traite d un système avec un fournisseur unique et de multiples consommateurs. Le processus de transaction est modélisé comme une négociation entre l agent producteur et les agents consommateurs. L algorithme de négociation porte sur deux variables de décision : prix et quantité des contrats mensuels (ruban et pointe). La négociation est définie comme une succession d offres et de contre offres durant une période de temps limitée entre deux parties ayant des intérêts opposés. Chaque acteur recherche la conclusion de contrats satisfaisant ses objectifs, préférences et contraintes. Le modèle de comportement des agents se base sur la théorie «multi-attribute tradeoffs under uncertainty» avec pour objectif de déterminer chaque mois la composition de leur portefeuille (de ventes ou d achats) en optimisant le compromis entre contrats bilatéraux et spots. Le résultat de la négociation ne constitue pas forcément une maximisation du surplus collectif dans la mesure où les agents négocient sur des intérêts opposés et dans un cadre d informations incomplètes. L efficacité de l algorithme de négociation est évaluée sur un cas d étude par rapport aux points de Pareto optimalité. Les résultats montrent que le fournisseur d électricité obtient des contrats au-delà des points de Pareto avec une efficacité entre 100 et 120% indépendamment des préférences et du comportement de négociation des consommateurs. Cela traduit l existence d un effet d échelle (grand fournisseur face à des consommateurs de moindre dimension) qui donne un pouvoir de négociation supérieur au producteur. Les agents consommateurs obtiennent une efficacité entre 80 et 100% en fonction de leur attitude face au risque. En effet, les consommateurs «risk averse» acceptent des primes de risque plus élevées de manière à se prémunir contre le risque du marché, contrairement à d autres agents qui auraient une attitude face au risque plus nuancée. Les contrats bilatéraux conclus couvrent la demande partiellement ou totalement en fonction de l attitude face risque. Les contrats partiels permettent de ménager une marge de flexibilité de manière à bénéficier des opportunités potentielles sur le marché spot. Une extension de ce modèle pour la négociation de contrats de long terme est proposée. «Bilateral transactions in a competitive electricity market: multiple auctions using an agent based approach» vi

De la même manière que précédemment, chaque agent dans le système a pour objectif de maximiser la valeur de ses portefeuilles sous incertitudes. Toutefois le système est composé de multiples producteurs et consommateurs avec la possibilité d avoir recours au marché spot. L algorithme de transaction est basé sur des enchères multiples à temps limité. Les consommateurs ouvrent simultanément une enchère et mettent en concurrence les producteurs pour satisfaire leur demande exprimée par produit (ruban et pointe). L appel d offres («call for bids», CfB) contient un prix et une quantité pour chaque produit qui reflète le profil du consommateur. Les appels d offres étant reçus simultanément, les fournisseurs d électricité déterminent une liste de priorité des consommateurs pour chaque produit en fonction de l utilité des CfBs. La construction des offres d un producteur est basée sur une fonction qui prend comme argument la valeur qu il accorde aux consommateurs. Au terme de leur enchère (selon un compte à rebours engrangé par la réception d une première offre), les consommateurs comparent et sélectionnent la meilleure offre en incluant l évaluation des possibles compromis entre contrats bilatéraux et spot. L adaptation des producteurs à la dynamique de la concurrence est basée sur 8 règles qui constituent un modèle d apprentissage dirigé («directed learning») utilisée pour déterminer leur stratégie de «pricing» d un mois à l autre. La concurrence entre les producteurs est ainsi modélisée par l adaptation de leurs préférences et fonction d offre en fonction des performances réalisées le mois précédent et des objectifs de profits et de part de marché à réaliser. Les résultats montrent une construction des portefeuilles flexible (contrats partiels, contrats à fourniture complète, portefeuille d approvisionnement à plusieurs producteurs, contrats spots.) avec un apprentissage des agents qui tend à satisfaire leurs objectifs de profit et de part de marché. Le marché bilatéral représente entre 70 et 90% du volume de transaction total (10 à 30% de transactions spot). «Electricity generation capacity expansion under competition: A multi-agent dynamic programming model» Le dernier modèle vise à l évaluation de la décision d investissement sur le moyen à long terme selon des critères de maximisation du profit et de risques compte tenu de la valorisation possible sur le marché. La décision d investissement de chaque agent producteur du système est évaluée selon un algorithme de programmation dynamique explorant les différents plans d expansion possible selon trois contraintes : rationnement du capital, préservation du capital sous risque et objectif de part de marché à réaliser. L incertitude provenant des stratégies d investissements des producteurs concurrents est considérée comme une source de risque vii

supplémentaire qui conditionne la performance d un plan. De ce fait, l évaluation d un plan d expansion d un agent est construite comme la synthèse (convolution) du profit réalisable à travers les configurations possibles des choix stratégiques d expansion des concurrents. Les configurations possibles d expansion du système sont évaluées à l aide d un module de simulation à enchères multiples du marché. Dans ce modèle, les fournisseurs cherchent à prendre position sur le marché par rapport à leurs concurrents à travers la part de marché qu ils peuvent espérer obtenir pour sécuriser leurs décisions d investissement. Il apparaît que la réduction du risque, mis en évidence à travers la modélisation du marché bilatéral, est une approche plus réaliste dans l évaluation de la décision d investissement dans un marché de l électricité compétitif et incertain. Mots clés : électricité, processus de transaction, gestion de portefeuille, décision d investissement, planification. viii

Table of content CHAPTER I: INTRODUCTION 1 I-A- Definitions and basic concepts 1 I-A-1. The liberalization process 1 I-A-2. Overview of electricity wholesale markets 2 I-A-3. Transactions and tradeoffs 5 I-B- The problematic, decisions under a planning perspective 8 I-B-1. Portfolio management 9 I-B-2. Capacity investment 10 I-C- Objectives and scope of the research 11 I-D- Methodology and conceptual framework 13 I-D-1. Global approach 13 I-D-2. Basics of multi-agent systems and conceptual framework 14 I-D-3. Methodology: Market simulation and capacity expansion 17 I-E- Main contributions of the thesis 20 I-F- Outline of the thesis 22 CHAPTER II: LITERATURE REVIEW 23 II-A- Generation expansion planning before liberalization 23 II-A-1. Optimisation models 23 II-A-2. Simulation models 26 II-A-3. Decision analysis models 27 II-A-4. Artificial intelligence models 28 II-B- Market modelling and generation expansion planning in a liberalized electricity market 29 II-B-1. Simulation models 30 II-B-2. Financial analysis models (real options) 31 II-B-3. Equilibrium models (game theory) 32 II-B-4. Artificial Intelligence models (multi-agent systems) 34 CHAPTER III: NEGOTIATION BASED PORTFOLIO MANAGEMENT IN A LIBERALISED ELECTRICITY MARKET: A MULTI-AGENT APPROACH 37 III-A- The multi-agent framework 38 III-A-1. Basic agents 38 xi

III-A-2. Synthetic agents of the model 39 III-A-3. Agents tasks 42 III-B- Valuation of electricity generation products (base and peak load) 46 III-B-1. The supplier agent ECSA I 46 III-B-2. The demand companies ECSA II and III 50 III-C- The negotiation model 51 III-C-1. Characteristics and context of negotiation 52 III-C-2. Tradeoffs under uncertainty 53 III-C-3. Efficiency of the negotiation and Pareto optimality 62 III-C-4. The negotiation algorithm 64 III-D- The case study 69 III-E- Possible extensions: negotiation tactics and negotiation of long term contracts 77 CHAPTER IV: BILATERAL TRANSACTIONS IN A COMPETITIVE ELECTRICITY MARKET: MULTIPLE AUCTIONS USING AN AGENT BASED APPROACH 79 IV-A- Portfolio management in competitive bilateral markets 80 IV-A-1. Customers value and tradeoffs 80 IV-A-2. Agent s tasks 81 IV-B- Pricing of contracts 84 IV-B-1. ECSA II and III call for bids 84 IV-B-2. ECSA I pricing of bilateral contracts 85 IV-C- Adaptation of the suppliers strategies 87 IV-C-1. Fundamentals of learning models 88 IV-C-2. Information framework 94 IV-C-3. Environment states: risk premium and market share 95 IV-C-4. Eight rules of adaptation shaping a directed learning model 96 IV-D- The multiple auctions algorithm 99 IV-D-1. The Supplier agents contract offers 99 IV-D-2. The demand companies decision rule 100 IV-E- Case study 103 IV-F- An extension towards a Q-learning model 112 CHAPTER V: ELECTRICITY GENERATION CAPACITY EXPANSION UNDER COMPETITION: A MULTI-AGENT DYNAMIC PROGRAMMING MODEL 115 xii

V-A- Methodology of the capacity expansion problem 116 V-A-1. Formulation of the problem 116 V-A-2. Conceptual framework based on four modules 117 V-B- Information framework 119 V-C- The capacity expansion model (CEM) 121 V-C-1. The case of one agent 121 V-C-2. Generalisation to the case of multi-agents 124 V-D- Case study 130 CHAPTER VI: CONCLUSION 139 VI-A- Synthesis of the PhD work 139 VI-B- Limitations and directions of future researches 141 REFERENCES 143 CURRICULUM VITAE 155 xiii