电力系统控制与决策中的博弈问题工程博弈论初(8)

任何工程系统设计都涉及多个参与者与多种不确定因素,可以说多决策主体与不确定性是工程系统优化决策问题的两大主要特点.当今智能电网正在向能源互联网方向发展,系统参与者越来越多,决策过程也愈趋复杂.如何平衡不同参与主体之间的利益既是未来能源系统乃至一般工程系统规划、运行、调度、控制等诸多方面共同面临的挑战,也是优化理论乃至系统科学数学面临的新课题,而其呈现的多利益主体特点非常适合采用博弈论作为工具进行建模和分析.事实上,本文阐述的分析电力系统控制与决策问题的博弈思路可以推广至一般工程控制与决策问题.例如城市交通系统中,每个驾驶员都倾向于选择最短路径,但实际行驶时间又与其他驾驶员的策略有关:当所有驾驶员都选择最短路径时会导致交通拥堵,行驶时间反而更长.这种现象与博弈论中的囚徒困境非常类似.对此控制论专家郭雷院士认为,在研究智能网络等智能对象时,由于施控者与被控对象存在博弈关系,不宜直接套用传统控制理论.适当考虑博弈因素将大大拓展控制理论的研究与应用范围[41].上述观点实际上也是笔者团队从事工程博弈研究的重要指导原则之一.

本文介绍了工程博弈论蕴含的思想和相关领域的应用成果,管窥蠡测,不一而足.我们将电力系统控制与决策中的博弈论研究方法奉献给读者,抛砖引玉,以期引起学术界和工程界对工程博弈论的重视从而带动她的发展,既可为博弈论提供更加丰富的研究对象,也能为面向工程实际的控制与决策问题提供系统化的解决方案.

本文责任编委:洪奕光.

Supported in partly by the National Natural Science Foundation of China().

1 引言(Introduction)博弈论也称对策论,是现代数学的一个分支,主要研究当多个决策主体之间存在利益关联或者冲突时,各决策主体如何根据自身能力及所掌握的信息,做出有利于己方决策的一种理论.von Neumann和Morgenstern首次对博弈论进行了系统化的研究,其里程碑式成果为二人合作出版的名著《博弈论与经济行为》[1].该书对二人零和博弈的系统研究不仅成为博弈论建模分析的标准范式,所提极大极小解的概念更为不确定性条件下博弈参与者进行理性决策提供了重要工具.随后John Nash发表关于均衡的定义并利用不动点定理证明均衡点的存在性[2–3],为博弈论的一般化,尤其是现代非合作博弈理论奠定了坚实的数学基础.相对于极小极大解,Nash均衡是更为一般的博弈解概念,适用于包括零和博弈在内的所有非合作博弈格局.博弈论发展的第3个里程碑式工作是Smith于20世纪70年代创立的演化博弈论[4–5],其核心理念在于用大规模行动解释博弈均衡,进一步结合生物、生态、心理及工程技术等学科最新成果,分析生物种群、人类社会及人工系统的演化特性和博弈均衡问题.博弈论源于经济学,但其在军事、社会、工程等领域也有广泛的应用.博弈论从诞生至今的半个多世纪里,已经对经济学乃至整个社会科学产生重要影响,成为政治、军事、工程、信息、生物乃至管理学等诸多领域的重要研究方法和决策分析工具,如有“政治博弈论”、“军事博弈论”、“社会博弈论”等等.可以毫不夸张地讲,博弈论是人类深刻理解和探索经济行为和社会问题的基本工具之一.本文立足于揭示电力系统控制与决策问题的博弈内涵,进一步梳理和总结一般工程博弈方法论用以指导解决工程实际问题,不求填补工程博弈之空白,但愿开其研究之新风气.2 工程博弈论溯源(Origin of engineering game theory)笔者(以下如无特殊说明,均指本文第一作者)20世纪90年代初在中科院系统所跟随秦化淑老师攻读博士时即开始了解并学习博弈论,当时主要是运用微分博弈研究非线性系统鲁棒控制问题.1996年博士毕业后,进入清华大学电机系从事电力系统鲁棒控制理论及工程推广应用工作.当时的一个工作重点是大型发电机组励磁系统的设计与研发,为此曾数十次到东北、华中电站现场与电气工程师们深入交流.当年大型发电机附加励磁控制器主流产品为美国的电力系统稳定器(power system stabilizer,PSS),实际上是一类工业PID控制器.PSS工程背景明确,其基于频域的测试方法又为工程师们所熟悉,特别适合需要依赖工程经验或测试进行控制器设计的系统.由于众所周知的原因,工程师们既无精力也无兴趣去了解和学习微分博弈(非线性鲁棒控制),甚至连基于状态空间的线性最优控制也不甚熟悉,由此形成了学院派与工程界的“尖锐”对立.工程师们认为专家学者们的理论看似高深,但实用性不强.一方面,电气工程师承认,随着电力系统本身规模的发展和复杂程度的增大,基于单输入控制方式的PSS逐渐难以满足电力系统对抑制振荡和提高稳定极限方面的要求,因此急需研发抗干扰能力强、适应宽运行工况的励磁控制系统.另一方面,从笔者团队所谓的学院派来看,基于微分博弈的鲁棒控制理论将控制系统外部干扰与内部未建模动态统一视为虚拟的博弈参与者,通过设计鲁棒控制策略(反馈Nash均衡)充分抑制最坏情况下的干扰,从而使系统在任何运行工况下均具有满意的控制性能.在此背景下,笔者深刻认识到,学院派的任务不仅在于用先进理论解决工程实际问题,更重要的是与电气工程师沟通交流,实现理论与工程的有机结合.现在回想起来,正是我们与工程师的相互碰撞使我们找到了共同语言——工程博弈论.为此,笔者团队基于微分博弈和鲁棒控制理论研发了大型发电机组非线性励磁控制工业装置(NR–PSS),能够显著改善电力系统暂态稳定性,提高输送功率极限16.7%[6].文[7]进一步揭示了基于状态空间的鲁棒控制理论与基于频域的古典控制理论的联系:对含干扰的非线性系统而言,反映鲁棒性能指标的L2增益不等式在一定条件下退化为古典控制理论中的Nyquist判据.换言之,Nyquist判据是L2增益不等式的特殊情形,而L2增益不等式则是Nyquist判据的推广.事实上,在博弈论框架下,若将存在于人工系统运行过程中的不确定性(主要指外部干扰和内部未建模动态)视为一个虚拟的决策主体,则线性/非线性H∞控制问题均可由二人零和微分博弈格局描述,而人们熟知的古典控制(主要指PID控制)、线性最优控制和非线性控制等均可纳入统一的博弈论框架.受控制理论发展及其工程应用推广的启发,工程博弈论的诞生与发展遵循了一般控制论到工程控制论的发展规律.这里需要指出的是,Nyquist判据代表了基于经典控制理论的工业控制器主流设计理念——PID,它是电气工程师们的基本工具.我们深感幸运的是在工程博弈论这杆大旗下,我们与电气工程师真正成了同路人.总结而言,我们提出“工程博弈论”的概念并发展其理论主要来源于下述两个动机,一是受到控制理论发展过程的启发.1948年Wiener出版了其经典名著《控制论——或关于动物和机器中控制和通信的科学》[8],该书原创性地提出了现代控制理论的基本概念和方法,如反馈、稳定性和镇定等,一般认为该书是控制论诞生的标志,甚至还被评价为20世纪人类最伟大的3项成就之一(另两项是量子力学和电气工程).丝毫无损于该书的科学价值,该书出版后也曾面临两项巨大争议:其一,科学界认为Wiener的《控制论》是一部哲学著作,主要讨论世界观、认识论和方法论,其哲学的晦涩使《控制论》难于理解,特别难于透过其哲学思想发现其与科学技术的联系;其二,尽管该书系统地提出了反馈、稳定性和镇定等基本控制概念和控制方法,但其重点在于解决机电元件如何形成具有稳定性和目标行为的自组织结构这一科学问题,而忽略了系统各部分的相互关系和其整个系统的综合行为,因此工程界认为其宽泛模糊,缺乏严格的理论基础,实用性不高.1954年,钱学森出版了《工程控制论》[9],该书采用控制理论的经典工具,如Nyquist判据和Bode图等,系统揭示了Wiener的《控制论》中反馈和镇定等概念的数学本质,并采用传递函数实现了控制论与工程应用的紧密联系,对自动化、航空、航天等技术领域产生了深远影响,同时也平息了学术界对Wiener控制论的质疑.事实上,控制论与博弈论有着深刻的内在联系[10]:传统控制论的研究对象是被动的,不具有主观决策能力;博弈则可看做控制的一种延伸或发展,简单地说,博弈框架下控制对象会根据施控者的策略做出反应,它的目标可能与设计者完全相反,形成非合作博弈;也可能与设计者合作,形成合作博弈,但仍然寻求自身利益最大化.现代电力系统的快速发展使得电力系统的发、输、配、用各个环节的参与者越来越多,如何平衡不同参与主体之间的利益既是电力系统规划、调度、控制等诸多方面共同面临的技术挑战,更是优化理论乃至系统科学、运筹学面临的全新课题.另一方面,正是因为现代工程系统呈现的多主体多目标特征(这些目标之间一般存在相互竞争的关系),使得采用博弈论为工具对其进行建模和分析成为可行.在此背景下,关于工程决策问题的博弈理论得到了广泛的关注.但需要指出的是,近年来面向工程实际的博弈论内容过于宽泛,并有过度数学化的趋势,这里“过度数学化”系指现有工程博弈研究中通常假定各决策主体(或参与者)是完全理性的,从而以各种优化方法研究其决策行为.此外,为了刻画博弈均衡的存在性、唯一性等数学属性,往往对于工程问题的物理实质进行了简化与抽象.简言之,这些研究是博弈论在工程中各种应用的集合,内容庞杂,既缺少对工程博弈科学问题的凝炼,更未提炼出工程博弈的系统化方法,可以说该状况非常类似于Wiener创立控制论时的情况,迫切需要将其“工程化”.我们研究“工程博弈论”的第2个动机是受到电力系统控制与决策实际工程问题的启发.笔者团队的观点是,工程博弈论即是工程设计与试验中应用博弈论的基本概念、建模与求解方法以及考虑工程实际的技术性条件进行决策的理论.必须承认,笔者团队关注博弈理论的出发点或研究基础是鲁棒控制,即使从微分博弈高度看待鲁棒控制,我们的视野也或多或少受到控制论出身的限制,毕竟博弈论不同于控制论,特别是博弈论的精华如Nash均衡和von Neumann的极小极大原理均在于处理以人为主体的决策行为,而控制论则侧重于利用反馈应对大自然或人工系统的不确定性.3 工程博弈论一般内容(General contents of engineering game theory)根据工程系统优化决策问题的特点,本文讨论的工程博弈论可归结为多主体不确定优化决策理论范畴,具体包括两个鲜明特征:一是由各决策主体主导的多目标优化,而各目标往往相互冲突;二是将不确定性作为决策主体之一,实际上是一个虚拟的博弈者.任何一个实际运行的工程系统都不可避免地受到不确定性的影响,Wiener控制论的精髓即在于构造反馈控制使得闭环系统能够充分抑制不确定性对系统带来的不利影响.从博弈观点看,Wiener控制论可归结为一类由控制器设计者与不确定性参与的广义二人零和博弈问题.从此出发,则可引出工程博弈的核心科学问题,即在一个将不确定性作为决策成员之一的多主体决策问题中如何设计各主体决策策略,以最大程度地抑制不确定性带来的不利影响,同时实现各主体的优化目标.以下从概念和技术两个方面讨论工程博弈论的一般内容.3.1 概念层面:电力系统控制与决策问题的博弈内涵(Conceptual level:game connotation of power system control and decision-making problems)一般而言,对一个人工系统进行控制器设计或优化决策时,其根本目的在于使该人工系统能够满足预期目标,如安全稳定、经济运行等.任何一个人工系统不可能孤立运行,必将与其运行的外部环境交互作用.换言之,系统在运行中除了受到人工干预力以外,同时还不可避免地受到大自然(或外部环境)的影响.例如对于自动发电控制而言,负荷扰动总是倾向于使系统频率偏离额定值;反之,控制系统则通过调整发电机出力维持系统频率,如此则控制系统与负荷变化相互对抗从而形成博弈格局,博弈结果将决定系统真实频率.又如目前实际应用的大型发电机组励磁控制器设计方法,在建模时往往采用具有固定结构和参数的模型,其控制器设计目标是改善系统动态性能.然而电力系统在其运行过程中不可避免地会受到不确定性的影响,如负荷扰动、短路故障、线路跳闸、自动装置误操作等,以及所建立模型的不精确性、控制器的测量误差和输入控制器的参数误差等,这类不确定性或广义干扰都可能使得实际控制效果趋于恶化,故控制其设计者与不确定性之间形成了对立的博弈格局.进一步,在信息–物理系统控制设计问题中,设计者不仅要面对来自大自然(或外部环境)的挑战,更要面对蓄意攻击者的挑战,而且通常后者更难应对.例如,电力系统状态估计的目标是准确判断系统运行状态,辨识错误数据;但蓄意攻击者往往企图篡改数据,使得错误数据不能被状态估计检测出来,如此则形成一种系统设计者与蓄意攻击者之间的博弈格局.再举一个含风电电力系统调度的例子,它是可再生能源发电面临的一类亟待解决的典型优化决策问题.通常对此类电力系统施加作用的决策主体有二,一是人工决策者,其所发出的调度指令能够平抑风电波动性对系统的影响,实现风电的高效消纳;二是大自然,它确定风电出力,其可能的策略集包括微风、阵风、强风(含高爬坡率阵风)等等,这些策略倾向于使电力系统运行状况恶化,或使其运行成本升高.因此,电力系统是否能够安全经济运行,取决于系统决策者或电网调度中心与大自然相互博弈的结果.从此观点出发,可以将系统决策者(他确定最佳调度指令)和大自然(它确定随机变化的风电出力)的随机变化建模为一类二人零和博弈格局的参与者.后者代表外界不确定性对系统运行带来的影响,是“拟人化”的虚拟决策变量,而博弈的最终目标是,针对某一受限集合内的任一外界干扰(或不确定性),设计最佳策略以使系统可能遭受的成本损失或运行风险达到最小,从而最大程度地抑制不确定性对系统的不利影响.最后看一个新能源上网电价的例子.新能源机组(如风电或光伏发电)虽然无需燃料消耗,运行成本低,但是建设投资往往较高.新能源的上网电价决定了电站和电网企业的收益与支付.从电站的角度,希望上网电价高,以期尽快收回投资成本;从电网的角度,由于新能源机组出力的不确定性,过多使用新能源电力可能给系统安全造成风险,如果价格上没有较大吸引力,不会大量使用风光发电;从政府角度,希望发电企业降低碳排放,于是会对新能源发电进行补贴.例如光伏上网电价为1元/度,即光伏电站每发一度送如电网电获得1元,其中0.5元由电网公司支付,另外0.5元由国家直接补贴.补贴费用和上网电价是新能源电站、电网公司和政府机构三方博弈的结果.综上所述,电力系统中的诸多控制与决策问题均涉及多个决策主体和多个优化目标,属于典型的博弈问题,而传统单主体确定性优化问题可视为博弈问题的特例.3.2 技术层面(Technical level)工程博弈问题是多主体不确定系统的优化问题,其难点问题在于:建模方面,如何在优化过程中协调相互冲突的优化目标？如何处理不确定性？求解方面,如何刻画实际参与者的有限理性？如何获取均衡策略？以下分别予以阐述.1)如何处理不确定性.与确定性优化决策问题相比,考虑不确定性因素最直接的后果是模糊了确定性情况下的边界条件,在实际工程中反映为安全稳定约束.此时,对于系统决策人员而言,最关心的是不确定性对系统运行带来的最坏影响是什么,并尽力避免这一最坏情况带来的严重后果.从这一角度看,不确定性与决策人员之间自然地构成了一种博弈关系:大自然的不确定性试图让系统规划与运行指标恶化,而系统决策者试图给出一种策略,在不确定性各种可能的情况下依然让规划与运行指标得到优化.事实上,将不确定性(准确地讲,应为大自然)视为虚拟博弈者,并给出其理性分析方法,早在1967年即由Harsanyi提出的文献[11–13],为此他还荣获1994年Nobel经济学奖.从此观点出发,可以将系统决策人员和大自然(风电出力)的随机变化建模为一类二人零和博弈的参与者.后者代表外界不确定性对系统运行带来的影响,是“拟人化”的决策变量,而博弈的最终目标是,针对某一受限集合内的任一外界干扰(或不确定性),设计最佳策略以使系统可能遭受的成本损失或运行风险达到最小,以充分抑制不确定性的影响.这一思路源自鲁棒控制理论中的微分博弈思想.以下以一类鲁棒优化问题为例,说明工程博弈方法如何处理不确定性这一虚拟博弈者.假设人工决策者的策略是u,目标是极小化支付函数J(u,w),其中w是大自然的干扰策略(代表不确定性),则一类典型的鲁棒优化问题可归结为如下具有极大–极小结构的工程博弈格局:其中:x是系统状态变量,W和U分别是大自然w和人工决策变量u的策略集,刻画了参与者的理性的理性与行动能力.上述模型包括两个决策主体:人工决策者和大自然.其中人工决策者希望极小化控制成本是容易理解的,而大自然是虚拟的对立方,企图使控制成本最大化.这是工程博弈论的一大特色.在实际工程问题中,干扰是一种随机因素,当然不具备“理性”.那么在工程博弈论中,为什么要将其考虑为理性的决策者呢？工程博弈问题(1)的物理意义又如何理解呢？为此,我们提出了以下3项基本原则.原则1:人工决策者的最佳选择是避免最坏情况.不言而喻,鲁棒控制器的设计理念即源于上述原则.电力系统发电计划、机组组合及状态检修策略的制定更无一不遵守上述原则.从另一个角度讲,只要避免了最坏情况的发生,即形成了一个合理的博弈格局,进而达到了由两个博弈者各自利益所强制形成的一种真正的均衡.换言之,博弈者决不会从他的最佳策略偏移到对自己利益造成威胁的策略上去.原则2:人工决策者与大自然的合理决策顺序是max–min型.式(1)确定的博弈双方最佳策略表示大自然w先行决策,然后u介入扭转局势,这种设计为最恶劣情况下的设计.虽然从博弈观点看,这样的决策顺序对u不公平,但根据大自然最恶劣策略w确定的决策策略u,必能应对其他非最恶劣策略w的挑战,故而u虽然较为保守但绝对是安全的,这意味着其工程可行性.尤其是面对大自然这样的博弈者,多数情况下,其策略不明朗,或有关信息不完备,此时进行工程决策谈不上公平原则,故最好的应对手段是先观察其最坏干扰(对大自然本身而言是其最佳策略),再构建应对之策.原则3:人工决策者与大自然均满足理性要求.所谓理性要求,即指博弈参与者均期望通过博弈最大化己方收益.损人不利己,或利人不利己,均造成一个博弈格局所需必要条件的缺失.无论Von Neumann还是Nash博弈格局,均要求参与者必须具备理性,否则博弈的核心——均衡,没有物理意义.对问题1)所对应的博弈格局,人工决策变量u显然是理性的,其目的在于最大程度地降低系统的支付函数,即在保证系统安全运行的前提下提高经济性;大自然作为博弈参与者当然也是“理性”的,表现在大自然带来的不确定性总是会增加系统的支付,即降低系统的经济性或影响系统的运行安全,例如,突然出现的阵风绝不会使风电场输出更加平滑.因此,大自然(或外部环境)对系统带来的影响总是负面的,并企图极大化此负面影响,此即大自然的“理性”.诚然,鲁棒优化问题1)及其求解方法仅仅是工程博弈论处理考虑不确定性优化决策问题的一种典型方法,但正是由于实际中的众多的工程控制与决策问题均具有此内涵,在工程设计与试验中应用博弈论的基本理论、建模与求解方法,并考虑工程实际的技术性条件进行决策才有章可循.2)有限理性与演化博弈.经典博弈论假定博弈者是完全理性的,这一假定极大地简化了博弈分析过程,能够得到非常简洁优美而又深刻的结果.然而,经典博弈论往往因为假设过强而不具有现实意义.一是理性假设,该假设认为参与者对博弈的结构及对方的支付有完全的了解,并具有足够强的推理计算能力从而做出最优决策;二是处理不完全信息时,假设参与者知晓博弈格局面临的所有可能状态以及随机抽取状态上的客观概率分布.这样的假定显然与现实不尽相符.相比较而言,演化博弈论放弃或削弱了经典博弈论的这些假设,以有限理性的博弈者群体为对象,采用动态过程研究博弈者如何在博弈演化中调整行为以适应环境或对手,并由此产生群体行为演化趋势的博弈理论.在方法论上,它强调动态的均衡,是对经典博弈论的重要补充.演化博弈的理论基础是Maynard提出的演化稳定策略与复制者动态[14],分别表征演化博弈的稳定状态以及向这种稳定状态动态收敛的过程.实际上,演化博弈的部分重要思想还可追溯到混合策略Nash均衡概念的物理解释:一种是理性主义的解释,另一种是大规模行动的解释.前者是传统博弈论的解释方式,后者即为演化博弈论的解释方式.Nash认为均衡的实现并不一定要假设参与者对博弈结构拥有全部知识,以及个体拥有复杂的推理能力,只要假设参与者在决策时都能够从具有相对优势的各种纯策略中积累相关经验信息(例如学习收益高的策略),经过一段时间的策略调整,也能达到均衡状态.演化博弈为研究工程实际问题中不具有完全理性的参与者的决策行为提供了更合理的工具.3)工程博弈问题的求解方法.工程科学的发展一直遵循这样一个规律:首先是提出要解决的工程问题,然后是弄清物理实质建立物理定律,进而构建数学模型(包括控制模型)并求解该模型,最终为解决所提出的实际工程问题提供依据.对此,2005年著名科学家Kalman在第16届IFAC大会报告中有更为精辟的论述:回忆过去一百多年系统理论的发展历史,一个不争的结论是,在基本的物理实质弄清之后,系统理论中工程问题的解决直接依赖于其内在的纯数学问题的解决.由于工程博弈模型决策主体(参与者)往往较多,策略空间元素丰富,目标函数不尽相同,这使得博弈问题的求解计算复杂度很高.另一方面,即使存在均衡解,也往往伴随多解的困难.工程博弈问题的求解方法一般可归结为3类.第1类:非合作博弈均衡解的求解方法.传统的Nash均衡一般采用不动点型迭代算法进行求解.当求解规模剧增时,该求解方法效率显著降低,难以满足实际应用需求.主从博弈或多层优化问题中,由于上层决策者需要考虑下层决策者对自身策略的反应,因此通常的不动点型迭代算法不再适用.为此,多种有针对性的算法被提出,如文[15]提出的驻点法、文[16]提出的变分不等式法,等等.一般而言,表征仿射非线性系统鲁棒控制问题的微分博弈格局的Nash均衡可归结为HJI不等式的求解,而要得到其解析表达式,在数学上是非常困难的.文[17]通过变尺度反馈线性化方法,将非线性微分博弈转化为线性微分博弈,进而求解代数Riccati不等式以获得一个近似的反馈Nash均衡.此外还可采用近似动态规划求解满意的反馈Nash均衡数值解,并通过附加学习控制的方式实现.第2类:合作博弈均衡的求解算法.合作博弈可分为联盟型博弈和Nash协商博弈,前者为收益可转移型合作博弈,后者为收益不可转移型合作博弈.对于联盟型合作博弈,通常通过特征函数构造博弈的核或Shapley值[18]进而选择能够保持联盟稳定的收益分配方案;对于Nash协商博弈,Nash给出了协商博弈达到均衡的公理体系,并证明Nash均衡可以通过求解一个优化问题得到[19].第3类:演化博弈与机器学习方法.机器学习是求解博弈均衡的一种新思路.参与者通过对各种历史情况的分析判断掌握与其他参与者互动的能力:对抗性时如何“损人利己”,合作时如何在不损害整体利益的前提下提高自己的受益等.上述思想非常类似于演化稳定策略的求取.近年来,研究最多的当属Q–学习算法,它与环境模型无关,且收敛性已得到严格的数学证明,所以应用最为广泛.根据学习过程中值函数的不同定义,Q–学习又可分为Minimax–Q,Nash–Q,Friend-or-Foe–Q和CE–Q等[20].随着人工智能的发展,高效的机器学习技术将为博弈问题的求解提供强大的工具.4 工程博弈论在电力系统中的应用实例(Applications of engineering game theory in power system)现代电力系统作为一个融合先进电力、通讯、控制和计算技术的巨维信息–物理系统,其复杂结构促使人们采用全新的分析手段在不同层次上,如设计、规划、调度和控制等方面克服各种技术挑战.事实上,现代电力系统在复杂环境下的控制与决策问题,均可借鉴博弈的思想[21],尤其是不断开放的市场环境以及大规模风光发电并网带来更多不确定性所引发的电力系统的规划、调度、控制等问题,在适当的环境下均可通过博弈论进行建模和分析.如前所述,受控制理论发展及其工程应用推广的启发,近年来我们大胆借鉴钱学森先生创建工程控制论的思路,著《工程博弈论基础及电力系统应用》一书[22],尝试探讨工程博弈论的基本理念和方法,并尝试应用其解决电力系统实际问题.代表性工作简要介绍如下.4.1 电力系统规划与合作博弈(Power system planning and cooperative game)电力系统规划是电力学科研究的重要课题之一,是电网更新改造的依据,直接关乎电网建设和运行的安全性与经济性.科学合理的规划可以获得巨大的社会和经济效益.电力系统规划应做到整体利益和局部利益协调统一、眼前利益与长远利益协调统一、经济性和可靠性协调统一,使优化决策的综合效益达到最佳.显见电力系统规划可归结为一类典型的多主体多目标优化问题,也正因为如此,博弈论在电力系统发电规划、输电规划、网架结构规划和可再生能源定容等方面有着广泛的应用.例如电网–风光伏电站群–储能三方协调决策是未来智能电网中的一个典型博弈问题.一方面,风–光–储一体化电厂能通过各种能源的互补作用有效抑制单个电场的随机性与波动性,因而给电网带来的冲击显著减小,不足是储能设备的成本可能较高;另一方面,风电和光伏发电均具有可观的集群效应,将二者进行有机结合,有利于解决新能源的超远距离传输问题.但为了解决可再生能源出力波动的问题,在对大规模可再生能源进行远距离输电时,电网还需增加备用,并对常规机组进行调整,这又会在一定程度上增加电网的运行成本,有悖于大规模可再生能源开发的初衷.因此,可以将新能源电力系统规划问题考虑为三方参与的合作博弈问题.相关方法在文献[23–24]中报道,前者获得《系统科学与数学》期刊年度最佳论文奖.笔者团队进一步基于Nash协商合作博弈提出了光伏–电网–负荷互动协调规划方法,为青海电网制定了计及资源与电网双重约束的光伏开发布局方案.传统方案计划在格尔木附近建设总装机为3434MW的光伏电站,而基于工程博弈论的方法指出只要在青海乌兰县附近建设总装机为3265MW的光伏电站即可实现既定目标,不但减小了投资,还可避免因电源规划不合理导致的弃光风险.4.2 电力系统调度与主从博弈(Power system scheduling and master-slave game)电力系统调度的主要目标是保证电网的安全、稳定和经济运行,向用户提供可靠优质的电能.为达到上述目标,在发电计划中为应对来自负荷侧的不确定因素的影响,需预留一定的备用容量.随着风电等不确定性较大的电源接入,电力系统中的不确定性增强,使得系统调度变得更加复杂.基于博弈论的调度方法可将电力系统调度视为电力系统调度人员与大自然之间的博弈格局,进而可以博弈论为基本工具求解鲁棒调度策略,从而最大程度地抑制不确定性对调度安全性和经济性的影响.笔者团队基于主从博弈提出了多时间尺度鲁棒调度方法[25–27],包括鲁棒机组组合,鲁棒备用整定和鲁棒实时调度,其中文[26]入选中国百篇最具影响力学术论文.文[28]将合作博弈思想引入鲁棒优化,提出多目标鲁棒调度方法,该文被全球新能源创新组织评选为“新能源利于重要科技论文(key scienti fic article contributing to the excellence in renewable and clean energy research)”.团队进一步将上述方法集成于大规模光伏接入的青海电网鲁棒一体化调控平台.目前青海省累计光伏装机容量近700万千瓦,已成为世界上大型光伏电站最集中的地区.上述成果已应用于200多个光伏场站,覆盖光伏总装机容量超过600万千瓦,根据不断提高的光伏出力预测精度滚动优化调度策略,以5min为周期在线修正机组出力方案,实时下发光伏电站出力增发量,可显著减少弃光.项目成果推广应用后,青海地区光伏消纳率提升至96%,取得了巨大社会经济环境效益.近3年累计消纳光伏约222.54亿千瓦时,等效于节约标准煤750.145万吨,减排二氧化碳2099.97万吨.2017年6月17日到6月23日,青海电网首次实现了全省100%清洁能源(水、风、光)持续供电168小时.上述成果获《人民日报》头版报道.4.3 电力系统控制与微分博弈(Power system control and differential game)线性与非线性鲁棒控制是微分博弈最典型的应用场景.电力系统在实际运行过程中不可避免地会受到各种不确定性(简称干扰)的影响.为此,基于微分博弈的电力系统鲁棒控制为解决该类问题提供了重要手段[17].从20世纪90年代开始,微分博弈理论在H∞控制中得到广泛的应用,其基本思想是将干扰作为零和微分博弈中的一方,将控制策略作为另一方,应用最大最小极值原理优化控制代价,而最坏干扰与最优控制构成该微分博弈的反馈Nash均衡.文献[29]对这一思想作了系统的论述.笔者团队基于基于微分博弈研发了发电机鲁棒调速[30]与励磁[31–33]控制装置,并在东北数十座厂站投运,保障了东北–华北联网系统安全稳定运行.4.4 分布式电源与微电网(从分布式优化或多智能体角度)(Distributed power supply and microgrid(from a distributed optimization or multiagent perspective))随着分布式电源接入、微电网的兴起,电网正逐渐演变为综合电力、信息、控制和计算技术的大规模异构信息–物理系统.与传统电网相比,分布式电源与微电网的引入使得配电网与分布式电源、分布式电源之间、分布式电源与微电网,微电网与配电网、微电网之间的运行与决策过程相互联系相互制约,从而导致系统的运行及市场化运营呈现下述两个特点:1)系统运行工况与环境呈现大范围时变性与高度不确定性.2)系统决策主体的异构多元化.上述这些特征使得现有的集中优化决策框架难以适用,而博弈论作为分析多决策主体行为相互耦合、相互影响的数学理论,可为分析研究分布式电源及微电网接入后的异构多主体决策问题提供新的数学工具和合理的研究框架,目前已经逐渐成为分布式优化研究的热点[34].针对分布式电源并联运行的协同性问题,笔者团队提出了微电网分布式控制一般框架[35]与频率分布式控制方法[36–37],并将其应用于虚拟同步机分布式协同控制,研发了工业装置,在故障后离网运行时,可实现有限通信条件下的系统频率恢复;在并网运行时,可实现有功功率优化分配.4.5 电网演化与演化博弈(Power grid evolution and evolutionary game)智能电网的快速发展为电网的演化带来众多新的驱动因素,传统的演化分析方法难以全面分析电网发展过程,无法准确预测其发展结果.为此,可以借鉴分析生物进化的演化博弈工具研究电网演化.其中的关键问题包括:1)电网演化中适应度函数的构建.在生物演化中,适应度函数定义比较明确,一般是指生物的繁殖能力.在电网演化中,可以考虑将装机容量的增加、负荷的增长、线路的扩建等因素与之进行类比,构建电网演化博弈模型中的适应度函数,刻画电网演化过程中的坚强程度.2)电网演化中选择与变异机制的设计.在生物演化中,通过基因的遗传与变异实现生物的继承与发展.在电网演化中,可以考虑将网架结构、输电方式、电压等级等作为遗传和变异的关键特征,分析电网演化过程中相关特征的发展过程,预测电网演化各阶段的具体形态.笔者团队建立了光伏–电网–负荷发展演化博弈模型[22],提出了基于演化稳定均衡的电网升级方法,指导了青海电网17项大型光伏汇集送出工程的有序建设,有效解决了电网规划与建设滞后带来的弃光问题.借鉴复杂网络演化的思路,结合对我国电网发展历程的总结与展望,我们将驱动电网演化的各种主要因素,如社会发展需求、管理部门、技术创新与进步以及大自然等视为决策主体,电网演化则可视为由上述主体参与的多阶段博弈过程,从而形成一类工程演化博弈格局,最终希望通过演化博弈论方法揭示电网时空演化规律.我们在文献[38]中对周孝信院士提出的三代电网理论[39]进行了建模及特性分析,构建了三代电网演化博弈的复制者动态模型,给出了三代电网关系度、特征路径长度以及聚类系数等网络形态特征参数,首次从数学上复现了三代电网演化过程.4.6 大电网安全与安全博弈(Large-scale power grid security and security game)现代电力系统是一个包含上万个节点、数万条线路和数千台发电机组的大规模、跨区域、远距离的广域复杂系统.随着电力市场改革的深入、各种新技术的应用以及风电、太阳能等分布式发电系统的发展,更急剧增大了现代电力系统的复杂度,如何保障其安全运行是极具挑战的课题.传统的确定性电力系统安全评估方法不足以用于准确评估蓄意攻击下电力系统的安全水平,而动态博弈为分析电网防御与进攻的交互行为进而为电网安全评估提供了可行的研究手段.一方面,进攻方试图攻击电力系统中的薄弱环节以最大化系统损失;另一方面,防御方则采取适当防护策略以增强系统运行的安全性,如此则需要研究和发展一种特殊的动态博弈方法——安全博弈[22],该博弈模型及其均衡解可为系统防御决策提供指导性意见,同时可用于预测攻击方的攻击行为,合理评估系统遭受攻击后的运行可靠性与脆弱性,在安全分析基础上制定部署合理的电网规划,提高薄弱环节的防护程度,使系统即使在真实发生的蓄意攻击下亦具有较高的供电可靠性.笔者团队基于安全博弈理论对河南特高压交直流混联电网脆弱性进行评估,提出对哈密–郑州直流线路、南阳特高压交流线路、豫香山–豫郑南交流线路等关键线路进行进行防护,可大幅降低连锁故障发生几率和负荷损失[22].应当指出,蓄意攻击不但可以直接作用于物理电力系统,还可以通过信息系统影响电力系统关键设施从而引发大停电事故.典型者如2015年12月23日的乌克兰大停电事故,导致个用户停电3～6h不等.事后调查机构在电力调度通信网络中发现部分恶意软件的样本.结合停电过程的特征及影响,本次停电事故被定位为由“网络协同攻击”造成[40].从安全博弈的观点,该过程可描述为攻击者–防御者型双层安全博弈模型,其中攻击者选择系统最为脆弱的环节实施破坏,系统受到攻击后进行紧急控制等自动防御措施.进一步,如何利用有限资源保护关键环节免遭攻击,则可建模为防御者–攻击者–防御者型3层安全博弈模型,其中第1层给出防御者的最优防护策略,第2层辨识对系统运行危害最大的攻击策略,第3层模拟攻击发生后调度员执行的切机切负荷等应急预案.总之,安全博弈理论可以较好模拟实际工程中的攻防过程,从而为网络安全性分析提供了新的研究思路.5 总结与展望(Conclusions and prospects)应当指出的是,博弈论与现有优化控制和决策方法并无冲突,它是后者在面临多决策主体和策略交互时的自然推广.博弈论与若干控制和决策问题的关系如表1所示.表1 博弈论与若干控制和决策问题的关系Table 1 The relationship between game theory and several control and decision-making problems理性类型 决策类型 单主体决策 多主体决策单阶段决策 单阶段优化 静态博弈完全理性 多阶段决策 多阶段优化 动态博弈连续决策 最优控制 微分博弈有限理性 多阶段或连续决策 演化计算 演化博弈从表1可以看出,工程博弈论可以视为一门特殊的具有多个决策主体的优化方法论.一般优化方法所追求的“最优解”或“最优控制策略”此时对应的是博弈格局的“均衡”.另一方面,以往我们所熟悉的优化方法包括控制论亦属于博弈论范畴,不过它们是只考虑单个参与者的特殊博弈格局.任何工程系统设计都涉及多个参与者与多种不确定因素,可以说多决策主体与不确定性是工程系统优化决策问题的两大主要特点.当今智能电网正在向能源互联网方向发展,系统参与者越来越多,决策过程也愈趋复杂.如何平衡不同参与主体之间的利益既是未来能源系统乃至一般工程系统规划、运行、调度、控制等诸多方面共同面临的挑战,也是优化理论乃至系统科学数学面临的新课题,而其呈现的多利益主体特点非常适合采用博弈论作为工具进行建模和分析.事实上,本文阐述的分析电力系统控制与决策问题的博弈思路可以推广至一般工程控制与决策问题.例如城市交通系统中,每个驾驶员都倾向于选择最短路径,但实际行驶时间又与其他驾驶员的策略有关:当所有驾驶员都选择最短路径时会导致交通拥堵,行驶时间反而更长.这种现象与博弈论中的囚徒困境非常类似.对此控制论专家郭雷院士认为,在研究智能网络等智能对象时,由于施控者与被控对象存在博弈关系,不宜直接套用传统控制理论.适当考虑博弈因素将大大拓展控制理论的研究与应用范围[41].上述观点实际上也是笔者团队从事工程博弈研究的重要指导原则之一.本文介绍了工程博弈论蕴含的思想和相关领域的应用成果,管窥蠡测,不一而足.我们将电力系统控制与决策中的博弈论研究方法奉献给读者,抛砖引玉,以期引起学术界和工程界对工程博弈论的重视从而带动她的发展,既可为博弈论提供更加丰富的研究对象,也能为面向工程实际的控制与决策问题提供系统化的解决方案.参考文献(References):[1]Von NEUMANN J,MORGENSTERN O.Theory of Games and Economic Behavior[M].Commemorative :Princeton University Press,2007.[2]NASH J points in n-person games[J].Proceedings of the National Academy of Sciences,1950,36(1):48–49.[3]NASH J games[J].Annals of Mathematics,1951,54(2):286–295.[4]SMITH J M,PRICE G R.The logic of animal conf l ict[J].Nature,1973,246:15.[5]SMITH J and the Theory of Games[M].Cambridge:Cambridge University Press,1982.[6]LU Qiang,MEI of modern power system controlepitome and prospect of related research in state key lab of power systems,Tsinghua University[J].Journal of System Science and Mathematics Science,2012,32(10):1207–1225.(卢强,梅生伟.现代电力系统控制评述——清华大学电力系统国家重点实验室相关科研工作缩影及展望[J].系统科学与数学,2012,32(10):1207–1225.)[7]WEI Wei,MEI Shengwei,ZHANG of advanced control theory and application in power system[J].Power System Protection and Control,2013,41(12):143–153.(魏韡,梅生伟,张雪敏.先进控制理论在电力系统中的应用综述及展望[J].电力系统保护与控制,2013,41(12):143–153.)[8]WIENER :Control and Communication in the Animal and the Machine[M].New York:Wiley,1948.[9]TSIEN H Cybernetics[M].New York:Mcgraw-Hill Book Company,1954.[10]CHEN Daizhan,XIA Yuanqing,MA Hongbin,et Algebra Control and Game Theory[M].Beijing:Beijing Institute of Technology Press,2016.(程代展,夏元清,马宏宾,等.矩阵代数控制与博弈[M].北京:北京理工大学出版社,2016.)[11]HARSANYI J C.Games with incomplete information played by Bayesian players,part I:the basic model[J].Management Science,1967,14(3):159–182.[12]HARSANYI J C.Games with incomplete information played by Bayesian players,part II:Bayesian equilibrium points[J].Management Science,1968,14(5):320–334.[13]HARSANYI J C.Games with incomplete information played by Bayesian players,part III:The basic probability distri-bution of the game[J].Management Science,1968,14(7):486–502.[14]SMITH J M,PRICE G R.The logic of animal conf l ict[J].Nature,1973,246:15–18.[15]MEI Shengwei,WEI game and its applications in the smart grid[J].Journal of Science and Mathematics Science,2014,34(11):1331–1344.(梅生伟,魏韡.智能电网环境下主从博弈模型及应用实例[J].系统科学与数学,2014,34(11):1331–1344.)[16]SCUTARI G,PALOMAR D P,FACCHINEI F,et optimization,game theory,and variational inequality theory[J].IEEE Signal Processing Magazine,2010,27(3):35–49.[17]LU Qiang,MEI Shengwei,SUN Control of Power System[M].Beijing:Tsinghua University Press,2008.(卢强,梅生伟,孙元章.电力系统非线性控制[M].清华大学出版社,2008.)[18]SHAPLEY L S.A value forn-person games[R].Santa Monica,CA:Rand Corporation,1952.[19]NASH J F.The bargaining problem[J].Econometrica,1950,18(2):155–162.[20]SONG Meiping,GU Guochang,ZHANG of multiagent reinforcement learning in Markov games[J].Control and Decision,2005,20(10):1081–1090.(宋梅萍,顾国昌,张国印.随机博弈框架下的多agent强化学习方法综述[J].控制与決策,2005,20(10):1081–1090.)[21]LU Qiang,CHEN Laijun,MEI applications and prospects of game theory in power system[J].Proceedings of the CSEE,2014,34(29):5009–5017.(卢强,陈来军,梅生伟.博弈论在电力系统中典型应用及若干展望[J].中国电机工程学报,2014,34(29):5009–5017.)[22]MEI Shengwei,LIU Feng,WEI Introduction of Engineering Game Theory and Its Applications in Power System[M].Beijing:Scientific Press,2016.(梅生伟,刘锋,魏韡.工程博弈论基础及电力系统应用[M].北京:科学出版社,2016.)[23]WANG Yingying,MEI Shengwei,LIU schemes for the cooperative game in the hybrid power system planning[J].Journal of Science and Mathematics Science,2012,32(4):418–428.(王莹莹,梅生伟,刘锋.混合电力系统合作博弈规划的分配策略研究[J].系统科学与数学,2012,32(4):418–428.)[24]MEI S,WANG Y,LIU F,et al.Game approaches for hybrid power system planning[J].IEEE Transactionson Sustainable Energy,2012,3(3):506–517.[25]MEI Shengwei,GUO Wentao,WANG Yingying,et al.A game model for robust optimization of power systems and its application[J].Proceedings of the CSEE,2013,33(19):47–56.(梅生伟,郭文涛,王莹莹,等.一类电力系统鲁棒优化问题的博弈模型及应用实例[J].中国电机工程学报,2013,33(19):47–56.)[26]WEI Wei,LIU Feng,MEI and economical scheduling methodology for power systems,part one:theoretical foundations[J].Automation of Electric Power System,2013,37(17):37–43.(魏韡,刘锋,梅生伟.电力系统鲁棒经济调度(一):理论基础[J].电力系统自动化,2013,37(17):37–43.)[27]WEI Wei,LIU Feng,MEI and economical scheduling methodology for power systems,part two:application foundations[J].Automation of Electric Power System,2013,37(18):60–67.(魏韡,刘锋,梅生伟.电力系统鲁棒经济调度(二):应用实例[J].电力系统自动化,2013,37(18):60–67.)[28]WEI W,LIU F,WANG J,et environmental-economic dispatch incorporating wind power generation and carbon capture plants[J].Applied Energy,2016,183:674–684.[29]YANG Xiandong,YE and Nonlinear H-infinity Control Theory[M].Taipei:Quanhua Science and Technology Books Corporation,1997.(杨宪东,叶芳柏.线性与非线性H∞控制理论[M].台北:全华科技图书股份有限公司,1997.)[30]Gui Xiaoyang,MEI Shengwei,LU coordinated robust governor control of hydro-turbine generator sets in multimachine power systems[J].Automation of Electric Power System,2006,30(3):29–33.(桂小阳,梅生伟,卢强.多机系统水轮机调速器鲁棒非线性协调控制研究[J].电力系统自动化,2006,30(3):29–33.)[31]LU Qiang,ZHENG Shaoming,MEI Shengwei,et studyonlargedisturbanceofNR–PSSandRTDSinlargeaynchronous generator sets[J].Science in China Journal E,2008,38(7):979–992.(卢强,郑少明,梅生伟,等.大型同步发电机组NR–PSS及RTDS大扰动实验研究[J].中国科学E辑,2008,38(7):979–992.)[32]LUQ,MEIS, generators on a 300 MW machine in Baishan Hydro Plant[J].Science in China Journal E(English Version),2007,50(4):516–520.[33]MEI S,WEI W,ZHENG S,et of an industrial nonlinear robust power system stabilizer and its improved frequency domain testing method[J].IET Generation,Transmission,Distribution,2011,5(12):1201–1210.[34]LI N,MARDEN games for distributed optimization[J].IEEE Journal of Selected Topics in Signal Processing,2013,7(2):230–242.[35]WANG Z,LIU F,CHEN Y,et distributed control of standalone dc microgrids[EB/OL].IEEE Transactions on Smart Grid,2017, Z,LIU F,LOW S H,et frequency control with operational constraints,Part I:Per-node power balance[EB/OL].IEEE Transactions on Smart Grid,2017, Z,LIU F,LOW S H,et frequency control with operational constraints,Part II:Network power balance[EB/OL].IEEE Transactions on Smart Grid,2017, Shengwei,GONG Yuan,LIU Feng.The evolution model of three-generation power systems and characteristic analysis[J].Proceedings of the CSEE,2014,34(7):1003–1012.(梅生伟,龚媛,刘锋.三代电网演化模型及特性分析[J].中国电机工程学报,2014,34(7):1003–1012.)[39]ZHOU Xiaoxin,CHEN Shuyong,LU and prospect for power system development and related technologies:a concept of three-generation power systems[J].Proceedings of the CSEE,2013,33(22):1–11.(周孝信,陈树勇,鲁宗相.电网和电网技术发展的回顾与展望——试论三代电网[J].中国电机工程学报,2013,33(22):1–11.)[40]LIU Nian,YU Xinghuo,ZHANG cyber-attack:inf l uence and thinking of inciden on Ukarinian power grid[J].Automation of Electric Power System,2016,40(6):144–147.(刘念,余星火,张建华.网络协同攻击:乌克兰停电事件的推演与启示[J].电力系统自动化,2016,40(6):144–147.)[41]GUO Lei.Some thoughts on the development of control theory[J].Journal of Science and Mathematics Science,2012,31(9):1014–1018.(郭雷.关于控制理论发展的某些思考[J].系统科学与数学,2012,31(9):1014–1018.)

文章来源：《电力系统自动化》 网址: http://www.dlxtzdhzz.cn/qikandaodu/2021/0419/885.html