人工智能在电网管理中的应用

今年8月15日，铁哥在深圳南方电网进行了一场人工智能如何在电网系统中落地的讲座。讲座内容从基础开始，结合不同国家经验，讨论了人工智能的前沿应用。

首先，我们来看电网是什么，电网为什么需要人工智能赋能。电网是由众多的单元，比如供电单元，用电单元组成的复杂网络，而每个用电单元的用电量都是随时间不确定的，受到天气等不可控因素的影响，而目前的新能源单位，如风能，水电，在供给端增加了这种不确定性，这些都使得电网成为一个随机的复杂系统，难以管理。而人工智能模型，普遍能够自动的寻找不确定性中隐含的模式，从而有效的化解这种不确定性。

了解下文需要知道如下基础知识：

监督学习：电网与供电量预测紧密相关，而所有有关于预测的问题，和监督学习息息相关

强化学习：电网的核心在于控制，比如用电量调配，系统风险的调节，还是设备维护，这就涉及了有关决策的一系列学问，从而涉及强化学习。

与图与复杂网络有关的分析：电网涉及到复杂的拓扑结构，如何干预电网，需要了解复杂网络的一些基本知识。

应用部分：

人工智能在电网中应用的总体划分，大体可以分为供求预测，智能调度，电网改建，设备维护几个方面。

那么我们就从供求预测讲起，从最基本的用电量预测开始看这问题。用电量是一个典型的受到很多外部因子影响的过程，比如天气，用户的生活工作习惯等，因此，这是一个典型的监督学习的回归问题。

而这里的介绍的工具是监督学习和强化学习的结合。这里的问题是用天气数据预测未来的短时间（小时）的用电负载。由于电网的供电预测问题非常复杂，在不同的时间段可能符合的规律也是不同的，我们用一种模型（对应一种假设）来进行预测显然是不够合理，而这篇文章在方法论的创新，就是用一群模型（模型池），而非一个模型来进行预测。我们来看模型池包含哪些模型框架：人工神经网络ANN， SVM，梯度提升机GBM，随机森林RF。

那么好了，既然有不同的模型框架，应该在什么时候开启什么模型呢？这就是该工作另一个创新点监督学习和强化学习相结合。用强化学习来选择不同的模型进行预测。我们把历史数据i前几个成测试集和训练集，然后训练一个由多个模型组合出来的模型池，然后用强化学习机制来进行筛选（下一步）最佳的模型。由于整个环境会变化的，而每个环境状态启示可以使用的最佳模型不同，所以这种模型选择可以比单个模型获取更好的性能。对于每个模型框架，我们又会选择不同的超参和优化方法来得到更多的具体模型。

具体的强化学习就是简单的Q学习。这里的行为是不同的模型，而奖励是模型最终预测的准确率。

Reinforcement Learning based Dynamic Model Selection for Short-Term Load Forecasting

Cong Feng, Jie Zhang

最终的模型效果如何呢？在测试集看还是比单个模型好很多，比最好的单个模型几乎提升一倍。

另一些工作旨在直接使用LSTM解决这个问题

Zhao, Yang, Jianping Li, and Lean Yu. &amp;amp;amp;amp;amp;amp;quot;A deep learning ensemble approach for crude oil price forecasting.&amp;amp;amp;amp;amp;amp;quot; Energy Economics 66 (2017): 9-16.

也取得了不错的效果。

然后我们来看调度问题。用电量预测仅仅是一个发电的环节（状态），而电网运行的本质： 分配则必须是一个决策过程而非被动的预测。

因此用电量调配就是更彻头彻尾的强化学习问题。因为电网需要从不同的generator调用电量，那么究竟从那个电站调用多少电量，就是一个典型的决策问题，因而符合强化学习框架。而电网决策的最大问题是，电网运行是一个多尺度问题，对于当日用电的决策，和每个小时的用电决策，是相互关联，又不完全相关的过程。如果不考虑这种多尺度性，那么这个决策的选择范围就太大了而导致问题无解。

这篇文章引用一个多尺度决策的体系。运用仿真平台，快速学习强化学习策略。这里包含一个小时时间尺度的值函数方法，和日时间尺度的策略梯度方法互相调控。

小时尺度决策的状态行为奖励函数，日时间尺度的函数。我们可以用之前的强化学习知识推测这里的动作和状态奖励是什么。

首先这个工作的目的是确保设备供电稳定，因此奖励或目标函数必须与这个相关，这个东西就是设备在未来的稳定性。第二，这里的行为是什么，状态是什么。首先，整个电网的重要参数都是状态，这里包含了电网的网络拓扑，需求电量，分别来自风电和传统能源的供应电量（d， w, g， e）。这里为什么要把传统能源和风电分开，是因为风电是不可控的，而传统能源是可以控制的。同时我们知道为了动作是什么，动作就是传统能源电站的发电量，因为我们需要通过调控这些可以控制的部分，来实现整体的最稳定。

这个方法比较传统方法大大提高了用电的稳定性，而这个方法意味着整个电站的管理可以被强化学习所接手。同时，这种多层级的强化学习模型，也对很多其它领域的探索有启发。

我们再来看一个更有意思的问题：机器学习除了作发电量的预测和控制，对于电网本身的建设有没有指导性呢？这里就不得不思考电网的总体结构，尤其是网络拓扑结构。刚刚我们已经看到，电网的状态变量最核心之一就是网络的结构。这是我们可以运用仿真进行决策的基础。然而由于电网结构本身变得日益复杂，这个结构不再是我们轻易可以掌控的，尤其是这种连接又和任务密切相关，这时候，我们不再能依靠传统方法，而是需要引进一定的复杂系统与机器学习结合的方法来实时测量一个动态的网络结构。那么这个方法是什么样的呢，这里用到了一种叫网络微扰加机器学习的办法，来寻找这个结构。首先我们把网络分为拓扑和流两个部分，然后衡量每条边对其它边的影响。

这种测量模拟也就是微扰的方法。你搭建一个仿真环境，然后在仿真过程里，你假定一条边断开或者它的源降为0，这个时候整个网络都会收到影响，我们可以把这种影响记录下来，得到这个边到边的影响矩阵，有了这个矩阵，我们就可以用一个叫做infomap的聚类方法来得到一个具有模块聚类的网络结构。每一个模块都表示了一个功能单元。