1.一种基于知识‑数据混合驱动算法的电网频率协同控制方法，其特征在于，包括以下步骤：S1：建立电网频率响应控制模型，确定模型的参数设置，包括：确定下垂控制系数Rj，j∈[1,m+n]；分别确定调频机组调速器和汽轮机组的时间常数Ta、Tb；分别确定储能系统的时间常数与调频参与因子TB、kB,j，j∈[m+1,m+n]；分别确定系统的扰动功率、系统惯性时间常数和负荷阻尼系数ΔPL、H和D；确定调频发电机和储能系统在参与频率动态响应的最大/最小输出功率的约束限制；

式中，分别确定第i台发电机和第j个储能系统的输出功率变化量ΔPG,i和ΔPB,j；分别确定第i台发电机的输出功率上下限 确定代表第j个储能系统的最大充/放电功率S2：建立知识‑数据混合驱动的实时决策算法，包括：采用演员‑评论家架构；演员在每步动作中提供最优动作策略π，其实质为一个将状态s映射到动作A上的确定性函数，并通过u策略网络u(s；θ)对其进行近似；为了避免过早地陷入局部最优，在训练过程中对策略网络uu(s；θ)的输出值叠加了随机自相关系数ξ；因此，训练过程中控制器j在状态s下的输出动作Aj可表示为：式中， 表示演员网络 的网络参数；

分布式调频机组与储能系统的控制器可通过与环境交互得到大量的经验样本数据；这些样本数据在对演员网络的参数训练过程中，会首先注入评论家模型；承载着原始经验样本信息的“数据”流与频率响应模型知识相结合后，最终以策略梯度的形式对演员网络参数进行集中式更新；建立的评论家为基于模型知识推导的可用于辅助演员神经网络参数训练更新的策略梯度；

S3：建立的训练流程，训练知识‑数据混合驱动算法。

2.如权利要求1所述的一种基于知识‑数据混合驱动算法的电网频率协同控制方法，其特征在于，步骤S3所述的训练知识‑数据混合驱动算法，具体包括：

3.如权利要求1所述的一种基于知识‑数据混合驱动算法的电网频率协同控制方法，其特征在于，步骤S2所述的知识‑数据混合驱动的实时决策算法的构建包括：S2‑1：建立控制目标与奖励函数，系统频率偏差与系统调频总成本加权和的最小值作u为算法控制目标，建立了状态动作值函数Q (s,A)来量化未来T时间内系统在所有智能体协同控制下的整体性能：式中，A代表当前时刻所有智能体输出动作的集合，即A＝[A1,A2,···Am,···,Am+n]；G与B分别为调频发电机组与储能系统的集合；m、n分别表示调频机组与储能系统的数u u量；Q (s,A)的上标u表示，在当前状态s下决定状态动作值函数Q (s,A)大小的动作集合A是由m+n个策略网络的输出u＝[u1,u2,...,um,...,um+n]共同得到的；Δt、T分别代表时间步长大小及经验轨迹长度；s为t时刻系统的状态信息； 为发电机组的单位出力成本； 为储能系统的单位功率调度成本，其中储能在充电状态下 储能在放电状态下λ为平衡电网频率偏差以及系统调频总成本的加权系数；f0、P0、C0分别表示用于统一量纲时归一化的基准值；为尽快消除系统频率偏差，式(4)右边的第一项加入了折扣因子γ∈(0,1)，从而使当前时刻的Δf较未来的Δf有更大的权重；

u

S2‑2：建立演员网络参数更新方法，通过最大化状态动作值函数的期望Εs～ρ[Q(s,A)]即可获得以其为评价指标的最优控制动作；因此，本发明基于梯度上升算法的思想，通过链u式求导法则依次计算Εs～ρ[Q(s,A)]对参数 的梯度，从而通过迭u u

代更新参数θ 实现沿梯度方向最大化Εs～ρ[Q (s,A)]，也即获得了能使各个策略网络输出最优动作的网络参数u

以第j个控制器为例，Εs～ρ[Q (s,A)]对网络参数 的梯度及相应的参数 更新公式为：式中，η∈(0,1)为策略网络参数 的学习率；N为小批量采样样本数，并通过求取N个状u u态动作值函数Q(s,A)对 的梯度 的平均值来近似表示Εs～ρ[Q(s,A)]对 的梯度；为实现如式(6)中的参数更新，必须首先求得式(5)中的 与 由于 为含多隐含层的策略网络，其对应的函数表达式为

因此，

式中，p代表神经网络层数；状态s为神经网络的输入； 表示策略网络j中第l层神经元的激活函数；

u

S2‑3：建立状态动作值函数的策略梯度，在网络参数Εs～ρ[Q (s,A)]的迭代更新过程u中，为求得状态动作值函数的期望Εs～ρ[Q (s,A)]对 的梯度，其关键在于获知状态动作值函数 对控制器动作Aj的梯度 根据链式求导法则，对于第i∈G台调频机组可得：

对于第j∈B个储能系统可得:

根据频率响应控制模型，系统频率偏差Δf(t)与调频机组/储能系统控制器输出指令Ai∈G/B之间的传递函数可以表达为如下形式：相较于发电机组，储能系统的时间常数TB几乎可以忽略不计；为了方便计算，在后续推导过程中将TB近似为0；此外，各调频机组与储能系统的总出力与系统频率之间的传递函数可表示为：

1)推导

对式(10)进行拉普拉斯反变换并忽略关于 的高阶项后求关于Ai∈G的梯度，整理后即可得系统频率偏差Δf(t)对第i台调频机组控制器输出动作Ai∈G的策略梯度表征了第i台调频机组控制器在当前时刻输出的单位动作量，在之后的时刻t所引起的系统频率变化；因此，以零状态求解式(12)的一阶微分方程，可得：

2)推导

对式(11)做拉普拉斯反变换并对控制动作Ai∈G求梯度，整理可得：将式(12)代入(14)，并整理得：

式中的 已由式(13)给出；将式(13)与式(15)代入式(8)中，最终得到的解析表达式；

3)推导

同理，对式(10)两端求Aj∈B的梯度：

(16)表征了第j个储能系统控制器在当前时刻输出的单位动作量，在之后的时刻t所引起的系统频率变化；因此，以零状态求解式(16)的一阶微分方程,可得：式(17)中右边第一项代表单位控制指令Aj∈B所引起的频率变化最终稳态值；

4)推导

对式(11)做拉普拉斯反变换并对控制动作Aj∈B求梯度，整理可得：将式(16)代入(18)，并整理得：

式中的 已由式(17)给出；将式(17)与式(19)代入式(9)中，最终得到的解析表达式；

S2‑4：建立调频机组与储能系统输出功率约束

调频机组与储能系统的实际有功出力不仅受到各自下垂控制系数与控制器输出的调控，同时还需时刻满足其最大和最小输出功率约束；调频机组/储能系统在频率响应中的功率变化量可表示为：式中ΔPG/B,j代表第j台调频机组或储能系统的功率变化量；因此，发电机与储能系统最大/最小输出功率约束表示为：式中 分别表示代表第j台调频机组/储能系统的基准运行点、最大/最小输出功率约束；令 同时考虑 则PG/B,j关于网络参数的梯度可表示如下：

由式(22)可知，在相同的系统状态s下，若策略网络参数 沿如下方向更新，则对应的发电机/储能系统功率输出将增大，反之功率输出减小；

u

结合式(6)给出的沿Εs～ρ[Q (s,A)]梯度上升的方向，最终可得考虑发电机/储能系统输出功率最大/最小限制的策略网络参数 的更新规则为：式(24)表示，若沿 方向更新参数 将导致发电机/储能系统输出功率违反其最大/最小限制，则在下一步迭代中， 将沿向量 在以向量为法线的平面上的投影方向继续更新，从而使 的更新轨迹始终处于频率控制模型所刻画的可行域内。