1.一种利用深度强化学习进行电力系统负荷频率控制的方法,其特征在于,所述方法包括:构建电力系统模型,所述电力系统模型包括发电单元、输电网络、负荷单元以及频率控制装置;
获取电力系统历史运行数据,包括负荷需求记录、发电输出日志、频率波动情况,并对电力系统历史运行数据进行预处理,以得到处理后系统历史运行数据;
根据处理后系统历史运行数据,训练深度神经网络模型,提取系统历史运行数据的关键特征,并预测未来的负荷需求及频率变化趋势,得到预测结果;
根据预测结果,通过强化学习,不断迭代优化,确定负荷频率控制方案;
将经过训练的深度神经网络模型与强化学习进行融合,构建深度强化学习控制器,以实现自动、实时控制电力系统中的负荷频率;
根据预测结果,通过强化学习,不断迭代优化,确定负荷频率控制方案,包括:定义强化学习的状态空间、动作空间和奖励函数,并初始化价值网络参数;
从状态空间中获取当前电力系统的状态,根据当前状态,确定控制动作,并初始化价值网络;
通过深度神经网络模型预测确定的控制动作对未来负荷需求及频率变化趋势的影响,并计算执行动作后的奖励值;
使用计算的奖励值,更新强化学习的网络参数,并重复状态获取、动作执行与未来预测、奖励计算与参数更新,直到达到预设的迭代次数,提取控制方案,并将控制方案作为负荷频率控制方案;奖励函数的计算公式为:;
其中, 表示在状态 下采取动作 后转移到状态 时获得的奖励;
表示频率偏差的权重; 表示执行动作后电力系统的频率;表示电力系统的设定频率; 表示发电与负荷匹配度的权重; 表示执行动作后的发电输出; 表示执行动作后的负荷需求; 表示稳定性指标的权重; 表示电压稳定性在稳定性指标中的权重;
表示执行动作后的电压值; 表示电流稳定性在稳定性计算中的权重; 表示执行动作后的电流值; 表示总成本的权重; 表示发电成本系数; 表示设备维护成本;将经过训练的深度神经网络模型与强化学习进行融合,构建深度强化学习控制器,以自动、实时控制电力系统中的负荷频率,包括:利用电力系统模型构建强化学习的环境,将深度强化学习控制器在强化学习的环境中进行试错学习,在试错过程中,深度强化学习控制器根据当前状态确定动作,并接受环境反馈的奖励和新的状态信息,得到试错学习结果;
根据试错学习结果,深度强化学习控制器不断更新控制方案,直至深度强化学习控制器学会如何根据当前状态和未来预测,确定最终动作,得到训练后深度强化学习控制器;
将训练后深度强化学习控制器融入电力系统中,以自动、实时控制电力系统中的负荷频率。
2.根据权利要求1所述的利用深度强化学习进行电力系统负荷频率控制的方法,其特征在于,根据处理后系统历史运行数据,训练深度神经网络模型,提取系统历史运行数据的关键特征,并预测未来的负荷需求及频率变化趋势,得到预测结果,包括:将处理后系统历史运行数据划分为训练集、验证集和测试集,并将门控循环单元时间序列预测模型作为深度神经网络模型;
定义深度神经网络模型的架构,包括输入层、隐藏层和输出层,并将平均绝对误差作为损失函数;
将训练集输入至深度神经网络模型中,对深度神经网络模型进行训练,在训练过程中,使用验证集数据对深度神经网络模型进行验证,得到验证结果;
根据验证结果,调整深度神经网络模型架构和参数;
使用经过验证的深度神经网络模型对测试集进行预测,得到未来的负荷需求及频率变化趋势预测结果。
3.根据权利要求2所述的利用深度强化学习进行电力系统负荷频率控制的方法,其特征在于,平均绝对误差的计算公式为:;
其中, 表示平均绝对误差; 表示预测的时间步长总数; 表示第 个时间步长的实际负荷需求; 表示第 个时间步长的预测值; 表示输入特征向量; 表示模型参数集; 表示环境变量; 表示权重系数; 表示全局调整系数;表示时间步长的索引值。
4.根据权利要求3所述的利用深度强化学习进行电力系统负荷频率控制的方法,其特征在于,将训练集输入至深度神经网络模型中,对深度神经网络模型进行训练,在训练过程中,使用验证集数据对深度神经网络模型进行验证,得到验证结果,包括:将训练集输入至深度神经网络模型中进行训练,并在每个训练周期中,深度神经网络模型遍历训练集;
通过前向传播,深度神经网络模型计算预测值,并通过反向传播,更新深度神经网络模型参数;
当每个训练周期结束后,使用验证集对深度神经网络模型进行验证,通过对比验证集的预测结果与实际数据,得到验证结果。