1.一种考虑综合能源系统薄弱环节的近端策略优化调度方法，其特征在于，在使用过程中的步骤为：步骤(1) 根据综合能源系统特征，建立综合能源系统模型，描述各环节的连接方式，环节间耦合和环节能量转换；

综合能源系统包括供能网络环节、能源交换环节和能源存储环节；

供能网络环节提供能源并输入到能源交换环节和能源存储环节当中；

能源交换环节使能源在供能网络环节和能源存储环节间交换从而达到环节间的耦合；

能源存储环节利用储能设备将电能、热能和气能能源储存起来；

建立供能网络环节、能源交换环节和能源存储环节模型；

步骤(2) 初始化近端策略优化调度方法参数；

近端策略优化调度方法是一种无模型、在线、符合策略的策略梯度强化学习方法，通过环境交互采样数据和优化剪裁数据之间交替使用随机梯度下降的替代目标函数解决出现薄弱环节的问题；

待初始化近端策略优化调度方法的参数为：初始化近端策略优化调度方法 当前网络的 的随机参数值 ，初始化近端策略优化调度方法 当前网络的的随机参数值 ；

步骤（3）：获取综合能源系统的状态 ；

(1)

其中，

×100％   (2)

  (3)

    (4)

   (5)

  (6)

  (7)

式中， 表示光伏能量消纳率； 表示光伏理论最大出力量； 表示光伏实际消纳量； 表示光伏的数量； 表示二氧化碳排放量； 表示 时刻光伏的电功率；

表示 时刻光伏的实际电功率； 表示调度时间，取1小时； 和 分别表示为用于发电及产热和从电网购买并消耗电能对应的二氧化碳年排放量； 表示使用天然气对应的二氧化碳排放系数； 表示用电所对应的二氧化碳排放系数； 表示消耗的天然气能量； 表示购电量；

  (8)

  (9)

  (10)

  (11)

  (12)

式中， 表示综合能源系统扩容总费用； 表示综合能源系统设备扩容的投资费用；

表示年运行费用； 表示年维护费用；表示综合能源系统设备扩容的总数量； 表示设备 的年值系数； 表示设备 单位容量的投资成本； 表示设备 的扩容量；表示折现率； 表示设备 的寿命； 表示 时刻电价； 表示天然气价格； 和 分别表示为 时刻从电网购电功率以及热电联产输入端的功率；

  (13)

  (14)

  (15)

  (16)

  (17)

式中， 表示光伏； 表示热电联产； 表示热泵； 表示电储能； 表示热储能； 、 、 、 和 分别表示为光伏、热电联产、热泵、电储能和热储能的维护费用； 、 、 、 和 分别表示为光伏、热电联产、热泵、电储能和热储能的单位功率的维护费用； 表示 时刻热电联产的电功率； 表示 时刻热电联产的热功率； 表示 时刻热泵的热功率； 和 分别表示为 时刻电储能和热储能功率的绝对值和放能功率的绝对值；

综合能源系统设备 的运行约束为：  (18)

综合能源系统需满足的电功率平衡约束为：  (19)

综合能源系统需满足的热功率平衡约束为：  (20)

式中，  表示为 时刻设备 的功率值； 表示为改造后设备 的出力上限； 表示为改造前设备 的出力上限； 和 表示 时刻电储能的充电功率和放电功率；

表示 时刻热泵的电功率； 表示为 时刻电负荷功率； 和 表示为 时刻电储能的充热功率和放热功率； 表示为 时刻热负荷功率； 表示为 时刻热储能的充热功率；

步骤(4) 按照近端策略优化调度方法 ‑ 当前网络生成 个经验；

经验顺序为 , , , ，……， , ， , ；

其中， 为状态观测， 为是从该状态执行的动作， 为下一个状态； 为从 到获得的奖励；  为是当前 个经验集的开始时间步长；在训练集开始时， =1，对于同一训练集中的每一组后续 个经验， ;对于不包含终端状态的每个经验序列，等于经验地平线选项值，否则 为终止状态；

步骤(5) 计算返回函数 和优势函数 ；

返回函数 为：

  (21)

  (22)

其中， 为奖励函数； 、 、 、 为比例因子； 为频率偏差； 为所用能源成本； 为二氧化碳排放量； 为综合能源系统最薄弱的一个环节发生故障的代价；如果为终止状态，则 为0，否则为1；如果 不为终止状态，则折扣的未来奖励包括近端策略优化调度方法 网络 计算的折扣状态值函数，计算使用近端策略优化调度方法 网络 计算优势函数 ：  (23)

为计算优势函数，即时间差分误差的折扣和：  (24)

其中， 为平滑因子，为折扣因子；

步骤(6) 从 个时期的小批量经验中学习；

对于每个学习时期，从当前的经验集中对大小为 的随机小批量数据集中采样，小批量数据集的每个元素包含当前经验以及相应的返回和优势函数值；通过最小化所有采样小批量数据的损失来更新 参数；

  (25)

为小批量数据集的第 个元素的返回值；

根据最近的非规范化优势值对优势值 进行规范化；如果规范化优势方法选项为无：  (26)

如果规范化优势方法选项为当前，根据当前小批量中的非规范化优势对优势值进行规范化：  (27)

为规范化优势值； 为平均值函数； 为标准差函数；

步骤(7) 通过最小化所有采样小批量数据的执行策略损失函数 来更新执行策略参数；

(28)

其中， 和 分别为小批量的第 个元素的优势函数和返回值； 为最小值函数；

为熵损失； 为给定更新的策略参数 时，在状态 下执行操作 的概率； 为当处于状态 时采取行动 的概率，给定当前学习时期之前的先前策略参数 ；为裁剪因子； 为熵损失权重因子；

步骤(8) 重复步骤(4)到步骤（7）直到训练达到终止状态；

步骤(9) 输出调度综合能源系统薄弱环节中的各个能源的调度出力,从而避免综合能源系统薄弱环节发生问题。