1.基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，包括：采集城市路网的交通状态信息向量；

协调各个子区域交叉口的控制策略，并生成子区域交叉口的控制策略。

2.根据权利要求1所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，采集城市路网的交通状态信息向量，包括：将城市路网划分成N个包含交通信号灯的子区域，交通状态信息向量st为所有子区域的交通状态信息si，t的集合，i∈[1，N]，N为城市路网中子区域的总数；

子区域i交通状态信息si，t包括时刻t子区域i的拥堵延误向量 和时刻t子区域i交通信号灯的状态向量ci，t， 为时刻t子区域i路段k的拥堵延误值，k∈[1，K]，K为子区域内的路段数；

若时刻t子区域i路段k内无车，则 否则 m为时刻t路段k的车辆总数，tk为路段k车辆的实际旅行时间，tfree为路段k自由流车速的旅行时间；

时刻t子区域i交通信号灯的状态向量ci，t＝(pi，li，t‑1)，pi为时刻t子区域i交通信号灯的相位配时，li，t‑1为时刻t子区域i相位配时pi的已执行时长。

3.根据权利要求1所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，协调各个子区域交叉口的控制策略，并生成子区域交叉口的控制策略，包括：获取交通状态信息向量st，动态生成每个子区域交叉口的控制策略，并将每个子区域交叉口的控制策略转换为对应子区域的交通信号灯的相位配时。

4.根据权利要求3所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，获取交通状态信息向量si，t和st，动态生成每个子区域交叉口的控制策略，并将每个子区域交叉口的控制策略转换为对应子区域的交通信号灯的相位配时，包括：将子区域i交通状态信息si，t，送入训练获得的执行网络Qi，a；

执行网络Qi，a动态生成已知的最优控制策略ai，t；

将最优控制策略ai，t转换为对应子区域i交通信号灯的相位配时pi，t：获取当前交通信号灯的相位配时pi和相位配时pi的已执行时长li，t‑1，相位配时pi的最新执行时长li，t＝ai，t‑li，t‑1；若li，t＜0，则交通信号灯跳转执行下一相位配时pi，t；

从si，t中提取子区域的拥堵延误状态di，t，计算奖励函数获取下一时刻交通信息状态si，t+1和st+1，将(si，t，ai，t，ri，t，si，t+1，st+1)存为经验数据。

5.根据权利要求4所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，基于训练获得的本地评价网络Qi，c，训练获得执行网络Qi，a，包括：训练获得本地评价网络Qi，c，包括：

采集(si，t，ai，t，ri，t，si，t+1，st+1)，获取历史经验数据 si，tr为子区域i的历史时刻tr的交通状态信息，ai，tr为si，tr对应的历史控制策略，ri，tr为控制策略ai，tr的奖励值，si，tr+1为时刻tr+1子区域的交通状态信息，str+1为时刻tr+1全路网交通状态信息，Di为历史经验数据的容量；

随机选择Bi条历史经验数据构成训练数据集

利用训练数据集对本地评价网络Qi，c进行训练，包括：从训练数据集中提取奖励向量 交通状态信息向量 和

训练获得的全局执行网络Qa计算获得全局优化策略a′＝Qa(s′)的控制策略分量a′i；

采用软更新法更新目标评价网络Q′i，c的权重w′i：w′i，new＝τw′i，old+(1‑τ)wi，

式中，τ是设定的系数，w′i，old是更新前的权重，w′i，new是更新后的目标评价网络Q′i，c的权重w′i，wi为Qi，c的权重；

根据交通状态信息向量s′i、控制策略分量a′i、奖励向量ri以及目标评价网络Q′i，c的权重w′i，求解使累积奖励最大的控制目标向量yi：yi＝ri+γQ′i，c(s′i，a′i，w′i)，式中，γ是设定的折扣系数；

计算本地评价网络Qi，c的值Qi，c(si，ai，wi)和控制目标向量yi之间的loss值：式中，L(wi)是Qi，c(si，ai，wi)和控制目标向量yi之间的loss值；wi是本地评价网络Qi，c的权重向量，采用Adam优化器以loss值最小为目标迭代更新wi； 是由该训练数据集计算得到的loss期望值，

判断Qi，c(si，ai，wi)是否能收敛到yi，若Qi，c(si，ai，wi)收敛到yi则输出获得最终的本地评价网络Qi，c。

6.根据权利要求5所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，基于训练获得的本地评价网络Qi，c，训练获得执行网络Qi，a，包括：步骤1，从训练数据集 从中提取交通信息状态向量

步骤2，调用执行网络Qi，a计算得到si的对应策略ai，ai＝Qi，a(si)；

步骤3，将si和ai代入本地评价网络Qi，c，计算策略ai的得分Qi，c(si，ai)；

步骤4，将得分Qi，c(si，ai)代入以下方程，并采用Adam优化器和确定性策略梯度法更新执行网络Qi，a的权重θi，以使Qi，c(si，ai)的得分达到最高：式中，α是学习率， 是执行网络Qi，a的网络权重θi的策略梯度， 是执行网络Qi，a策略向量ai的策略梯度，Qi，a(ai|si)是状态为si时策略为ai的条件概率，Δθi，k是θi在第k步的更新量；

步骤5，当Δθi，k＜δ时停止更新，δ为相似度阈值，输出获得最终的执行网络Qi，a。

7.根据权利要求6所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，训练获得的全局执行网络Qa计算获得全局优化策略a′＝Qa(s′)的控制策略分量a′i，包括：在全局执行网络Qa获取城市路网的交通状态信息向量s′；基于交通状态信息向量s′，全局执行网络Qa计算获得全局优化策略a′，a′＝(a′1，...，a′N)，N为城市路网中子区域的总数，将a′分解为{a′i|a′i∈a′}，a′i为全局优化策略a′的控制策略分量。

8.根据权利要求1所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，基于训练获得的全局评价网络Qc，训练获得全局执行网络Qa，包括：训练获得全局评价网络Qc，包括：

步骤1，获取城市路网当前时刻t所有N个子区域的控制策略，合成全局控制策略at＝(a1，t，...，aN，t)；获取当前时刻的全局交通状态信息向量st和下一时刻的全局交通状态信息向量st+1；

步骤2：根据城市路网的总拥堵延误时间计算全局奖励值rt， 获得全局经验数据(st，at，rt，st+1)；

步骤3，通过不断采集(st，at，rt，st+1)获取全路网经验数据 D为容量，str为城市路网在tr时刻的历史交通状态信息，atr＝(a1，tr，...，aN，tr)为tr时刻所有子区域的控制策略，rtr为控制策略atr的奖励值，s′tr为城市路网在tr+1下一时刻的历史交通状态信息；

步骤4，随机选择B组数据构成训练集 从训练集中提取奖励值(rtr)B构成奖励向量r，从训练集中提取交通状态信息(str)B构成交通状态信息向量s′，并根据s′生成全局控制策略a′，即a′＝Qa(s′)；

步骤5，采用软更新法更新全局目标评价网络Q′c的权重w′：w′new＝τw′old+(1‑τ)w；

式中，τ是设定的系数，w′new是更新前的全局目标评价网络Q′c的权重，w′old是更新后的全局目标评价网络Q′c的权重w′，w是Qc的权重；

更新全局控制目标函数，使全局累积奖励最大；

全局控制目标函数为：

y＝r+γQ′c(s′，a′，w′)，

式中，y为全局控制目标，Q′c为全局目标评价网络，w′是全局目标评价网络Q′c的权重；

步骤6，通过迭代更新全局评价网络Qc的权重w以最小化L(w)；L(w)的计算公式为：式中，L(w)是基于训练集(str，atr，rtr，s′tr)B得到的loss值， 为该训练集计算得到的loss期望值；调用Adam优化器以loss值最小为目标迭代更新全局评价网络Qc的权重向量w；

若使Qc(s，a，w)收敛到y，则结束运行，获得最终的全局评价网络Qc。

9.根据权利要求8所述的基于多智能体深度强化学习的城市交通信号协同控制方法，其特征在于，基于训练获得的全局评价网络Qc，训练获得全局执行网络Qa，包括：步骤1，获取训练集 从中提取交通信息状态向量

步骤2，调用全局执行网络Qa计算得到s对应策略a，a＝Qa(s)；

步骤3，将s和a代入全局评价网络Qc，计算策略a的得分Qc(s，a)；

步骤4，将得分Qc(s，a)代入以下方程，并使用Adam优化器对全局执行网络Qa的权重θ进行更新，通过调节θ使Qc(s，a)的得分达到最高；全局执行网络Qa的权重θ的更新公式为：式中，α是学习率， 是全局执行网络Qa的权重θ的策略梯度， 是控制策略向量a的策略梯度，Qa(a|s)是状态为s时策略为a的条件概率，Δθk是θ在第k步的更新增量；

若Δθk＜δ则结束运行，δ为相似度阈值，输出全局执行网络Qa，否则执行步骤1。