1.基于深度强化学习的瓶颈区换道控制方法,其特征在于,包括:S1、沿车辆行驶方向依次将路网划分为换道区和瓶颈区,将所述换道区设置为环境,观测所述环境,并获取t时刻所述环境的整体状态st;
S2、构建代理,所述代理通过ε‑贪婪策略确定整体状态st下t时刻的换道动作at;
S3、代理执行所述换道动作at,并获取执行所述换道动作at后各车道的车辆密度,根据各车道的车辆密度确定t时刻的奖励rt,并获取所述环境在t+1时刻的整体状态st+1;
S4、将整体状态st、换道动作at、奖励rt、整体状态st+1整合成经验并存入经验回放池中,使用所述经验回放池中的经验训练代理;
S5、重复步骤S1至步骤S4的环境与代理交互训练直至达到最大迭代次数,此时,所述代理得到最优换道控制行动的Q值表。
2.根据权利要求1所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,所述换道区包括4条车道,将4条车道从右至左依次编号为0、1、2、3。
3.根据权利要求2所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,观测所述环境,并获取t时刻所述环境的整体状态st具体包括:分别获取所述换道区各条车道在t时刻的车辆密度,并采用向量Si,j(t)表示t时刻第i区域的第j条车道的车辆密度;
其中,所述换道区包括非控制区和控制区,i=0表示非控制区,i=1表示控制区;
此时,将t时刻的所述环境的整体状态st表示为st={S0,0(t),S0,1(t),…,S1,2(t),S1,3(t)}。
4.根据权利要求3所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,所述代理通过ε‑贪婪策略确定整体状态st下t时刻的换道动作at具体包括:构建换道比例值,所述换道比例值包括0、0.1、0.2、0.3;
采用向量Mk(t)表示t时刻在第k个换道比例值下参与换道车道的换道动作;
此时,整体状态st下t时刻的换道动作at表示为at={M0(t),M1(t),M2(t),M3(t)}。
5.根据权利要求4所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,所述参与换道车道包括0号车道、1号车道和2号车道。
6.根据权利要求1所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,代理执行所述换道动作at,并获取执行所述换道动作at后各车道的车辆密度具体包括:部署路侧单元,通过所述路侧单元收集t时刻各车道的车流量和平均车速;
对所述车流量和所述平均车速进行计算,得到t时刻各车道的车辆密度。
7.根据权利要求6所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,根据各车道的车辆密度确定t时刻的奖励rt之前还包括:构建t时刻的奖励函数,所述t时刻的奖励函数构建如下:
rn(t)=|ΔD(t‑1)|‑|ΔD(t)|
其中,rn(t)为t时刻的奖励函数,ΔD(t)为t时刻的密度差值,ΔD(t‑1)为t‑1时刻的密度差值。
8.根据权利要求7所述的基于深度强化学习的瓶颈区换道控制方法,其特征在于,所述t时刻的密度差值表示如下:其中,dj表示第j条车道的车辆密度,表示平均车道密度。
9.电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至8任一所述的基于深度强化学习的瓶颈区换道控制方法。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8任一所述的基于深度强化学习的瓶颈区换道控制方法。