1.一种基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于,包括以下步骤:步骤(1)建立仿真及训练环境,其具体方法为:(1.1)构建两个相同的封闭道路环境模拟场景;
(1.2)设置适当的模拟运行时间,生成任意数量的无保护LTAP/OD事件;
(1.3)设置多辆直行车辆(SDV)和三条左转车辆(TV)候选路径;
步骤(2)设计奖励函数,采用人类驾驶员的驾驶技巧处理复杂的无保护LTAP/OD事件;
步骤(3)设计策略结构,使用学习算法更新深度卷积模糊系统的参数,寻找最优值函数;
步骤(4)设计学习算法,采用人类驾驶员的数据和深度卷积模糊系统算法提高训练效率,其具体方法为:(4.1)设置一个用于记录学习算法的函数Q;
(4.2)使用人类驾驶员的数据初始化函数Q;
(4.3)通过深度卷积模糊系统运算,得到函数Q的新值;
(4.4)使用深度强化学习对函数Q的值进行更新,得到最优解;
步骤(2)中,所述奖励函数功能如下:
所述st为t时刻环境的状态;
所述at为t时刻智能体采取的动作;
所述c1,c2,c3,c4>0为其权重参数,其中c1=0.5、c2=4、c3=0.5、c4=4,车辆最大限速为17m/s≈60km/h;
TV SDV
所述|v ‑v |为TV和SDV的速度差的绝对值;
所述 表示TV到冲突区域边界的距离, 即TV通过冲突区域之前,第一个奖励函TV数起作用,而当TV通过冲突区域之后,第二个奖励函数发挥作用,TV速度v 越大,通行效率就越高;
所述D代表TV与SDV二者重心之间的距离,距离越大,碰撞风险就越小,当D≤3.5m时,第三个奖励函数起作用。
2.根据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于步骤(1)中,所述无保护LTAP/OD事件,其每一个无保护LTAP/OD事件为一个深度强化学习训练回合。
3.根据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于步骤(2)中,所述人类驾驶员的驾驶技巧包括车辆转向、刹车以及加速车身动作。
4.据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于步
1 2 q
骤(3)中,所述模糊系统隶属度函数为A ,A ,…A ,其第l层的第i个模糊子系统的数学表达式为:所述模糊子系统对应的输入集 是通过一个宽度为m、移动步长为s的滑移窗口,从第l层的输入空间选出的,而第l层的输入则是由第l‑1层的全部输出构成,其中,m则模糊系统 可由如下q 条模糊IF‑THEN规则构成:
如果 为 且 为 则x为 y为
所述参数 是模糊集 的中心,是深度卷积模糊系统的核心参数;
所述基于深度卷积模糊系统的值函数,根据采集到的数据,其输入、输出数据对为:(x1,TV TV TV SDV SDVx2,x3,x4,x5,x6,x7;y)=(x ,y ,v ,v ,D,a ,action;value),7个输入和1个输出组成的TV TV深度卷积模糊系统结构,其中x 为大地坐标系下左转车辆的横向位置,y 为大地坐标系下TV SDV左转车辆的纵向位置,v 为左转车辆的速度,v 为直行车辆的速度,D为直行与左转车辆之SDV间的距离,a 为直行车辆的加速度,action为智能体采取的控制动作,value为动作值函数的值;所述深度卷积模糊系统结构分为三层,共9个模糊子系统,其中每个模糊子系统都有3个输入,即m=3,并且卷积窗的移动步长s=1。