利索能及
我要发布
收藏
专利号: 2021107730274
申请人: 重庆大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于,包括以下步骤:步骤(1)建立仿真及训练环境,其具体方法为:(1.1)构建两个相同的封闭道路环境模拟场景;

(1.2)设置适当的模拟运行时间,生成任意数量的无保护LTAP/OD事件;

(1.3)设置多辆直行车辆(SDV)和三条左转车辆(TV)候选路径;

步骤(2)设计奖励函数,采用人类驾驶员的驾驶技巧处理复杂的无保护LTAP/OD事件;

步骤(3)设计策略结构,使用学习算法更新深度卷积模糊系统的参数,寻找最优值函数;

步骤(4)设计学习算法,采用人类驾驶员的数据和深度卷积模糊系统算法提高训练效率,其具体方法为:(4.1)设置一个用于记录学习算法的函数Q;

(4.2)使用人类驾驶员的数据初始化函数Q;

(4.3)通过深度卷积模糊系统运算,得到函数Q的新值;

(4.4)使用深度强化学习对函数Q的值进行更新,得到最优解;

步骤(2)中,所述奖励函数功能如下:

所述st为t时刻环境的状态;

所述at为t时刻智能体采取的动作;

所述c1,c2,c3,c4>0为其权重参数,其中c1=0.5、c2=4、c3=0.5、c4=4,车辆最大限速为17m/s≈60km/h;

TV SDV

所述|v ‑v |为TV和SDV的速度差的绝对值;

所述 表示TV到冲突区域边界的距离, 即TV通过冲突区域之前,第一个奖励函TV数起作用,而当TV通过冲突区域之后,第二个奖励函数发挥作用,TV速度v 越大,通行效率就越高;

所述D代表TV与SDV二者重心之间的距离,距离越大,碰撞风险就越小,当D≤3.5m时,第三个奖励函数起作用。

2.根据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于步骤(1)中,所述无保护LTAP/OD事件,其每一个无保护LTAP/OD事件为一个深度强化学习训练回合。

3.根据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于步骤(2)中,所述人类驾驶员的驾驶技巧包括车辆转向、刹车以及加速车身动作。

4.据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法,其特征在于步

1 2 q

骤(3)中,所述模糊系统隶属度函数为A ,A ,…A ,其第l层的第i个模糊子系统的数学表达式为:所述模糊子系统对应的输入集 是通过一个宽度为m、移动步长为s的滑移窗口,从第l层的输入空间选出的,而第l层的输入则是由第l‑1层的全部输出构成,其中,m则模糊系统 可由如下q 条模糊IF‑THEN规则构成:

如果 为 且 为 则x为 y为

所述参数 是模糊集 的中心,是深度卷积模糊系统的核心参数;

所述基于深度卷积模糊系统的值函数,根据采集到的数据,其输入、输出数据对为:(x1,TV TV TV SDV SDVx2,x3,x4,x5,x6,x7;y)=(x ,y ,v ,v ,D,a ,action;value),7个输入和1个输出组成的TV TV深度卷积模糊系统结构,其中x 为大地坐标系下左转车辆的横向位置,y 为大地坐标系下TV SDV左转车辆的纵向位置,v 为左转车辆的速度,v 为直行车辆的速度,D为直行与左转车辆之SDV间的距离,a 为直行车辆的加速度,action为智能体采取的控制动作,value为动作值函数的值;所述深度卷积模糊系统结构分为三层,共9个模糊子系统,其中每个模糊子系统都有3个输入,即m=3,并且卷积窗的移动步长s=1。