利索能及
我要发布
收藏
专利号: 2025118852165
申请人: 广东海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种无人艇路径规划方法,其特征在于,包括:S1:生成连接起点与终点的静态无碰撞路径作为指导无人艇航行的先验参考路径;

S2:获取无人艇的当前位置坐标和当前船头朝向角;

S3:根据所述当前位置坐标和所述当前船头朝向角,计算航向偏差奖励值 :式中,为当前船头朝向角, 为目标航向角,k为敏感度系数;

S4:计算无人艇当前位置到所述先验参考路径之间的最小距离;

S5:根据起点与终点之间的总距离设定分层区域阈值,判断所述最小距离落入所述分层区域阈值的具体区间,根据所处区间选取对应的梯度奖励系数来计算层级引导奖励值,包括:根据下式,计算无人艇起点位置坐标与终点位置坐标之间的欧氏距离 :式中, 和 分别为无人艇起点位置的横坐标和纵坐标, 和 为分别为无人艇终点位置的横坐标和纵坐标;

基于所述欧氏距离 确定分层区域阈值H,并将由所述分层区域阈值H确定的范围划分为若干个具有不同距离梯度的区间;

将无人艇当前位置到先验参考路径的最小距离 与所述不同距离梯度的区间进行比对,确定所述最小距离 所处的具体区间;

根据下式,计算层级引导奖励值 :

式中,为预设的常数,为梯度奖励系数;

S6:基于所述航向偏差奖励值和所述层级引导奖励值,计算当前时刻的总奖励值;

S7:利用所述总奖励值更新预设的强化学习模型的动作策略,并根据更新后的动作策略输出无人艇的舵角控制指令;

S8:根据所述舵角控制指令,控制无人艇航行至下一时刻状态;

S9:循环执行S2 S8直至无人艇到达终点。

~

2.根据权利要求1所述的无人艇路径规划方法,其特征在于,生成连接起点与终点的静态无碰撞路径作为指导无人艇航行的先验参考路径,包括:将无人艇的起点设置为快速探索随机树的根节点,并将所述根节点加入节点集合;

在虚拟环境数字化地图的自由空间内随机生成一个状态采样点Xrand;

遍历所述节点集合中已有的所有节点,计算各节点与所述状态采样点Xrand之间的距离,选取距离数值最小的节点作为最近节点Xnear;

以所述最近节点Xnear为起点,沿指向所述状态采样点Xrand的方向延伸预设的生长步长,计算得到延伸方向上的新节点Xnew;

检测连接所述最近节点Xnear与所述新节点Xnew的路径线段是否与所述虚拟环境数字化地图中的障碍物存在交点;

若不存在交点,则将所述新节点Xnew加入所述节点集合,并将所述新节点Xnew作为子节点连接至所述最近节点Xnear;若存在交点,则舍弃所述新节点Xnew;

循环执行步骤,直至最新加入的节点与所述终点之间的距离小于预设的阈值范围,将最新加入的节点与所述终点连接,提取从起点至终点的连线作为先验参考路径。

3.根据权利要求1所述的无人艇路径规划方法,其特征在于,计算无人艇当前位置到所述先验参考路径之间的最小距离,包括:根据下式,计算无人艇当前位置到所述先验参考路径上任意一个路径节点的欧氏距离:式中, 和 分别为无人艇当前位置的横坐标和纵坐标, 和 分别为先验参考路径上某一路径节点的横坐标和纵坐标;

遍历所述先验参考路径上的所有路径节点,重复上述计算步骤得到对应的欧氏距离集合,选取所述欧氏距离集合中的最小值作为无人艇当前位置到所述先验参考路径之间的最小距离 。

4.根据权利要求3所述的无人艇路径规划方法,其特征在于,梯度奖励系数的取值规则如下:。

5.根据权利要求4所述的无人艇路径规划方法,其特征在于,基于所述航向偏差奖励值和所述层级引导奖励值,计算当前时刻的总奖励值,包括:根据下式,计算时序效率惩罚 :

其中,为惩罚奖励系数,t当前训练回合已用步数,为到达终点允许使用的总步数,为无人艇当前位置与终点的欧氏距离, 为无人艇与终点的初始距离;

根据下式,当前时刻的总奖励值 :

其中, 、 、 分别为船舶偏差奖励值、层级引导奖励值和时序效率惩罚, 、和 分别为对应的权重系数。

6.根据权利要求1 5任一项所述的无人艇路径规划方法,其特征在于,所述强化学习模~型包括动作空间和状态空间;所述动作空间包括若干个离散舵角数值,所述状态空间包括无人艇位置坐标、航向角和速度信息;

利用所述总奖励值更新预设的强化学习模型的动作策略,并根据更新后的动作策略输出无人艇的舵角控制指令,包括:构建用于映射所述状态空间与所述动作空间之间对应关系的Q值表;

利用计算得到的当前时刻的总奖励值,对所述Q值表中对应于当前时刻状态及当前所执行舵角动作的动作价值数值进行修正,得到包含更新后动作价值的Q值表;

获取无人艇在执行当前动作后转移到的下一时刻的实时状态信息;

根据所述下一时刻的实时状态信息检索包含更新后动作价值的Q值表,获取该状态下所述动作空间中所有备选舵角动作对应的动作价值数值;

比对所有备选舵角动作对应的动作价值数值,选取具有最大动作价值数值的舵角作为无人艇在下一时刻的舵角控制指令并予以输出。

7.一种无人艇路径规划装置,应用于如权利要求1 6任一项所述的无人艇路径规划方~法,其特征在于,包括:

生成模块,用于生成连接起点与终点的静态无碰撞路径作为指导无人艇航行的先验参考路径;

获取模块,用于获取无人艇的当前位置坐标和当前船头朝向角;

第一计算模块,用于根据所述当前位置坐标和所述当前船头朝向角,计算航向偏差奖励值;

第二计算模块,用于计算无人艇当前位置到所述先验参考路径之间的最小距离;

第三计算模块,用于根据起点与终点之间的总距离设定分层区域阈值,判断所述最小距离落入所述分层区域阈值的具体区间,根据所处区间选取对应的梯度奖励系数来计算层级引导奖励值;

第四计算模块,用于基于所述航向偏差奖励值和所述层级引导奖励值,计算当前时刻的总奖励值;

输出模块,用于利用所述总奖励值更新预设的强化学习模型的动作策略,并根据更新后的动作策略输出无人艇的舵角控制指令;

控制模块,用于根据所述舵角控制指令,控制无人艇航行至下一时刻状态;

循环控制模块,用于判定无人艇是否到达终点,并在未到达终点时触发所述获取模块、所述第一计算模块、所述第二计算模块、所述第三计算模块、所述第四计算模块、所述输出模块及所述控制模块重复运行,直至无人艇到达终点。

8.一种电子设备,其特征在于,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的无人艇路径规划方法所执行的操作。