利索能及
我要发布
收藏
专利号: 2024103574533
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉及雷达特征融合的轨迹规划方法,其特征在于,包括以下步骤:

(1)获取当前作业环境的视觉图像以及雷达点云,并进行预处理,获得预处理后的视觉图像和雷达点云;

(2)将预处理后的视觉图像输入主干特征提取网络,得到初级特征图,将初级特征图输入图像特征金字塔网络,得到高级特征图;将预处理后的雷达点云输入激光点云特征提取网络,得到点云特征图;

(3)将高级特征图和点云特征图输入视觉雷达特征融合网络,得到融合特征后的特征图;具体包括:(3.1)将第一点云特征图 输入视觉雷达特征融合网络进行卷积,得到第一融合特征图 ;将第一融合特征图 与第四点云特征图 直接相加,得到第二融合特征图 ;

(3.2)将第二融合特征图 输入视觉雷达特征融合网络进行卷积,得到第三融合特征图 ;将第三融合特征图 与第五高级特征图 直接相加后输入视觉雷达特征融合网络进行卷积,得到第四融合特征图 ;

(3.3)将第六点云特征图 输入视觉雷达特征融合网络进行池化,得到第五融合特征图 ;将第五融合特征图 与第八高级特征图 在第三维度上进行拼接后输入视觉雷达特征融合网络进行卷积,得到第七融合特征图 ;将第十一点云特征图 输入视觉雷达特征融合网络进行卷积,得到第八融合特征图 ;

(3.4)将第八融合特征图 与第十一点云特征图 、第十五高级特征图 直接相加后输入视觉雷达特征融合网络进行卷积,得到第十融合特征图 ;

(4)获取融合特征后的特征图内所有候选框,将得到的所有候选框输入区域生成网络,进行分类预测和定位回归,获得候选框的类别概率值和参数回归值;将得到的所有候选框输入建议层网络根据候选框的类别概率值进行筛选,根据筛选后的候选框的参数回归值对候选框的大小和位置进行调整;

(5)将调整后的候选框映射到同一尺寸固定的特征图上,将映射后的特征图输入全连接层,对获取的当前作业环境的视觉图像进行目标检测与识别;

利用轻量级优化卷积神经网络对候选框映射后的特征图进行语义分割,包括:

(5.41)将调整后的候选框的每一个候选框中的图像输入轻量级优化卷积神经网络进行卷积,得到第一分割特征图 ;

(5.42)将第一分割特征图 输入轻量级优化卷积神经网络进行卷积,得到第二分割特征图 ;将第二分割特征图 输入轻量级优化卷积神经网络依次进行池化、卷积,得到第四分割特征图 ;将第四分割特征图 输入轻量级优化卷积神经网络依次进行池化、卷积,得到第六分割特征图 ;

(5.43)根据颜色的HEX代码对第二分割特征图 、第四分割特征图 、第六分割特征图中的每个像素点进行赋值,同时在每个像素点随机生成一个对比值 ;

(5.44)计算每个像素点的对比值 的权重;计算公式如下:

其中, 为每个像素点的对比值 与赋值 的趋近距离值; 为每个像素点的对比值 的权重;e为自然常数;为自定义常数,取 内任意值;

(5.45)对所有像素点的对比值 的权重进行从大到小的排序,留下前 个像素点的对比值 ,并将对比值 更新为对比值 ,计算公式如下:;

其中, 为每个像素点的对比值 与赋值 的趋近距离系数, 为自定义常数,取内任意值;

(5.46)执行步骤(5.44)、(5.45)迭代 次后得到对比值 ;

(5.47)以赋值大于对比值 的像素点作为前景像素,赋值小于对比值 的像素点作为背景像素,分别得到第二分割特征图 、第四分割特征图 、第六分割特征图 的第二语义分割图 、第四语义分割图 、第六语义分割图 ;

(5.48)将第六语义分割图 与第六分割特征图 在第三维度上进行拼接,输出第七分割特征图 ,将第七分割特征图 输入轻量级优化卷积神经网络进行卷积,得到第八分割特征图 ;

(5.49)将第八分割特征图 输入轻量级优化卷积神经网络进行卷积,并进行上采样,得到第九分割特征图 ;将第九分割特征图 与第四语义分割图 直接相加,得到第十分割特征图 ;将第十分割特征图 与第四分割特征图 在第三维度上进行拼接,得到第十一分割特征图 ;将第十一分割特征图 输入轻量级优化卷积神经网络进行卷积,得到第十二分割特征图 ;

(5.410)将第十二分割特征图 输入轻量级优化卷积神经网络进行卷积,并进行上采样,得到第十三分割特征图 ,将第十三分割特征图 与第二语义分割图 直接相加,得到第十四分割特征图 ,将第十四分割特征图 与第六分割特征图 在第三维度上进行拼接,得到第十五分割特征图 ,将第十五分割特征图 输入轻量级优化卷积神经网络进行卷积,得到第十六分割特征图 ;

(5.411)将第十六分割特征图 输入轻量级优化卷积神经网络进行反卷积后映射至调整后的候选框中实现语义分割;

(6)通过目标识别与语义分割确定识别目标的类别和位置,根据得到的目标信息和雷达测得的距离信息判断机器人的下一步行进轨迹,完成轨迹规划。

2.根据权利要求1所述的轨迹规划方法,其特征在于,所述步骤(2)中将预处理后的视觉图像输入主干特征提取网络,得到初级特征图,具体步骤包括:(2.11)将预处理后的视觉图像输入主干特征提取网络进行卷积得到第一初级特征图;将第一初级特征图 输入主干特征提取网络依次进行池化、卷积后得到第三初级特征图 ,所述预处理后的视觉图像尺寸为 ,其中, 为图像的第一维度, 为图像的第二维度, 图像的第三维度;

(2.12)将第三初级特征图 在第一维度和第二维度上分割,得到若干视觉特征图像块;

(2.13)将若干视觉特征图像块分别输入主干特征提取网络的卷积层,得到若干视觉特征图像块的特征图,将若干视觉特征图像块的特征图在第一维度和第二维度上进行拼接,得到第十二初级特征图 ;

(2.14)将第十二初级特征图 输入主干特征提取网络进行卷积得到第十三初级特征图 ,将第十三初级特征图 输入主干特征提取网络进行卷积得到第十四初级特征图,将第十四初级特征图 输入主干特征提取网络进行卷积得到第十五初级特征图 ;

(2.15)将第十五初级特征图 与第十四初级特征图 在第三维度上进行拼接,得到第十六初级特征图 ;

(2.16)将第十六初级特征图 输入主干特征提取网络进行池化得到第十七初级特征图 ,将第十七初级特征图 输入主干特征提取网络进行卷积得到第十八初级特征图;将第十八初级特征图 输入主干特征提取网络进行卷积得到第十九初级特征图 ;将第十九初级特征图 输入主干特征提取网络进行池化得到第二十初级特征图 ;将第二十初级特征图 输入主干特征提取网络进行池化得到第二十一初级特征图 ;

(2.17)将第十九初级特征图 、第二十初级特征图 、第二十一初级特征图 直接相加后输入主干特征提取网络进行卷积,得到第二十二初级特征图 。

3.根据权利要求2所述的轨迹规划方法,其特征在于,各卷积层归一化函数为图像各特征点的像素值归一化,计算公式为:;

其中,为需要归一化的输入数据, 为数据均值, 为数据方差,eps为防止分母出现零所增加的变量,γ和β是对输入数据进行缩放和平移的变量,默认值分别为1和0;

各卷积层激活函数为图像各特征点的像素值增加非线性,计算公式为:

;其中,e为自然常数,为激活函数的输入, 为激活函数的输出。

4.根据权利要求2所述的轨迹规划方法,其特征在于,将第一初级特征图 、第十三初级特征图 、第十四初级特征图 、第十八初级特征图 、第二十二初级特征图 输入图像特征金字塔网络,得到高级特征图具体包括:(2.21)将第二十二初级特征图 进行上采样得到第一高级特征图 ;将第一高级特征图 与第十八初级特征图 在第三维度上进行拼接,得到第二高级特征图 ;

(2.22)将第二高级特征图 输入图像特征金字塔网络进行卷积得到第三高级特征图,将第三高级特征图 进行上采样后,输入图像特征金字塔网络进行卷积得到第四高级特征图 ,将第四高级特征图 与第十四初级特征图 直接相加得到第五高级特征图 ;

(2.23)将第五高级特征图 输入图像特征金字塔网络进行卷积得到第六高级特征图,将第六高级特征图 与第三高级特征图 和第十八初级特征图 在第三维度上进行拼接,得到第七高级特征图 ;将第七高级特征图 输入图像特征金字塔网络进行卷积得到第八高级特征图 ;

(2.24)将第八高级特征图 进行上采样后,与第十四初级特征图 在第三维度上进行拼接,得到第九高级特征图 ;将第九高级特征图 进行上采样后,与第十三初级特征图在第三维度上进行拼接,得到第十高级特征图 ;将第十高级特征图 进行上采样后,与第一初级特征图 在第三维度上进行拼接,得到第十一高级特征图 ;

(2.25)将第十一高级特征图 输入图像特征金字塔网络依次进行卷积、卷积、池化、卷积后得到第十五高级特征图 。

5.根据权利要求4所述的轨迹规划方法,其特征在于,所述步骤(2)中将预处理后的雷达点云输入激光点云特征提取网络,得到点云特征图具体包括:(2.31)对获得的雷达点云进行二维栅格化,得到点云数据的栅格图像;

(2.32)将点云数据的栅格图像输入激光点云特征提取网络进行卷积,得到第一点云特征图 ;(2.33)将第一点云特征图 输入激光点云特征提取网络进行卷积,得到第二点云特征图 ;将第二点云特征图 输入激光点云特征提取网络进行卷积,得到第三点云特征图 ;将第二点云特征图 和第三点云特征图 直接相加,得到第四点云特征图 ;

(2.34)将第四点云特征图 输入激光点云特征提取网络依次进行池化、卷积,得到第六点云特征图 ;

(2.35)将第六点云特征图 在第三维度上分割,得到若干点云特征图像块,将若干点云特征图像块分别输入激光点云特征提取网络进行卷积,得到若干点云特征图像块的特征图,将若干点云特征图像块的特征图直接相加,得到第十一点云特征图 ;

(2.36)将第十一点云特征图 输入激光点云特征提取网络依次进行卷积、池化、卷积得到第十四点云特征图 。

6.根据权利要求1所述的轨迹规划方法,其特征在于,所述将得到的所有候选框输入建议层网络根据候选框的类别概率值进行筛选具体为:根据融合特征后的特征图的候选框的类别概率值,对所有候选框进行排序,在每个类别中,筛选类别概率值排名前 的候选框;

根据筛选后的候选框的参数回归值对候选框的大小和位置进行调整具体为:将候选框参数由 调整为 ,其中,为候选框中心特征点的横坐标,为候选框中心特征点的纵坐标,为候选框的宽度,为候选框的高度, 为候选框横坐标的参数回归值, 为候选框纵坐标的参数回归值, 为候选框宽度的参数回归值,为候选框高度的参数回归值。

7.根据权利要求6所述的轨迹规划方法,其特征在于,对于调整后得到的每个候选框,计算其加权匹配分数;对于每个像素点的真实边界框,将其所有候选框根据加权匹配分数进行从大到小的排序,选取前m个候选框作为正样本;

对每一个正样本赋予标签,将类别概率值大于0.8的k个类别标签赋予该正样本;将该正样本内部的所有像素值进行加权求和,分别得到该k个类别标签的权重。

8.根据权利要求7所述的轨迹规划方法,其特征在于,通过目标识别确定识别目标的类别包括障碍物、红灯、黄灯、绿灯、斑马线;通过语义分割确定目标的位置坐标为:目标最左侧边缘特征点的坐标为 、最右侧边缘特征点的坐标为 ;获得的距离信息为距离Z;

若识别目标的类别为障碍物时,根据目标位置机器人进行转动和移动实现避障;

若识别目标的类别为红灯或黄灯时,机器人到达预设距离时减速前进;

若识别目标的类别为斑马线时,机器人到达预设距离时停止前进;

若目标类别为绿灯,机器人按原定路径运动。