利索能及
我要发布
收藏
专利号: 2023109566466
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,包括以下步骤:S1、获取相机采集的相邻两帧图片,将相邻两帧图片输入图像特征提取网络提取图像特征;其中,图像特征提取网络包括基于阶跃结构的卷积神经网络;

所述基于阶跃结构的卷积神经网络采用光流网络的编码器结构,具体包括:依次连接的64通道大小的7×7卷积核、128通道大小的5×5卷积核、256通道大小的5×5卷积核、256通道大小的3×3卷积核、以及四个512通道大小的3×3卷积核,并在编码器结构的128通道大小与256通道大小的5×5卷积核处以及两个512通道大小的3×3卷积核处加入阶跃结构;

所述阶跃结构将5×5卷积核提取前的图像特征添加到提取后的图像特征中并送入3×3卷积核,提取图像特征;

S2、获取相邻两帧图像之间的惯导信息,将惯导信息输入惯导特征提取网络提取惯导特征;

S3、根据步骤S1提取的图像特征,将图像特征输入空间通道注意力模块对图像特征进行筛选;

S4、根据步骤S1提取的图像特征与步骤S2提取的惯导特征,将图像特征与惯导特征输入交叉注意力模块对惯导特征进行筛选;

S5、将筛选后的图像特征与惯导特征进行拼接,采用解码器结构对融合特征的权重进行调整,得到最终的融合特征,具体为:S51、将筛选后的图像特征与惯导特征沿通道方向拼接,得到融合特征;

S52、根据得到的融合特征采用解码器结构对融合特征的权重进行调整,得到调整后的权重;

S53、将得到的融合特征与调整后的权重相乘,得到最终的融合特征。

2.根据权利要求1所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S1具体包括以下步骤:S11、将相机采集的相邻两帧图片输入基于阶跃结构的卷积神经网络;

S12、将输入的相邻两帧图片堆叠在一起;

S13、根据堆叠的相邻两帧图片采用基于阶跃结构的卷积神经网络提取图像特征。

3.根据权利要求1所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S2具体包括:获取相邻两帧图像之间的惯性测量单元数据组成的矩阵信息,利用矩阵信息得到惯导信息,将惯导信息输入长短期记忆网络提取惯导特征。

4.根据权利要求1所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S3具体包括以下步骤:S31、将提取的图像特征输入空间通道注意力模块;

S32、根据输入的图像特征,利用空间通道注意力模块从空间注意力与通道注意力两个维度分别计算反应特征相关关系的注意力权重;

S33、将得到的注意力权重与输入的图像特征相乘,得到筛选后的图像特征。

5.根据权利要求4所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S33中图像特征筛选的计算公式如下:,

其中, 表示元素相乘,表示输入的图像特征, 表示一维的通道注意力权重, 表示在通道注意力网络筛选后的图像特征, 表示二维的空间注意力权重, 表示在空间注意力网络筛选后的图像特征。

6.根据权利要求1所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S4具体包括以下步骤:S41、将提取的图像特征与惯导特征输入交叉注意力模块;

S42、根据输入的图像特征与惯导特征的相关性,通过交叉注意力网络学习得到一组注意力权重;

S43、将得到的注意力权重与惯导特征相乘,得到筛选后的惯导特征。

7.根据权利要求6所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S43中惯导特征筛选的计算公式如下:其中, 表示筛选后的惯导特征, 表示归一化函数, 表示输入的惯导特征, 表示输入的图像特征, 表示交叉注意力机制中 对应的矩阵, 表示交叉注意力机制中 对应的矩阵, 表示交叉注意力机制中 对应的矩阵,表示矩阵转置运算。

8.根据权利要求1所述的一种基于深度学习的视觉惯性里程计特征融合方法,其特征在于,步骤S51中融合特征的计算公式为:其中, 表示融合特征, 表示筛选后的图像特征, 表示筛选后的惯导特征, 表示沿通道方向拼接;

步骤S52中调整后的权重的计算公式为:

其中, 表示调整后的权重,表示sigmoid激活函数,表示解码器对应的函数relu,、均表示网络训练时学习的参数, 表示融合特征;

步骤S53中最终的融合特征的计算公式为:

其中, 表示融合特征, 表示调整后的权重, 表示最终的融合特征, 表示元素相乘。