利索能及
我要发布
收藏
专利号: 2023106765538
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于无监督学习的视觉惯性里程计方法,其特征在于,包括以下步骤:S1:采集输入数据,输入数据包图像数据和IMU数据,将图像数据和IMU数据进行预处理,使图像数据和IMU数据同步;

S2:将同步后的图像数据和IMU数据进行特征提取,得到图像数据的图像特征和IMU数据的惯导特征;

S3:将图像特征和惯导特征输入位姿计算网络中,输出六自由度的位姿计算结果;

S4:利用位姿计算结果输入无监督模块中,构建深度网络框架,根据深度图和源图像之间的差异进行无监督训练,输出训练结果,得到训练好的深度网络;

S5:采集新的图像数据输入训练好的深度网络,输出定位结果。

2.根据权利要求1所述的基于无监督学习的视觉惯性里程计方法,其特征在于,所述步骤S1中图像数据和IMU数据预处理的方法为:相机采集相邻两祯的图像作为图像数据,并且把采集相邻两祯图像之间的时间采集的IMU数据与相邻两祯图像一起打包作为输入数据,确保图像数据和IMU数据同步,同步后的IMU数据为:其中,α为XYZ三个轴上的加速度,ω为XYZ三个轴上的角速度。

3.根据权利要求1所述的基于无监督学习的视觉惯性里程计方法,其特征在于,所述步骤S2包括:S21:将同步后的相邻两祯图像信息输入卷积神经网络CNN,提取图像特征:采用迁移学习的方法来辅助搭建图像特征提取的卷积神经网络,卷积神经网络采用FlownetSimple光流网络的编码器结构,并在编码器结构的5×5卷积层处添加分支,分支通过空间通道注意力结构提取网络的不同层次特征,并将提取到的不同层次特征在3×3卷积核处于编码器提取的特征级联,保留不同层次的特征,输出作为提取的图像特征;

S22:将同步后的10帧IMU数据输入长短期记忆网络LSTM中,长短期记忆网络LSTM隐藏层数量为2,含512个隐藏状态完成惯导特征的提取。

4.根据权利要求1所述的基于无监督学习的视觉惯性里程计方法,其特征在于,所述步骤S3包括:S31:将提取的图像特征和惯导特征进行拼接,再通过解码器decode分析数据产生一组权重;利用拼接后的融合特征与权重相乘,完成对特征的融合筛选,融合筛选后的特征作为位姿计算网络的输入:W=σ(f(wF+b))

其中,F为融合特征,Fv和Fi分别为图像特征和惯导特征, 为沿通道方向的拼接过程,W为生成的调整特征的权重,σ为sigmod激活函数,f为解码器decode对应的函数,w和b均为训练时学习的参数,用于对融合特征做初步处理,F'为最终输出的筛选后的融合特征, 为元素逐乘过程;

S32:采用长短期记忆网络LSTM后接全连接层结构作为位姿计算网络,将融合筛选后的特征输入位姿计算网络中,输出六自由度的位姿计算结果。

5.根据权利要求1所述的基于无监督学习的视觉惯性里程计方法,其特征在于,所述步骤S4包括:S41:构建一个深度网络,深度网络的网络框架为编码器‑解码器结构,当摄影机在场景中移动时,相邻图像中的对象可以形成几何约束,相邻图像分别表示源图像Is和目标图像的两个相邻帧,利用深度图和运动变换矩阵构建几何一致性:‑1 ‑1

Ds(ps)K ps=Tt→sDt(pt)K pt

其中,Ds、Dt分别为相邻帧图像的深度图,ps,pt分别为相邻帧的深度图上的像素点,K为相机的内参矩阵,Tt→s为位姿计算结果中的位姿变换矩阵;

S42:利用 计算源图像Is在目标图像 的投影It,通过对比目标图像 和投影It的外观相似性构建光度一致性约束,形成无监督模块,无监督模块的损失函数为:其中,Lp为结构相似性损失,s为目标图像的编号,t为源图像的编号;

S43:引入平滑度损失函数来弥补无纹理区域的光度一致性误差:其中,Ls为平滑度损失, 为二维微分算子,D(P)、I(P)分别为深度图、源图像上的像素,|·|为取元素的绝对值;

S44:根据无监督模块的损失函数和平滑度损失函数建立总损失函数:L=Lp+αLs;

其中,α为为加权因子;

S45:根据无监督模块的总损失函数进行无监督训练,输出输出训练结果,得到训练好的深度网络。