1.一种基于图像深度预测和单目几何的视觉里程计方法,其特征在于,包括以下步骤:步骤(1)输入两个连续图像帧,采用尺度不变特征变换算法检测和描述图像局部特征,之后使用FLANN算法在两帧图像之间匹配对应的特征点对(Fi,Fj);
步骤(2)针对步骤(1)得到的特征匹配关系,使用对极几何约束求解本质矩阵E,得到相机的相对姿态变换;
步骤(3)构建并训练单目深度预测模型,为每一帧输入图像预测密集深度信息;
步骤(4)如果两个连续图像帧构成的有效深度信息对的数量大于给定阈值,则使用三角测量法估算尺度因子s,得到校正后相对姿态变换[R,st],R为旋转矩阵,t为平移向量;否则执行步骤(5);
步骤(5)利用透视N点投影算法、RANSAC算法和局部非线性优化相结合的方式,求解绝对姿态变换;
所述步骤(2)通过以下公式实现:
其中,E为本质矩阵,K为相机内参是个已知参数,相机的相对姿态变换[R,t]通过分解E求得;(Fi,Fj)为特征点对;
所述步骤(3)实现过程如下:
给定预测的深度Dt和相机姿态矩阵Tt+1→t,重建出图像It+1→t:‑1
It+1→t=w(It+1,KTt+1→tK xDt[x])其中,w(·)是可微分的图像翘曲函数,K为相机内参,[x]代表图像中某个点的像素值;
利用生成的It+1→t和参考图像It,构建如下目标函数:pe(It+1→t,It)=αSSIM(It+1→t,It)+(1‑α)||It+1→t‑It||1其中,SSIM是结构相似度指数,α为平衡SSIM损失和L1损失的权重;
对于参考视图It,根据其邻近视图It‑1、It+1重建出图像It+1→t、It‑1→t;只计算视图中最小的一对参考像素和合成像素之间的光度误差:Lp=min(pe(It,It‑1→t),pe(It,It+1→t))并引入了边缘感知深度平滑项Ls:
其中, 和 分别计算深度图Dt在水平和垂直方向上的梯度幅值,促使相邻像素的深度值接近; 和 是基于当前视图图像梯度的权重项;在图像梯度较大的边缘区域,该权重项较小,允许深度图存在不连续;而在图像梯度较小的平坦区域,该权重项较大,促使深度图保持平滑;最终的损失函数为:L=Lp+λLs
采用PyTorch对单目深度预测模型进行实现和训练。
2.根据权利要求1所述的一种基于图像深度预测和单目几何的视觉里程计方法,其特征在于,所述步骤(1)实现过程如下:通过高斯差分核检测,利用下式在不同尺度空间比较像素值,找到极值点作为候选关键点:D(x,y,σ)=(G(x,y,kσ)‑G(x,y,σ))*I(x,y)其中,x,y为图像的空间坐标,I(x,y)表示输入图像在(x,y)点的像素值,k表示相邻尺度之间的倍数关系,G(x,y,σ)是在尺度σ下的高斯核,用于产生输入图像I(x,y)的不同尺度空间;
采用样条插值法对关键点进行三维二次函数拟合,进而找到拟合函数真正的极值点,然后,去除低对比度的点,使用下式:其中, 是插值函数的极值点,舍弃 小于给定阈值的点;在确定每个关键点主方向时,通过统计梯度直方图得到主方向使得特征具有旋转不变性;最后生成关键点描述符,以每个关键点为中心,计算其邻域内的梯度方向直方图,形成一个128维的向量,作为该关键点的特征向量表示;在获取到两幅图像的特征向量后,使用FLANN算法在图像帧之间匹配对应的特征点对(Fi,Fj)。
3.根据权利要求1所述的一种基于图像深度预测和单目几何的视觉里程计方法,其特征在于,所述步骤(4)实现过程如下:对给定的两个连续图像帧Ii和Ij的对应的特征点对(Fi,Fj)归一化处理后得到xi和xj,通过三角测量重建视图对应的三维点云xj:T
其中,e3是向量[0,0,1];
将Xj投影回图像平面得到基于三角测量的深度信息 然后使用单目深度预测模型估计图像Ij的深度信息Dj,随后对深度信息Dj应用飞出掩码Md得到处理后的深度数据 寻找与 中的深度信息对,如果深度信息对的数量大于给定的阈值,则计算深度比率引入了RANSAC算法对含噪数据进行稳健拟合:|ri‑s|≤∈1
其中,∈1为残差阈值,s为尺度因子。
4.根据权利要求1所述的一种基于图像深度预测和单目几何的视觉里程计方法,其特征在于,所述步骤(5)实现过程如下:使用单目深度预测模型估计当前视图Ii的深度信息Di,然后对Di应用飞出掩码Md,得到处理后的深度数据 最后利用相机内参和 通过反投影计算出视图Ii对应的三维点云坐标Xi;从所有的N对三维空间点和二维像素点对应关系中,使用RANSAC随机采样最小内点集,计算位姿的初始解R0,t0;以初始解R0,t0为起点,采用局部非线性优化方法,优化位姿解* *{R ,t};根据优化后的位姿解计算所有N对点的重投影误差,确定内点集:其中,∈2为内点阈值;重复上述过程直到达到最大迭代次数或内点集 的数量不再增加,从而得到最终的姿态变换。
5.一种采用如权利要求1至4任一所述方法的基于图像深度预测和单目几何的视觉里程计系统,其特征在于,包括:特征检测与匹配模块,用于检测输入图像的关键点,并在连续图像帧之间匹配对应的特征点;
2D姿态求解器,用于基于特征点对的对应关系估计相机的2D姿态变换;
单目深度预测,用于为每一帧输入图像预测密集深度图;
尺度因子校正模块,用于利用深度预测网络输出的深度信息,校正2D姿态变换的尺度因子;
3D姿态求解器,用于当尺度因子校正模块无法运行时,基于特征点对的3D坐标和2D像素坐标对应关系直接求解相机的3D姿态。