1.一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,包括下述步骤:S1、开启视觉里程计并获取第一帧图像I1,转化为灰度图,并提取ORB特征点,构建初始化关键帧;
S2、判断是否已初始化;若已初始化,则转到步骤S6,否则转到步骤S3;
S3、定义参考帧和当前帧,提取ORB特征,并进行特征匹配;
S4、用并行线程同时求单应矩阵H和基础矩阵F,计算判断模型得分RH,若RH大于阈值时选用单应性矩阵H,否则选用基础矩阵F,并根据选用的模型估计相机运动;
S5、求相机位姿和初始3D点;
S6、判断是否已提取特征点,若未提取特征点,则使用直接法进行跟踪,否则用特征点法进行跟踪;
S7、完成初始相机位姿估计;
S8、若通过一种模型完成了初始相机的位姿估计,则进一步跟踪局部地图,即和当前帧相关联的地图点做联合优化,获得一个较为准确的相机位姿;
S9、获取下一帧图像并转到步骤S2。
2.根据权利要求1所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,步骤S3中,采用FAST角点提取ORB特征点,具体方法为:S3.1.1、在图像中选取像素p,假设它的亮度为Ip;
S3.1.2、设置一个阈值T;
S3.1.3、以像素p为中心,选取半径为R的圆上的M个像素点;
S3.1.4、假如选取的圆上有连续的N个点的亮度大于Ip+T或小于Ip-T,那么像素p可以被认为是特征点;
S3.1.5、循环以上步骤S3.1.1-S3.1.5,对每一个像素执行相同的操作。
3.根据权利要求1所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,步骤S3中,采用计算BRIEF描述子提取ORB特征点,具体方法为:BRIEF是一种二进制描述子,其描述向量由许多0和1组成,这里的0和1编码了关键点附近的两个像素p和q的大小关系:如果p比q小,取1;反之取0,其计算过程如下:
1)选定建立描述子的区域;即特征点的一个正方形邻域;
2)对该邻域用σ=2的高斯核卷积,以消除一些噪声;
3)以一定的随机化算法生成点对
,若点p的亮度小于点q的亮度,则返回值1,否则返回0;
4)重复步骤3)若干次次,得到一个256位的二进制编码,即该特征点的描述子;
特征匹配的方法如下:
S3.2.1.计算机两相邻关键帧的BRIEF描述子的汉明距离;
S3.2.2、使用FLANN快速近似最近邻算法对特征点匹配。
4.根据权利要求1所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,所述步骤S4中,单应矩阵H和基础矩阵F分别满足下列关系:xc=HCrxr
为了评估哪个模型更合适,在每次迭代中,计算每个模型M的得分SM,SH和SF分别表示单应矩阵H和基础矩阵F的分数,则SM统一表示SH和SF为:其中, 和 表示从一帧到另一帧的对称的转换误差,分别是从当前帧到参考帧的变换误差和参考帧到当前帧的变换误差,这里:TH=5.99,TF=3.84
τ=TH
当场景是一个平面、或近似为一个平面、或者视差较小的时候,使用单应性矩阵H,而使用基础矩阵F恢复运动,需要场景是一个非平面、视差大的场景。
5.根据权利要求4所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,还包括估计单应矩阵H和基础矩阵F优劣的步骤,具体采用下述公式来估计:当RH大于0.45时,选择从单应矩阵H还原运动,否则选择基础矩阵F还原运动。
6.根据权利要求1所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,步骤S6具体为:S6.1、若未提取特征点,使用直接法最小化图像块重投影残差来获取初始位姿估计;即通过不断优化位姿Tk,k-1最小化残差损失函数,其公式如下:其中,
S6.2、计算像素点对齐,基于光度不变性假设,特征块在以前参考帧中的亮度应该和new frame中的亮度差不多,所以可以重新构造一个残差,对特征预测位置进行优化:S6.3、若已提取特征点或者直接法跟踪失败,则改用特征点法的恒速模型进行跟踪;
S6.4、若恒速模型跟踪失败,则改用特征点法的参考帧模型进行跟踪;
S6.5、若参考帧模型跟踪失败,则进行重定位。
7.根据权利要求6所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,步骤S6.1具体为:S6.1.1、准备工作,假设相邻帧之间的位姿Tk,k-1已知,初始化为上一相邻时刻的位姿或者假设为单位矩阵,通过之前多帧之间的特征检测以及深度估计,已经知道第k-1帧中特征点位置以及它们的深度;
S6.2.2、重投影,知道Ik-1中的某个特征在图像平面的位置(u,v),以及它的深度d,能够将该特征投影到三维空间pk-1,该三维空间的坐标系是定义在Ik-1摄像机坐标系的;所以,将它投影到当前帧Ik中,需要位姿转换Tk,k-1,得到该点在当前帧坐标系中的三维坐标pk,最后通过摄像机内参数,投影到Ik的图像平面(u′,v′),完成重投影;
S6.3.3、迭代优化更新位姿,不断优化位姿使得这个残差最小,就能得到优化后的位姿Tk,k-1。
8.根据权利要求1所述一种融合特征点法和直接法的快速单目视觉里程计导航定位方法,其特征在于,步骤S8中,所述和当前帧相关联的地图点做联合优化,获得一个较为准确的相机位姿的步骤具体为:S8.1、更新局部地图,包括关键帧和地图点的更新;
S8.2、搜索局部地图点是否符合跟踪要求,并匹配当前帧和局部地图点;
S8.3、使用Levenberg-Marquardt非线性优化方法优化位姿;
S8.4、根据匹配和优化结果更新地图点的状态,并更新匹配的内点数量。