1.一种点线和线结构特征融合的视觉同步定位与建图方法,包括三个线程:追踪线程、局部建图线程、回环线程;其特征在于:所述追踪线程包括提取特征点、提取特征线、融合线段、初始化位姿估计,重定位或地图构建、局部地图追踪和新关键帧决策;
所述局部建图线程包括关键帧插入、特征点和特征线处理、提取线结构、局部光束平差法及局部关键帧处理;线结构是空间两条相交线的线段组;
所述提取线结构的过程为:
设局部建图线程中观测到的两条线段分别为第i条线段Li和第j条线段Lj,第i条线段Li的两个端点为Pi1,Pi2,第j条线段Lj的两个端点为Qj1,Qj2;如果两条线段相交于交点H,则进一步判断交点H与第i条线段Li和第j条线段Lj两个端点间的距离,保留与点H距离更远的端点即Pi2与Qj1这两个端点与交点H构成的线段组,即为所提取的线结构;
预先设定一个误差阈值,如果两条线段间的最短距离小于该误差阈值,则认为两条线段相交,取两条线段最短距离所在连线的中点作为两条线段的近似交点,两条线段构成的线段组,即为所提取的线结构;
采用局部光束平差法最小化关键帧的重投影误差;第o图像帧所观测到的第s个线结构的第一个端点为Aws,对应的图像观测点为aos,在图像上的投影点为 ;线结构的第二个端点为Bws,对应的图像观测点为bos,在图像上的投影点为 ;线结构的第三个端点为Cws,对应的图像观测点为cos,在图像上的投影点为 ;w表示世界坐标系,第o图像帧所观测到的第s个线结构的重投影误差eos为:;
其中, 为投影点 到图像观测的线段 的距离, 为投影点 到线段 的距离, 为投影点 的坐标 与图像观测点bos的坐标 的距离,T表示矩阵或者向量的转置,为投影线段 在相机坐标系的直线系数, 为投影线段 在相机坐标系的直线系数;
;
;
其中 为投影线段 在三维空间的法向量, 为投影线段 在三维空间的法向量,其中 为投影线段 斜率的分子, 为投影线段 斜率的分母, 为投影线段 的截距; 为投影线段 斜率的分子, 为投影线段 斜率的分母, 为投影线段 的截距,K为投影矩阵;
第o图像帧所观测到的第s个线结构的重投影误差eos关于位姿增量 的雅可比矩阵见下式:
;
其中:
;
;
;
其中, ,表示线结构, 为相机坐标系下的普吕克表达,c表示相机坐标系,表示线段AwsBws的普吕克坐标, 表示线段BwsCws的普吕克坐标, 表示3行6列矩阵;
Rcw,tcw为从世界坐标系到相机坐标系的旋转矩阵和平移向量,vw为世界坐标系下线段的方向向量,nw为线段的法向量;[]×表示反对称矩阵;
最小化各关键帧重投影误差的公式为:
;
其中P、L、S分别代表点、线段、线结构的集合;eog为第o图像帧第g个点的重投影误差,eok为第o图像帧第k条线段的重投影误差,eos为第o图像帧所观测到的第s个线结构的重投影误差;ρ为核函数,β为加权因子, 表示相机的位姿与点、线段和线结构的三维位置组成的向量, 表示相机的位姿与点、线段和线结构的三维位置组成的向量的最优值, 表示关键帧。
2.根据权利要求1所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:所述回环线程包括数据库查询、计算Sim3或SE3变换、闭环校正、本质图优化和全局捆绑调整。
3.根据权利要求1所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:采用ORB特征提取方法提取双目图像帧的特征点。
4.根据权利要求1所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:采用LSD算法提取双目图像帧的特征线,所有特征线构成线段集。
5.根据权利要求4所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:所述融合线段是指:需要对线段集中同属一条直线的线段进行融合,并提取其中长度大于一定阈值的线段作为判断是否构成线结构的有效线段集,用于后续处理,小于阈值的线段作为无效线段予以剔除。
6.根据权利要求5所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:融合线段的过程如下:对于LSD算法提取的第i条线段Li与第j条线段Lj,第i条线段Li两端点坐标为 Pi1(x1,y)1与Pi2(x2,y2),第i条线段Li与水平方向的角度为θ1,第i条线段Li的长度为di;第j条线段Lj两端点坐标为Qj1(x3,y3)与Qj2(x4,y4),第j条线段Lj与水平方向的角度为θ2,第j条线段Lj的长度为dj;设定的3个阈值分别为距离阈值δd,角度阈值δθ以及第i条线段Li与第j条线段Lj之间的最近端点的距离阈值为δep;若两条线段满足以下条件:第i条线段Li中点到第j条线段Lj的距离d1与第j条线段Lj中点到第i条线段Li的距离d2均小于距离阈值δd;
第i条线段Li与第j条线段Lj之间的角度之差 小于角度阈值δθ;
第i条线段Li与第j条线段Lj不相交而且两个最近端点的距离ep小于最近端点的距离阈值δep;
则两条线段融合为两端点坐标为Z1(x5,y5)和Z2(x6,y6)的长线段,融合后的长线段与水平方向的角度为θ3。
7.根据权利要求1所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:所述初始化位姿估计,重定位或地图构建是:通过最小化当前图像帧与前一图像帧匹配的特征点与有效特征线的重投影误差,利用全局重定位或构建地图的方法来初始化位姿。
8.根据权利要求1所述的一种点线和线结构特征融合的视觉同步定位与建图方法,其特征在于:两条线段最短距离的计算方法如下:第i条线段Li和第j条线段Lj的方程表示为:
, ;
, ;
其中, 为沿第i条线段Li的方向向量移动 倍的距离, 为沿第j条线段Lj的方向向量移动 倍的距离,为第i条线段Li的方向向量, 为第j条线段Lj的方向向量, 为第i条线段Li的移动倍率, 为第j条线段Lj的移动倍率;
线段间的最短距离求解转化为有约束的最优化函数 ,如下式所示:;
根据极小值条件: 可得:
;
若 ,则最短距离 ,其中 分别代表 与 的最优
解, 表示第i条线段Li与第j条线段Lj的公垂线;否则分别求端点 到第j条线段Lj的最短距离d4、端点 到第j条线段Lj的最短距离d5、端点Qj1到第i条线段Li的最短距离d6、端点Qj2到第i条线段Li的最短距离d7,两线段最短距离dmin=min{d4,d5,d6,d7}。