利索能及
我要发布
收藏
专利号: 2022102532568
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于单目相机的半稠密点云地图构建方法,其特征在于,按预设周期执行步骤S1‑S9,获得半稠密点云地图模型,然后应用半稠密点云地图模型,完成世界坐标系下预设目标场景的全局地图的构建;

S1.针对预设目标场景,以沿预设轨迹移动的单目相机获取预设目标场景的图像,以单目相机所获取的、以时序排列的图像序列为输入,基于ORB‑SLAM2算法判别图像序列中的各关键帧图像,构建以时序排列的关键帧图像集合,以关键帧图像集合、各关键帧图像分别所对应的变换矩阵为输出,构建关键帧图像判别模块;

S2.以关键帧图像集合中一个关键帧图像 后的第2帧关键帧图像 为关键帧图像的参考帧图像,其中i为关键帧图像集合中各关键帧图像的编号,ti为关键帧图像集合中第i个关键帧图像的时刻,以各关键帧图像、以及各关键帧图像分别所对应的参考帧图像为输入,基于ORB‑SLAM2算法,分别针对各关键帧图像,针对各关键帧图像及其所对应参考帧图像进行ORB特征点提取和匹配,根据匹配成功的各特征点的像素位置,构建匹配图像块,以各匹配图像块为输出,构建匹配图像块提取模块;

S3.以匹配图像块为输入,基于匹配图像块中匹配成功的各特征点分别对应的各三维空间点,根据单应矩阵计算,以各关键帧图像及其分别所对应的参考帧图像之间的旋转矩阵、平移向量为输出,构建单应矩阵计算模块;

S4.以匹配图像块提取模块输出的各匹配图像块为输入,基于匹配图像块中匹配成功的各特征点的像素位置,采用RAFT流光法,计算各关键帧图像中匹配成功的各特征点的像素位置分别相对于其所对应的各参考帧图像中匹配成功的各特征点的像素位置的横坐标偏移量、纵坐标偏移量,以各横坐标偏移量、纵坐标偏移量所构成的矩阵为输出,构建特征点对应关系计算模块;

S5.以单应矩阵计算模块输出的各关键帧图像及其所对应的参考帧图像之间的旋转矩阵、平移向量为输入,基于三角化算法,以各三维空间点映射在各关键帧图像归一化平面中的位置、深度,以及该三维空间点映射在各参考帧图像归一化平面中的位置、深度为输出,构建三角化计算模块;

S6.基于各三维空间点所对应的预设场景的高度值,以高度值小于预设上限值、且高度值大于预设下限值的三维空间点映射在各关键帧图像归一化平面中的位置、各三维空间点映射在各参考帧图像归一化平面中的位置为输入,基于对各三维空间点映射在各关键帧图像归一化平面中的位置到各关键帧图像光心的向量、与各三维空间点映射在各参考帧图像归一化平面中的位置到各参考帧图像光心的向量的夹角计算,以高于预设下限阈值的夹角为输出,构建三维空间点夹角计算模块;

S7.以三维空间点夹角计算模块输出的各夹角所对应的三维空间点映射在各关键帧图像归一化平面中的位置、深度为输入,以相机坐标系下各匹配图像块对应的半稠密点云地图为输出,构建相机坐标系半稠密点云地图模块;

S8.以相机坐标系下各匹配图像块对应的半稠密点云地图为输入,基于关键帧图像判别模块输出的各关键帧图像分别所对应的变换矩阵,分别计算世界坐标系下的半稠密点云地图,将各世界坐标系下的半稠密点云地图进行拼接,构成全局地图,以全局地图为输出,构建全局地图模块;

S9.基于关键帧图像判别模块、匹配图像块提取模块、单应矩阵计算模块、特征点对应关系计算模块、三角化计算模块、三维空间点夹角计算模块、相机坐标系半稠密点云地图模块、全局地图模块,以单目相机所获取的、以时序排列的图像序列为输入,以全局地图为输出,构建半稠密点云地图模型。

2.如权利要求1所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S2中关键帧图像集合为 其中 为关键帧图像集合中各关键帧图像,i为关键帧图像集合中各关键帧图像的编号,ti为关键帧图像集合中第i个关键帧图像的时刻,NK为关键帧图像集合中的关键帧图像总数;分别对关键帧图像 及其所对应的参考帧图像 进行ORB特征点提取和匹配,记录匹配成功的各特征点的像素位置如下式:式中, 为匹配成功的各特征点的像素位置的集合, 分别为关键帧图像 中匹配成功的各特征点的像素横坐标、纵坐标; 分别为参考帧图像 中匹配成功的各特征点的像素横坐标、纵坐标, 为ti时刻关键帧图像以及参考帧图像中匹配成功的各特征点的对数的集合;

针对各关键帧图像 中匹配成功的各特征点的像素位置,以列范围

以行范围 构建由匹配成

功的各特征点所构成的匹配图像块。

3.如权利要求2所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S3中以匹配图像块为输入,基于匹配图像块中匹配成功的各特征点分别对应的各三维空间点,根据单应矩阵计算,以各关键帧图像及其分别所对应的参考帧图像之间的旋转矩阵、平移向量为输出,构建单应矩阵计算模块的具体步骤如下:S31:分别对匹配图像块中匹配成功的各特征点进行归一化处理,随机选取8对匹配成功的特征点,基于八点法求解单应矩阵,求解方法如下式:p1=Hp2

式中,p1为关键帧图像中的特征点,p2为与关键帧图像中的特征点相匹配的参考帧图像中的特征点,H为单应矩阵;

S32:基于Faugeras SVD分解法,将单应矩阵分解为旋转矩阵和平移向量,具体方法如下式:式中,D为相机远点到三维空间点所在平面的距离,R为旋转矩阵,为平移向量,n为三维空间点所在平面的法向量,U为一个m×m的矩阵,其中m为单应矩阵H的行数,∧为一个m×n的矩阵,除对角线上的元素以外的其他元素都为0,主对角线上的每一个元素都称为奇异值,其中n为单应矩阵H的列数,V为一个n×n的矩阵。

4.如权利要求3所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S4中以匹配图像块提取模块输出的各匹配图像块为输入,基于匹配图像块中匹配成功的各特征点的像素位置,采用RAFT流光法,计算各关键帧图像中匹配成功的各特征点的像素位置分别相对于各参考帧图像中匹配成功的各特征点的像素位置的横坐标偏移量、纵坐标偏移量,以各横坐标偏移量、纵坐标偏移量所构成的矩阵为输出,构建特征点对应关系计算模块具体步骤如下:S41:针对各关键帧图像中匹配成功的各特征点的像素位置,采用RAFT流光法,计算各关键帧图像中匹配成功的各特征点的像素位置分别相对于各参考帧图像中匹配成功的各特征点的像素位置的横轴位移量u(I,J)、纵轴位移量v(I,J),其中I为关键帧图像中匹配成功的各特征点的像素横坐标,J为关键帧图像中匹配成功的各特征点的像素纵坐标;

S42:基于关键帧图像中匹配成功的各特征点的像素位置(I,J),各关键帧图像中匹配成功的各特征点的像素位置分别相对于各参考帧图像中匹配成功的各特征点的像素位置的横轴位移量u(I,J)、纵轴位移量v(I,J),根据下式获得参考帧图像中匹配成功的各特征点的像素位置(ref_i,ref_j):ref_i=I+u(I,J)

ref_j=J+v(I,J)

式中,ref_i为参考帧图像中匹配成功的特征点的像素横坐标,ref_j为参考帧图像中匹配成功的特征点的像素纵坐标。

5.如权利要求4所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S5中三角化算法具体计算方法如下:zrPr=TrwPw

zkPk=TkwPw

Trw=[Rrw|trw]

Tkw=[Rkw|tkw]

T

式中,Pw=[X,Y,Z,1]为三维空间点,其中X、Y、Z为三维空间点在预设场景中的坐标,Trw=[Rrw|trw]为参考帧图像的相机位姿,Rrw表示从世界坐标系到参考帧图像坐标系的旋转矩阵,trw表示从世界坐标系到参考帧图像坐标系的平移向量,Tkw=[Rkw|tkw]为关键帧图像的相机位姿,Rkw表示从世界坐标系到关键帧图像坐标系的旋转矩阵,tkw表示从世界坐标系到关键帧图像坐标系的平移向量,三维空间点Pw映射在参考帧图像归一化平面中的位置为其中xr、yr、zr分别为三维空间点Pw映射在参考帧图像归一化平面中的横坐标、纵坐标、深度,三维空间点Pw映射在关键帧图像归一化平面中的位置为 其中xk、yk、zk分别为三维空间点Pw映射在关键帧图像归一化平面中的横坐标、纵坐标、深度。

6.如权利要求5所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S6中各三维空间点映射在各关键帧图像归一化平面中的位置到各关键帧图像光心的向量与各三维空间点映射在各参考帧图像归一化平面中的位置到各参考帧图像光心的向量的夹角计算方法如下式:a·b=|a||b|cosθ

式中,a为三维空间点映射在关键帧图像归一化平面中的位置到关键帧图像光心的向量,b为三维空间点映射在参考帧图像归一化平面中的位置到参考帧图像光心的向量,θ两向量之间的夹角。

7.如权利要求6所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S6中的预设上限值为5,预设下限值为0。

8.如权利要求7所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S7中基于三维空间点夹角计算模块输出的各夹角所对应的三维空间点映射在各关键帧图像归一化平面中的位置、深度,计算相机坐标系下各匹配图像块对应的半稠密点云地图的方法如下式:zu=x·fx+cx

zv=y·fy+cy

d=z·s

式中,x、y、z为相机坐标系下的三维空间点的坐标,u、v、d分别为像素坐标系下三维空间点的像素横坐标、纵坐标、深度,fx、fy为相机分别在x轴、y轴上的焦距,cx、cy为光圈中心,s为深度图的缩放因子。

9.如权利要求8所述的一种基于单目相机的半稠密点云地图构建方法,其特征在于,步骤S8中基于关键帧图像判别模块输出的各关键帧图像分别所对应的变换矩阵,计算以世界坐标系下的半稠密点云地图的方法如下式:式中,T为变换矩阵,XW、YW、ZW为三维空间点在世界坐标系下的坐标。