利索能及
我要发布
收藏
专利号: 2024114081972
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种轻量化的红外深度里程计方法,其特征在于,包括:

对于红外相机捕获的图像,估计它跟参考帧之间的位姿并通过残差判断是否跟踪成功;

根据相邻帧之间的采样时间戳大小检测红外相机是否正在进行非一致性校正,若是,则对参考帧和NUC后帧进行ORB特征提取和匹配并对所有匹配好的点计算平均光流,对参考帧所持有的地图点投影回参考帧平面上,计算它们在NUC后帧上的对应位置;获得NUC后帧的投影坐标后,进行最小化重投影误差的求解,得到参考帧相对于NUC后帧的位姿并通过残差判断是否跟踪成功;所述NUC后帧为非一致性校正后捕捉到的第一帧图像;

若跟踪成功,则根据上一次生成关键帧距离当前帧的时间或滑动窗口内关键帧的数量判断当前帧是否为关键帧;

对于关键帧,将其观测点转化为候选地图点,利用非关键帧的观测点和深度先验进行极线搜索,估计候选地图点的逆深度值;若候选地图点的逆深度值收敛到阈值范围内,则将其转化为地图点,若该地图点被至少一个非主导帧观测到且能量有界,则将地图点激活,被激活的地图点将加入到后续的滑动窗口优化中;其中非主导帧指不持有该地图点的关键帧;

通过滑动窗口策略优化关键帧的运动参数和被激活地图点的逆深度,并将历史帧及其地图点信息化作滑动窗口的先验;其中,所述历史帧为不再直接参与优化计算的关键帧。

2.根据权利要求1所述的一种轻量化的红外深度里程计方法,其特征在于,所述红外相机捕获的是16位热像图,需要将16位热像图转换为8位图像,再利用自适应灰度直方图均衡化提高图像的对比度,最后对图像进行非局部均值滤波去噪。

3.根据权利要求1所述的一种轻量化的红外深度里程计方法,其特征在于,所述对于红外相机捕获的图像,估计它跟参考帧之间的位姿,包括:采用直接法对当前帧进行位姿估计:首先利用运动模型假设设置相对位姿初值,将参考帧中的观测点反投影到当前帧中构建光度误差函数,即直接利用对同一3D点在两帧上的观测点之间灰度值的差异作为误差,从图像梯度金字塔顶层向底层逐层使用Levenberg‑Marquart方法优化位姿和光度参数,误差函数为:其中,||·||γ是Huber范数;Np是第Ij帧中反投影到第Ii帧上的像素点及其周围的七个像素点所构成的集合,Ij表示当前帧,Ii表示参考帧, 是点p图像梯度值二范数的平方,Ij[p′]和Ii[p]分别是第Ij和Ii帧上像素点p′和像素点p的图像灰度值;wp是Huber权重,c为常数,计算公式为:对误差进行泰勒展开并忽略二次及以上项对非线性方程进行近似:

T T

JWJδx=‑JWr

其中,雅可比矩阵J是r关于图像帧位姿的偏导数:

上标T表示转置操作,W是wp构成的对角矩阵,r是两图像帧对应观测点之间构成的残差:r=(Ij[p′(Ti,Tj,d,K)]‑Ii[p])

其中,Ii[p],Ij[p′(Ti,Tj,d,K)]是参考帧、当前帧对同一3D点的观测像素灰度值;Ti,Tj,d,K分别是第Ii帧、第Ij帧图像的变换矩阵,像素点p的逆深度和相机内参,δx是运动状态参数的增量;迭代求解所述线性方程并对参考帧到当前帧的运动状态进行更新x←x+δx;经过若干次迭代,找出使得参考帧到当前帧图像残差最小的位姿估计作为本次位姿估计的最终结果。

4.根据权利要求1所述的一种轻量化的红外深度里程计方法,其特征在于,所述对参考帧和NUC后帧进行ORB特征提取和匹配并对所有匹配好的点计算平均光流:其中ii是匹配特征点集的索引,n为匹配点对的个数,OF(qii,q′ii)是参考帧和NUC后帧匹配点之间的光流:OF(qii,q′ii)=||q′ii‑qii||2

其中qii是参考帧上的特征点,q′ii是NUC后帧上的特征点;

所述对参考帧所持有的地图点投影回参考帧平面上的像素点,计算它们在NUC后帧上的对应位置:s′=s+OF

其中s是参考帧上的像素坐标集合,s′是NUC后帧对应的像素坐标集合;

所述获得NUC后帧的投影坐标后,进行最小化重投影误差的求解,得到参考帧相对于NUC后帧的位姿,包括:利用最小化重投影误差恢复NUC期间的相机运动:

其中idx是NUC后帧上像素点集的索引,s′idx是在NUC后帧上观测到的3D点的像素坐标,是参考帧所持有的所有地图点,πt是红外相机的投影方程; 是待求解的位姿,即参考帧相对于NUC后帧的位姿。

5.根据权利要求1所述的一种轻量化的红外深度里程计方法,其特征在于,当对参考帧和NUC后帧进行ORB特征提取和匹配时,针对特征点无法提取或误匹配的状况,利用深度相机提供的信息对NUC期间的相机运动进行求解,包括:通过深度相机的投影方程,得到点云:

其中,id是深度图上的索引,pcid是通过投影得到的3D点;πd是深度相机的投影方程;

则是深度图上的像素点坐标, 是 的深度值;将点云PC进行降采样并对相邻深度图的降采样点云进行ICP求解:其中index是点云集合的索引, 分别是降采样后的前帧点云和后帧点云,N为点云中点的个数,R和t分别是前帧点云到后帧点云变换矩阵中的旋转和位移分量;

设在NUC期间总共有m帧深度图被捕获,则总的运动Tnuc为:Tnuc=T1T2…Tm‑1

其中Ti代表NUC期间第i到第i+1帧的位姿变换矩阵,1≤i≤m‑1,则NUC期间的相机的运动被恢复为:其中Ttd是深度相机到红外相机的外参,Ttnuc是红外相机在NUC期间的运动。

6.根据权利要求1所述的一种轻量化的红外深度里程计方法,其特征在于,对生成的地图点采用Gauss‑Newton方法优化其逆深度值。

7.根据权利要求1所述的一种轻量化的红外深度里程计方法,其特征在于,滑动窗口为一个维护若干关键帧的序列,在这个序列中所有的关键帧和其持有的地图点会加入一个线性方程:T T

JswWswJswδxsw=‑JswWswrsw

其中上标T代表矩阵转置,下标sw代表整个方程维护的是滑动窗口内的所有待优化的状态量,Jsw是滑动窗口内所有具有共视关系的帧及其对应点构成光度残差的雅可比矩阵;

Wsw是对应的Huber权重所构成的矩阵,δxsw是滑动窗口内的所有待优化的状态增量;rsw则是滑动窗口内的所有帧及其对应点构成的光度残差。

8.一种电子设备,包括存储器和处理器,其特征在于,所述存储器与所述处理器耦接;

其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现上述权利要求1‑7任一项所述的一种轻量化的红外深度里程计方法。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1‑7中任一所述的一种轻量化的红外深度里程计方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1‑7任一所述的一种轻量化的红外深度里程计方法。