利索能及
我要发布
收藏
专利号: 2020100899357
申请人: 青岛联合创智科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于单目相机的稠密深度图计算方法,其特征在于,包括如下步骤:步骤一,提取图像上的特征点进行特征匹配,计算图像位姿,以及图像的最大深度和最小深度;

步骤二,利用图像的最大深度和最小深度计算离散深度值集合;

步骤三,对每个像素测试一定数量的从离散深度值集合内随机获取的深度值,得到初始深度值;

步骤四,四通路传播像素的深度;

步骤五,时序融合优化深度图的深度;

所述步骤一的具体方法如下:

(1)单目相机拍摄的图像在时间上连续,选取时间上相近且具有一定基线长度的两帧图像提取SURF特征点,计算两帧图像上的匹配关系,获得一系列匹配点对;

(2)使用RANSAC算法通过二维点到二维点的匹配关系计算单应矩阵和基础矩阵,选择重投影误差较小的矩阵分解出两帧之间的相对位姿;

(3)对相对位姿转化为相对于世界坐标系的位姿,然后使用集束调整方法进行优化,获得图像位姿和稀疏点云,反投影稀疏点云到图像上计算该图像的最大深度和最小深度。

2.根据权利要求1所述的一种基于单目相机的稠密深度图计算方法,其特征在于,所述步骤二的具体方法如下:离散深度值集合D计算方法如下:

D={d0 d1 … dl … dL},l={0,1,2,…,L}dl=dmin+l×ε1

L为所有可能的深度总数,是一个整数;l为深度索引,dl为第l个深度值,精度阈值ε1为自定义值,dmax为最大深度,dmin为最小深度。

3.根据权利要求2所述的一种基于单目相机的稠密深度图计算方法,其特征在于,所述步骤三的具体方法如下:使用并行计算平台CUDA并行处理每一个像素,对每个像素测试J个从离散深度值集合内随机获取的深度值,具体方法如下:选取当前帧之前计算过的一帧为参考帧,将当前帧上的像素i依据测试深度投影到参考帧上,计算匹配损失;

像素i在深度d处的匹配损失Cost(i,d)计算公式为:其中,W为以选定像素为中心的5*5像素块,p为像素块中的某一像素,Ic(p)为当前帧上以像素i为中心的像素块中某一像素的灰度值,Ir(p)为参考帧上以投影像素ri为中心的像素块中某一像素的灰度值, 和σ(Ii)分别为以像素i为中心的像素块均值和标准差, 和σ(Iri)分别为以投影像素ri为中心的像素块均值和标准差;

像素的投影计算过程如下:

‑1

Trc=Trw×T cw

其中,Trw和Tcw为参考帧位姿和当前帧位姿,而Trc为当前帧变换到参考帧的位姿变换,ui、uri分别为当前帧上任意一个像素i和该像素i投影到参考帧上像素ri的纵坐标,vi、vri分别为当前帧上任意一个像素i和该像素i投影到参考帧上像素ri的横坐标,dj为第j个深度值,K为已知的相机内参矩阵,Pri是当前帧上的一个像素i在深度dj时对应的空间点在参考帧坐标系下的坐标值,Pri.z为Pri的第三维坐标;

保留匹配损失最低的深度测试值和匹配损失,设置匹配损失最低的深度测试值为当前像素的深度初始值。

4.根据权利要求3所述的一种基于单目相机的稠密深度图计算方法,其特征在于,所述步骤四的具体方法如下:使用四路径传播方法将好的深度值传播它的相邻像素位置上去,依次执行自左向右,自上向下,自右向左,自下向上传播,传播过程中每个像素的深度更新公式为:其中,为像素i更新后的深度值,di,df(i‑1)分别为像素i更新前的深度和沿深度传播方向的前一个像素的深度值;

深度传播后移除匹配损失大于‑0.5的深度值。

5.根据权利要求4所述的一种基于单目相机的稠密深度图计算方法,其特征在于,所述步骤五的具体方法如下:根据步骤三中的像素投影计算公式与步骤一中得到的下一帧图像的位姿Tnw,可得当前帧图像变换到下一帧图像的位姿Tnc,以及当前帧上的任意像素i投影到下一帧上的像素ni的坐标(uni,vni)和深度值dni;

对当前帧图像上的所有像素执行投影计算,对于多个像素投影到一个像素上的情况,被投影像素取深度最小的值作为深度值;此时获得当前帧传递到下一帧图像的深度图,使用二维插值方法填补传递后的深度图上的微小空洞;

将传递后下一帧的深度图与下一帧经深度传播后的深度图进行融合,得到稠密深度图,具体方法如下:传递后下一帧的参数包括标准差σ'、深度值d'、贝塔分布参数a'、贝塔分布参数b',下2

一帧计算出的深度值和标准差分别为d,σ,计算高斯融合后的均值m和方差s:计算权重系数c1,c2:

归一化权重系数:

可得更新后的参数为

其中,a,b为贝塔分布的参数,e,f为中间变量, 分别为更新后的深度值、方差、贝塔分布参数a、贝塔分布参数b;

移除融合后 的深度值,输出 且更新后方差较小的深度值。