摘要:
权利要求书:
1.一种基于可微几何传播的深度补全方法,其特征在于,包括以下步骤:
步骤S1.采集稀疏深度图像数据并进行预处理,获取配对的彩色图像和稀疏深度图像;
步骤S2.将所述配对的彩色图像和稀疏深度图像输入进初始估计模块进行训练,输出表面法线、置信度掩膜和深度不连续边缘;
步骤S3.将所述稀疏深度图像、所述表面法线、所述置信度掩膜和所述深度不连续边缘输入进等深线追踪模块,生成并输出半稠密深度;
步骤S3包括:所述等深线追踪模块由一个无参数的可微网络层组成;在等深线追踪模块中输入稀疏深度图像、所述表面法线、所述置信度掩膜和所述深度不连续边缘,利用可微的等深线追踪网络层,将深度信息进行几何传播,生成输出半稠密深度;所述等深线追踪网络层利用表面法线将深度信息进行传播的同时,对生成的半稠密结果进行计算并监督损失,利用反向传播将梯度信息回传到所述初始估计模块;所述等深线追踪网络层根据所述表面法线预测一个置信度掩膜用于深度追踪;
步骤S4.将所述彩色图像和步骤S2中的所述置信度掩膜输入进全局稠密优化模块,并将所述彩色图像和所述半稠密深度输入进编解码器进行学习,完成全局重建和全局稠密优化;
全局稠密优化模块包括编解码器和空间传播网络;
所述步骤S4包括:将所述彩色图像和所述半稠密深度输入进编解码器进行学习,将彩色图像为主的特征表达和几何表示的特征表达进行融合,完成全局重建;将置信度掩膜一起输入进全局稠密优化模块,并通过一个空间传播网络进行处理,完成全局稠密优化;
步骤S5.输出稠密深度图像。
2.根据权利要求1所述的一种基于可微几何传播的深度补全方法,其特征在于,所述步骤S1包括: 使用车载相机和激光雷达设备采集室外真实街道场景图片,每一帧场景图片都包括同场景下的稀疏深度图像和彩色图像; 根据激光雷达设备扫描出的三维点云和车载相机参数一起通过投影并用位姿关系转换生成验证测试集数据,利用立体视觉融合了当前场景图片的帧前后场景中的激光雷达稀疏深度信息,获取满足稠密度和图像分辨率的配对的彩色图像和稀疏深度图像。
3.根据权利要求1所述的一种基于可微几何传播的深度补全方法,其特征在于,所述步骤S2包括: 在输入的配对的彩色图像和稀疏深度图像中输出作为几何关系表示的表面法线、作为辅助引导的置信度掩膜和作为辅助约束的深度不连续边缘。
4.根据权利要求1所述的一种基于可微几何传播的深度补全方法,其特征在于,所述步骤S2还包括: 所述初始估计模块由两个基于卷积神经网络的编解码器组成。