利索能及
我要发布
收藏
专利号: 2018101031950
申请人: 深圳市商汤科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-23
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种深度估计方法,其特征在于,包括:

以单张图片作为双目图像中的第一图像,经第一神经网络,基于所述第一图像获取所述双目图像中的第二图像;

经第二神经网络,通过对所述第一图像与所述第二图像进行双目立体匹配,获取所述第一图像对应的深度信息。

2.根据权利要求1所述的方法,其特征在于,经第一神经网络,基于所述第一图像获取所述双目图像中的第二图像,包括:经第一神经网络对所述第一图像进行处理,输出N个通道的视差概率图;其中,每个通道的视差概率图表示所述第一图像上像素向第一水平方向偏移i个视差的概率,i=0,

1,…,N-1,N的取值为大于1的整数;

根据所述N个通道的视差概率图,将所述第一图像分别向第一水平方向偏移i个像素,得到N张偏移图;

将所述N张偏移图中的各偏移图分别点乘对应通道的视差概率图中,得到N个点乘结果;

将所述N个点乘结果基于像素进行叠加,得到所述第二图像。

3.根据权利要求2所述的方法,其特征在于,所述经第一神经网络对所述第一图像进行处理,输出N个通道的视差概率图,包括:分别通过第一神经网络中的两个或以上网络深度的网络层对所述第一图像进行特征提取,获得两个或以上尺度的特征图;

基于所述两个或以上尺度的特征图分别获取两个或以上分辨率的、N个通道的初步视差概率图;

分别针对每个通道,将所述两个或以上分辨率的初步视差概率图放大至所述第一图像的分辨率下进行叠加,得到所述N个通道的视差概率图。

4.根据权利要求2或3所述的方法,其特征在于,所述第一图像中对应前景对象的像素在所述N个通道的视差概率图中的对应像素位置,在对应较大视差的通道的视差概率图中具有较大的概率值;所述第一图像中对应背景对象的像素在所述N个通道的视差概率图中的对应像素位置,在对应较小视差的通道的视差概率图中具有较大的概率值。

5.根据权利要求1-4任一所述的方法,其特征在于,通过对所述第一图像与所述第二图像进行双目立体匹配,获取所述第一图像对应的深度信息,包括:获取用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的相关系数;所述双目图像中一个图像包括所述第一图像或所述第二图像,所述另一个图像对应包括所述第二图像或所述第一图像;

基于所述另一个图像与所述相关系数,生成所述第一图像与所述第二图像的视差图;

基于所述视差图获取所述第一图像对应的深度信息。

6.根据权利要求5所述的方法,其特征在于,所述获取用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的相关系数,包括:分别对所述一个图像与所述另一个图像进行特征提取;

基于提取的所述一个图像的特征与所述另一个图像的特征,获取所述一个图像与所述另一个图像中像素的位置关系,并输出用于表示所述双目图像中一个图像相对于另一个图像中像素的位置关系的所述相关系数。

7.一种深度估计装置,其特征在于,包括:

图像获取模块,用于以单张图片作为双目图像中的第一图像,经第一神经网络,基于所述第一图像获取所述双目图像中的第二图像;

立体匹配模块,用于经第二神经网络,通过对所述第一图像与所述第二图像进行双目立体匹配,获取所述第一图像对应的深度信息。

8.一种电子设备,其特征在于,包括:

存储器,用于存储可执行指令;以及

处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求1-6任一所述方法的操作。

9.一种计算机程序,包括计算机可读代码,其特征在于,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现权利要求1-6任一所述方法中各步骤的指令。

10.一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1-6任一所述方法中各步骤的操作。