利索能及
我要发布
收藏
专利号: 2019106147888
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多层特征的单目图像深度估计方法,其特征在于方法包括以下步骤:

步骤1_1:

选取N幅高度为H、宽度为W的原始单目深度估计图像以及原始单目深度估计图像对应的已知的深度估计标签图;

然后将所有原始单目深度估计图像及其对应的已知的深度估计标签图构成训练集,将训练集中的第n幅原始单目深度估计图像记为 将第n幅原始单目图像对应的深度估计标签图记为 其中,N为正整数,N≥100,W和H均能够被2整除,且n为正整数,n的初始值从1开始,1≤n≤N,1≤x≤W,1≤y≤H, 表示坐标位置为(i,j)的像素点的像素值, 表示坐标位置为(i,j)的像素点的像素值;

步骤1_2:构建神经网络:

步骤1_3:将训练集中的每幅原始单目深度估计图像及其深度估计标签图输入到神经网络模型中进行训练:训练过程中,将每次迭代训练处理中得到的每幅原始单目深度估计图像的深度预测图,记为 表示坐标位置为(i,j)的像素点的像素值,计算每幅原始单目深度估计图像对应的深度预测图与原始单目深度估计图像对应的深度估计标签图构成的的损失函数值,记为 采用Huber损失函数获得;不断迭代训练重复共V次,共得到N×V个损失函数值,然后从N×V个损失函数值中找出值最小的损失函数值作为模型参数,从而完成神经网络模型的训练;

步骤1_4:利用训练后获得的神经网络模型对待测的单目深度估计图像进行预测处理,输出获得对应的深度预测图,实现单目图像深度估计。

2.根据权利要求1所述的一种基于多层特征的单目图像深度估计方法,其特征在于:所述步骤1_2中,所述的卷积神经网络包含输入层、隐层和输出层,隐层包括编码部分和解码部分;

编码部分由一个Resnet50块组成,Resnet50块由ResNet50模型去除全连接层构成,在ResNet50模型中的每个残差块conv_block后面均增加Dropout层,ResNet50模型中的激活层和残差映射块identity_block后的输出五个不同尺寸的特征图,五个特征图按照特征图尺寸从大到小依次为输出端一(C1)、输出端二(C2)、输出端三(C3)、输出端四(C4)、输出端五(C5);

解码部分有三个分支和后处理总支,三个分支分别为第一金字塔、第二金字塔和中层分支;第一金字塔主要由第一个融合层、第二个融合层、第三个融合层构成,第二金字塔主要由第四个融合层、第五个融合层、第六个融合层构成,中层分支由第一个卷积层构成;

第一个融合层接收输出端一(C1)、输出端二(C2)、输出端三(C3)的特征图,输出端三(C3)和输出端二(C2)的特征图经过双线性插值上采样和未经过双线性插值上采样的输出端一(C1)的特征图在第一个融合层进行融合,输出为特征图F12;

第二个融合层接收输出端二(C2)、输出端三(C3)的特征图,输出端三(C3)的特征图经过双线性插值上采样和未经过双线性插值上采样的输出端二(C2)的特征图在第二个融合层进行融合,输出为特征图F13;

第三个融合层接收第一个融合层与第二个融合层输出的特征图,特征图F13经过双线性插值上采样和未经过双线性插值上采样的特征图F12在第三个融合层进行融合,输出为特征图AA;

再将第三个融合层输出的特征图AA依次输入到第二个卷积层、第一个池化层,处理输出获得特征图AAA;

第四个融合层接收输出端三(C3)、输出端四(C4)的特征图,输出端三(C3)的特征图经过最大池化下采样和未经过最大池化下采样的输出端四(C4)的特征图在第四个融合层进行融合,输出为特征图F44;

第五个融合层接收输出端三(C3)、输出端四(C4)、输出端五(C5)的特征图,输出端三(C3)和输出端四(C4)的特征图经过最大池化下采样和未经过最大池化下采样的输出端五(C5)的特征图在第五个融合层进行融合,输出为特征图F56;

第六个融合层接收第四个融合层和第五个融合层输出的特征图,特征图F44经过最大池化下采样和未经过最大池化下采样的特征图F56在第六个融合层进行融合,输出为特征图CC;

再将第六个融合层输出的特征图CC依次输入到第一个反卷积层、第二个反卷积层,处理输出获得特征图CCC;

第一个卷积层接收输出端三(C3)的特征图进行卷积处理,输出特征图BBB;

后处理总支包括第三个卷积层、第一个神经网络块和第三个反卷积层;

将出特征图AAA、出特征图BBB、出特征图CCC相加输入到第三个卷积层,第三个卷积层输出到第一个神经网络块;

第一个神经网络块主要由依次连接的块反卷积层、四个分支的不同块卷积层、块融合层、sigmoid层、上采样层组成,四个块卷积层均由两个卷积层依次连接构成,块反卷积层的输出分别输入到四个块卷积层中,四个块卷积层的输出一起输入到块融合层进行融合,再经过sigmoid层和一个上采样因子为2的上采样层输出特征图到第三个反卷积层,由第三个反卷积层输出到输出层。

3.根据权利要求1所述的一种基于多层特征的单目图像深度估计方法,其特征在于:所述的解码部分中,六个融合层的融合方式均为图像拼接Concatenate,且每个Concatente后都通过一个卷积层,卷积核大小均为3×3,激活方式均为线性整流函数(Rectified Linear Unit,ReLU),补零方式均为‘same’。

4.根据权利要求1所述的一种基于多层特征的单目图像深度估计方法,其特征在于:所述的输入层为输入一张彩色图像,即原始的单目深度估计图像。

5.根据权利要求1所述的一种基于多层特征的单目图像深度估计方法,其特征在于:所述的输出层由一个卷积层组成,卷积层的卷积核个数为1,卷积核大小为3×3,步幅大小为

1、激活方式为线性整流函数(Rectified Linear Unit,ReLU);输出层接收隐层的第三个反卷积层中的所有特征图,输出层的输出端输出一幅与原始输入单目深度估计图像尺寸相同的深度预测图。