利索能及
我要发布
收藏
专利号: 2018111473308
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于神经网络的单目图像深度预测方法,其特征在于包括训练阶段和测试阶段两个过程;

所述的训练阶段过程的具体步骤为:

步骤1_1:选取Q幅原始的单目图像及每幅原始的单目图像对应的真实深度图像,并构q

成训练集,将训练集中的第q幅原始的单目图像记为{I (i,j)|1≤i≤W,1≤j≤H},将训练q

集中 与{I (i ,j) |1 ≤i≤ W ,1 ≤j ≤H} 对应的 真实 深度图 像记 为其中,Q为正整数,Q≥200,q为正整数,1≤q≤Q,1≤i≤W,1q

≤j≤H,W表示{I (i,j)|1≤i≤W,1≤j≤H}和 的宽度,H表示q q q

{I (i,j)|1≤i≤W,1≤j≤H}和 的高度,I (i,j)表示{I (i,j)|1≤i≤W,1≤j≤H}中坐标位置为(i,j)的像素点的像素值, 表示中坐标位置为(i,j)的像素点的像素值;

步骤1_2:构建神经网络:神经网络包括输入层、隐层和输出层;隐层包括编码网络框架和解码网络框架;

对于输入层,输入层的输入端接收一幅原始输入图像,输入层的输出端输出原始输入图像给隐层;其中,要求输入层的输入端接收的原始输入图像的宽度为W、高度为H;

对于编码网络框架,其包括5个神经网络块、1个推理层和1个连接层,第1个神经网络块由依次设置的2个卷积层和1个最大池化层组成,第2个神经网络块由依次设置的2个卷积层和1个最大池化层组成,第3个神经网络块由依次设置的3个卷积层和1个最大池化层组成,第4个神经网络块由依次设置的3个卷积层和1个最大池化层组成,第5个神经网络块由依次设置的3个卷积层和1个最大池化层组成,推理层由依次设置的2个带孔卷积神经网络构成,其中,每个神经网络块中的每个卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数,每个神经网络块中的每个最大池化层的步长为2,每个带孔卷积神经网络中的卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数,每个带孔卷积神经网络的膨胀率为2;

对于编码网络框架,第1个神经网络块的输入端接收输入层的输出端输出的原始输入图像,第1个神经网络块的输出端输出K幅特征图,将K幅特征图构成的集合记为A1,其中,K=64,A1中的每幅特征图的宽度为 高度为 符号 为向下取整运算符号;第2个神经网络块的输入端接收A1中的所有特征图,第2个神经网络块的输出端输出K幅特征图,将K幅特征图构成的集合记为A2,其中,K=64,A2中的每幅特征图的宽度为 高度为第3个神经网络块的输入端接收A2中的所有特征图,第3个神经网络块的输出端输出K'幅特征图,将K'幅特征图构成的集合记为A3,其中,K'=128,A3中的每幅特征图的宽度为高度为 第4个神经网络块的输入端接收A3中的所有特征图,第4个神经网络块的输出端输出K'幅特征图,将K'幅特征图构成的集合记为A4,其中,K'=128,A4中的每幅特征图的宽度为 高度为 第5个神经网络块的输入端接收A4中的所有特征图,第5个神经网络块的输出端输出K'幅特征图,将K'幅特征图构成的集合记为A5,其中,K'=128,A5中的每幅特征图的宽度为 高度为 推理层的输入端接收A5中的所有特征图,推理层的输出端输出K'幅特征图,将K'幅特征图构成的集合记为B,其中,K'=128,B中的每幅特征图的宽度为 高度为 连接层的输入端接收A5中的所有特征图和B中的所有特征图,连接层通过Concatence方式连接A5和B得到集合C,连接层的输出端输出C,其中,C中的每幅特征图的宽度为 高度为 C中包含的特征图的总幅数为K'+K';

对于解码网络框架,其包括5个神经网络块、5个连接层、4个独立的双线性上采样层,每个神经网络块由依次设置的1个卷积层和1个双线性上采样层组成,其中,每个神经网络块中的卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数,第1个神经网络块中的双线性上采样层的目标的宽度设置为与A4中的特征图的宽度一致、高度设置为与A4中的特征图的高度一致,第2个神经网络块中的双线性上采样层的目标的宽度设置为与A3中的特征图的宽度一致、高度设置为与A3中的特征图的高度一致,第3个神经网络块中的双线性上采样层的目标的宽度设置为与A2中的特征图的宽度一致、高度设置为与A2中的特征图的高度一致,第4个神经网络块中的双线性上采样层的目标的宽度设置为与A1中的特征图的宽度一致、高度设置为与A1中的特征图的高度一致,第5个神经网络块中的双线性上采样层的目标的宽度设置为与原始输入图像的宽度一致、高度设置为与原始输入图像的高度一致,每个独立的双线性上采样层的目标的宽度设置为与原始输入图像的宽度一致、高度设置为与原始输入图像的高度一致;

对于解码网络框架,第1个神经网络块的输入端接收C中的所有特征图,第1个神经网络块的输出端输出K'幅特征图,将K'幅特征图构成的集合记为C1,其中,K'=128,C1中的每幅特征图的宽度为 高度为 第1个连接层的输入端接收A4中的所有特征图和C1中的所有特征图,第1个连接层通过Concatence方式连接A4和C1得到集合C2,第1个连接层的输出端输出C2,其中,C2中的每幅特征图的宽度为 高度为 C2中包含的特征图的总幅数为K'+K';第2个神经网络块的输入端接收C2中的所有特征图,第2个神经网络块的输出端输出K'幅特征图,将K'幅特征图构成的集合记为C3,其中,K'=128,C3中的每幅特征图的宽度为 高度为 第2个连接层的输入端接收A3中的所有特征图和C3中的所有特征图,第2个连接层通过Concatence方式连接A3和C3得到集合C4,第2个连接层的输出端输出C4,其中,C4中的每幅特征图的宽度为 高度为 C4中包含的特征图的总幅数为K'+K';第3个神经网络块的输入端接收C4中的所有特征图,第3个神经网络块的输出端输出K幅特征图,将K幅特征图构成的集合记为C5,其中,K=64,C5中的每幅特征图的宽度为 高度为 第3个连接层的输入端接收A2中的所有特征图和C5中的所有特征图,第3个连接层通过Concatence方式连接A2和C5得到集合C6,第3个连接层的输出端输出C6,其中,C6中的每幅特征图的宽度为 高度为 C6中包含的特征图的总幅数为K+K;第4个神经网络块的输入端接收C6中的所有特征图,第4个神经网络块的输出端输出K幅特征图,将K幅特征图构成的集合记为C7,其中,K=64,C7中的每幅特征图的宽度为 高度为 第4个连接层的输入端接收A1中的所有特征图和C7中的所有特征图,第4个连接层通过Concatence方式连接A1和C7得到集合C8,第4个连接层的输出端输出C8,其中,C8中的每幅特征图的宽度为 高度为 C8中包含的特征图的总幅数为K+K;第5个神经网络块的输入端接收C8中的所有特征图,第5个神经网络块的输出端输出K幅特征图,将K幅特征图构成的集合记为C9,其中,K=64,C9中的每幅特征图的宽度为W、高度为H;第1个独立的双线性上采样层的输入端接收C1中的所有特征图,第1个独立的双线性上采样层的输出端输出K'幅特征图,将K'幅特征图构成的集合记为D1,其中,K'=128,D1中的每幅特征图的宽度为W、高度为H;第2个独立的双线性上采样层的输入端接收C3中的所有特征图,第2个独立的双线性上采样层的输出端输出K'幅特征图,将K'幅特征图构成的集合记为D2,其中,K'=128,D2中的每幅特征图的宽度为W、高度为H;第3个独立的双线性上采样层的输入端接收C5中的所有特征图,第3个独立的双线性上采样层的输出端输出K幅特征图,将K幅特征图构成的集合记为D3,其中,K=64,D3中的每幅特征图的宽度为W、高度为H;第4个独立的双线性上采样层的输入端接收C7中的所有特征图,第4个独立的双线性上采样层的输出端输出K幅特征图,将K幅特征图构成的集合记为D4,其中,K=64,D4中的每幅特征图的宽度为W、高度为H;第5个连接层的输入端接收C9中的所有特征图和D1,D2,D3,D4中的所有特征图,第5个连接层通过Concatence方式连接C9和D1,D2,D3,D4得到集合E,第5个连接层的输出端输出E,其中,E中的每幅特征图的宽度为W、高度为H,E中包含的特征图的总幅数为K+K'+K'+K+K;

对于输出层,其包括1个卷积层,其中,卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数;输出层的输入端接收E中的所有特征图,输出层的输出端输出一幅原始输入图像对应的预测深度图像;

步骤1_3:将训练集中的每幅原始的单目图像作为原始输入图像,输入到神经网络中进q

行训练,得到训练集中的每幅原始的单目图像对应的预测深度图像,将{I (i,j)|1≤i≤W,

1≤j≤H}对应的预测深度图像记为 其中, 表示 中坐标位置为(i,j)的像素点的像素值;

步骤1_4:计算训练集中的每幅原始的单目图像对应的预测深度图像与对应的真实深度图像之间的损失函数值,将 与

之间的损失函数值记为

步骤1_5:重复执行步骤1_3和步骤1_4共V次,得到训练好的神经网络模型,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为训练好的神经网络模型的最优权值矢量和best best

最优偏置项,对应记为W 和b ;其中,V>1;

所述的测试阶段过程的具体步骤为:

步骤2_1:令 表示待预测的单目图像;其中,1≤i'≤W',1≤j'≤H',W'表示 的宽度,H'表示的高度, 表示 中坐标

位置为(i',j')的像素点的像素值;

步骤2_2:将 输入到训练好的神经网络模型中,并利用best best

W 和b 进行预测,得到 对应的预测深度图像,记为其中, 表示

中坐标位置为(i',j')的像素点的像素值。

2.根据权利要求1所述的一种基于神经网络的单目图像深度预测方法,其特征在于所述的步骤1_4中, 采

用均方误差获得,