利索能及
我要发布
收藏
专利号: 2018112466640
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种单目视觉深度估计方法,其特征在于包括训练阶段和测试阶段两个过程;

所述的训练阶段过程的具体步骤为:

步骤1_1:选取N幅原始的单目图像及每幅原始的单目图像对应的真实深度图像,并构n n

成训练集,将训练集中的第n幅原始的单目图像记为Q (x,y),将训练集中与Q (x,y)对应的真实深度图像记为 其中,N为正整数,N≥100,n为正整数,1≤n≤N,1≤x≤R,1≤n n

y≤L,R表示Q (x,y)和 的宽度,L表示Q (x,y)和 的高度,R和L均能被2整除;

步骤1_2:构建端到端的卷积神经网络:卷积神经网络包括输入层、隐层和输出层;隐层包括编码框架、译码框架和上采样框架;

对于输入层,输入层的输入端接收一幅原始输入图像,输入层的输出端输出原始输入图像给隐层;其中,要求输入层的输入端接收的原始输入图像的宽度为R、高度为L;

对于编码框架,其由依次设置的第一卷积层、第一批规范化层、第一激活层、第一最大池化层、第二卷积层、第二批规范化层、第二激活层、第三卷积层、第三批规范化层、第一Concatenate融合层、第三激活层、第二最大池化层、第四卷积层、第四批规范化层、第四激活层、第五卷积层、第五批规范化层、第二Concatenate融合层、第五激活层、第三最大池化层、第一带孔卷积层、第六批规范化层、第六激活层、第二带孔卷积层、第七批规范化层、第三Concatenate融合层、第七激活层、第四最大池化层、第三带孔卷积层、第八批规范化层、第八激活层组成;对于译码框架,其由依次设置的第一反卷积层、第九批规范化层、第四Concatenate融合层、第九激活层、第六卷积层、第十批规范化层、第十激活层、第二反卷积层、第十一批规范化层、第五Concatenate融合层、第十一激活层、第七卷积层、第十二批规范化层、第十二激活层、第三反卷积层、第十三批规范化层、第六Concatenate融合层、第十三激活层、第八卷积层、第十四批规范化层、第十四激活层、第四反卷积层、第十五批规范化层、第七Concatenate融合层组成;对于上采样框架,其由依次设置的第一上采样层、第十卷积层、第十七批规范化层、第十七激活层、第二上采样层、第十一卷积层、第十八批规范化层、第十八激活层、第三上采样层、第十二卷积层、第十九批规范化层、第十九激活层、第四上采样层、第十三卷积层、第二十批规范化层、第二十激活层组成;对于输出层,其由依次设置的第十五激活层、第九卷积层、第十六批规范化层、第十六激活层组成,其中,第一卷积层至第十三卷积层、第一带孔卷积层至第三带孔卷积层、第一反卷积层至第四反卷积层各自的卷积核大小为3×3,第一卷积层的卷积核个数为32、第二卷积层和第三卷积层的卷积核个数为64、第四卷积层和第五卷积层的卷积核个数为128、第一带孔卷积层和第二带孔卷积层的卷积核个数为256、第三带孔卷积层的卷积核个数为512、第一反卷积层和第六卷积层的卷积核个数为256、第二反卷积层和第七卷积层的卷积核个数为128、第三反卷积层和第八卷积层的卷积核个数为64、第四反卷积层的卷积核个数为32、第九卷积层的卷积核个数为1、第十卷积层的卷积核个数为256、第十一卷积层的卷积核个数为128、第十二卷积层的卷积核个数为64、第十三卷积层的卷积核个数为32,第一卷积层至第十三卷积层、第一带孔卷积层至第三带孔卷积层各自的卷积步长采用默认值,第一反卷积层至第四反卷积层各自的卷积步长为2×2,第一批规范化层至第二十批规范化层的参数采用默认值,第一激活层至第二十激活层的激活函数采用ReLu,第一最大池化层至第四最大池化层的池化步长为2×2,第一上采样层至第四上采样层的采样步长为2×2;

对于编码框架,第一卷积层的输入端接收输入层的输出端输出的原始输入图像,第一卷积层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为J1,其中,J1中的每幅特征图的宽度为R、高度为L;第一批规范化层的输入端接收J1中的所有特征图,第一批规范化层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为P1,其中,P1中的每幅特征图的宽度为R、高度为L;第一激活层的输入端接收P1中的所有特征图,第一激活层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为H1,其中,H1中的每幅特征图的宽度为R、高度为L;第一最大池化层的输入端接收H1中的所有特征图,第一最大池化层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为Z1,其中,Z1中的每幅特征图的宽度为 高度为 第二卷积层的输入端接收Z1中的所有特征图,第二卷积层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为J2,其中,J2中的每幅特征图的宽度为 高度为 第二批规范化层的输入端接收J2中的所有特征图,第二批规范化层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为P2,其中,P2中的每幅特征图的宽度为 高度为 第二激活层的输入端接收P2中的所有特征图,第二激活层的输出端输出

64幅特征图,将输出的所有特征图构成的集合记为H2,其中,H2中的每幅特征图的宽度为高度为 第三卷积层的输入端接收H2中的所有特征图,第三卷积层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为J3,其中,J3中的每幅特征图的宽度为 高度为第三批规范化层的输入端接收J3中的所有特征图,第三批规范化层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为P3,其中,P3中的每幅特征图的宽度为 高度为 第一Concatenate融合层的输入端接收P3中的所有特征图和H2中的所有特征图,第一Concatenate融合层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为C1,其中,C1中的每幅特征图的宽度为 高度为 第三激活层的输入端接收C1中的所有特征图,第三激活层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为H3,其中,H3中的每幅特征图的宽度为 高度为 第二最大池化层的输入端接收H3中的所有特征图,第二最大池化层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为Z2,其中,Z2中的每幅特征图的宽度为 高度为 第四卷积层的输入端接收Z2中的所有特征图,第四卷积层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为J4,其中,J4中的每幅特征图的宽度为 高度为 第四批规范化层的输入端接收J4中的所有特征图,第四批规范化层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为P4,其中,P4中的每幅特征图的宽度为 高度为 第四激活层的输入端接收P4中的所有特征图,第四激活层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为H4,其中,H4中的每幅特征图的宽度为 高度为 第五卷积层的输入端接收H4中的所有特征图,第五卷积层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为J5,其中,J5中的每幅特征图的宽度为 高度为 第五批规范化层的输入端接收J5中的所有特征图,第五批规范化层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为P5,其中,P5中的每幅特征图的宽度为 高度为 第二Concatenate融合层的输入端接收P5中的所有特征图和H4中的所有特征图,第二Concatenate融合层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为C2,其中,C2中的每幅特征图的宽度为 高度为第五激活层的输入端接收C2中的所有特征图,第五激活层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为H5,其中,H5中的每幅特征图的宽度为 高度为 第三最大池化层的输入端接收H5中的所有特征图,第三最大池化层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为Z3,其中,Z3中的每幅特征图的宽度为 高度为 第一带孔卷积层的输入端接收Z3中的所有特征图,第一带孔卷积层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为K1,其中,K1中的每幅特征图的宽度为 高度为第六批规范化层的输入端接收K1中的所有特征图,第六批规范化层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为P6,其中,P6中的每幅特征图的宽度为 高度为 第六激活层的输入端接收P6中的所有特征图,第六激活层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为H6,其中,H6中的每幅特征图的宽度为 高度为第二带孔卷积层的输入端接收H6中的所有特征图,第二带孔卷积层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为K2,其中,K2中的每幅特征图的宽度为 高度为 第七批规范化层的输入端接收K2中的所有特征图,第七批规范化层的输出端输出

256幅特征图,将输出的所有特征图构成的集合记为P7,其中,P7中的每幅特征图的宽度为高度为 第三Concatenate融合层的输入端接收P7中的所有特征图和H6中的所有特征图,第三Concatenate融合层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为C3,其中,C3中的每幅特征图的宽度为 高度为 第七激活层的输入端接收C3中的所有特征图,第七激活层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为H7,其中,H7中的每幅特征图的宽度为 高度为 第四最大池化层的输入端接收H7中的所有特征图,第四最大池化层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为Z4,其中,Z4中的每幅特征图的宽度为 高度为 第三带孔卷积层的输入端接收Z4中的所有特征图,第三带孔卷积层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为K3,其中,K3中的每幅特征图的宽度为 高度为 第八批规范化层的输入端接收K3中的所有特征图,第八批规范化层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为P8,其中,P8中的每幅特征图的宽度为 高度为 第八激活层的输入端接收P8中的所有特征图,第八激活层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为H8,H8也即为编码框架的输出,其中,H8中的每幅特征图的宽度为 高度为对于译码框架,第一反卷积层的输入端接收编码框架的输出即H8中的所有特征图,第一反卷积层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为F1,其中,F1中的每幅特征图的宽度为 高度为 第九批规范化层的输入端接收F1中的所有特征图,第九批规范化层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为P9,其中,P9中的每幅特征图的宽度为 高度为 第四Concatenate融合层的输入端接收P9中的所有特征图和P7中的所有特征图,第四Concatenate融合层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为C4,其中,C4中的每幅特征图的宽度为 高度为 第九激活层的输入端接收C4中的所有特征图,第九激活层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为H9,其中,H9中的每幅特征图的宽度为 高度为 第六卷积层的输入端接收H9中的所有特征图,第六卷积层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为J6,其中,J6中的每幅特征图的宽度为 高度为 第十批规范化层的输入端接收J6中的所有特征图,第十批规范化层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为P10,其中,P10中的每幅特征图的宽度为 高度为 第十激活层的输入端接收P10中的所有特征图,第十激活层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为H10,其中,H10中的每幅特征图的宽度为 高度为 第二反卷积层的输入端接收编码框架的输出即H10中的所有特征图,第二反卷积层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为F2,其中,F2中的每幅特征图的宽度为 高度为 第十一批规范化层的输入端接收F2中的所有特征图,第十一批规范化层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为P11,其中,P11中的每幅特征图的宽度为 高度为 第五Concatenate融合层的输入端接收P11中的所有特征图和P5中的所有特征图,第五Concatenate融合层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为C5,其中,C5中的每幅特征图的宽度为 高度为 第十一激活层的输入端接收C5中的所有特征图,第十一激活层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为H11,其中,H11中的每幅特征图的宽度为 高度为 第七卷积层的输入端接收H11中的所有特征图,第七卷积层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为J7,其中,J7中的每幅特征图的宽度为 高度为 第十二批规范化层的输入端接收J7中的所有特征图,第十二批规范化层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为P12,其中,P12中的每幅特征图的宽度为 高度为 第十二激活层的输入端接收P12中的所有特征图,第十二激活层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为H12,其中,H12中的每幅特征图的宽度为 高度为 第三反卷积层的输入端接收H12中的所有特征图,第三反卷积层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为F3,其中,F3中的每幅特征图的宽度为 高度为 第十三批规范化层的输入端接收F3中的所有特征图,第十三批规范化层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为P13,其中,P13中的每幅特征图的宽度为 高度为 第六Concatenate融合层的输入端接收P13中的所有特征图和P3中的所有特征图,第六Concatenate融合层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为C6,其中,C6中的每幅特征图的宽度为 高度为 第十三激活层的输入端接收C6中的所有特征图,第十三激活层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为H13,其中,H13中的每幅特征图的宽度为 高度为 第八卷积层的输入端接收H13中的所有特征图,第八卷积层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为J8,其中,J8中的每幅特征图的宽度为 高度为 第十四批规范化层的输入端接收J8中的所有特征图,第十四批规范化层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为P14,其中,P14中的每幅特征图的宽度为 高度为 第十四激活层的输入端接收P14中的所有特征图,第十四激活层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为H14,其中,H14中的每幅特征图的宽度为 高度为 第四反卷积层的输入端接收H14中的所有特征图,第四反卷积层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为F4,其中,F4中的每幅特征图的宽度为R、高度为L;第十五批规范化层的输入端接收F4中的所有特征图,第十五批规范化层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为P15,其中,P15中的每幅特征图的宽度为R、高度为L;第七Concatenate融合层的输入端接收P15中的所有特征图、H1中的所有特征图、上采样框架的输出,第七Concatenate融合层的输出端输出96幅特征图,将输出的所有特征图构成的集合记为C7,其中,C7中的每幅特征图的宽度为R、高度为L;

对于上采样框架,第一上采样层的输入端接收Z4中的所有特征图,第一上采样层的输出端输出512幅特征图,将输出的所有特征图构成的集合记为Y1,其中,Y1中的每幅特征图的宽度为 高度为 第十卷积层的输入端接收Y1中的所有特征图,第十卷积层的输出端输出

256幅特征图,将输出的所有特征图构成的集合记为J10,其中,J10中的每幅特征图的宽度为高度为 第十七批规范化层的输入端接收J10中的所有特征图,第十七批规范化层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为P17,其中,P17中的每幅特征图的宽度为 高度为 第十七激活层的输入端接收P17中的所有特征图,第十七激活层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为H17,其中,H17中的每幅特征图的宽度为 高度为 第二上采样层的输入端接收H17中的所有特征图,第二上采样层的输出端输出256幅特征图,将输出的所有特征图构成的集合记为Y2,其中,Y2中的每幅特征图的宽度为 高度为 第十一卷积层的输入端接收Y2中的所有特征图,第十一卷积层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为J11,其中,J11中的每幅特征图的宽度为 高度为 第十八批规范化层的输入端接收J11中的所有特征图,第十八批规范化层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为P18,其中,P18中的每幅特征图的宽度为 高度为 第十八激活层的输入端接收P18中的所有特征图,第十八激活层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为H18,其中,H18中的每幅特征图的宽度为 高度为 第三上采样层的输入端接收H18中的所有特征图,第三上采样层的输出端输出128幅特征图,将输出的所有特征图构成的集合记为Y3,其中,Y3中的每幅特征图的宽度为 高度为 第十二卷积层的输入端接收Y3中的所有特征图,第十二卷积层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为J12,其中,J12中的每幅特征图的宽度为 高度为 第十九批规范化层的输入端接收J12中的所有特征图,第十九批规范化层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为P19,其中,P19中的每幅特征图的宽度为 高度为 第十九激活层的输入端接收P19中的所有特征图,第十九激活层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为H19,其中,H19中的每幅特征图的宽度为 高度为 第四上采样层的输入端接收H19中的所有特征图,第四上采样层的输出端输出64幅特征图,将输出的所有特征图构成的集合记为Y4,其中,Y4中的每幅特征图的宽度为R、高度为L;第十三卷积层的输入端接收Y4中的所有特征图,第十三卷积层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为J13,其中,J13中的每幅特征图的宽度为R、高度为L;第二十批规范化层的输入端接收J13中的所有特征图,第二十批规范化层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为P20,其中,P20中的每幅特征图的宽度为R、高度为L;第二十激活层的输入端接收P20中的所有特征图,第二十激活层的输出端输出32幅特征图,将输出的所有特征图构成的集合记为H20,其中,H20中的每幅特征图的宽度为R、高度为L;

对于输出层,第十五激活层的输入端接收译码框架的输出即C7中的所有特征图,第十五激活层的输出端输出96幅特征图,将输出的所有特征图构成的集合记为H15,其中,H15中的每幅特征图的宽度为R、高度为L;第九卷积层的输入端接收H15中的所有特征图,第九卷积层的输出端输出1幅特征图,将输出的所有特征图构成的集合记为J9,其中,J9中的特征图的宽度为R、高度为L;第十六批规范化层的输入端接收J9中的特征图,第十六批规范化层的输出端输出1幅特征图,将输出的所有特征图构成的集合记为P16,其中,P16中的特征图的宽度为R、高度为L;第十六激活层的输入端接收P16中的特征图,第十六激活层的输出端输出1幅特征图,将输出的所有特征图构成的集合记为H16,其中,H16中的特征图的宽度为R、高度为L,H16中的特征图即为原始输入图像对应的估计深度图像;

步骤1_3:将训练集中的每幅原始的单目图像作为原始输入图像,输入到卷积神经网络n

中进行训练,得到训练集中的每幅原始的单目图像对应的估计深度图像,将Q(x,y)对应的估计深度图像记为

步骤1_4:计算训练集中的每幅原始的单目图像对应的估计深度图像与对应的真实深度图像之间的损失函数值,将 与 之间的损失函数值记为步骤1_5:重复执行步骤1_3和步骤1_4共V次,得到训练好的卷积神经网络训练模型,并共得到N×V个损失函数值;然后从N×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为训练好的卷积神经网络训练模型best best

的最优权值矢量和最优偏置项,对应记为W 和b ;其中,V>1;

所述的测试阶段过程的具体步骤为:

步骤2_1:令Q(x',y')表示待预测的单目图像;其中,1≤x'≤R',1≤y'≤L',R'表示Q(x',y')的宽度,L'表示Q(x',y')的高度;

best best

步骤2_2:将Q(x',y')输入到训练好的卷积神经网络训练模型中,并利用W 和b 进行预测,得到Q(x',y')对应的预测深度图像,记为Qdepth(x',y')。

2.根据权利要求1所述的一种单目视觉深度估计方法,其特征在于所述的步骤1_4中,采用均方误差函数获得。