利索能及
我要发布
收藏
专利号: 2019110125947
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种非对称编码网络的物体图像3D语义预测分割方法,其特征在于包括以下步骤:

步骤1_1:选取I幅原始的RGB图像及其对应的深度图,结合各幅原始的RGB图像对应的i

语义标签一起构成训练集,将训练集中的第i幅原始的RGB图像记为{LRGB(p,q)},将训练集i

中与{L RGB(p,q)}对应的深度图像记为 RGB图像对应的语义标签记为

步骤1_2:构建卷积神经网络:卷积神经网络包括两个输入层、隐层和三个输出层,两个输入层连接到隐层的输入端,隐层的输出端连接三个输出层;

步骤1_3:将训练集中每幅RGB图像及其对应的深度图像,分别作为两个输入层的原始输入图像,输入到卷积神经网络中进行训练,得到训练集中的每幅RGB图像对应的预测分割i图像,将RGB图像{LRGB(p,q)}对应的预测分割图像记为 其中, 表

示 中坐标位置为(p,q)的像素点的像素值;

步骤1_4:计算训练集中的每幅RGB图像对应的预测分割图像 与对应的语义标签之间的损失函数值,预测分割图像 与 之间的损失函数值记

为 采用交叉熵函数

获得;

步骤1_5:重复执行步骤1_3和步骤1_4共V次,得到训练好的深度可分卷积神经网络训练模型,并共得到I×V个损失函数值;然后从I×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为最优权值矢量和最优偏置项并替换训练好的深度可分卷积神经网络训练模型中的权值矢量和偏置项,对应记为最best best优权值矢量W 和最优偏置项b ;

步骤1_6:针对待预测的RGB图像{LRGB(p',q')}及其对应的深度图像{Ldepth(p',q')},将待预测的RGB图像{LRGB(p',q')}及其对应的深度图像{Ldepth(p',q')}输入到训练好的深度best best可分卷积神经网络训练模型中,并利用最优权值矢量W 和最优偏置项b 进行预测,得到待预测的RGB图像{LRGB(p',q')}对应的预测分割图像{Lpredction(p',q')},从而实现语义预测分割;

所述的隐层包括8个卷积层、1个带孔卷积层、6个规范化层、6个激活层、1个ASPP网络块、2个自注意网络块、4个串联融合层、2个元素求和融合层、去除其中第5个最大池化层及其后面网络结构的VGG16网络和去除最后的平均池化层和全连接层后的ResNet34网络;深度图像 和RGB图像 分别作为两个输入层分别输入到VGG16网络和ResNet34网络,深度图像 输入到VGG16网络的第零VGG16特征提取块layerd0,i

RGB图像{LRGB(p,q)}输入到ResNet34网络的卷积层,VGG16网络的第一VGG16特征提取块layerd1和ResNet34网络的第一ResNet34特征提取块layer1的输出共同输入到第1个串联融合层,从第1个串联融合层的输出依次经过第1个卷积层、第1个规范化层、第1个激活层和第2个第二ResNet34特征提取块layer2后连接输入到第2个串联融合层;VGG16网络的第二VGG16特征提取块layerd2和ResNet34网络的第1个第二ResNet34特征提取块layer2的输出共同输入到第2个串联融合层,从第2个串联融合层的输出依次经过第2个卷积层、第2个规范化层、第2个激活层和第2个第三ResNet34特征提取块layer3后连接输入到第3个串联融合层;VGG16网络的第三VGG16特征提取块layerd3和ResNet34网络的第1个第三ResNet34特征提取块layer3的输出共同输入到第3个串联融合层,从第3个串联融合层的输出依次经过第3个卷积层、第3个规范化层、第3个激活层和第2个第四ResNet34特征提取块layer4后连接输入到第4个串联融合层;VGG16网络的第四VGG16特征提取块layerd4和ResNet34网络的第1个第四ResNet34特征提取块layer4的输出共同输入到第4个串联融合层,从第4个串联融合层的输出依次经过第4个卷积层、第4个规范化层、第4个激活层、ASPP网络块和第1个双线性上采样层后连接输入到第1个元素求和融合层;VGG16网络的第三VGG16特征提取块layerd3的输出经第1个自注意网络块后和ResNet34网络的第1个第三ResNet34特征提取块layer3的输出一起共同输入到第1个元素求和融合层,从第1个元素求和融合层的输出依次经过第2个双线性上采样层、第5个卷积层、第5个规范化层、第5个激活层后连接输入到第2个元素求和融合层,同时第1个元素求和融合层的输出经第6个卷积层连接到第1个输出层;

VGG16网络的第二VGG16特征提取块layerd2的输出经第2个自注意网络块后和ResNet34网络的第1个第二ResNet34特征提取块layer2的输出一起共同输入到第2个元素求和融合层,从第2个元素求和融合层的输出依次经过第3个双线性上采样层、第1个带孔卷积层、第6个规范化层、第6个激活层、第8个卷积层后连接输入到第3个输出层,同时第2个元素求和融合层的输出经第7个卷积层连接到第2个输出层。

2.根据权利要求1所述的一种非对称编码网络的物体图像3D语义预测分割方法,其特征在于:所述的ASPP网络块由3个卷积层、3个带孔卷积层、1个自适应平均池化层、1个双线性上采样层、1个融合层组成;自适应平均池化层、第1个卷积层、1个双线性上采样层依次连接后和3个带孔卷积层并联,并联后的各个输出端连接到融合层,融合层输出连接到第3个卷积层;第4个激活层的输出作为ASPP网络块的输入分别输入到3个带孔卷积层和由自适应平均池化层、第1个卷积层、1个双线性上采样层依次连接构成的局部网络结构中,3个带孔卷积层和由自适应平均池化层、卷积层、双线性上采样层依次连接构成的局部网络结构的输出端均连接到融合层,融合层经第3个卷积层输出作为ASPP网络块的输出,输出到第1个双线性上采样层。

3.根据权利要求1所述的一种非对称编码网络的物体图像3D语义预测分割方法,其特征在于:所述的自注意网络块包含1个自适应平均池化层、1个Sigmoid层、1个逐元素求积融合层、1个卷积层、1个规范化层和1个激活层;之前网络结构的输出作为自注意网络块的输入,输入到自适应平均池化层和逐元素求积融合层,自适应平均池化层的输出经Sigmoid层后也输入到逐元素求积融合层,逐元素求积融合层输出依次经卷积层、规范化层、激活层后输出作为自注意网络块的输出。

4.根据权利要求1所述的一种非对称编码网络的物体图像3D语义预测分割方法,其特征在于:将两个或三个连续的卷积层加一个最大池化层的结构作为一个网络块,并作为VGG16网络中的一个VGG16特征提取块,并且VGG16网络中,使用一个卷积核大小为1×1、输入通道为1、输出通道为64的卷积层代替原始VGG16中的第一个卷积层,即替换掉第零VGG16特征提取块layerd0中的第一个卷积层。

5.根据权利要求1所述的一种非对称编码网络的物体图像3D语义预测分割方法,其特征在于:对于2个输入层,第1个输入层是RGB图像输入层,其输入端接收一幅原始RGB输入图像;第2个输入层是深度图像输入层,其输入端接收一幅原始RGB图像对应的深度图像,2个输入层的输出端分别输出原始RGB图像和其对应的深度图像给隐层。