利索能及
我要发布
收藏
专利号: 2020115599425
申请人: 浙江科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于改进全卷积神经网络的室内场景语义分割方法,其特征在于,包括以下步骤:

步骤1:选取Q对原始室内场景图像及对应的真实语义分割图像,将所有原始室内场景图像及其对应的真实语义分割图像构成训练集;每对原始室内场景图像包括原始室内场景彩色图像和原始室内场景深度图像,采用独热编码技术将训练集中的真实语义分割图像处理成41幅独热编码图像;

步骤2:构建卷积神经网络分类训练模型:卷积神经网络分类训练模型包括输入层、隐层和输出层;输入层包括彩色图输入层和深度图输入层;隐层包括彩色图像处理模块和深度图像处理模块;彩色图像处理模块和深度图像处理模块的结构对称,均包括五个神经网络块、五个特征再提取卷积块和十个融合层;隐层还包括五个分块注意力卷积块、四个上采样层和两个融合层;

步骤3:将训练集输入到步骤2的卷积神经网络分类训练模型中进行训练,训练过程中,每次迭代训练处理得到每对原始室内场景图像对应的41幅语义分割预测图像,计算41幅语义分割预测图像构成的集合与真实语义分割图像对应的41幅独热编码图像构成的集合之间的损失函数值;

步骤4:重复执行步骤3一共V次,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出最小的损失函数值,将最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项,从而完成卷积神经网络分类训练模型的训练;

步骤5:利用训练后获得的卷积神经网络分类训练模型对待预测的室内场景图像进行预测处理,输出获得对应的预测语义分割图像,实现室内场景图像语义分割;

所述步骤2具体为:

彩色图输入层和深度图输入层分别输入彩色图像处理模块和深度图像处理模块中的第一个神经网络块;

彩色图像处理模块和深度图像处理模块的结构相同,具体为:

第一个神经网络块其中一个输出经第一个特征再提取卷积块输入第一个融合层,第一个神经网络块另一个输出输入第一个融合层;第二个神经网络块其中一个输出经第二个特征再提取卷积块输入第三个融合层,第二个神经网络块另一个输出输入第三个融合层;第三个神经网络块其中一个输出经第三个特征再提取卷积块输入第五个融合层,第三个神经网络块另一个输出输入第五个融合层;第四个神经网络块其中一个输出经第四个特征再提取卷积块输入第七个融合层,第四个神经网络块另一个输出输入第七个融合层;第五个神经网络块其中一个输出经第五个特征再提取卷积块输入第九个融合层,第五个神经网络块另一个输出输入第九个融合层;每个融合层的两个输入均通过逐元素相加的方式相融合;

第一个融合层的输出分别输入第一个分块注意力卷积块和对应的第二融合层,第三个融合层的输出分别输入第二个分块注意力卷积块和对应的第四融合层,第五个融合层的输出分别输入第三个分块注意力卷积块和对应的第六融合层,第七个融合层的输出分别输入第四个分块注意力卷积块和对应的第八融合层,第九个融合层的输出分别输入第五个分块注意力卷积块和对应的第十融合层;

第一个分块注意力卷积块的两个输出分别输入彩色图像处理模块和深度图像处理模块的第二个融合层,第二个分块注意力卷积块的两个输出分别输入彩色图像处理模块和深度图像处理模块的第四个融合层,第三个分块注意力卷积块的两个输出分别输入彩色图像处理模块和深度图像处理模块的第六个融合层,第四个分块注意力卷积块的两个输出分别输入彩色图像处理模块和深度图像处理模块的第八个融合层,第五个分块注意力卷积块的两个输出分别输入彩色图像处理模块和深度图像处理模块的第十个融合层;

第二个融合层的两个输入通过逐元素相加的方式相融合后分别输入第十一个融合层和对应的第二个神经网络块,第四个融合层的两个输入通过逐元素相加的方式相融合后分别输入第一个上采样层和对应的第三个神经网络块,第六个融合层的两个输入通过逐元素相加的方式相融合后分别输入第二个上采样层和对应的第四个神经网络块,第八个融合层的两个输入通过逐元素相加的方式相融合后分别输入第三个上采样层和对应的第五个神经网络块;第十个融合层的输出输入第四个上采样层;

第十一个融合层、第一个上采样层、第二个上采样层、第三个上采样层和第四个上采样层的两个输入通过逐元素相加的方式融合后均输入第十二个融合层;

第十二个融合层将所有输入采用concatenate方式连接后经输出层输出,输出层主要由依次连接的卷积层和第五个上采样层组成。

2.根据权利要求1所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:所述的五个神经网络块采用MobileNet V2网络结构,第一个神经网络块采用MobileNetV2中的1~4层,第二个神经网络块采用MobileNetV2中的5~7层,第三个神经网络块采用MobileNetV2中的8~11层,第四个神经网络块采用MobileNetV2中的12~14层,第五个神经网络块采用MobileNetV2中的15~17层。

3.根据权利要求1所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:每个所述的特征再提取卷积块均由依次连接的四个再提取模块组成,每个再提取模块包括依次连接的卷积层、标准化层和激活层;

所有激活层的激活方式均采用ReLU6;所有卷积层的步长均为1;每个再提取模块中卷积层的卷积核个数与标准化层的标准化参数相同;

第一个再提取模块、第三个再提取模块和第四个再提取模块中卷积层的卷积核大小相同,第二个再提取模块中卷积层的卷积核大小为第一个再提取模块中卷积层的卷积核大小的一半;

第一个再提取模块中卷积层的膨胀因子为1,第三个再提取模块中卷积层的膨胀因子为2;第一个再提取模块中卷积层的补零参数为1,第三个再提取模块中卷积层的补零参数为2,第二个再提取模块和第四个再提取模块中卷积层的补零参数均为0。

4.根据权利要求3所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:第一个特征再提取卷积块中第一个再提取模块的卷积层的卷积核大小为24,第二个特征再提取卷积块中第一个再提取模块的卷积层的卷积核大小为32,第三个特征再提取卷积块中第一个再提取模块的卷积层的卷积核大小为64,第四个特征再提取卷积块中第一个再提取模块的卷积层的卷积核大小为96,第五个特征再提取卷积块中第一个再提取模块的卷积层的卷积核大小为160;

第一个特征再提取卷积块中四个依次设置的卷积层的分组参数分别为24、12、24、24,第二个特征再提取卷积块中四个依次设置的卷积层的分组参数分别为32、16、16、32,第三个特征再提取卷积块中四个依次设置的卷积层的分组参数分别为64、32、32、64,第四个特征再提取卷积块中四个依次设置的卷积层的分组参数分别为64、48、48、99,第五个特征再提取卷积块中四个依次设置的卷积层的分组参数分别为96、80、80、160。

5.根据权利要求1所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:每个所述的分块注意力卷积块包括分块层、通道注意力层和空间尺寸注意力层,分块注意力卷积块的输入经分块层后分别输入通道注意力层和空间尺寸注意力层,分块注意力卷积块的输入分别与通道注意力层的输出和空间尺寸注意力层的输出相乘后,再将相乘的结果相加作为分块注意力卷积块的输出。

6.根据权利要求5所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:所述分块层采用pytorch自带的split函数,参数为分块注意力卷积块的输入特征图对应通道数的一半;

所述通道注意力层包括依次连接的适应性最大池化层、通道注意力第一卷积层、通道注意力第二卷积层和通道注意力激活层;适应性最大池化层的最大池化参数为1;通道注意力第一卷积层和通道注意力第二卷积层的卷积核大小均为1x1、步长均为1、偏置项均为False、分组参数相同,通道注意力第一卷积层中卷积核个数为通道注意力第二卷积层卷积核个数的一半;

第一个分块注意力卷积块中通道注意力层的通道注意力第一卷积层的卷积核个数为

12、分组参数为12;第二个分块注意力卷积块中通道注意力层的通道注意力第一卷积层的卷积核个数为16、分组参数为16;第三个分块注意力卷积块中通道注意力层的通道注意力第一卷积层的卷积核个数为32、分组参数为32;第四个分块注意力卷积块中通道注意力层的通道注意力第一卷积层的卷积核个数为48、分组参数为48;第五个分块注意力卷积块中通道注意力层的通道注意力第一卷积层的卷积核个数为80、分组参数为80;

空间尺寸注意力层包含依次连接的按通道最大化层、空间尺寸注意力卷积层和空间尺寸注意力激活层;按通道最大化层采用pytorch自带的max函数;空间尺寸注意力卷积层的卷积核大小为3×3,卷积核个数为1,膨胀因子为2、补零参数为2,分组参数为1,偏置项为False;

通道注意力激活层和空间尺寸注意力激活层采用的激活方式为Sigmoid函数。

7.根据权利要求1所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:所述上采样层采用pytorch中自带的UpsamlingBilinear2d函数,第一个上采样层的函数参数为2,第二个上采样层、第三个上采样层、第四个上采样层和第五个上采样层的函数参数为4;所述输出层中卷积层的卷积核大小为1×1、卷积核个数为41、步长为1、偏置项为False。

8.根据权利要求3所述的基于改进全卷积神经网络的室内场景语义分割方法,其特征在于:所述彩色图输入层的输入端接收室内场景彩色图像,深度图输入层的输入端接收室内场景深度图像,输出层的输出为41幅与输入层输入的室内场景图像对应的语义分割预测图像。