1.一种基于卷积神经网络的室内场景语义分割方法,其特征在于:包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
步骤1_1:采集选取Q幅原始的室内场景彩色图像和深度图像及对应的真实语义分割图像,并构成训练集;
步骤1_2:构建卷积神经网络:
卷积神经网络包括输入层、特征提取层、特征融合层和输出层;
输入层,包括彩色图像输入层和深度图像输入层,分别输入RGB彩色图像和深度图像,输入层的彩色图像和深度图像的宽为W,高为H;
特征提取层由两个MobileNetV2的主干网络组成,提取图像特征;
特征融合层自上而下融合提取的特征,并将融合的不同层次的特征进行拼接聚合,最后通过卷积层进行像素级别的分类;室内场景的彩色图像和深度图像经输入层输入到特征提取层经特征提取处理,然后特征提取层中间和特征融合层中间相交错连接,将特征传递融合处理获得聚合特征;
输出层,对聚合特征进行处理获得语义分割预测图;
步骤1_3:将训练集中的每幅原始的室内场景的彩色图像和深度图像作为原始输入图像,输入到卷积神经网络中进行训练,得到训练集中的每幅原始的室内场景彩色图像和深度图像对应的41幅语义分割预测图,将原始的室内场景彩色图像和深度图像对应的41幅语义分割预测图构成的集合作为语义分割预测图集合步骤1_4:计算语义分割预测图集合集合 与训练集中对应的真实语义分割图像处理成的41幅独热编码图像构成的集合 之间的损失函数值,将 与 之间的损失函数值记为步骤1_5:重复执行步骤1_3和步骤1_4共V次,使用Adam优化方法对模型进行训练,并将最后一次训练结果的权值矢量和偏置项作为卷积神经网络分类训练模型的最终权值矢量best best和最终偏置项,分别记为W 和b ;
所述的测试阶段过程的具体步骤为:
将待语义分割的室内场景彩色图像和深度图像输入到卷积神经网络分类训练模型中,best best
并利用最终权值矢量W 和最终偏置项b 进行预测,输出得到对应的预测语义分割图像其中, 表示 中坐标位置为(i',j')的像素点的像素值。
2.根据权利要求1所述的一种基于卷积神经网络的室内场景语义分割方法,其特征在于:所述的卷积神经网络中:所述的特征提取层对于彩色图像和深度图像均采用MobileNetV2网络作为主干网络,将MobileNetV2网络结构划分成五个特征提取器,将卷积层个前两个瓶颈层构成第一特征提取器,后面四个瓶颈层各自分别构成第二部分到第五特征提取器;深度图像的特征提取层的五个特征提取器直接依次连接,彩色图像的特征提取层的五个特征提取器依次连接,且在彩色图像的特征提取层的每个特征提取器之后连接设置有一个选择特征模块(SFM);
同时深度图像和彩色图像的特征提取层的每个特征提取器输出的特征图均输入到各自的选择特征模块(SFM)中通过选择特征模块(SFM)进行融合输出融合特征,融合特征分别输入到彩色图像的特征提取层的下一个特征提取器中和特征融合层;最后一个特征提取器对应的选择特征模块(SFM)输出的融合特征直接输入到上一个选择特征模块(SFM)对应连接的特征融合层的特征融合模块(FFM)中和一个上采样层中;
所述的特征融合层主要由四个特征融合模块(FFM)构成,特征提取层的前四个选择特征模块(SFM)输出低级特征并分别对应输入到四个特征融合模块(FFM),后三个特征融合模块(FFM)输出高级特征并输入到各自上一个特征融合模块(FFM),同时特征提取层的第五个选择特征模块(SFM)也输出高级特征并输入到第四个特征融合模块(FFM),且特征提取层的第五个选择特征模块(SFM)的输出经一个上采样层输入到拼接模块,第一个特征融合模块(FFM)直接输入到拼接模块,中间的三个特征融合模块(FFM)均经各自的上采样层后输入到拼接模块,拼接层进行将特征图叠加连接的操作处理后获得聚合特征输出到输出层;
所述的输出层主要由两个卷积层和两个上采样层交替连接构成,每个卷积层之后均连接一个上采样层,最后一个上采样层之后采用softmax激活函数。
3.根据权利要求2所述的一种基于卷积神经网络的室内场景语义分割方法,其特征在于:所述的选择特征模块(SFM)包括两个全局平均池化层、中间模块以及加权层、第二加合层;中间模块是由依次连接的第一加合层、连续两个卷积层、sigmoid激活函数构成,深度图像和彩色图像对应的特征提取器输出的特征图分别输入到两个全局平均池化层中,两个全局平均池化层输出输入到中间模块的第一加合层中,中间模块的sigmoid激活函数的输出和深度图像对应的特征提取器输出的特征图一起输入到加权层,加权层的输出和彩色图像对应的特征提取器输出的特征图一起输入到第二加合层,第二加合层输出融合特征。
4.根据权利要求2所述的一种基于卷积神经网络的室内场景语义分割方法,其特征在于:所述的特征融合模块(FFM)包括三个深度可分离带孔卷积层、两个拼接层、两个卷积层、一个丢弃层和第三加合层;低级特征输入到三个深度可分离带孔卷积层,低级特征自身和三个深度可分离带孔卷积层的输出均连接输入到第一个拼接层,第一个拼接层的输出连接输入到第一个卷积层,第一个卷积层的输出经丢弃层后和高级特征一起连接输入到第二个拼接层,第二个拼接层的输出连接输入到第二个卷积层,低级特征自身和第二个卷积层的输出一起连接输入到第三加合层,第三加合层输出作为特征融合模块(FFM)的输出。
5.根据权利要求2所述的一种基于卷积神经网络的室内场景语义分割方法,其特征在于:所述的特征融合层中,中间的三个特征融合模块(FFM)和拼接模块之间连接有的各自的上采样层均进行双线性插值上采样操作。
6.根据权利要求1所述的一种基于卷积神经网络的室内场景语义分割方法,其特征在于:所述步骤1_4中,损失函数值 采用分类交叉熵(categorical crossentropy)获得。
7.根据权利要求1所述的一种基于卷积神经网络的室内场景语义分割方法,其特征在于:所述步骤1_2中,除最后用于分类的卷积层外,每个卷积层操作后均有BatchNorm归一化操作和ReLU6激活函数。