1.一种基于双流特征融合的语义分割方法,其特征在于,包括以下步骤:
步骤1:选取N幅原始图像的RGB图、深度图以及原始图像对应的真实语义分割图,真实语义分割图为原始图像进行真实语义分割处理得到的图像,所有原始图像的RGB图、深度图以及原始图像对应的真实语义分割图构成训练集;
步骤2:构建卷积神经网络;
步骤3:将训练集中每幅原始图像的RGB图和深度图输入卷积神经网络进行训练输出对应的语义分割预测图,计算语义分割预测图与真实语义分割图之间的损失函数值,损失函数采用负对数似然损失函数获得;
步骤4:重复执行步骤3共V次,共得到N×V个损失函数值;将N×V个损失函数值中值最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络的最优权值矢量和最优偏置项,完成卷积神经网络的训练;
步骤5:将待语义分割图像输入步骤4训练好的卷积神经网络进行预测处理,输出得到待语义分割图像对应的预测语义分割图;
所述步骤2具体为:
卷积神经网络包括依次设置的输入层、隐藏层和输出层,输入层包括RGB图输入层和深度图输入层,隐藏层包括RGB图处理模块、深度图处理模块、融合模块和第一个反卷积层;
深度图处理模块包括依次连接的第一卷积块、第一特征提取块、第二特征提取块、第三特征提取块、第四特征提取块、第五特征提取块、第一反卷积块、第二反卷积块、第三反卷积块和第四反卷积块,第一反卷积块输入端接收第五特征提取块和第四特征提取块的共同输出,第二反卷积块输入端接收第五特征提取块和第三特征提取块的共同输出,第三反卷积块输入端接收第五特征提取块和第二特征提取块的共同输出,第四反卷积块输入端接收第五特征提取块和第一特征提取块的共同输出;
RGB图处理模块包括三个分支,第一个分支由依次连接的五个残差块组成,第二个分支由依次连接的四个注意力块组成,第三个分支由依次连接的四个残差ASPP块组成;第一个注意力块的输入端接收第五个残差块和第一个残差块的共同输出,第二个注意力块的输入端接收第五个残差块和第二个残差块的共同输出,第三个注意力块的输入端接收第五个残差块和第三个残差块的共同输出,第四个注意力块的输入端接收第五个残差块和第四个残差块的共同输出;第一个注意力块、第二个注意力块、第三个注意力块和第四个注意力块的输出分别输入第一个残差ASPP块、第二个残差ASPP块、第三个残差ASPP块和第四个残差ASPP块;
融合模块包括依次连接的四个融合块,第一个反卷积块和第四个残差ASPP块的输出均输入第一个融合块,第二个反卷积块和第三个残差ASPP块的输出均输入第二个融合块,第三个反卷积块和第二个残差ASPP块的输出均输入第三个融合块,第四个反卷积块和第一个残差ASPP块的输出均输入第四个融合块;
第四个融合块的输出经第一个反卷积层从输出层输出。
2.根据权利要求1所述的一种基于双流特征融合的语义分割方法,其特征在于,每个所述的特征提取块均由VGG16网络中的基本块组成,第一特征提取块、第二特征提取块、第三特征提取块、第四特征提取块、第五特征提取块分别由VGG16网络中第一个下采样块、第二个下采样块、第三个下采样块、第四个下采样块、第五个下采样块组成,每个下采样块均包括依次连接的多个卷积层和一个池化层,多个卷积层依次连接;
每个残差块均由ResNet34网络中的基本块组成,第一个残差块由ResNet34网络中依次连接的第一卷积层、第一批量归一化层和第一激活层组成,且第一个残差块中的第一卷积层步长为2;第二个残差块由ResNet34网络中依次连接的第一池化层和第一下采样块layer1组成,第三个残差块由ResNet34网络中的第二下采样块layer2组成;第四个残差块由ResNet34网络中的第三下采样块layer3组成;第五个残差块由ResNet34网络中的第四下采样块layer4组成。
3.根据权利要求1所述的一种基于双流特征融合的语义分割方法,其特征在于,每个所述的注意力块将输入的第五个残差块尺寸转置为与对应输入的另一个残差块相匹配的尺寸,然后将输入的两个残差块相乘后的结果作为注意力块的输出。
4.根据权利要求1所述的一种基于双流特征融合的语义分割方法,其特征在于,每个所述的反卷积块均包括依次连接的一个反卷积层和引入跳跃连接操作的三个卷积块,反卷积块中的三个卷积块依次连接,反卷积块中反卷积层的输出与三个卷积块的输出跳跃连接作为反卷积块的输出;且每个所述的反卷积块中的反卷积层步长均为2;
每个融合块均由引入跳跃连接操作的三个依次设置的卷积块组成,融合块中融合块的输入与三个卷积块的输出跳跃连接作为融合块的输出。
5.根据权利要求1所述的一种基于双流特征融合的语义分割方法,其特征在于,每个所述的残差ASPP块均由并行设置的三个空洞卷积块串行一个卷积块组成,三个空洞卷积块并联的一端作为残差ASPP块的输入端,并联的另一端经串联的卷积块后的输出作为残差ASPP块的输出端。
6.根据权利要求1所述的一种基于双流特征融合的语义分割方法,其特征在于,每个卷积块均由依次连接的卷积层、批量归一化层、激活层组成;所述RGB图输入层的输入为RGB图,RGB图输入层输出输入图像的R通道分量、G通道分量和B通道分量;所述深度图输入层的输入为深度图,深度图经过第一卷积块后处理后具有与RGB图一样的三通道。