1.一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
步骤1_1:选取Q幅原始的道路场景图像、热图像和对应的分割标签图像构成训练集,将训练集中的第k幅原始的道路场景图像记为 热图像记为 对应的分割标签图像记为
步骤1_2:构建卷积神经网络:
步骤1_3:将训练集中的原始道路场景的各幅道路场景图像及其对应的热图像输入到卷积神经网络中进行训练得到语义分割结果图,将训练完成得到的所有道路场景图像对应获得的语义分割结果图构成的集合记为步骤1_4:计算训练得到的的语义分割结果图构成的集合 与所有道路场景图像对应的分割标签图像构成的集合 之间的损失函数值,记为步骤1_5:重复执行步骤1_3和步骤1_4进行N次,得到卷积神经网络分类训练模型,并共得到Q×N个损失函数值;然后从Q×N个损失函数值中找出值最小的损失函数值,将最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢best best量W 和最优偏置项B ;
所述的测试阶段过程的具体步骤为:
将待分割的原始道路场景图像 的R通道分量、G通道分量和B通道分量输入到best best
卷积神经网络训练模型中,并利用最优权值矢量W 和最优偏置项B 进行预测,得到待分割的原始道路场景图像 的显著性检测图像 显著性检测图像中具有道路场景的分割结果。
2.根据权利要求1所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述的热图像 采用独热编码处理成与道路场景图像一样具有三通道的图像。
3.根据权利要求1所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:
所述测试阶段过程中,所述的待分割的原始道路场景图像 包含了待分割的道路场景图像和对应的热图像;其中,1≤x'≤W',1≤y'≤H',W'表示待分割的原始道路场景图像 的宽度,H'表示待分割的原始道路场景图像 的高度,S(x',y')表示待分割的原始道路场景图像 中坐标位置为(x',y')的像素点的像素值。
4.根据权利要求1所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述的卷积神经网络包括输入层、隐层和输出层;
其中隐层包括依次设置的第1个神经网络块、第2个神经网络块、第3个神经网络块、第4个神经网络块、第5个神经网络块、第6个神经网络块、第7个神经网络块、第8个神经网络块、第9个神经网络块、第10个神经网络块、FFM特征融合模块、第1过渡卷积层、第2过渡卷积层、第1个解码块、第2个解码块和第3个解码块;隐层中,路场景图像和热图像分别输入到第6个神经网络块和第1个神经网络块,第6个神经网络块、第7个神经网络块、第8个神经网络块、第9个神经网络块、第10个神经网络块依次连接,第1个神经网络块、第2个神经网络块、第3个神经网络块、第4个神经网络块、第5个神经网络块依次连接,第1个神经网络块的输出和第6个神经网络块的输出进行相加操作后输入到第7个神经网络块,第2个神经网络块的输出和第7个神经网络块的输出进行相加操作后输入到第8个神经网络块,第3个神经网络块的输出和第8个神经网络块的输出进行相加操作后输入到第9个神经网络块,第4个神经网络块的输出和第9个神经网络块的输出进行相加操作后输入到第10个神经网络块;第10个神经网络块依次连接和第5个神经网络块的输出经加合块进行相加操作后再与第8个神经网络块、第9个神经网络块的输出共同输入到FFM特征融合模块,FFM特征融合模块的输出输入到第1个解码块,第1 个解码块、第2个解码块和第3个解码块依次连接,第6个神经网络块的输出经第2过渡卷积层输入到第3个解码块,第7个神经网络块的输出经第1过渡卷积层输入到第2个解码块,由第3个解码块的输出作为隐层的输出。
5.根据权利要求4所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述隐层中,第1个神经网络块主要由第一卷积层和第一激活层依次组成;
第2个神经网络块主要由第一池化层、第一密集卷积块组成,第一密集卷积块由五个连续密集卷积层构成;
第3个神经网络块主要由第一过渡卷积块、第二密集卷积块组成,第一过渡卷积块由一个激活方式为“Relu”的激活层构成,第二密集卷积块由连续的十二个结构相同的密集卷积层依次连接构成;
第4个神经网络块主要由第二过渡卷积块、第三密集卷积块组成,第二过渡卷积块由一个激活方式为“Relu”的激活层构成,第三密集卷积块由连续的三十六个结构相同的密集卷积层依次连接构成;
第5个神经网络块主要由第三过渡卷积块、第四密集卷积块组成,第三过渡卷积块由一个激活方式为“Relu”的激活层构成,第四密集卷积块由连续的二十四个结构相同的密集卷积层依次连接构成;
第6个神经网络块至第10神经网络块分别与第1个神经网络块至第5个神经网络块对应结构相同。
6.根据权利要求5所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述的密集卷积层的结构相同,均是由连续的两个激活层和连续的两个卷积层依次连接构成。
7.根据权利要求4所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述的FFM特征融合模块主要由一个卷积核大小为3×3的第一卷积层以及两个卷积核大小为1×1的第二卷积层构成,来自第7神经网络块、第8神经网络块、加合块的输出经像素叠加操作后输入到第一卷积层,第一卷积层的输出分别输入连接到两个第二卷积层中,两个第二卷积层的输出经像素相乘操作后输出作为FFM特征融合模块的输出。
8.根据权利要求4所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述的第1个过渡卷积层和第2个过渡卷积层是由一个卷积层构成。
9.根据权利要求4所述的一种复杂环境下的多模态特征融合道路场景语义分割方法,其特征在于:所述的第1个解码块、第2个解码块、第3个解码块结构相同,均包括两个反卷积模块和两个扩张卷积层,每个反卷积模块均包括依次连接的反卷积层、归一化层、激活函数层构成,解码块的输入分别输入到两个反卷积模块中,两个反卷积模块的输出经叠加后经过第一个扩张卷积层处理输出,同时解码块的输入经第二个扩张卷积层处理输出,两个扩张卷积层的输出经相加操作后输出作为解码块的输出。