1.一种基于多监督网络的道路场景图像语义分割方法,其特征在于,包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
步骤1_1:选取多幅原始道路场景RGB图像和对应的原始Thermal热红外图像以及真实语义分割图像,将每幅原始道路场景RGB图像和原始Thermal热红外图像分别通过裁剪、明亮度、翻转方式进行数据增强之后获得初始道路场景RGB图像和初始Thermal热红外图像,由多幅初始道路场景RGB图像和初始Thermal热红外图像以及对应的真实语义分割图像构成训练集;
步骤1_2:构建卷积神经网络;
步骤1_3:将训练集输入到卷积神经网络中进行训练,卷积神经网络输出训练集中的每幅原始道路场景RGB图像对应的七个预测图集合;
步骤1_4:将每幅原始道路场景RGB图像对应的真实语义分割图像处理成9幅独热编码图像并将9幅独热编码图像的集合记为Jtrue,分别计算9幅独热编码图像的集合Jtrue与对应的七个预测图集合之间的损失函数值,将七个损失函数值之和作为最终损失值;
步骤1_5:重复执行步骤1_3和步骤1_4共V次,直到卷积神经网络收敛达到饱和,获得卷积神经网络分类训练模型;将此时得到的网络的权值矢量和偏置作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项;
所述的测试阶段过程的具体步骤为:
步骤2:将多幅待语义分割的原始道路场景RGB图像和原始Thermal热红外图像输入卷积神经网络分类训练模型中,利用最优权值矢量和最优偏置项进行预测,获得对应的语义分割预测图;
所述卷积神经网络包括编码模块和解码模块两部分,编码模块与解码模块相连;
编码模块包括10个编码模块,解码模块包括语义AHLS模块、多任务监督RM模块、5个信息融合FM模块、5个特征融合AMMF模块和3个语义监督MLF模块;
第一编码模块依次经第二编码模块、第三编码模块、第四编码模块和第五编码模块后与语义AHLS模块相连,第六编码模块依次经第七编码模块、第八编码模块、第九编码模块和第十编码模块后与语义AHLS模块相连,第一编码模块的输入为初始道路场景RGB图像,第六编码模块的输入为初始Thermal热红外图像;
第五编码模块、语义AHLS模块和第十编码模块与第一特征融合AMMF模块相连,第一特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第一信息融合FM模块的第一输入和第二输入中,第一信息融合FM模块的输出和语义AHLS模块的输出同时输入到第一语义监督MLF模块,第一语义监督MLF模块的输出作为卷积神经网络的第二输出;
第四编码模块的输出、第一信息融合FM模块的输出和第九编码模块的输出输入到第二特征融合AMMF模块,第二特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第二信息融合FM模块的第一输入和第二输入中,第二信息融合FM模块的输出、第三编码模块的输出和第八编码模块的输出同时输入到第三特征融合AMMF模块,第三特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第三信息融合FM模块的第一输入和第二输入中,第二信息融合FM模块的输出和第三信息融合FM模块的输出同时输入到第二语义监督MLF模块,第二语义监督MLF模块的输出作为卷积神经网络的第三输出;
第二编码模块的输出、第三信息融合FM模块的输出和第七编码模块的输出输入到第四特征融合AMMF模块,第四特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第四信息融合FM模块的第一输入和第二输入中,第四信息融合FM模块的输出、第一编码模块的输出和第六编码模块的输出输入到第五特征融合AMMF模块,第五特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第五信息融合FM模块的第一输入和第二输入中,第四信息融合FM模块的输出和第五信息融合FM模块的输出同时输入到第三语义监督MLF模块,第三语义监督MLF模块的输出作为卷积神经网络的第四输出;第五信息融合FM模块的输出作为卷积神经网络的第一输出,第五信息融合FM模块的输出输入到多任务监督RM模块,多任务监督RM模块的第一输出、第二输出和第三输出分别作为卷积神经网络的第五输出、第六输出和第七输出。
2.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于:所述第一编码模块和第六编码模块结构相同,主要由第一卷积层、第一批归一化层和第一激活层依次连接组成;
所述第二编码模块和第七编码模块结构相同,主要由第一下采样层、第一残差单元和两个第二残差单元依次连接组成;
所述第三编码模块和第八编码模块结构相同,主要由第一残差单元和七个第二残差单元依次连接组成;
所述第四编码模块和第九编码模块结构相同,主要由第一残差单元和35个第二残差单元依次连接组成;
所述第五编码模块和第十编码模块结构相同,主要由第一残差单元和二个第二残差单元依次连接组成。
3.根据权利要求2所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于:所述第一残差单元包括第二卷积层、第二归一化层、第三卷积层、第三归一化层、第四卷积层、第四归一化层、第二激活层、第五卷积层、第五归一化层和第三激活层;
第二卷积层依次经第二归一化层、第三卷积层、第三归一化层、第四卷积层和第四归一化层后与第二激活层相连,第一残差单元的输入为第二卷积层的输入,第二卷积层的输入还输入到第五卷积层,第五卷积层与第五归一化层相连,第二激活层的输出和第五归一化层输出进行相加后的输出输入到第三激活层,第三激活层的输出作为第一残差单元的输出;
所述第二残差单元包括第六卷积层、第六归一化层、第七卷积层、第七归一化层、第八卷积层、第八归一化层、第四激活层和第五激活层;
第六卷积层依次经第六归一化层、第七卷积层、第七归一化层、第八卷积层和第八归一化层后与第四激活层相连,第二残差单元的输入为第六卷积层的输入,第四激活层的输出与第六卷积层的输入进行相加后的输出输入到第五激活层,第五激活层的输出作为第二残差单元的输出。
4.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于:所述5个信息融合FM模块结构相同,具体为:包括第四上采样层、第二十二卷积层和第二十三卷积层;每个信息融合FM模块有两个输入和一个输出,信息融合FM模块的第二输入输入到第四上采样层,第四上采样层与第二十二卷积层相连,第二十二卷积层的输出与信息融合FM模块的第一输入进行级联后的输出输入到第二十三卷积层,第二十三卷积层的输出作为信息融合FM模块的输出。
5.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于:所述语义AHLS模块包括两个第一卷积模块、两个第一注意力机制模块、一个第二卷积模块和一个第二注意力机制模块;
语义AHLS模块有两个输入,语义AHLS模块的第一输入经一个第一卷积模块后与一个第一注意力机制模块相连,语义AHLS模块的第二输入经另一个第一卷积模块后与另一个第一注意力机制模块相连,两个第一注意力机制模块的输出进行级联后的输出输入到第二卷积模块,第二卷积模块与第二注意力机制模块相连,第二注意力机制模块的输出作为语义AHLS模块的输出;
所述第一卷积模块主要由第九卷积层组成;所述第一注意力机制模块主要由第一池化层、第一全连接层、第六激活层、第二全连接层、第七激活层、第三全连接层、第八激活层和第十卷积层依次连接组成;
所述第二卷积模块主要由第十一卷积层、第九归一化层和第九激活层依次连接组成;
所述第二注意力机制模块与第一注意力机制模块结构相同。
6.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于,所述5个特征融合AMMF模块结构相同,具体为:包括第一交融模块、第二交融模块、第十二卷积层、第一上采样层和第十三卷积层;
特征融合AMMF模块的第一输入与第一编码模块、第二编码模块、第三编码模块、第四编码模块或第五编码模块相连,特征融合AMMF模块的第二输入与第六编码模块、第七编码模块、第八编码模块、第九编码模块或第十编码模块相连,特征融合AMMF模块的第三输入与语义AHLS模块、第一融合特征输出、第二融合特征输出、第三融合特征输出或第四融合特征输出相连;
特征融合AMMF模块的第一输入和第二输入进行相乘后的输出作为第一融合输出,第一融合输出与特征融合AMMF模块的第一输入和第二输入进行相乘后的输出作为第二融合输出,第二融合输出与特征融合AMMF模块的第二输入进行级联后的输出输入到第一交融模块,第一交融模块的输出与特征融合AMMF模块的第三输入进行级联后的输出输入到第二交融模块,第一交融模块依次经第十二卷积层和第一上采样层后与第十三卷积层相连,第十三卷积层的输出作为特征融合AMMF模块的输出;
所述第一交融模块和第二交融模块结构相同,包括第十四卷积层、第十归一化层、第十激活层、第十五卷积层、第十一归一化层和第十激活层;
第十四卷积层依次经第十归一化层、第十激活层和第十五卷积层后与第十一归一化层相连,交融模块的输入为第十四卷积层的输入,第十四卷积层的输入与第十一归一化层的输出进行相加后的输出输入到第十激活层,第十激活层的输出作为交融模块的输出。
7.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于,所述3个语义监督MLF模块结构相同,具体为:包括第二上采样层、第十六卷积层、第三上采样层和第十七卷积层;语义监督MLF模块的第一输入与语义AHLS模块、第二融合特征输出或第四融合特征输出相连,语义监督MLF模块的第二输入与第一融合特征输出、第三融合特征输出或第五融合特征输出相连;
语义监督MLF模块的第一输入经第二上采样层后与第十六卷积层相连,第十六卷积层的输出与语义监督MLF模块的第二输入进行级联后的输出经第三上采样层后与第十七卷积层相连,第十七卷积层的输出作为语义监督MLF模块的输出。
8.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于,所述多任务监督RM模块包括第十八卷积层、第十九卷积层、第二十卷积层、exp函数层、第一多任务模块、第二多任务模块和第三多任务模块;
多任务监督RM模块的输入为第十八卷积层的输入,第十八卷积层经第一多任务模块后的输出作为多任务监督RM模块的第一输出,多任务监督RM模块的第一输出经exp函数层的输出与第十八卷积层的输出进行相乘后的输出输入到第二多任务模块,第二多任务模块的输出经第十九卷积层后的输出作为多任务监督RM模块的第三输出,第二多任务模块的输出与第十八卷积层的输出进行级联后的输出经第三多任务模块后与第二十卷积层相连,第二十卷积层的输出作为多任务监督RM模块的第二输出;
所述第一多任务模块、第二多任务模块和第三多任务模块结构相同,均主要由第二十一卷积层、第十二归一化层和第十二激活层依次连接组成。
9.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法,其特征在于,所述七个预测图集合中每幅预测图的大小均与初始道路场景RGB图像的大小相同,七个预测图集合包括语义分割预测图集合Jpre1、高级语义预测图集合Jpre2、中级语义预测图集合Jpre3、低级语义预测图集合Jpre4、前景‑背景预测图集合Jpre5、边界预测图集合Jpre6和语义预测图集合Jpre7;
语义分割预测图集合Jpre1是由卷积神经网络的第一输出的9幅语义分割预测图ffinal组成,高级语义预测图集合Jpre2是由卷积神经网络的第二输出的9幅高级语义预测图fhigh组成,中级语义预测图集合Jpre3是由卷积神经网络的第三输出的9幅中级语义预测图fmid组成,低级语义预测图集合Jpre4是由卷积神经网络的第四输出的9幅低级语义预测图flow组成,前景‑背景预测图集合Jpre5是由卷积神经网络的第五输出的9幅前景‑背景预测图fbin组成,边界预测图集合Jpre6是由卷积神经网络的第六输出的9幅边界预测图fbou组成,语义预测图集合Jpre7是由卷积神经网络的第七输出的9幅语义预测图fsem组成,卷积神经网络的第七输出作为测试阶段过程中输出的语义分割预测图。