1.一种有效融合神经网络特征的道路场景语义分割方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
步骤1_1:选取Q幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分q
割图像,并构成训练集,将训练集中的第q幅原始的道路场景图像记为{I (i,j)},将训练集q
中与{I (i,j)}对应的真实语义分割图像记为 然后采用独热编码技术将训练集中的每幅原始的道路场景图像对应的真实语义分割图像处理成12幅独热编码图像,将处理成的12幅独热编码图像构成的集合记为 其中,道路场景图像为RGB彩色q
图像,Q为正整数,Q≥200,q为正整数,1≤q≤Q,1≤i≤W,1≤j≤H,W表示{I(i,j)}的宽度,q q q
H表示{I (i,j)}的高度,I (i,j)表示{I (i,j)}中坐标位置为(i,j)的像素点的像素值,表示 中坐标位置为(i,j)的像素点的像素值;
步骤1_2:构建全卷积神经网络:全卷积神经网络包括输入层、隐藏层和输出层,隐藏层采用编码‑解码架构,隐藏层包括一条空间特征提取通道、一条背景特征提取通道、一条特征融合通道,空间特征提取通道由依次设置的第1个神经网络块、第2个神经网络块、第3个神经网络块组成,背景特征提取通道由依次设置的第4个神经网络块、第5个神经网络块、第
6个神经网络块、第7个神经网络块、第8个神经网络块组成,特征融合通道由依次设置的第1个融合块、第2个融合块、第3个融合块、第4个融合块、第5个融合块组成;
对于输入层,其输入端接收一幅输入图像的R通道分量、G通道分量和B通道分量,其输出端输出输入图像的R通道分量、G通道分量和B通道分量给隐藏层;其中,要求输入层的输入端接收的输入图像的宽度为W、高度为H;
对于空间特征提取通道,第1个神经网络块的输入端为空间特征提取通道的输入端,也为隐藏层的一个输入端,接收输入层的输出端输出的输入图像的R通道分量、G通道分量和B通道分量,第1个神经网络块的输出端输出64幅宽度为 且高度为 的特征图,将这64幅特征图构成的集合记为S1;第2个神经网络块的输入端接收S1中的所有特征图,第2个神经网络块的输出端输出128幅宽度为 且高度为 的特征图,将这128幅特征图构成的集合记为S2;第3个神经网络块的输入端接收S2中的所有特征图,第3个神经网络块的输出端输出
256幅宽度为 且高度为 的特征图,将这256幅特征图构成的集合记为S3;
对于背景特征提取通道,第4个神经网络块为背景特征提取通道的输入端,也为隐藏层的另一个输入端,接收输入层的输出端输出的输入图像的R通道分量、G通道分量和B通道分量,第4个神经网络块的输出端输出64幅宽度为 且高度为 的特征图,将这64幅特征图构成的集合记为S4;第5个神经网络块的输入端接收S4中的所有特征图,第5个神经网络块的输出端输出256幅宽度为 且高度为 的特征图,将这256幅特征图构成的集合记为S5;第
6个神经网络块的输入端接收S5中的所有特征图,第6个神经网络块的输出端输出512幅宽度为 且高度为 的特征图,将这512幅特征图构成的集合记为S6;第7个神经网络块的输入端接收S6中的所有特征图,第7个神经网络块的输出端输出1024幅宽度为 且高度为的特征图,将这1024幅特征图构成的集合记为S7;第8个神经网络块的输入端接收S7中的所有特征图,第8个神经网络块的输出端输出2048幅宽度为 且高度为 的特征图,将这
2048幅特征图构成的集合记为S8;
对于特征融合通道,第1个融合块的输入端接收S1中的所有特征图、S7中的所有特征图、S8中的所有特征图,第1个融合块的输出端输出64幅宽度为 且高度为 的特征图,将这
64幅特征图构成的集合记为R1;第2个融合块的输入端接收S2中的所有特征图、S7中的所有特征图、S8中的所有特征图,第2个融合块的输出端输出128幅宽度为 且高度为 的特征图,将这128幅特征图构成的集合记为R2;第3个融合块的输入端接收S3中的所有特征图、S7中的所有特征图、S8中的所有特征图,第3个融合块的输出端输出256幅宽度为 且高度为的特征图,将这256幅特征图构成的集合记为R3;第4个融合块的输入端接收R2中的所有特征图、R3中的所有特征图,第4个融合块的输出端输出12幅宽度为 且高度为 的特征图,将这12幅特征图构成的集合记为R4;第5个融合块的输入端接收R1中的所有特征图、R4中的所有特征图,第5个融合块的输出端输出12幅宽度为 且高度为 的特征图,将这12幅特征图构成的集合记为R5;
对于输出层,其输入端接收R5中的所有特征图,其输出端输出12幅宽度为W且高度为H的特征图;
步骤1_3:将训练集中的每幅原始的道路场景图像作为输入图像,输入到全卷积神经网络中进行训练,得到训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图,将q
{I(i,j)}对应的12幅语义分割预测图构成的集合记为步骤1_4:计算训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的12幅独热编码图像构成的集合之间的损失函数值,将 与 之间的损失函数值记为 采用负对数似然函数获得;
步骤1_5:重复执行步骤1_3和步骤1_4共V次,得到全卷积神经网络训练模型,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为全卷积神经网络训练模型的最优权值矢best best
量和最优偏置项,对应记为W 和b ;其中,V>1;
所述的测试阶段过程的具体步骤为:
步骤2_1:令 表示待语义分割的道路场景图像;其中,1≤i'≤W',1≤j'≤H',W'表示 的宽度,H'表示 的高度, 表示 中坐标位置为(i',j')的像素点的像素值;
步骤2_2:将 的R通道分量、G通道分量和B通道分量输入到全卷积神经网络训best best
练模型中,并利用W 和b 进行预测,得到 对应的预测语义分割图像,记为其中, 表示 中坐标位置为(i',j')的像素点的像素值。
2.根据权利要求1所述的一种有效融合神经网络特征的道路场景语义分割方法,其特征在于所述的步骤1_2中,第1个至第3个神经网络块的结构相同,其由依次设置的第一卷积层、第一批量归一化层、第一激活层、第二卷积层、第二批量归一化层、第二激活层、第三卷积层、第三批量归一化层、第三激活层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一批量归一化层的输入端接收第一卷积层的输出端输出的所有特征图,第一激活层的输入端接收第一批量归一化层的输出端输出的所有特征图,第二卷积层的输入端接收第一激活层的输出端输出的所有特征图,第二批量归一化层的输入端接收第二卷积层的输出端输出的所有特征图,第二激活层的输入端接收第二批量归一化层的输出端输出的所有特征图,第三卷积层的输入端接收第二激活层的输出端输出的所有特征图,第三批量归一化层的输入端接收第三卷积层的输出端输出的所有特征图,第三激活层的输入端接收第三批量归一化层的输出端输出的所有特征图,第三激活层的输出端为其所在的神经网络块的输出端;其中,第1个神经网络块中的第一卷积层的卷积核大小为3×3、卷积核个数为64、补零参数为1×1、步长为2,第1个神经网络块中的第二卷积层的卷积核大小为5×5、卷积核个数为64、补零参数为2×2、步长为1,第1个神经网络块中的第三卷积层的卷积核大小为7×7、卷积核个数为64、补零参数为3×3、步长为1,第2个神经网络块中的第一卷积层的卷积核大小为3×3、卷积核个数为128、补零参数为1×1、步长为2,第2个神经网络块中的第二卷积层的卷积核大小为5×5、卷积核个数为128、补零参数为2×2、步长为1,第2个神经网络块中的第三卷积层的卷积核大小为7×7、卷积核个数为128、补零参数为3×3、步长为1,第3个神经网络块中的第一卷积层的卷积核大小为3×3、卷积核个数为256、补零参数为1×1、步长为2,第3个神经网络块中的第二卷积层的卷积核大小为5×5、卷积核个数为256、补零参数为2×2、步长为1,第3个神经网络块中的第三卷积层的卷积核大小为7×7、卷积核个数为
256、补零参数为3×3、步长为1,第一激活层、第二激活层、第三激活层的激活方式均为Relu。
3.根据权利要求1所述的一种有效融合神经网络特征的道路场景语义分割方法,其特征在于所述的步骤1_2中,第1个至第3个融合块的结构相同,其由第一上采样层、第二上采样层及依次设置的第四卷积层、第四批量归一化层、第四激活层、第五卷积层、第五批量归一化层、第五激活层、第六卷积层、第六批量归一化层、第六激活层、第七卷积层、第七批量归一化层、第七激活层组成,第一上采样层的输入端和第二上采样层的输入端为其所在的融合块的输入端,将第一上采样层的输出端输出的所有特征图、第二上采样层的输出端输出的所有特征图、输入到所在的融合块的所有特征图经加融合操作后得到的所有特征图构成的集合记为B1,第四卷积层的输入端接收B1中的所有特征图,第四批量归一化层的输入端接收第四卷积层的输出端输出的所有特征图,第四激活层的输入端接收第四批量归一化层的输出端输出的所有特征图,第五卷积层的输入端接收第四激活层的输出端输出的所有特征图,第五批量归一化层的输入端接收第五卷积层的输出端输出的所有特征图,第五激活层的输入端接收第五批量归一化层的输出端输出的所有特征图,将B1中的所有特征图和第五激活层的输出端输出的所有特征图进行跳跃连接后得到的所有特征图构成的集合记为B2,第六卷积层的输入端接收B2中的所有特征图,第六批量归一化层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输入端接收第六批量归一化层的输出端输出的所有特征图,第七卷积层的输入端接收第六激活层的输出端输出的所有特征图,第七批量归一化层的输入端接收第七卷积层的输出端输出的所有特征图,第七激活层的输入端接收第七批量归一化层的输出端输出的所有特征图,将B2中的所有特征图和第七激活层的输出端输出的所有特征图进行跳跃连接后得到的所有特征图构成的集合记为B3,B3中的所有特征图由所在的融合块的输出端输出;其中,第1个至第3个融合块中的第一上采样层采用双线性插值法扩大8倍、第二上采样层采用双线性插值法扩大16倍,第1个至第3个融合块中的第四卷积层、第五卷积层、第六卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为0、步长均为1,第1个融合块中的第七卷积层的卷积核大小为3×3、卷积核个数为
64、补零参数为0、步长为1,第2个融合块中的第七卷积层的卷积核大小为3×3、卷积核个数为128、补零参数为0、步长为1,第3个融合块中的第七卷积层的卷积核大小为3×3、卷积核个数为256、补零参数为0、步长为1,第1个至第3个融合块中的第四激活层、第五激活层、第六激活层、第七激活层的激活方式均为Relu。
4.根据权利要求1或3所述的一种有效融合神经网络特征的道路场景语义分割方法,其特征在于所述的步骤1_2中,第4个融合块和第5个融合块的结构相同,其由第三上采样层及依次设置的第八卷积层、第八批量归一化层、第八激活层、第九卷积层、第九批量归一化层、第九激活层、第十卷积层、第十批量归一化层、第十激活层、第十一卷积层、第十一批量归一化层、第十一激活层组成,第三上采样层的输入端为其所在的融合块的输入端,将第三上采样层的输出端输出的所有特征图、输入到所在的融合块的所有特征图经加融合操作后得到的所有特征图构成的集合记为C1,第八卷积层的输入端接收C1中的所有特征图,第八批量归一化层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输入端接收第八批量归一化层的输出端输出的所有特征图,第九卷积层的输入端接收第八激活层的输出端输出的所有特征图,第九批量归一化层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输入端接收第九批量归一化层的输出端输出的所有特征图,第十卷积层的输入端接收第九激活层的输出端输出的所有特征图,第十批量归一化层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输入端接收第十批量归一化层的输出端输出的所有特征图,第十一卷积层的输入端接收第十激活层的输出端输出的所有特征图,第十一批量归一化层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输入端接收第十一批量归一化层的输出端输出的所有特征图,第十一激活层的输出端为其所在的融合块的输出端;其中,第4个融合块中的第三上采样层采用反卷积方式且卷积核大小为4×4、卷积核个数为128、补零参数为1×1、步长为2,第5个融合块中的第三上采样层采用反卷积方式且卷积核大小为4×4、卷积核个数为12、补零参数为1×1、步长为2,第4个和第5个融合块中的第八卷积层、第十一卷积层的卷积核大小均为7×1、卷积核个数均为12、补零参数均为3×0、步长均为1,第4个和第5个融合块中的第九卷积层、第十卷积层的卷积核大小均为1×7、卷积核个数均为12、补零参数均为0×3、步长均为1,第4个和第5个融合块中的第八激活层、第九激活层、第十激活层、第十一激活层的激活方式均为Relu。
5.根据权利要求1所述的一种有效融合神经网络特征的道路场景语义分割方法,其特征在于所述的步骤1_2中,输出层由依次设置的第十二卷积层、第十二批量归一化层、第十二激活层组成,第十二卷积层的输入端为输出层的输入端,第十二批量归一化层的输入端接收第十二卷积层的输出端输出的所有特征图,第十二激活层的输入端接收第十二批量归一化层的输出端输出的所有特征图,第十二激活层的输出端为输出层的输出端;其中,第十二卷积层的卷积核大小为1×1、卷积核个数为12、补零参数为0、步长为1,第十二激活层的激活方式为Relu。