1.一种城市街道语义分割方法,其特征在于包括如下步骤:S1. 获取原始训练数据集;
S2. 构建基础语义分割网络;
S3. 在步骤S2构建的基础语义分割网络中,添加基于像素的注意力模块,从而得到基于像素注意力的基础语义分割网络;
S4. 在步骤S3得到的基于像素注意力的基于语义分割网络中,添加基于图像不同层级的注意力模块,从而得到基于图像不同层级注意力和像素注意力的基础语义分割网络;
S5. 采用步骤S1获取的原始训练数据集,对步骤S4得到的基于图像不同层级注意力和像素注意力的基础语义分割网络进行训练,从而得到基于图像不同层级注意力和像素注意力的语义分割网络;
S6. 采用步骤S5得到的基于图像不同层级注意力和像素注意力的语义分割网络,实时进行城市街道的语义分割。
2.根据权利要求1所述的城市街道语义分割方法,其特征在于步骤S2所述的构建基础语义分割网络,具体为采用Resnet101网络作为基础语义分割网络。
3.根据权利要求2所述的城市街道语义分割方法,其特征在于步骤S3所述的在步骤S2构建的基础语义分割网络中,添加基于像素的注意力模块,具体为在Resnet101网络的第四个块的输出端,串接基于像素的注意力模块。
4.根据权利要求3所述的城市街道语义分割方法,其特征在于所述的基于像素的注意力模块,具体包括如下步骤:
A. 对Resnet101网络的第四个块的特征图X4的外侧进行尺度为1的全1填充;
B. 对步骤A得到的填充后的特征图,采用如下算式进行操作,从而得到预处理特征图Xpre:
式中 为经过步骤A填充后的Resnet101网络的第四个块的特征图; 为标准的卷积操作,卷积核为3×3,采样步长为1,d为空洞率且取值为1;BN()为批量标准化操作;
C. 对步骤B得到的预处理特征图Xpre,采用如下算式进行处理,从而得到像素关系矩阵Xwmap:
式中R()为reshape操作;×为矩阵乘法操作; 为sigmoid激活函数;
D. 对步骤C得到的像素关系矩阵Xwmap,采用如下算式进行处理,从而得到深度特征图Xproc为Xproc=R(Xwmap×R(Xpre));
E. 对Resnet101网络的第四个块的特征图X4的外侧进行尺度为1的全0填充;
F. 对步骤E得到的填充后的特征图,采用如下算式进行操作,从而得到经过不同空洞率卷积后的特征图F1~F4:
式中 为经过步骤E填充后的Resnet101网络的第四个块的特征图; 为标准的卷积操作,且卷积核大小为1×1,采样步长为1,d为空洞率且取值为1; 为标准的卷积操作,且卷积核大小为3×3,采样步长为1,d为空洞率且取值为12; 为标准的卷积操作,且卷积核大小为3×3,采样步长为1,d为空洞率且取值为24; 为标准的卷积操作,且卷积核大小为3×3,采样步长为1,d为空洞率且取值为36;
G. 将得到的特征图Xproc、F1、F2、F3和F4在通道上,采用如下算式进行处理,从而完成基于像素的注意力模块的处理:
式中Fm为基于像素的注意力模块处理后输出的特征图;concat()为在通道维度的拼接操作。
5.根据权利要求2所述的城市街道语义分割方法,其特征在于步骤S4所述的在步骤S3得到的基于像素注意力的基于语义分割网络中,添加基于图像不同层级的注意力模块,具体为在Resnet101网络的第二个块的输出端,并接基于图像不同层级的注意力模块。
6.根据权利要求5所述的城市街道语义分割方法,其特征在于所述的基于图像不同层级的注意力模块,具体包括如下步骤:a. 对Resnet101网络的第二个块的输出的特征图X2的外侧进行尺度为3的全0填充;
b. 对步骤a得到的填充后的特征图 ,进行全局平均池化,得到结果 ;
c. 对步骤a得到的填充后的特征图 ,进行最大池化,得到结果 ;
d. 将步骤b和步骤c得到的结果进行concat操作,从而得到第一特征图;
e. 采用如下算式对步骤d得到的第一特征图进行操作,从而得到注意力特征图FN:式中 为标准的卷积操作,且卷积核大小为7×7,采样步长为1,d为空洞率且取值为1; 为Hadamard积;
f. 将步骤e得到的注意力特征图FN,采用如下算式进行处理,从而得到基于图像不同层级的注意力模块输出的最终特征图Fpam:式中Fm为基于像素的注意力模块处理后输出的特征图。
7.一种自动驾驶方法,其特征在于包括权利要求1 6之一所述的城市街道语义分割方~
法。