1.一种基于注意力和多尺度特征提取的实时语义分割方法,其特征在于,包括以下步骤:S1、获取原始图像;
S2、对原始图像进行初始特征提取,通过共享卷积层提取原始图像的初始特征图;
S3、将提取得到的初始特征图,分别通过空间细节分支模块SDB和语义信息分支模块SIB进行信息提取处理;其中,通过空间细节分支模块SDB提取所述初始特征图的空间细节信息,通过语义信息分支模块SIB提取所述初始特征图的语义上下文信息;
S4、将提取得到的所述初始特征图的空间细节信息和语义上下文信息进行融合,得到融合特征图;
S5、将融合特征图送入图像特征分类器,得到最终的特征分割图像;
其中,S3中,语义新信息分支模块SIB包括依次连接的轻量级残差注意力模块LRA和深度聚合金字塔池化模块DAPPM;其中,轻量级残差注意力模块LRA用于提取上下文信息;深度聚合金字塔池化模块DAPPM用于保存图像边缘特征;
语义信息分支模块SIB的处理过程中,先多次调用轻量级残差注意力模块LRA进行相应处理,再调用深度聚合金字塔池化模块DAPPM进行相应处理;
S4中,采用注意力融合模块AFM自上而下对空间细节信息和上下文信息进行融合;注意力融合模块AFM的处理过程包括:首先,对空间细节分支模块SDB的输出特征图S1以及语义信息分支模块SIB的输出特征H W图S2进行以下计算,分别得到图像高度H方向与图像宽度W方向的过程特征图S及S:式中,C1×1表示1×1卷积, 和 分别表示图像高度H方向的池化和图像宽度W方向的池化,S1为空间细节分支模块SDB的输出特征图,S2为语义信息分支模块SIB的输出特征图;
H W H W
然后,分别对过程特征图S及S进行以下处理,得到对应的注意力权重T和T:H H
T=λ(C1×1(S));
W W
T=λ(C1×1(S));
式中,λ表示sigmoid处理;
最后,通过以下计算得到注意力融合模块AFM的输出Z:
H W
Z=(S1+S2)×T×T。
2.如权利要求1所述的基于注意力和多尺度特征提取的实时语义分割方法,其特征在于:S2中,所述共享卷积层包括3个依次连接的3×3卷积层,其中第一个卷积层的卷积步长为2,第二和第三个卷积层的卷积步长为1。
3.如权利要求1所述的基于注意力和多尺度特征提取的实时语义分割方法,其特征在于:S3中,空间细节分支模块SDB包括3个依次连接的3×3卷积层。
4.如权利要求1所述的基于注意力和多尺度特征提取的实时语义分割方法,其特征在于:轻量级残差注意力模块LRA包括依次连接的3×3卷积层、3×1深度卷积层、1×3深度卷积层、3×1空洞卷积层、1×3空洞卷积层、1×1恢复卷积层和压缩注意力子模块SA,最后所述压缩注意力子模块SA的输出端与轻量级子模块的输入特征图通过叠加层ADD进行图像叠加后,输出至通道混洗模块。
5.如权利要求4所述的基于注意力和多尺度特征提取的实时语义分割方法,其特征在于:压缩注意力子模块SA的处理过程包括:首先,对于输入特征图Xin,使用全局平均池化压缩每个通道的二维特征;
然后,通过设计的注意力卷积层ACONV对通道特征分配权重;其中,注意力卷积层ACONV通过额外的残差路径学习权重,以重新校准输出特征Xout的通道,其计算式为:Xout=Xa×Xres+Xa;
Xa=Up(PAconv(PAconv(PAPool(Xin))));
Xres=PConv(Xin);
式中,PAPool表示全局平均池化,PAconv表示通道注意卷积,Up()表示上采样,PConv表示残差卷积,Xa表示注意卷积通道的输出,Xres表示残差卷积的输出。
6.如权利要求5所述的基于注意力和多尺度特征提取的实时语义分割方法,其特征在于:深度聚合金字塔池化模块DAPPM包括用于分别对输入的特征图进行不同尺度池化处理的多条池化支路,以及输入端分别与各条池化支路的输出端连接的连接层;
每条池化支路包括依次连接的池化层和1×1上采样卷积层,各条池化支路中池化层的池化处理尺度不同,且除第一条池化支路以外的各条池化支路中还包括3×3残差卷积层,该3×3残差卷积层的输入端分别与其所在条池化支路中上采样卷积层的输出端以及相邻的前一条池化支路的输出端相连接,该3×3残差卷积层的输出端作为其在条池化支路的输出端;
连接层用于连接各条池化支路输出特征;连接层的输出还与输入处理图进行图像叠加,得到深度聚合金字塔池化模块DAPPM的输出;所述输入处理图为深度聚合金字塔池化模块DAPPM的输入特征图经过1×1卷积后得到的特征图。
7.如权利要求6所述的基于注意力和多尺度特征提取的实时语义分割方法,其特征在于:深度聚合金字塔池化模块DAPPM的各池化支路的输出的表达式为:式中,Yi表示第i条池化支路的输出,n表示池化支路的数量,X表示深度聚合金字塔池化模块DAPPM的输入特征图,C1×1表示1×1卷积,C3×3表示3×3卷积,Up表示上采样,Pj,k表示核大小为j且步长为k的池化层,PAPool为全局平均池化。