1.一种基于多特征重用的实时语义分割方法,其特征在于,包括:S1:获取待分割的目标图像;
S2:将目标图像输入经过训练的语义分割模型中,输出对应的语义分割图像;
语义分割模型包括如下处理步骤:
S201:提取目标图像的初始特征信息,得到初级特征图;
S202:在初级特征图基础上,通过多个非对称残差注意力模块堆叠构成的第一密集残差模块进一步提取特征,得到局部特征图;
步骤S202中,第一密集残差模块由三个连续堆叠且空洞率均为2的非对称残差注意力模块构成;第一密集残差模块中最后一个非对称残差注意力模块的输出为局部特征图;
S203:在局部特征图基础上,通过多个非对称残差注意力模块堆叠构成的第二密集残差模块进一步提取特征,得到全局特征图;
步骤S203中,第二密集残差模块由六个连续堆叠且空洞率分别为4、4、8、8、16、16的非对称残差注意力模块构成;第二密集残差模块中最后一个非对称残差注意力模块的输出为全局特征图;
S204:通过特征聚合模块对全局特征图和局部特征图进行融合,得到中间融合特征图;
S205:通过增强特征融合模块对中间融合特征图和初级特征图进行融合,得到最终融合特征图;
S206:通过分类器基于最终融合特征图进行分类预测,输出对应的语义分割图像;
S3:将语义分割模型输出的语义分割图像作为待分割目标图像的实时语义分割结果。
2.如权利要求1所述的基于多特征重用的实时语义分割方法,其特征在于:步骤S201中,通过三个连续堆叠的卷积层提取目标图像的初始特征信息,得到初级特征图。
3.如权利要求1所述的基于多特征重用的实时语义分割方法,其特征在于,各个非对称残差注意力模块通过如下步骤提取输入特征图的特征信息:
1)通过3×3卷积操作对输入的特征图进行通道降维,得到降维特征图;
2)对降维特征图依次执行3×1和1×3深度卷积、3×1和1×3深度扩张卷积,分别得到深度卷积特征图和深度扩张卷积特征图;
3)将深度卷积特征图输入通道注意力子模块进行特征提取,得到通道注意力特征图;
4)将深度扩张卷积特征图和通道注意力特征图进行通道连接,并通过1×1卷积操作得到融合特征图;
5)将融合特征图和输入的原始特征图使用求和操作进行残差连接,得到最终的特征图。
4.如权利要求3所述的基于多特征重用的实时语义分割方法,其特征在于:通道注意力子模块中首先将输入的特征图经过依次首尾连接的全局池化层、全连接层、ReLU函数层、全连接层和Sigmoid函数层进行处理,得到通道特征图;然后将通道特征图和输入的特征图相乘,得到对应的通道注意力特征图。
5.如权利要求1所述的基于多特征重用的实时语义分割方法,其特征在于,步骤S204中,特征聚合模块包括如下处理步骤:S2041:使用Add操作将全局特征图X1和局部特征图X2相加,得到相加特征图X;
S2042:利用分解的两个一维平均池化(H,1)和(1,W)分别沿着垂直和水平方向对相加特征图X进行空间信息编码,生成水平和垂直两个空间方向的聚合特征图 和S2043:使用连接操作合并聚合特征图 和 然后经1×1卷积、批归一化和非线性激活函数操作输出中间聚合特征图Fz;
公式描述为:
式中:[]表示连接操作;{}表示批归一化;δ表示非线性激活函数;其中Fz∈C/r×1×(H+W),r表示缩减率;C表示特征图的通道数;H、W分别表示特征图的高度和宽度;
h w
S2044:将中间聚合特征图Fz拆分为高度和宽度方向的两个张量F 和F ,分别使用1×1h w卷积操作恢复F和F的通道数至与相加特征图X相同,然后经Sigmoid函数操作得到两个注h w意力权重g和g;
公式描述为:
h h h
g=σ(Conv1×1(F));
w w w
g=σ(Conv1×1(F));
h w
式中:σ表示Sigmoid激活函数;其中F∈C/r×H×1,F∈C/r×1×W;
h w
S2045:将相加特征图X与注意力权重g和g相乘,得到中间融合特征图Y;
公式描述为:
h w
Y=X×g×g。
6.如权利要求1所述的基于多特征重用的实时语义分割方法,其特征在于:步骤S205中,增强特征融合模块包括如下处理步骤:S2051:通过连接操作连接中间融合特征图Y和初级特征图,并进行批归一化和ReLU激活函数操作得到初特征图F;
S2052:采用两分支对初特征图F进行平均池化和最大池化操作,进而依次执行1×1卷积、ReLU激活函数和Sigmoid函数操作,得到平均池化和最大池化对应分支所得的特征权重Favg和Fmax;
公式描述为:
Favg=f[AvgPool(F)];
Fmax=f[MaxPool(F)];
式中:f表示依次执行1×1卷积、ReLU激活函数和Sigmoid函数操作;AvgPool表示平均池化操作;MaxPool表示最大池化操作;
S2053:将特征权重Favg和Fmax相加后与初特征图F相乘来重加权特征,得到通道加权后的最终融合特征图Fc;
公式描述为:
Fc=(Favg+Fmax)×F+F。
7.如权利要求1所述的基于多特征重用的实时语义分割方法,其特征在于:步骤S202中,提取初级特征图的特征信息之前,先对初级特征图进行下采样操作;
步骤S203中,提取局部特征图的特征信息之前,先对局部特征图进行下采样操作;
步骤S204中,将全局特征图和局部特征图进行融合之前,先对全局特征图进行上采样操作和3×3卷积操作。
8.如权利要求7所述的基于多特征重用的实时语义分割方法,其特征在于:步骤S206中,首先通过卷积操作将最终融合特征图的通道数压缩成类别数,然后将最终融合特征图上采样至与目标图像的大小一致,最后输出预测的语义分割图像。