1.轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,包括以下步骤:S1:构建图像语义分割网络,所述图像语义分割网络包括初始化模块、分离‑提取‑合并瓶颈模块、分区‑融合通道注意力模块、特征融合模块和多尺度注意力解码器;所述分离‑提取‑合并瓶颈模块包括若干个依次连接的分离‑提取‑合并瓶颈结构;
S2:将待处理图像输入所述图像语义分割网络,图像语义分割网络输出图像语义分割结果;
其中,所述初始化模块对待处理图像进行特征提取,得到待处理图像的初始特征图,具体包括以下步骤:将待处理图像经过卷积层进行卷积操作,得到第一特征图;
将所述第一特征图与原始的待处理图像进行并行拼接,将拼接结果经过一个1×1卷积层进行卷积操作后,得到第二特征图;
所述分离‑提取‑合并瓶颈模块采用分离特征通道提取初始特征图的多尺度特征,得到多尺度特征图,具体包括以下步骤:将第二特征图输入第一个分离‑提取‑合并瓶颈结构,所述第二特征图经过一个3×3的标准卷积层进行卷积操作后,将卷积操作结果通过通道分离生成两个特征图分别经过一个
3×3的深度可分离卷积层和经过一个3×3的深度可分离空洞卷积层进行卷积操作;
将两个卷积操作结果进行合并,然后将合并结果经过一个3×3的标准卷积层进行卷积操作后与输入当前分离‑提取‑合并瓶颈结构的特征图进行特征映射,将特征映射结果输入下一个分离‑提取‑合并瓶颈结构进行处理;
经过若干个分离‑提取‑合并瓶颈结构处理后,得到多尺度特征图;
所述分区‑融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信息,得到通道信息特征图;
所述特征融合模块将多尺度特征图、通道信息特征图和原始的待处理图像进行特征融合,得到融合特征图;
所述多尺度注意力解码器基于融合特征图进行图像精度恢复,得到图像语义分割结果。
2.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,在一个分离‑提取‑合并瓶颈结构中,所述3×3的标准卷积层、3×3的深度可分离卷积层和3×3的深度可分离空洞卷积层的输出端均依次连接有PReLU激活层和BN层。
3.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,所述分区‑融合通道注意力模块包括全局注意力生成支路和局部注意力融合支路;所述分区‑融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信息,得到通道信息特征图的步骤包括:将所述分离‑提取‑合并瓶颈模块中第一个分离‑提取‑合并瓶颈结构输出的特征图A输入分区‑融合通道注意力模块后分别进入全局注意力生成支路和局部注意力融合支路;
对输入全局注意力生成支路的特征图A1进行全局平均池化并学习特征图A1的通道权值,得到学习特征图A1的全局通道信息;
对输入局部注意力融合支路的特征图A2进行分区处理,将特征图A2分为k个区域;对特征图A2的k个区域分别进行全局平均池化并学习k个区域的平均池化值,得到特征图A2的局部通道信息;
将所述全局通道信息和所述局部通道信息进行加权融合,根据加权融合结果对输出特征图进行特征提取,得到通道信息特征图。
4.根据权利要求3所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,所述特征融合模块将多尺度特征图、通道信息特征图和原始的待处理图像进行特征融合,得到融合特征图的步骤模块的步骤包括:所述特征融合模块对多尺度特征图、通道信息特征图和原始的待处理图像进行通道方向上的拼接,将拼接结果经过一个1×1卷积层进行卷积操作,得到融合特征图。
5.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,将待处理图像经过卷积层进行卷积操作,得到第一特征图的步骤包括:将待处理图像输入初始化模块,待处理图像经过一个步长为2的3×3的标准卷积层进行卷积操作,然后将卷积操作连续经过两个3×3的标准卷积层进行卷积操作,得到第一特征图。
6.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,所述分离‑提取‑合并瓶颈模块包括第一分离‑提取‑合并瓶颈模块和第二分离‑提取‑合并瓶颈模块;所述分区‑融合通道注意力模块包括第一分区‑融合通道注意力模块和第二分区‑融合通道注意力模块;所述特征融合模块包括第一特征融合模块和第二特征融合模块;
则将待处理图像输入图像语义分割网络,图像语义分割网络输出图像语义分割结果的步骤包括:将待处理图像经过卷积层进行卷积操作,得到第一特征图;将所述第一特征图与原始的待处理图像进行并行拼接特征融合得到第二特征图;
将所述第二特征图进行下采样后输入第一分离‑提取‑合并瓶颈模块,第二特征图经过若干个分离‑提取‑合并瓶颈结构进行多尺度特征提取,得到第一多尺度特征图;将第一分离‑提取‑合并瓶颈模块中的第一个分离‑提取‑合并瓶颈结构的输出特征图传输至第一分区‑融合通道注意力模块,所述第一分区‑融合通道注意力模块提取并融合所述输出特征图的全局通道信息和局部通道信息,得到第一通道信息特征图;将所述第一多尺度特征图、第一通道信息特征图和待处理的原始图像输入第一特征融合模块,第一特征融合模块将第一多尺度特征图、第一通道信息特征和原始的待处理图像进行特征融合,得到第一融合特征图;
将所述第一融合特征图进行一次下采样后输入第二分离‑提取‑合并瓶颈模块,第一融合特征图经过若干个分离‑提取‑合并瓶颈结构进行多尺度特征提取,得到第二多尺度特征图;将第二分离‑提取‑合并瓶颈模块中的第一个分离‑提取‑合并瓶颈结构的输出特征图传输至第二分区‑融合通道注意力模块,所述第二分区‑融合通道注意力模块提取并融合所述输出特征图的全局通道信息和局部通道信息,得到第二通道信息特征图;将所述第二多尺度特征图、第二通道信息特征图和原始的待处理图像输入第二特征融合模块,第二特征融合模块将第二多尺度特征图、第二通道信息特征和原始的待处理图像进行特征融合,得到第二融合特征图;
将所述第一融合特征图和第二融合特征图输入所述多尺度注意力解码器,多尺度注意力解码器根据第一融合特征图和第二融合特征图进行图像精度恢复,得到图像语义分割结果。
7.根据权利要求6所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,所述第一融合特征图包括特征图F11,所述第二融合特征图包括特征图F21和特征图F31;
将第一融合特征图和第二融合特征图输入所述多尺度注意力解码器,得到图像语义分割结果的步骤包括:将特征图F11经过一个1×1标准卷积层进行卷积操作,得到特征通道数为C1的特征图F12,将特征图F21经过一个1×1标准卷积层进行卷积操作后得到特征通道数为C2的特征图F22,对特征图F22进行双线性上采样得到特征图F23,其表达式如下所示:其中, 表示1×1的卷积计算, 表示双线性上采样;
将所述特征图F12和特征图F23进行通道方向上的拼接,然后将拼接结果经过一个深度可分离卷积层和一个Sigmoid激活函数,得到多尺度注意力特征图Mmam,其表达式如下所示:其中, 表示Sigmoid激活函数, 表示深度可分离卷积层的逐点卷
积, 表示深度可分离卷积层的深度卷积, 表示对若干个特征图进
行通道方向上的拼接;
将特征图F31经过一个深度可分离卷积层进行卷积操作后,得到特征图F32,对特征图F32进行双线性上采样得到特征图F33,其表达式如下所示:将多尺度注意力特征图Mmam和特征图F33进行像素级别的相乘,并对F33的空间特征信息进行加权关注,得到像素类别矩阵Foutput作为图像语义分割结果,其表达式如下所示:。
8.轻量级多尺度特征融合的实时图像语义分割系统,应用于权利要求1‑7任一项所述的轻量级多尺度特征融合的实时图像语义分割方法,其特征在于,包括:图像语义分割网络,所述图像语义分割网络包括初始化模块、分离‑提取‑合并瓶颈模块、分区‑融合通道注意力模块、特征融合模块和多尺度注意力解码器;所述分离‑提取‑合并瓶颈模块包括若干个依次连接的分离‑提取‑合并瓶颈结构;
所述初始化模块对待处理图像进行特征提取,得到待处理图像的初始特征图;
所述分离‑提取‑合并瓶颈模块采用分离特征通道提取待处理图像特征图的多尺度特征,得到多尺度特征图;
所述分区‑融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信息,得到通道信息特征图;
所述特征融合模块将多尺度特征图、通道信息特征图和原始的待处理图像进行特征融合,得到融合特征图;
所述多尺度注意力解码器根据融合特征图进行图像精度恢复,得到图像语义分割结果。