1.一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述轻量级神经网络模型包括初始化模块、空间分支、语义分支和多尺度特征融合解码器;
所述图像语义分割方法包括:
响应于待处理图像的处理指令,基于所述初始化模块对所述待处理图像进行特征提取,得到第一特征图;
基于所述空间分支提取所述第一特征图的空间信息;
基于所述语义分支提取所述第一特征图的多尺度特征信息,并融合所述多尺度特征信息和所述空间信息,得到增强特征图;
基于所述多尺度特征融合解码器,将所述第一特征图与所述增强特征图进行融合解码,并进行图像尺寸恢复,得到图像语义分割结果;
其中,所述空间分支包括第一空间分支和第二空间分支;所述基于所述空间分支提取所述第一特征图的空间信息,包括:基于所述第一空间分支,得到关于所述第一特征图的第一空间信息压缩特征图;
基于所述第二空间分支,得到关于所述第一特征图的第二空间信息压缩特征图;
所述语义分支包括第一语义分支、第一叠加器、第二语义分支和第二叠加器;所述基于所述语义分支提取所述第一特征图的多尺度特征信息,并融合所述多尺度特征信息和所述空间信息,包括:基于所述第一语义分支,对所述第一特征图进行语义特征提取,得到第一尺度语义特征图;
通过所述第一叠加器,将所述第一尺度语义特征图与所述第一空间信息压缩特征图进行融合,得到第一增强特征图;
基于所述第二语义分支,对所述第一增强特征图进行语义特征提取,得到第二尺度语义特征图;
通过所述第二叠加器,将所述第二尺度语义特征图与所述第二空间信息压缩特征图进行融合,得到第二增强特征图;
所述多尺度特征融合解码器包括第一深度可分离卷积层、第二深度可分离卷积层、第五点卷积层、上采样层和第六点卷积层;
所述基于所述多尺度特征融合解码器,将所述第一特征图与所述增强特征图进行融合解码,并进行图像尺寸恢复,包括:通过所述第一深度可分离卷积层对所述第一特征图进行卷积处理,得到第一待解码特征图;其中,所述第一深度可分离卷积层包括依次连接的第三深度卷积层和第三点卷积层,所述第三深度卷积层的卷积核数量与所述第一特征图的通道数相同,所述第三点卷积层的卷积核数量与所述第一增强特征图的通道数相同;
通过所述第二深度可分离卷积层对所述第一增强特征图进行卷积处理,得到第二待解码特征图;其中,所述第二深度可分离卷积层包括第四深度卷积层和第四点卷积层,且所述第四深度卷积层和所述第四点卷积层的卷积核数量,均与所述第一增强特征图的通道数相同;
通过所述第五点卷积层对所述第二增强特征图进行通道信息合并与通道压缩,将所述第二增强特征图的通道数恢复至与所述第一增强特征图的通道数相同,再通过上采样层恢复空间尺寸,得到第三待解码特征图;
将所述第一待解码特征图、所述第二待解码特征图和所述第三待解码特征图进行相加融合操作,得到最终融合特征图;
通过所述第六点卷积层对所述最终融合特征图进行图像尺寸恢复和像素级分类,得到所述图像语义分割结果。
2.根据权利要求1所述的一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述第一空间分支包括第一多通道卷积层和第一单通道卷积层;所述第二空间分支包括第二多通道卷积层和第二单通道卷积层;
所述基于所述第一空间分支,得到关于所述第一特征图的第一空间信息压缩特征图,包括:利用所述第一多通道卷积层对所述第一特征图进行空间信息提取,得到第一空间信息特征图;
利用所述第一单通道卷积层对所述第一空间信息特征图进行通道压缩,得到第一空间信息压缩特征图;
以及,所述基于所述第二空间分支,得到关于所述第一特征图的第二空间信息压缩特征图,包括:利用所述第二多通道卷积层对所述第一空间信息特征图进行空间信息提取,得到第二空间信息特征图;
利用所述第二单通道卷积层对所述第二空间信息特征图进行通道压缩,得到第二空间信息压缩特征图。
3.根据权利要求1所述的一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述第一语义分支与所述第二语义分支均包括依次连接的下采样层、若干个特征增强层、拼接层和点卷积层;所述下采样层的输出端还与所述拼接层的输入端连接,用于将不同深度的特征图信息进行融合;
所述基于所述第一语义分支,对所述第一特征图进行语义特征提取,得到第一尺度语义特征图,包括:利用所述下采样层对所述第一特征图进行下采样操作,得到第一下采样特征图;
利用若干个依次连接的所述特征增强层对所述第一下采样特征图进行特征提取,得到第一尺度特征图;
利用拼接层对所述第一下采样特征图和所述第一尺度特征图进行拼接融合操作,并通过一个点卷积层对所述拼接层输出的特征图的各个通道信息进行融合和通道压缩,得到所述第一尺度语义特征图;
以及,所述基于所述第二语义分支,对所述第一增强特征图进行语义特征提取,得到第二尺度语义特征图,包括:利用下采样层对所述第一增强特征图进行下采样操作,得到第二下采样特征图;
利用若干个依次连接的特征增强层对所述第二下采样特征图进行特征提取,得到第二尺度特征图;
利用拼接层对所述第二下采样特征图和所述第二尺度特征图进行拼接融合操作,并通过一个点卷积层对拼接层输出的特征图的各个通道信息进行融合和通道压缩,得到所述第二尺度语义特征图。
4.根据权利要求3所述的一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述特征增强层包括DAB模块、FEB模块和ResNet残差模块中的至少之一;
其中,所述FEB模块包括:
第一深度卷积层,用于通过独立的二维卷积核分别对输入的特征图的各个通道进行卷积运算,得到第一深度特征图;
第一点卷积层,用于通过预设数量的点卷积核对所述第一深度特征图进行通道融合,得到对应的通道压缩特征图;
第二深度卷积层,用于利用独立的二维卷积核分别对所述通道压缩特征图的各个通道进行卷积运算,得到与所述通道压缩特征图的通道数相等的第二深度特征图;
深度空洞卷积层,用于利用独立的二维卷积核并根据预设的空洞率,分别对所述通道压缩特征图的各个通道进行深度卷积操作,得到深度空洞特征图;
第一融合层,用于将所述通道压缩特征图、所述第二深度特征图与所述深度空洞特征图的对应元素值进行相加,得到第一语义特征融合特征图;
第一三维卷积层,用于利用若干个三维卷积核分别对所述第一语义特征融合特征图的各个通道的空间特征和通道特征进行混合,分别得到一个输出通道的特征图;还用于将各个输出通道的特征图组合得到第一组合特征图;
第二点卷积层,用于利用预设数量的点卷积核分别对所述第一组合特征图的通道特征进行融合,分别得到一个输出通道的特征图;还用于将各个输出通道的特征图组合得到第二组合特征图;
第二融合层,用于将输入所述第一深度卷积层的特征图,与所述第二组合特征图的对应元素进行相加,得到当前特征增强层输出的特征图。
5.根据权利要求3所述的一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述第一语义分支与所述第二语义分支中的所述特征增强层的数量不同;以及,所述第一语义分支和所述第二语义分支中,各个特征增强层输出的特征图的空间尺寸和通道数相同。
6.根据权利要求1所述的一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述多尺度特征融合解码器中,在将所述第一待解码特征图、所述第二待解码特征图和所述第三待解码特征图进行相加融合操作的过程中引入空间注意力机制,包括:通过空间注意力模块对所述第一待解码特征图进行加权关注,得到空间注意力特征图;
将所述空间注意力特征图、所述第一待解码特征图、所述第二待解码特征图及所述第三待解码特征图进行相加融合操作,得到所述最终融合特征图。
7.根据权利要求6所述的一种基于轻量级神经网络模型的图像语义分割方法,其特征在于,所述空间注意力模块包括第七点卷积层、单通道的第二三维卷积层、Sigmoid激活层和乘法加权层;
所述通过空间注意力模块对所述第一待解码特征图进行加权关注,包括:将所述第一待解码特征图依次经过所述第七点卷积层和所述第二三维卷积层进行卷积处理,得到压缩空间信息特征图;
通过所述Sigmoid激活层对所述压缩空间信息特征图中的各个元素进行权重分配,得到空间注意力掩模图;
利用所述乘法加权层,对所述第一待解码特征图和所述空间注意力掩模图中的对应元素进行乘法加权,得到所述空间注意力特征图。
8.一种图像语义分割系统,应用权利要求1‑7任一项所述的基于轻量级神经网络模型的图像语义分割方法,其特征在于,包括:接收单元,用于获取待处理图像;
处理单元,用于搭载轻量级神经网络模型;还用于对所述待处理图像进行处理,得到图像语义分割结果;其中,所述轻量级神经网络模型包括:初始化模块,用于对所述待处理图像进行特征提取,得到第一特征图;
空间分支,用于提取所述第一特征图的空间信息;
语义分支,用于提取所述第一特征图的多尺度特征信息;还用于融合所述多尺度特征信息和所述空间信息,得到增强特征图;
多尺度特征融合解码器,用于将所述第一特征图与所述增强特征图进行融合解码,并进行图像尺寸恢复,得到所述图像语义分割结果。