1.一种基于双注意力机制和U‑net网络的漆面图像分割系统,其特征在于,包括:预处理模块,用以将搜集到的原始漆面图像进行预处理得到图像训练集;
U‑net网络改进模块,用以通过使用Efficientnet‑B0编码器提取所述原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U‑net网络进行改进,得到改进后的U‑net网络;
U‑net分割模型训练模块,用以将所述图像训练集作为所述改进后的U‑net网络的输入数据进行训练得到训练好的U‑net分割模型;
图像分割模块,用以将待分割的漆面图像作为测试数据输入至所述训练好的U‑net分割模型中得到分割后的结果。
2.根据权利要求1所述的基于双注意力机制和U‑net网络的漆面图像分割系统,其特征在于:在所述预处理模块中,所述预处理的具体方法为:根据所述原始漆面图像的长度和宽度,将所述原始漆面图像以及该原始漆面图像对应的标签图像扩充为正方形图像;具体为:当所述原始漆面图像的长度与宽度不同时,通过添加灰边使得所述原始漆面图像的宽度和长度相同,从而获得边缘填充后的漆面图像和与其对应的标签图像;
对所述边缘填充后的漆面图像进行高斯滤波降噪处理,得到降噪后的漆面图像;
将所述降噪后的漆面图像与边缘填充后的标签图像做数据增强;具体为:将所述降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1,将N1中的漆面图像和标签图像经水平翻转获得数据集N2,经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5,最后将N1、N2、N3、N4和N5共同组成的数据集作为所述图像训练集。
3.根据权利要求2所述的基于双注意力机制和U‑net网络的漆面图像分割系统,其特征在于:在所述U‑net网络改进模块中:使用Efficientnet‑B0编码器提取所述原始漆面图像特征来改进U‑net网络的具体方法为:
EfficientNet‑B0编码器包含16个移动倒置瓶颈模块,分别提取第5个以及第7个MBConv块处理之后的特征图,其中第5个MBConv块提取到的特征图经过空间注意力模块,输入到上采样部分进行特征融合,第7个MBConv块提取到的特征图用于下采样,进行更深层次的特征提取;
每个移动倒置瓶颈模块包括:四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作,在3×3深度可分离卷积结构前利用1×1卷积升维,在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制,最后利用1×1卷积降维后增加一个残差边,每个卷积层后面均添加了批量归一化层和Swish激活层;
在特征融合阶段嵌入串行双通道CBAM模块改进U‑net网络的具体方法为:在特征融合环节加入一个空间注意力模块,用以提高改进后的U‑net网络对漆面区域的权重,同时降低非漆面区域的权重;
在原始U‑net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块,用以减少特征融合之后冗余的通道数。
4.根据权利要求3所述的基于双注意力机制和U‑net网络的漆面图像分割系统,其特征在于:
将第5个MBConv块提取到的特征图作为改进后的U‑net网络的特征融合特征图,第7个MBConv块提取到的特征图作为改进后的U‑net网络下采样特征图;
在空间注意力模块中,对来自EfficientNet‑B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作,生成2个单通道的特征图:平均值特征图 和最大值特征图
将平均值特征图 和最大值特征图 分别经过一次卷积操作后进行通道堆叠生成一个权重图R,然后通过权重图R对特征图F进行加权,生成特征图Q;
将特征图Q与改进后的U‑net的特征加强部分中的卷积层的输出特征图O进行拼接,得到初步特征融合之后的特征图P,在特征图P中,与漆面相关的区域被赋予了更高的权重,其余区域则降低了权重,空间注意力模块的计算为其中,Ms(F)是空间注意力模块的输出特征图信息, 表示卷积操作,r表示ReLu激活函数;
在通道注意力模块中,对特征图P进行一次平均池化与一次最大池化操作,然后进行通道拼接,生成一个1×1×C的全局特征M,其中C代表通道的数量;
使用大小为k的一维卷积对全局特征M进行卷积,生成一个注意力权重图N,一维卷积的卷积核大小k的计算式为
其中,C是通道数,|A|odd表示与A相邻最近的奇数;
将注意力权重图N与特征图P进行逐通道维度相乘,得到带有权重注意力的输出特征图G,通道注意力模块的计算为
G=r[N+P]
其中, 表示卷积操作,r表示ReLu激活函数。
5.根据权利要求4所述的基于双注意力机制和U‑net网络的漆面图像分割系统,其特征在于:在U‑net分割模型训练模块中,具体训练过程如下:使用Efficientnet‑B0网络中训练好的权重文件对Efficientnet‑B0网络进行参数初始化;
以自适应矩阵估计作为优化器、FocalLoss作为损失函数,对所述改进后的U‑net网络的训练参数进行设置:初始学习率为0.001,求一阶矩估计时的指数衰减率β1=0.9,求二阶矩估计时的指数衰减率为β1=0.999,训练轮数为100,每轮训练样本数为8;
将预处理得到的图像训练集重新随机排列,然后输入至所述改进后的U‑net网络中进行训练,直至得到训练好的U‑net分割模型。
6.一种基于双注意力机制和U‑net网络的漆面图像分割方法,包括:步骤1,将搜集到的原始漆面图像进行预处理得到图像训练集;
步骤2,通过使用Efficientnet‑B0编码器提取所述原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U‑net网络进行改进,得到改进后的U‑net网络;
步骤3,将所述图像训练集作为所述改进后的U‑net网络的输入数据进行训练得到训练好的U‑net分割模型;
步骤4,将待分割的漆面图像作为测试数据输入至所述训练好的U‑net分割模型中得到分割后的结果。
7.根据权利要求6所述的基于双注意力机制和U‑net网络的漆面图像分割方法,其特征在于:在步骤1中,所述预处理的具体方法为:根据所述原始漆面图像的长度和宽度,将所述原始漆面图像以及该图像对应的标签图像扩充为正方形图像;具体为:当所述原始漆面图像的长度与宽度不同时,通过添加灰边使得所述原始漆面图像的宽度和长度相同,从而获得边缘填充后的漆面图像和与其对应的标签图像;
对所述边缘填充后的漆面图像进行高斯滤波降噪处理,得到降噪后的漆面图像;
将所述降噪后的漆面图像与边缘填充后的标签图像做数据增强;具体为:将所述降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1,将N1中的漆面图像和标签图像经水平翻转获得数据集N2,经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5,最后将N1、N2、N3、N4和N5共同组成的数据集作为所述图像训练集。
8.根据权利要求7所述的基于双注意力机制和U‑net网络的漆面图像分割方法,其特征在于:在步骤2中:
使用Efficientnet‑B0编码器提取所述原始漆面图像特征来改进U‑net网络的具体方法为:
EfficientNet‑B0编码器包含16个移动倒置瓶颈模块,分别提取第5个以及第7个MBConv块处理之后的特征图,其中第5个MBConv块提取到的特征图经过空间注意力模块,输入到上采样部分进行特征融合,第7个MBConv块提取到的特征图用于下采样,进行更深层次的特征提取;
每个移动倒置瓶颈模块包括:四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作,在3×3深度可分离卷积结构前利用1×1卷积升维,在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制,最后利用1×1卷积降维后增加一个残差边,每个卷积层后面均添加了批量归一化层和Swish激活层;
在特征融合阶段嵌入串行双通道CBAM模块改进U‑net网络的具体方法为:在特征融合环节加入一个空间注意力模块,用以提高改进后的U‑net网络对漆面区域的权重,同时降低非漆面区域的权重;
在原始U‑net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块,用以减少特征融合之后冗余的通道数。
9.根据权利要求8所述的基于双注意力机制和U‑net网络的漆面图像分割方法,其特征在于:
将第5个MBConv块提取到的特征图作为改进后的U‑net网络的特征融合特征图,第7个MBConv块提取到的特征图作为改进后的U‑net网络下采样特征图;
在空间注意力模块中,对来自EfficientNet‑B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作,生成2个单通道的特征图:平均值特征图 和最大值特征图
将平均值特征图 和最大值特征图 分别经过一次卷积操作后进行通道堆叠生成一个权重图R,然后通过权重图R对特征图F进行加权,生成特征图Q;
将特征图Q与改进后的U‑net的特征加强部分中的卷积层的输出特征图O进行拼接,得到初步特征融合之后的特征图P,在特征图P中,与漆面相关的区域被赋予了更高的权重,其余区域则降低了权重,空间注意力模块的计算为其中,Ms(F)是空间注意力模块的输出特征图信息, 表示卷积操作,r表示ReLu激活函数;
在通道注意力模块中,对特征图P进行一次平均池化与一次最大池化操作,然后进行通道拼接,生成一个1×1×C的全局特征M,其中C代表通道的数量;
使用大小为k的一维卷积对全局特征M进行卷积,生成一个注意力权重图N,一维卷积的卷积核大小k的计算式为
其中,C是通道数,|A|odd表示与A相邻最近的奇数;
将注意力权重图N与特征图P进行逐通道维度相乘,得到带有权重注意力的输出特征图G,通道注意力模块的计算为
G=r[N+P]
其中, 表示卷积操作,r表示ReLu激活函数。
10.根据权利要求9所述的基于双注意力机制和U‑net网络的漆面图像分割方法,其特征在于:在步骤3中,具体训练过程如下:使用Efficientnet‑B0网络中训练好的权重文件对Efficientnet‑B0网络进行参数初始化;
以自适应矩阵估计作为优化器、FocalLoss作为损失函数,对所述改进后的U‑net网络的训练参数进行设置:初始学习率为0.001,求一阶矩估计时的指数衰减率β1=0.9,求二阶矩估计时的指数衰减率为β1=0.999,训练轮数为100,每轮训练样本数为8;
将预处理得到的图像训练集重新随机排列,然后输入至所述改进后的U‑net网络中进行训练,直至得到训练好的U‑net分割模型。