利索能及
我要发布
收藏
专利号: 2022101938589
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

方法步骤如下:

S1) 采集织物图像,建立织物图像数据集,将织物图像数据集依次进行织物瑕疵数据标注和数据增强处理,每张织物图像上均数据标注获得若干织物瑕疵的目标GT框,并获得增强织物图像数据集,将增强织物图像数据集加入织物图像数据集中建立扩展织物图像数据集,扩展织物图像数据集包括若干张扩展织物图像;

S2) 按照预设比例将扩展织物图像数据集进行划分,获得训练集和验证集;

S3) 根据目标GT框的数据标注,使用Kmeans++聚类算法对训练集中的所有目标GT框进行聚类,得到K个先验框;

S4) 搭建改进Scaled‑YOLOv4网络;

S5) 训练集中包括M张扩展织物图像,选取训练集中的X张扩展织物图像输入改进Scaled‑YOLOv4网络中进行训练,针对每张扩展织物图像,均输出N张训练预测特征图;

S6) 针对每张扩展织物图像的N张训练预测特征图,将步骤S3)中的K个先验框均匀分布到N张训练预测特征图上,并根据训练预测特征图的图像信息对K个先验框进行调整,并分别获得K个训练预测框,根据目标GT框选取若干训练预测框作为训练候选框;

S7) 根据训练候选框和目标GT框计算改进Scaled‑YOLOv4网络的整体损失值,并使用梯度下降法更新改进Scaled‑YOLOv4网络的参数;

S8) 针对训练集中的每张扩展织物图像重复步骤S5)‑S7)进行处理,当次重复选取的训练集中的X张扩展织物图像输入上一次重复步骤S7)后参数更新的改进Scaled‑YOLOv4网络中处理,直至训练集中所有的扩展织物图像均输入参数更新的改进Scaled‑YOLOv4网络处理过,获得此时的改进Scaled‑YOLOv4网络作为预训练改进Scaled‑YOLOv4网络;

S9) 将验证集输入预训练改进Scaled‑YOLOv4网络中处理,针对验证集中的每张扩展织物图像,均输出N张验证预测特征图;对N张验证预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理,获得若干验证预测框,根据目标GT框选取若干验证预测框作为验证候选框;

根据验证候选框和目标GT框计算验证集中各个织物类别的精确度值AP,并计算所有精确度值AP的平均精确度值mAP;

S10) 重复步骤S8)‑S9),直至多次获得的平均精确度值mAP等于一个固定值,获得此时的预训练改进Scaled‑YOLOv4网络作为训练完成的改进Scaled‑YOLOv4网络;

S11) 获取待检测织物图像,建立待检测织物图像数据集,将待检测织物图像数据集输入训练完成的改进Scaled‑YOLOv4网络中处理,针对每张待检测织物图像,均输出N张检测预测特征图;对N张检测预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理,获得若干检测预测框;使用非极大值抑制NMS去除若干检测预测框中的冗余框,保留的检测预测框作为最终预测框;

根据检测预测特征图和待检测织物图像的比例关系,将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位;

所述的步骤S4)中,改进Scaled‑YOLOv4网络包括依次连接的改进主干网络CSPDarknet53、改进BiFPN结构、改进预测头部分和三个损失函数Loss:a) 改进主干网络CSPDarknet53:

改进主干网络CSPDarknet53包括依次连接的五层瓶颈结构层,第一层瓶颈结构层中包括瓶颈结构模块Bottleneck,第二层瓶颈结构层中包括第一CSP瓶颈结构模块BottleneckCSP,第三层瓶颈结构层中包括第二CSP瓶颈结构模块BottleneckCSP,第四层瓶颈结构层中包括依次连接的第三CSP瓶颈结构模块BottleneckCSP和第一激活函数Hard‑Swish,第五层瓶颈结构层中包括依次连接的第四CSP瓶颈结构模块BottleneckCSP和第二激活函数Hard‑Swish;改进主干网络CSPDarknet53的输入依次经五层瓶颈结构层处理后尺度逐渐变小,第三至五层瓶颈结构层的输出均作为改进主干网络CSPDarknet53的输出;

CSP瓶颈结构模块BottleneckCSP的结构相同,均为融合了CSP结构的瓶颈结构模块,CSP结构为跨阶段局部结构;

CSP瓶颈结构模块BottleneckCSP包括第一1×1卷积层、瓶颈结构Bottleneck层、第二1×1卷积层、第三1×1卷积层和融合函数Concat,CSP瓶颈结构模块BottleneckCSP的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理,第一1×1卷积层的输出依次输入至瓶颈结构Bottleneck层和第二1×1卷积层处理,第三1×1卷积层处理的输出和第二1×1卷积层处理的输出经过融合函数Concat处理后输出,输出结果作为CSP瓶颈结构模块BottleneckCSP的输出;

瓶颈结构Bottleneck层包括n个瓶颈结构模块Bottleneck,第一CSP瓶颈结构模块BottleneckCSP、第二CSP瓶颈结构模块BottleneckCSP、第三CSP瓶颈结构模块BottleneckCSP和第四CSP瓶颈结构模块BottleneckCSP的瓶颈结构Bottleneck层中的瓶颈结构模块Bottleneck的数目n分别为2、8、4和4;

b) 改进BiFPN结构:

改进BiFPN结构包括三层融合层,第一层融合层包括第五CSP瓶颈结构模块

BottleneckCSP和第三激活函数Hard‑Swish;第二层融合层包括第六CSP瓶颈结构模块BottleneckCSP、第四激活函数Hard‑Swish、第七CSP瓶颈结构模块BottleneckCSP和第五激活函数Hard‑Swish;第三层融合层包括CSP结构空间金字塔池化模块SPPCSP、快速通道注意力机制ECA、第八CSP瓶颈结构模块BottleneckCSP和第六激活函数Hard‑Swish;

第三层瓶颈结构层的输出作为第一层融合层的输入,第四层瓶颈结构层的输出作为第二层融合层的输入,第五层瓶颈结构层的输出作为第三层融合层的输入,三层融合层的输入的尺度与各自的输出的尺度相同,改进BiFPN结构的三层融合层的输出均作为改进BiFPN结构的输出;

第三层融合层的输入依次输入至CSP结构空间金字塔池化模块SPPCSP和快速通道注意力机制ECA中处理输出第三中间输出,第三中间输出再经过下采样后与第二层融合层的输入融合,融合后依次输入至第二层融合层的第六CSP瓶颈结构模块BottleneckCSP和第四激活函数Hard‑Swish中处理输出第二中间输出,第二中间输出经上采样后与第三中间输出融合,融合后再经第三层融合层的第八CSP瓶颈结构模块BottleneckCSP和第六激活函数Hard‑Swish处理后输出为第三层融合层的输出;

第二中间输出再经过下采样后与第一层融合层的输入融合,融合后依次输入至第一层融合层的第五CSP瓶颈结构模块BottleneckCSP和第三激活函数Hard‑Swish中处理输出第一中间输出,第一中间输出直接作为第一层融合层的输出;

第一中间输出再经上采样后与第二融合层的输入以及第二中间输出融合,融合后依次输入至第二融合层的第七CSP瓶颈结构模块BottleneckCSP和第五激活函数Hard‑Swish处理后输出为第二层融合层的输出;

CSP结构空间金字塔池化模块SPPCSP为引入了CSP结构的空间金字塔池化模块,SPP模块为空间金字塔池化模块,CSP结构为跨阶段局部结构;

c) 改进预测头部分:

改进预测头部分包括三个预测头Head,改进BiFPN结构的第一层融合层的输出、第二层融合层的输出和第三层融合层的输出分别作为三个预测头Head的输入;

预测头Head包括依次连接的深度可分离卷积层DepSepConv、注意力机制SE、激活函数Hard‑Swish和第二1×1卷积层;预测头Head的输入依次输入深度可分离卷积层DepSepConv、注意力机制SE、激活函数Hard‑Swish和第二1×1卷积层后输出为预测头Head的输出;

d) 损失函数Loss:

改进预测头部分的三个预测头Head的输出分别输入至三个损失函数Loss,三个损失函数Loss处理输出为输入的分类置信度损失边框置信度损失和交并比损失。

2.根据权利要求1所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S1)中,首先对织物图像数据集中的每张织物图像中的每个织物瑕疵进行类别和位置的数据标注,其中织物瑕疵共包括九种类别:缝头sewing、缝头印sewing print、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold;

目标GT框被标记为(class,xmin,ymin,xmax,ymax),class表示目标GT框内所含织物瑕疵的类别,xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标,xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标;

然后使用Mosaic数据增强对织物图像数据集进行数据增强处理,在Mosaic数据增强后,织物图像数据集中的每张织物图像均会有20%的比例进行Mixup数据增强处理。

3.根据权利要求1所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S2)中,训练集和验证集的预设比例为8:1。

4.根据权利要求2所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S3)中,通过目标GT框的数据标记获取目标GT框的宽和高,使用Kmeans++算法根据目标GT框的宽和高对训练集中的所有目标GT框进行聚类,得到K个聚类中心坐标,以K个聚类中心坐标分别作为宽和高构成K个先验框。

5.根据权利要求1所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S5)中,X为M的约数,N为K的约数。

6.根据权利要求1所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S6)中,针对每张扩展织物图像的N张训练预测特征图,均进行以下操作:

将K个先验框按照尺度大小进行排序,然后按照排序顺序均匀划分为N组先验框,根据N组先验框的尺度大小和N张训练预测特征图的尺度大小,将N组先验框分别分配到N张训练预测特征图上,即N组先验框按照尺度从小到大按顺序分配到尺度从大到小的N张训练预测特征图上;训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度;

针对每张训练预测特征图,均进行以下操作:

将训练预测特征图划分为H×W个网格单元,H和W分别为训练预测特征图的高和宽,其中每个网格单元中心称为锚点,锚点中均包含位置尺度调整信息、分类置信度和边框置信度,位置尺度调整信息即为宽高和中心点坐标的调整信息;针对每个锚点,均进行以下操作:在锚点上叠加K/N个先验框,锚点对应一个num_anchor*(5+num_class)长度的锚点向量,其中,num_anchor表示锚点上先验框的数量,即为K/N,num_class表示织物瑕疵类别数目,即为K;将锚点向量进行维度拆分,获得K/N个分别对应于K/N个先验框的5+num_class长度的一维调整向量,根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整,得到K/N个训练预测框,每个先验框获得一个训练预测框,训练预测框中包含分类置信度和边框置信度;

计算每个目标GT框与每个训练预测框之间的交并比损失IoU,获取与每个目标GT框之间的交并比损失IoU最大的一个训练预测框作为对应该目标GT框的训练候选框。

7.根据权利要求6所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S7)中,针对每一个目标GT框和该目标GT框在步骤S6)中获得的一个训练候选框,均进行以下操作:将目标GT框转换为5+num_class长度的一维GT向量,一维GT向量中包含位置信息、分类置信度和边框置信度;训练候选框为通过一个一维调整向量调整得到,根据一维GT向量和该一维调整向量计算两者间的损失,包括边界框位置损失、分类置信度损失和边框置信度损失;

根据各个一维GT向量和各个一维调整向量各自的位置信息,使用CIoU损失进行计算获得边界框位置损失;

根据各个一维GT向量和各个一维调整向量各自的分类置信度,使用二元交叉熵损失计算获得分类置信度损失;

根据各个一维GT向量和各个一维调整向量各自的边框置信度,使用二元交叉熵损失计算获得边框置信度损失;

将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进Scaled‑YOLOv4网络的整体损失值,将整体损失值反向传播至改进Scaled‑YOLOv4网络中,并同时使用梯度下降法更新优化改进Scaled‑YOLOv4网络的参数。

8.根据权利要求1所述的一种改进Scaled‑YOLOv4的织物瑕疵检测方法,其特征在于:

所述的步骤S11)中,针对每个最终预测框和每张检测预测特征图均进行以下操作:

获取最终预测框所在的检测预测特征图,获取检测预测特征图对应的待检测织物图像,根据检测预测特征图和待检测织物图像之间的比例关系,将最终预测框映射至待检测织物图像上,对检测织物图像上的织物瑕疵进行检测定位。