1.一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,包括:S1:获取海量热轧带钢表面缺陷图片数据;
S2:基于海量热轧带钢表面缺陷图片数据,构建出热轧带钢表面缺陷图片数据集,并将热轧带钢表面缺陷图片数据集划分为训练集和测试集;
S3:构建出YOLOv5s网络模型;
S4:将YOLOv5s网络模型的主干网络卷积模块修改为RepVGG Block模块;
S5:将YOLOv5s网络模型的上采样方式改为CARAFE上采样方式;
S6:将YOLOv5s网络模型的下采样方式改为Pyconv下采样方式;
S7:对YOLOv5s网络模型进行模型剪枝,获得基于改进YOLOv5s网络模型的热轧带钢表面缺陷检测模型;
S8:优化损失函数,获得优化后的损失函数;
S9:基于训练集和测试集以及优化后的损失函数,对热轧带钢表面缺陷检测模型依次进行训练、测试,获得合格热轧带钢表面缺陷检测模型;
S10:将待检测热轧带钢表面缺陷图片输入至合格热轧带钢表面缺陷检测模型,获得热轧带钢表面缺陷检测结果;
其中,步骤S9:基于训练集和测试集以及优化后的损失函数,对热轧带钢表面缺陷检测模型依次进行训练、测试,获得合格热轧带钢表面缺陷检测模型,包括:基于训练集和优化后的损失函数对热轧带钢表面缺陷检测模型进行训练,获得训练后的热轧带钢表面缺陷检测模型;
将测试集输入至训练后的热轧带钢表面缺陷检测模型,获得测试集中每个热轧带钢表面缺陷图片数据的模型标记缺陷区域;
基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域和模型标记缺陷区域,计算出模型测试准确率;
判断出模型测试准确率是否不小于准确率阈值,若是,则将训练后的热轧带钢表面缺陷检测模型当作合格热轧带钢表面缺陷检测模型;
否则,对训练后的热轧带钢表面缺陷检测模型进行重新训练;
其中,基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段和模型标记缺陷区域中的所有第二曲线段,计算出模型测试准确率,包括:确定出第一曲线段的两个端点与对应人工标记缺陷区域中心点的连线与对应第一曲线段围成的区域的第一面积,同时,确定出第二曲线段的两个端点与对应模型标记缺陷区域中心点的连线与对应第二曲线段围成的区域的第二面积;
确定出人工标记缺陷区域的轮廓在第一曲线段的两个端点的切线之间的第一角度差,将第一角度差和第一曲线段的长度的比值当作第一曲线段的第一近似曲率;
确定出模型标记缺陷区域的轮廓在第二曲线段的两个端点的切线之间的第二角度差,将第二角度差和第二曲线段的长度的比值当作第二曲线段的第二近似曲率;
基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段的第一面积和第一近似曲率以及模型标记缺陷区域中的所有第二曲线段的第二面积和第二近似曲率,计算出模型测试准确率;
其中,基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域和模型标记缺陷区域,计算出模型测试准确率,包括:基于依次确定出的人工标记缺陷区域的轮廓上每个像素点的切线角度生成第一角度序列,将第一角度序列中的骤变点对应的像素点当作第一骤变像素点,在第一骤变像素点与在人工标记缺陷区域的轮廓中在确定切线角度的方向的反方向上对应的相邻像素点之间标记出第一划分界限;
基于依次确定出的模型标记缺陷区域的轮廓上每个像素点的切线角度生成第二角度序列,将第二角度序列中的骤变点对应的像素点当作第二骤变像素点,在第二骤变像素点与在模型标记缺陷区域的轮廓中在确定切线角度的方向的反方向上对应的相邻像素点之间标记出第二划分界限;
基于确定出的所有第一划分界限对人工标记缺陷区域的轮廓进行划分,获得多个第一曲线段,同时,基于确定出的所有第二划分界限对模型标记缺陷区域的轮廓进行划分,获得多个第二曲线段;
基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段和模型标记缺陷区域中的所有第二曲线段,计算出模型测试准确率。
2.根据权利要求1所述的一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,S2:基于海量热轧带钢表面缺陷图片数据,构建出热轧带钢表面缺陷图片数据集,并将热轧带钢表面缺陷图片数据集划分为训练集和测试集,包括:基于人工标记指令,标记出每个热轧带钢表面缺陷图片数据中的人工标记缺陷区域;
将标记后的所有热轧带钢表面缺陷图片数据汇总获得热轧带钢表面缺陷图片数据集;
基于预设比例将热轧带钢表面缺陷图片数据集划分为训练集和测试集。
3.根据权利要求1所述的一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,步骤S3构建出的YOLOv5s网络模型,包括:Input、Back bone、颈部网络Neck、头部Prediction;
其中,Input包括Mosaic数据增强、自适应锚框计算、自适应图片缩放;
Backbone包括Focus模块、SPP模块和C3模块;
颈部网络Neck包括FPN模块、PAN模块、C3模块;
所述头部包括Bounding box损失函数和NMS。
4.根据权利要求1所述的一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,S4:将YOLOv5s网络模型的主干网络卷积模块修改为RepVGG Block模块,包括:S41:训练多分支模型:在训练时,为每一个3×3卷积层添加平行的1×1卷积分支与恒等映射分支;
S42:将多分支模型等价转换为单路模型:将1×1卷积看成卷积核中有很多0的3×3卷积,恒等映射是一个特殊1×1卷积;根据卷积的可加性原理,每个RepVGG Block模块三个分支则可以合并为一个3×3卷积;
S43:结构参数重构:通过实际数据流,将多分支网络的权值转移到简单网络中。
5.根据权利要求1所述的一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,S5:将YOLOv5s网络模型的上采样方式改为CARAFE上采样方式,包括:S51:特征图通道压缩:用1×1卷积将形状为C×H×W的输入特征图的通道数压缩到Cm,其中,C、H、W分别表示通道数、高度和宽度;
S52:内容编码及上采样核预测:利用kencoder×kencoder的卷积层预测上采样核,将步骤S51压缩后的输入特征图的通道维在空间维展开,得到形状为 的上采样核,其中,上采样倍率为σ,上采样的卷积核为kup×kup,输入通道数为Cm,输出通道数为S53:上采样核归一化:利用softmax对步骤S52得到的上采样核kup×kup的每个通道进行归一化,使得所有通道的权重和为1,获得输出特征图;
S54:将输出特征图中的每个位置映射回输入特征图,获得映射后的特征图,并将位于映射后的特征图的中心位置的kup×kup的区域与预测出的该点的上采样核作点积,获得输出值,其中,相同位置的不同通道共享同一个上采样核。
6.根据权利要求1所述的一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,优化后的损失函数,包括:式中,LIoU为优化后的损失函数输出的损失值,IoU为两个重叠矩形框之间的交并比,gt为目标框与外接框中心点距离的惩罚项,b为目标框的中心点的坐标表示,b 为外接
2 gt
框的中心点的坐标表示,ρ (b,b )为目标框与外接框的中心点的欧式距离,c为外接框的对gt角线长度, 为目标框与外接框的宽距离的惩罚项,w为目标框的宽的坐标表示,w
2 gt
为外接框的宽的坐标表示,ρ (w,w )为目标框与外接框的宽线段之间的欧式距离,cw为外接框的宽度, 为目标框与外接框的高距离的惩罚项,h为目标框的高的坐标表示,gt 2 gth 为外接框的高的坐标表示,ρ (h,h )为目标框与外接框的高线段之间的欧氏距离,ch为外接框的高度。
7.根据权利要求1所述的一种基于深度学习的热轧带钢表面缺陷检测方法,其特征在于,基于测试集中每个热轧带钢表面缺陷图片数据的人工标记缺陷区域中的所有第一曲线段的第一面积和第一近似曲率以及模型标记缺陷区域中的所有第二曲线段的第二面积和第二近似曲率,计算出模型测试准确率,包括:基于人工标记缺陷区域中所有第一曲线段之间的相对位置和对应的模型标记缺陷区域中所有第二曲线段之间的相对位置,将人工标记缺陷区域中的所有第一曲线段与对应的模型标记缺陷区域中的所有第二曲线段进行一一对应,获得曲线段对应结果;
基于热轧带钢表面缺陷图片数据的曲线段对应结果、所有第一曲线段的第一面积和第一近似曲率以及所有第二曲线段的第二面积和第二近似曲率,计算出对应热轧带钢表面缺陷图片数据的模型识别准确率;
将测试集中所有热轧带钢表面缺陷图片数据的模型识别准确率的平均值当作模型测试准确率。