利索能及
我要发布
收藏
专利号: 2023108695807
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于半监督学习的钢板表面缺陷检测方法,其特征在于:包括以下步骤:S1、对缺陷图像采集,构建缺陷图像数据库;

S2、对缺陷图像数据库进行数据划分,划为标记数据集和未标记数据集;

S2中,所述标记数据集包含所有类别缺陷且各类缺陷数据数量相同,所述标记数据集和未标记数据集的比例为1∶5;

所述缺陷图像数据集包括:裂纹、斑块、氧化铁皮压入、麻点、夹杂、划痕;

具体为:从1800张缺陷图片中取出1/6共300划分为标记数据集,并将训练图片用labelImg软件对图像中的各类缺陷进行标注,生成.txt文件,txt文件中包含labelImg手动标注的缺陷真实框的对应坐标值信息,以及每个框对应的缺陷标签信息;

S3、将标记数据集划分为训练集和验证集,并对训练集进行数据增强处理;

S4、建立改进后的yolov5网络模型ECS‑yolov5;

所述改进后的yolov5网络模型结构包括Backbone、Neck和Head;

S4具体包括以下步骤:

S4.1在Backbone中,在C3模块中增加注意力层ECA模块,即用新形成的C3ECA模块替换原有的C3模块;

S4.2在Neck中,引入了轻量级上采样算子CARAFE模块替换上采样模块中的nearest双线性上采样算子;

S4.3将yolov5模型的回归损失函数由CIoU替换为SIoU;SIoU损失函数包含四个部分:角度损失∧、距离损失Δ、形状损失Ω、IOU损失,IOU损失即交并比损失,用公式表示为:SIoU损失函数公式如下:

其中,上采样算子CARAFE模块CARAFE分为两个主要模块,分别是上采样核预测模块和特征重组模块;上采样的倍率为σ,给定一个形状为H×W×C的输入特征图,首先利用上采样核预测模块预测上采样核,然后利用特征重组模块完成上采样,得到形状为σH×σW×C的输出特征图;

Head模块有两个分支,由ESE Block与卷积层组成,这两个分支分别完成目标分类和位置回归的功能,yolov5模型中的Neck输出P3、P4、P5三个特征图,则有3个预测分支,每个特征图输入Head;Head中包含3个检测层,分别对应Neck中得到的3种不同尺寸的特征图;

YOLOv5根据特征图的尺寸在这3种特征图上划分网格,并且给每种特征图上的每个网格都预设了3个不同宽高比的anchor,用来预测和回归目标;Head中分别尺寸不同的目标,并使用SIoU Loss代替CIou Loss作为yolov5s模型的回归损失函数;

S5、用ECS‑yolov5作为半监督的检测模型;

S5中,具体包括以下步骤:

S5.1模型的初始化阶段,用ECS‑yolov5训练标记数据集,为之后教师模型产生有效的伪标签;

在训练阶段,使用已有标记的图片送入ESC‑yolov5进行训练,此时的权重文件为yolov5s.pt,得到项目的权重文件best.pt;

S5.2师生相互学习阶段,利用ECS‑yolov5作为半监督的检测框架中的教师模型和学生模型,教师模型生成培训学生模型的伪标签,学生模型通过EMA逐步更新教师模型的参数,用总损失更新学生模型参数,并比较学生模型结果,选取最好的学生模型作为最终检测的目标模型;

S5.2具体包括以下步骤:

S5.2.1学生模型训练;

将标记数据和未标记数据进强增强,并对增强后的数据送入学生模型训练;

S5.2.2教师模型训练;

将未标记数据进行弱增强并送入教师模型进行推理,设置阈值生成的伪标签,设置阈值方法为动态阈值法,动态阈值法即先设置一个初始阈值后面根据事实情况进行调整;动态阈值法可以根据实际情况动态地调整检测门限,以保证检测结果的准确性和可靠性;

S5.2.3在师生模型中引入一种伪标签平衡策略;引入伪标签平衡策略平衡生成各个种类中伪标签的数目,再将伪标签与已标记数据混合,扩充标记数据集;

S5.2.4计算优化损失;

学生模型训练此步骤主要是利用有标记图片与无标记图片共同更新学生模型,有标记图片通过学生模型训练得到预测值并与真实标签比较计算分类损失与边界框回归损失,这部分损失可以看作是有监督的损失 对于未标记的损失,定义为 学生模型的优化损失可以定义为:为有监督损失, 为无监督损失,λ是平衡监督损失和无监督损失的系数;

监督损失 包含分类损失 边界框回归损失 和置信度损失 则监督损失 被定义为:

其中分类损失 与置信度损失 是交叉熵损失,它们的计算公式为:

其中,xl表示标记样本,ycls与yloc表示其标签,NL表示标记样本数量;交叉熵损失的公式为:其中,x表示样本,y标签,a表示预测的输出,n表示样本总量;

在边界框回归方面,使用SIOU loss来进行边界盒回归:对于未标记的数据,我们定义未标记样本损失为

其中, 是教师模型生成的伪标签;

S5.2.5学生模型更新;

利用有标记样本与无标记样本共同更新学生模型,有标记样本通过学生模型得到预测值,并与真实标签计算分类损失;无标记样本则是先通过教师模型得到伪标签,学生模型通过使用教师模型生成的伪标签进行优化,计算学生模型预测值与教师模型的伪标签的差距做为一致性损失;学生模型的更新如下式所示:其中,γ为学习率,θs为学生模型的参数;

S5.2.6教师模型更新;

学生模型参数通过EMA来逐步更新教师模型参数,教师模型参数的更新可以看作是学生模型在每次迭代更新参数后对教师模型进行的微调,从而实现教师模型能在每个epoch中的每个step进行模型参数的更新:θt←αθt+(1‑α)θs

θt为教师模型参数,θs为学生模型参数,α是确定参数传输速度的超参数,通常接近于1;

S5.2.7重复上述步骤,并用测试数据对于学生模型进行测试,选取最好测试结果所对应的学生模型作为最终的检测模型;

S6、视频采集模块采集实时视频并对其处理,并应用半监督的检测模型,实现实时缺陷检测;

S7、缺陷数据储存模块将检测到的缺陷数据进行存储,并定期使用新的缺陷数据更新半监督的检测模型参数。

2.一种基于半监督学习的钢板表面缺陷检测系统,其特征在于:应用如权利要求1所述的基于半监督学习的钢板表面缺陷检测方法,包括视频采集模块、图像检测与标记模块和缺陷数据存储模块:所述视频采集模块为摄像装置,在钢板传送装置横向一侧的上方和下方分别固定设置摄像装置获取钢板表面的实时图像,并将图片实时传送到服务器;

所述图像检测与标记模块中存储半监督的检测模型,对视频采集模块采集到的钢板表面图像进行实时检测,得到缺陷信息以及与缺陷图像,其中缺陷信息包括缺陷分类、缺陷坐标以及缺陷数量。