利索能及
我要发布
收藏
专利号: 2024112528356
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于工业场景的半监督语义分割缺陷检测方法,其特征在于,包括如下操作:

S1、利用若干个带有缺陷标签的图像,对语义分割模型进行训练,当语义分割模型的交叉熵损失值不大于交叉熵损失阈值,且对应缺陷学习得分不小于得分阈值时,得到训练语义分割模型;

所述语义分割模型的处理操作为:输入图像经卷积神经网络处理,得到分辨率增强特征图;将分辨率增强特征图的浅层特征图和中层特征图,经通道融合处理和卷积处理,得到通道特征图;将所述通道特征图与分辨率增强特征图的空间特征聚合图进行特征融合处理,得到语义分割图,用于获取交叉熵损失值或/和缺陷学习得分;

所述浅层特征图和中层特征图分别为第一比例尺寸和第二比例尺寸的分辨率增强特征图;所述第一比例尺寸大于第二比例尺寸;

训练过程中,缺陷学习得分的获取方法具体为:获取带有缺陷标签的图像中所有像素值的预测值和对应的分割标签值;将所有像素值的分割标签值中,数量最多的分割标签值对应缺陷种类,作为的得分缺陷类别;将预测值大于预设得分阈值,且分割标签值为得分缺陷类别的所有像素点的总和值,作为初始缺陷得分;初始缺陷得分经归一化处理后与预设得分阈值的乘积,作为缺陷学习得分;所有带有缺陷标签的图像的初始缺陷学习得分均值为语义分割模型的初始缺陷学习得分;

S2、待检测图像分别经图像层面增强处理和特征层面增强处理,得到待检测图像层面增强图和待检测特征层面增强图;所述待检测图像层面增强图和待检测特征层面增强图分别经训练语义分割模型处理,实时获取图像层面伪标签预测图和特征层面伪标签预测图;

利用特征层面伪标签预测图对应的分割图标签值,对图像层面伪标签预测图进行约束处理,获取第一约束值;利用图像层面伪标签预测图对应的分割图标签值,对特征层面伪标签预测图进行约束处理,获取第二约束值;基于所述第一约束值和第二约束值,获取双向约束总值;将第一约束值对应的缺陷学习得分与第二约束值对应的缺陷学习得分的和,作为约束缺陷得分;

第一约束值对应的缺陷学习得分和第二约束值对应的缺陷学习得分的获取方法,与对语义分割模型进行训练时的缺陷学习得分的相似;输入为待检测图像层面增强图或待检测特征层面增强图;在对初始缺陷得分进行归一化处理的操作中,第一约束值对应的归一化缺陷学习得分和第二约束值对应的归一化缺陷学习得分,是基于历史初始缺陷学习得分最大值和历史初始缺陷学习得分最小值得到的;

当所述双向约束总值不大于约束阈值,且约束缺陷得分不小于约束得分阈值时,输出当前的图像层面伪标签预测图或特征层面伪标签预测图,作为缺陷检测结果。

2.根据权利要求1所述的基于工业场景的半监督语义分割缺陷检测方法,其特征在于,所述S2中,

所述第一约束值为:所述特征层面伪标签预测图中所有像素点预测值,与图像层面伪标签预测图中各自相应位置处像素点分割图标签值的平滑交叉熵损失值的均值,和特征层面伪标签预测图的尺寸大小的比值;

在图像层面伪标签预测图中,当前像素点的分割图标签值,是基于当前像素点的预测值与预测阈值之间的大小对比关系得到的。

3.根据权利要求1所述的基于工业场景的半监督语义分割缺陷检测方法,其特征在于,所述S1中,通道融合处理的操作具体为:所述浅层特征图经膨胀卷积和特征通道处理,得到第一通道特征图;所述中层特征图经特征通道处理,得到第二通道特征图;所述第二通道特征图与第一通道特征图经拼接处理,得到通道拼接图,用于执行所述卷积的操作;

所述特征通道处理的操作具体为:输入依次经全局平均池化、一维卷积和激活函数处理后,与输入进行加权处理,得到输出,作为第一通道特征图或第二通道特征图。

4.根据权利要求1所述的基于工业场景的半监督语义分割缺陷检测方法,其特征在于,所述S1中,分辨率增强特征图的空间特征聚合图的获取方法具体为:所述分辨率增强特征图经空洞卷积、通道注意力处理、空间注意力处理、卷积和上采样处理,得到所述空间特征聚合图;

所述空洞卷积的操作具体为:所述分辨率增强特征图分别经若干个卷积处理和池化处理后,进行拼接,得到空洞卷积图,用于执行所述通道注意力处理的操作;

在所述通道注意力处理中,是基于全连接实现特征映射;

在所述空间注意力处理中,是基于空洞卷积实现空间特征聚合。

5.根据权利要求1所述的基于工业场景的半监督语义分割缺陷检测方法,其特征在于,所述S2中,图像层面增强处理的操作具体为:获取待检测图像的复杂度值,判断所述复杂度值是否超过复杂阈值;

若不超过,对所述待检测图像进行强扰动处理,得到强扰动图像,作为所述待检测图像层面增强图;所述强扰动处理可通过注入噪声,或/和随机图像擦除实现;

若超过,对所述待检测图像进行弱扰动处理,得到弱扰动图像,作为所述待检测图像层面增强图;所述弱扰动处理可通过随机选择旋转、或/和平移、或/和错切、或/和翻转、或/和裁剪实现。

6.根据权利要求5所述的基于工业场景的半监督语义分割缺陷检测方法,其特征在于,所述待检测图像的复杂度值是基于待检测图像的形状信息、或/和颜色信息、或/和纹理信息或/和对比度信息得到的。

7.一种基于工业场景的半监督语义分割缺陷检测系统,用于实现权利要求1所述的基于工业场景的半监督语义分割缺陷检测方法,其特征在于,包括:训练语义分割模型生成模块,用于利用若干个带有缺陷标签的图像,对语义分割模型进行训练,当语义分割模型的交叉熵损失值不大于交叉熵损失阈值,且对应缺陷学习得分不小于得分阈值时,得到训练语义分割模型;所述语义分割模型的处理操作为:输入图像经卷积神经网络处理,得到分辨率增强特征图;将分辨率增强特征图的浅层特征图和中层特征图,经通道融合处理和卷积处理,得到通道特征图;将所述通道特征图与分辨率增强特征图的空间特征聚合图进行特征融合处理,得到语义分割图,用于获取交叉熵损失值或/和缺陷学习得分;所述浅层特征图和中层特征图分别为第一比例尺寸和第二比例尺寸的分辨率增强特征图;所述第一比例尺寸大于第二比例尺寸;

缺陷检测结果生成模块,用于待检测图像分别经图像层面增强处理和特征层面增强处理,得到待检测图像层面增强图和待检测特征层面增强图;所述待检测图像层面增强图和待检测特征层面增强图分别经训练语义分割模型处理,实时获取图像层面伪标签预测图和特征层面伪标签预测图;利用特征层面伪标签预测图对应的分割图标签值,对图像层面伪标签预测图进行约束处理,获取第一约束值;利用图像层面伪标签预测图对应的分割图标签值,对特征层面伪标签预测图进行约束处理,获取第二约束值;基于所述第一约束值和第二约束值,获取双向约束总值;将第一约束值对应的缺陷学习得分与第二约束值对应的缺陷学习得分的和,作为约束缺陷得分;当所述双向约束总值不大于约束阈值,且约束缺陷得分不小于约束得分阈值时,输出当前的图像层面伪标签预测图或特征层面伪标签预测图,作为缺陷检测结果。

8.一种基于工业场景的半监督语义分割缺陷检测设备,其特征在于,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1‑6任一项所述的基于工业场景的半监督语义分割缺陷检测方法。

9.一种计算机可读存储介质,其特征在于,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1‑6中任一项所述的基于工业场景的半监督语义分割缺陷检测方法。