利索能及
我要发布
收藏
专利号: 2019112172266
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进YOLOv3模型的实时钢管缺陷检测方法,其特征在于,所述方法包括以下步骤:(1)搭建稳定的封闭图像采集环境,采集不同角度的图像;

(2)提取图像中钢管位置信息,分离钢管图像;

(3)拼接钢管各角度图像,手动标注所需特征;

(4)利用尺度聚类思想改进YOLOv3网络,用拼接后的图像训练神经网络;

(5)将训练完毕的神经网络做检验,并标注出现缺陷位置。

2.如权利要求1所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法,其特征在于,所述步骤(1)中,结合实际工业条件,用4台工业相机CDD成像搭建图像采集环境,即在一个封闭的环境中,将工业相机的曝光度与白平衡等参数调整到稳定、合适的值,并保证4台工业相机处于同一个竖直平面内,4台相机要能围成一个矩形,意图能呈现出360°的成像效果;完成以上布置后,分别从4个角度采集一根钢管的具体信息。

3.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法,其特征在于,所述步骤(2)中,通过图像分割技术与直线拟合相结合的方式提取钢管位置信息,并利用仿射变换调整钢管图像形状,过程如下:

2.1)图像分割、直线检测方法确定钢管位置信息

a.分割图像确定图像分类信息

利用基于大尺度核函数的全卷积神经网络(GNC)实现钢管图像的语义分割,提取图像的类别信息,并将钢管类别图像记为研究区域,将研究区域与背景用二值数据区分,同类图像使用相同数值标记;

b.直线检测确定图像定位信息

利用图像分割技术将原图转化为区分前景、背景的二值图像,利用合适阈值的Canny算子提取前景边缘,利用直线拟合提取最合适的边缘线,其中最小二乘法为量化直线合适度的依据,最终由直线确定研究区域的位置信息,即钢管图像4个顶点的坐标;

2.2)仿射变换调整钢管图像大小

步骤a.b.得到研究区域的4个顶点坐标后,4个点围成的四边形不一定是矩形,这是由于拍照方向与钢管方向不平行所造成的,将研究区域变换为标准矩形:利用仿射变换,将二维图像中点的坐标进行调整,仿射变换将调整研究区域内所有像素点的坐标,最终得到矩阵的研究区域。

4.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法,其特征在于,所述步骤(3)中,实现图像在输入网络前的预处理工作:图像拼接、图像标注、图像尺寸调整,过程如下:a.图像拼接,利用拼接方式处理图像,将步骤(1)中4个方向的图像按顺序拼接,得拼接图像;

b.调整大小,将拼接图像通过裁切、填补等方式调整为标准的正方形,且长度为32的倍数,便于作为YOLOv3神经网络的输入;

c.图像标注,在拼接后的图像上标注出钢管缺陷,并记录缺陷的长宽信息,便于进行尺度聚类。

5.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法,其特征在于,所述步骤(4)中,首先利用聚类思想改进YOLOv3网络的输入模块,然后用标注图像训练钢管缺陷检测模型,过程如下:a.尺度聚类,对YOLOv3网络做出一定改进:训练网络前,由k-means聚类分析,将缺陷样本按长度、宽度两个维度聚得若干类,并挑选同一类内的样本作为该类的代表尺度,所有类的代表尺度是确定YOLOv3神经网络输入尺度的依据;

b.初始化训练参数设置,步骤(3)中通过拼接方式、调整大小等方式得到尺寸为32的倍数的RGB三通道图像,该类图像将作为YOLOv3神经网络的输入,同时,利用k-means尺度聚类方式,为YOLOv3神经网络挑选适合工业环境的3个有代表性的尺度;同时,YOLOv3神经网络需要设置初始学习率η,初始迭代次数,批处理数据量batch_size超参数;最后,网络参数迭代时使用随机梯度下降法,因此还要设置动量参数momentum与权重衰减率参数r超参数;

c.确定YOLOv3网络结构,通过借鉴可视化工具Netron分析网络层:YOLOv3的主体网络层包含252层,表1为YOLOv3主体网络结构;

Type Number

Add 23

BatchNormalization 72

Cincatenate 2

Conv2D 75

InputLayer 1

LeakyReLU 72

UpSamping2D 2

ZeroPadding2D 5

Total 252

表1

另外,由于网络不包含池化层与全连接层,YOLOv3网络通过改变卷积核步长实现张量尺寸变化,故网络对输入的对象的尺寸具有一定要求:尺寸大小必须为32的倍数;

d.图像标注,步骤(2)成功实现研究区域与背景的分离,希望训练完毕的神经网络具备检测缺陷的能力,故用矩形选框标记缺陷图像的位置信息的同时,整理出正负样本集,利用随机的方式抽选80%的数据作为训练集,20%的样本作为测试集;

e.模型训练,步骤b中给出了模型训练所需的参数,训练时借鉴BP神经网络误差反向传播的思想,利用随机梯度下降法更新各层参数,直到迭代次数达到上限,或网络参数的更新速率小于一定值结束网络训练。

6.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法,其特征在于,所述步骤(5)中,判断输入的图像是否存在缺陷,若存在,则标记出现缺陷的位置信息与检测得的缺陷类别。