利索能及
我要发布
收藏
专利号: 2022108114753
申请人: 南通透灵信息科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,包括:

对含有缺陷的所有PCB图像进行灰度化处理,并进行人工标注,标注出每个PCB图像上所有缺陷的包围框和缺陷类型;

对于每个PCB图像上每个缺陷的包围框,根据所述包围框内的所有像素和所述PCB图像上不同区域内的所有像素获得每个PCB图像上每个缺陷的关注热度图;

对每个PCB图像上所有缺陷的关注热度图求均值获得每个PCB图像的综合关注热度图;

利用每个PCB图像的综合关注热度图构建第一损失函数,利用所述第一损失函数以及所述PCB图像训练一个自编码网络,得到每个PCB图像的缺陷特征图;

构建一个待训练缺陷定位识别神经网络,将每个PCB图像输入所述缺陷定位识别神经网络,并获得所述缺陷定位识别神经网络指定卷积层输出的每个PCB图像对应的目标特征图,然后利用每个PCB图像对应的目标特征图和每个PCB图像的缺陷特征图构建第二损失函数,最后以所有PCB图像为数据集,利用第二损失函数训练所述的待训练缺陷定位识别神经网络;

将训练完成的缺陷定位识别神经网络运行在缺陷电子识别装置上,缺陷电子识别装置采集实际生产环境中的待检测PCB图像,将待检测PCB图像输入训练完成的缺陷定位识别网络中,并输出检测结果,根据检测结果自动分拣出存在缺陷的PCB板。

2.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,所述每个PCB图像上每个缺陷的关注热度图是按照如下方式得到:对于每个PCB图像上的每个缺陷,获取所述缺陷的包围框,获取所述包围框内的所有像素构成的第一子图像;

以所述PCB图像上每个像素点为中心,获取与所述包围框大小相等的窗口区域,将所述窗口区域内所有像素构成子图像称为每个像素的第二子图像,计算所述第一子图像与每个像素的第二子图像的相似度,同理,将所述第一子图像与所有像素的第二子图像之间的相似度作为对应像素的灰度值,构建成一张单通道灰度图像,然后将所述的单通道灰度图像进行归一化处理,获得所述PCB图像上的所述缺陷的关注热度图。

3.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,所述第一子图像与每个像素的第二子图像的相似度是按照如下方式获取的:利用KM匹配算法将第一子图像与第二子图像中的像素进行一一匹配,获得所有匹配的像素对,使得所有像素对中像素之间的灰度值差异最小;

将每组像素对中像素之间的灰度差值的绝对值称为每个像素对的相似指标,计算所有像素对的相似指标的均值,将所述均值的倒数称为第一子图像与每个像素的第二子图像的相似度。

4.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,所述第一损失函数是按照如下方式获取的:获取综合关注热度图中每个像素点的灰度值;构建第一损失函数:

其中 为所述PCB图像中像素点的个数,为自编码网络输入的PCB图像中第 个像素点的灰度值; 为自编码网络输出图像中第 个像素点的灰度值; 为所述PCB图像的综合关注热度图中第 个像素点的灰度值。

5.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,所述待训练缺陷定位识别神经网络的网络结构与YOLOv3神经网络的网络结构一样,但是设置待训练缺陷定位识别神经网络的网络层数为YOLOv3网络层数的一半。

6.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,所述第二损失函数是按照如下方式获得的:其中 为所述缺陷定位识别神经网络指定卷积层输出的所述PCB图像对应的目标特征图;

为所述PCB图像的缺陷特征图; 为目标特征图与缺陷特征图之间差值的L2范数; 为YOLOv3神经网络的损失函数。

7.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法,其特征在于,所述缺陷电子识别装置包含但不限于:一个RGB相机、一个光源、一个嵌入式系统;所述的嵌入式系统能够读取RGB相机采集的图像数据,且嵌入式系统可运行缺陷定位识别神经网络。