1.一种基于改进YOLOV5的深度学习晶圆焊点检测方法,其特征在于,包括如下步骤:
1)制作晶圆焊点数据集:采集晶圆焊点图像,对采集的晶圆焊点图像进行预处理,然后对数据集进行标注,对需要对准的焊点和不需要对准的焊点采用矩形标注即将需要对准的焊点命名为Rig孔、不需要对准的焊点命名为Wro孔,最后制作出包含1464张晶圆焊点图像的晶圆焊点数据集,并以9:1的比例将数据集分为训练集和验证集;
2)构造注意力机制模块CCANET:包括:
2.1)首先采用一个由1*1卷积、Bathnorm模块和Sigmoid函数组成的过滤器模块,得到特征图X;
2.2)然后采用一个三支路结构:
2.2.1)第一支路特征图X连接颜色注意力机制模块,输出特征图X1如公式(1)所示:X1=X*(σ(MLP(Resize(AvgPool(X)))+σ(MLP(Resize(AvgPool7(X)))+σ(MLP(Resize(MaxPool(X)))) (1),其中MLP为多层感知机,Resize为特征图尺寸优化,AvgPool为特征图尺寸1*1的全局平均池化,AvgPool7为特征图尺寸7*7的全局平均池化,MaxPool为特征图尺寸1*1的全局最大池化,σ为Sigmoid激活函数;
2.2.2)第二支路特征图X与第一支路的输出特征图X1进行通道相加,输出特征图X2,如公式(2)所示:
2.2.3)将步骤2.2.2)输出的特征图X2输入位置注意力机制模块,输出特征图X3,如公式(3)所示:X3=Ms(X2) (3),
其中Ms为位置注意力机制的操作;
2.2.4)第三支路特征图X与特征图X3相乘得到特征图X4,如公式(4)所示:
2.3)最后输出特征图X4,完成注意力机制模块CCANET;
3)构造融入注意力机制的YOLOV5网络:包括:
3.1)引入注意力机制,原始YOLOV5网络由特征提取层、骨干层和检测层三部分构成,对原始网络的特征提取层和骨干层进行优化:首先在YOLOV5网络中的特征提取层中的第一、第二、第三个C3模块和SPP模块后面,分别加入一个步骤2)构建的CCANET模块,然后,将每个CCANET模块输出的特征图与原始YOLOV5网络的骨干层输出的特征图进行通道相加,得到一个新的特征提取层;
3.2)将每个CCANET模块的输出通道数进行自适应的缩放,通道数自适应缩放比例σ为
1/2,通道数缩放表达式如公式(5)所示:
XC=Y*σ (5),
其中,XC为输出通道数,Y为输入通道数;
4)引入Ghost模块:对步骤3)构成的融入注意力机制的YOLOV5网络进行进一步的优化,引入Ghost模块:将网络骨干层中的三个特征图拼接模块Concat后面的第一个基础卷积模块Conv替换为Ghost模块,得到最终的改进YOLOV5卷积神经网络;
5)训练改进YOLOV5网络:首先,采用步骤4)获得的改进YOLOV5网络训练步骤1)所制作的晶圆焊点数据集,得到晶圆焊点检测网络,然后,将待测试的晶圆焊点图片或晶圆焊点视频输入到晶圆焊点检测网络中,得到晶圆焊点的位置与数量,然后对晶圆焊点检测网络的精度、网络模型参数进行评价。
2.根据权利要求1所述的基于改进YOLOV5的深度学习晶圆焊点检测方法,其特征在于,步骤1)中所述的预处理为图像裁剪和图像增强,其中,图像裁剪将6112*3440的原始图片裁剪为2030*1500的只包含晶圆焊点的图片,同时将小目标的晶圆焊点扩充为中目标;
图像增强是对不同光照强度下的晶圆焊点图片进行图像增强即将亮度较暗的焊点图片进行亮度增强。
3.根据权利要求1所述的基于改进YOLOV5的深度学习晶圆焊点检测方法,其特征在于,步骤2.2.1)中所述的颜色注意力机制模块包括如下过程:
2.2.1.1):将训练集图片以RGB三通道的形式输入网络,针对晶圆焊点目标颜色差异明显的特殊性,采用对通道特征信息的加强,从而加强颜色特征信息,将网络注意力更集中到颜色特征;
2.2.1.2):首先,采用1*1全局平均池化、7*7全局平均池化和1*1全局最大池化三种尺度的池化方式,将特征图从不同结构来提取通道特征,然后将三种池化后的特征图采用Resize模块对不同结构的通道特征进行归一化、保持特征图尺寸在同一尺度,其中Resize模块采用自适应缩放特征图尺寸,缩放后的尺寸为1*1;最后将三种缩放后的特征图分别输入由多层感知机组成的共享网络、相加后输出特征向量。
4.根据权利要求1所述的基于改进YOLOV5的深度学习晶圆焊点检测方法,其特征在于,步骤3)中所述的分别加入一个步骤2)构建的CCANET模块的同时将每个模块的输出通道数自适应的缩放为输入通道数的一半。
5.根据权利要求1所述的基于改进YOLOV5的深度学习晶圆焊点检测方法,其特征在于,步骤2)中所述的颜色注意力模块嵌入到位置注意力模块中。