1.基于AYOLOv3‑Tiny新框架的PAD导光板缺陷可视化检测方法,其特征在于:
在手机导光板生产线末端,采用高分辨率线扫相机采集获得导光板图像,然后截取成一组分辨率为416×416的小图像,输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型,输出获得带有缺陷标记及置信度的导光板图像,将结果输出并存储在上位机中;
所述PAD导光板缺陷检测模型基于YOLOv3‑Tiny网络构建,包括主干网络层和检测层,主干网络层包括7层网络结构,依次为:第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4‑7层均为最大池化层+卷积层,第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入;检测层包括第8层的卷积层、第一预测通道和第二预测通道,主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道,第一预测通道依次包括第9‑11层,13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层;第二预测通道依次包括第12‑16层,第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图,再依次通过第15层的卷积层和第16层的第二预测头层;最终输出具有缺陷标记和置信度的导光板图像;
所述OSM模块:
包括一个大小为2、步长为1的重叠池化层、一个3*3的卷积模块和一个空间注意力模块,将重叠池化后的特征图经过空间注意力模块,并与卷积模块输出进行element‑wise乘法,空间注意力模块连接重叠池化层的输出和卷积模块的输出;
OSM模块的计算过程如下:
其中,F为重叠池化后的特征图, P为OSM模块的输入, 表示对P进行大小
为2,步长为1的重叠池化,B为批归一化,L为LeakyRelu激活函数, 表示element‑wise乘法,M(F)为空间注意力;
3′3
其中, 和 表示在通道维度上进行平均池化和最大池化,f 表示3×3的卷积;σ表示sigmoid激活函数;
OSM模块的输出为:
其中,F为重叠池化后的特征图即卷积层(conv layer)的输入,B为批归一化(Batch Normalization),L为LeakyRelu激活函数, 表示element‑wise乘法;
OSM模块可以将浅层语义特征向后传播,更加有利于网络对缺陷特征的提取,提高了检测的准确率;
所述DCM模块:
包括一个膨胀率为2的膨胀卷积和一个1*1的卷积层,并且通过shortcut直接连接DCM模块的输入和输出,膨胀卷积后执行批归一化操作和激活函数;
所述主干网络层中第7层最大池化层大小为2,步长为1,其余最大池化层大小和步长均为2;所述主干网络层和检测层中的卷积层均包含一次卷积操作、批归一化BN以及激活函数;
所述具有在线生成能力的PAD导光板缺陷检测模型的获取过程为:
1)、采集在线生产的1300幅导光板图像,然后截取了2104幅包含点、线、面三类缺陷的小图像,每幅小图像分辨率为416×416,对每个小图像进行数据增强的处理,包括对原图像进行50%概率的镜像,以及对亮度进行120%~150%的增强,获得包含缺陷的图像共计
3680幅;然后针对数据增强后的图像中的每个缺陷类型,按照6:2:2的比例将预处理后的图像划分训练集、验证集及测试集;
2)、第一预测头层选取(62,35)、(138,111)、(414,205)三组先验框;第二预测头层选取(31,28)、(35,35)、(47,58)三组先验框;建立损失函数如下:Loss=ωboxLbox+ωobjLobj+ωclsLcls
其中,ωbox、ωobj和ωcls分别选取3.54、64.3和37.4,Lbox为坐标预测误差,Lobj为置信度误差,Lcls为分类误差;
3)、训练总轮数为200,训练中的batch size取8;优化器采用SGD优化器,初始学习率和最终学习率为0.01和0.0001,学习率更新策略采用lamda函数λ(x);动量为0.9,权重衰减为
0.0005,非极大抑制NMS方法采用merge法,数据增强采用Mosaic方法,
将训练集输入PAD导光板缺陷检测模型,在每轮训练结束时,使用验证集对当前轮次的PAD导光板缺陷检测模型进行检测,以mAP作为当前模型的检测精度,共计训练200轮,取精度最高的模型作为具有在线生成能力的PAD导光板缺陷检测模型。
2.根据权利要求1所述的基于AYOLOv3‑Tiny新框架的PAD导光板缺陷可视化检测方法,其特征在于,所述坐标预测误差Lbox为:2
其中,S 指网格的数量(S×S),B指每个网格的边界框数量; 指在第i个网格的第j个边界框内是否有目标,若有,则为1,否则为0;GIoU被用来衡量坐标误差的大小:其中,Ac指同时包含预测和真实边界框的最小区域面积,U指预测和真实边界框的相交区域面积,IoU指预测和真实边界框的交并比;
所述置信度误差Lobj为:
其中,λnoobj指当没有目标时的惩罚系数,λnoobj=0.5;Ci指第i个网格的真实框的置信度; 指第i个网格的预测框的置信度; 指在第i个网格的第j个边界框内是否有目标,若没有,则为1,否则为0;
所述分类误差Lcls为:
其中,pi(c)指在第i个网格的真实框内包含c类缺陷的条件概率, 指在第i个网格的预测框内包含c类缺陷的条件概率,置信度误差和分类误差均采用二类交叉熵损失函数定义如下:
3.根据权利要求1或2所述的基于AYOLOv3‑Tiny新框架的PAD导光板缺陷可视化检测方法,其特征在于,建立PAD导光板缺陷检测模型
PAD导光板缺陷检测模型(AYOLOv3‑Tiny)包括主干网络层和检测层,主干网络层包括7层网络结构,依次为:第一层为卷积层(Convolutional)、第二层和第三层均为最大池化层(Maxpool)+OSM模块、第四、五、六和七层均为最大池化层(Maxpool)+卷积层(Convolutional);主干网络层的输入为416*416的图像,第五层输出的26×26特征图和第七层输出的13×13特征图作为主干网络层的两种不同尺度的特征图的输出,并作为检测层的输入,主干网络层中第七层最大池化层(Maxpool)大小为2,步长为1,其余最大池化层(Maxpool)大小和步长均为2;
检测层包括第八层至第十六层并分为第一预测通道和第二预测通道,主干网络层的第七层输出的13×13特征图经过第八层卷积层(Convolutional)后分别进入第一预测通道和第二预测通道,第一预测通道依次包括第九层DCM模块、第十层卷积层(Convolutional)和第十一层第一预测头层(Pred_head1),第二预测通道依次包括第十二层卷积层(Convolutional)、第十三层上采样层(Upsampling)、第十四层route层、第十五层卷积层(Convolutional)和第十六层第二预测头层(Pred_head2);检测模型中的主干网络层和检测层中的卷积层(Convolutional)均包含一次卷积操作、批归一化BN以及激活函数;
在检测层的第二预测通道中,通过第十二层卷积层输出的13×13特征图与主干网络层中的第五层输出的26×26特征图在第十三层上采样层进行concatenate连接,然后输出26×26的特征图,再通过第十五层卷积层(Convolutional)进入第十六层第二预测头层(Pred_head2);而在检测层的第一预测通道中,13×13特征图通过第九层DCM模块,然后通过第十层卷积层(Convolutional)进入第十一层第一预测头层(Pred_head1),两个预测头分别在两个尺度上预测缺陷的位置以及类别,第一预测头层(Pred_head1)主要预测大目标,所述大目标为面缺陷以及比较长的线缺陷,第二预测头层(Pred_head2)主要预测小目标,所述小目标为点缺陷以及较细较短的线缺陷;最终PAD导光板缺陷检测模型(AYOLOv3‑Tiny)输出标记好缺陷的导光板图像,图像上包含了缺陷的类别以及位置信息,其中类别附有置信度,位置信息由一个矩形边框将缺陷的位置标记出来。