1.基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法,其特征在于,包括如下步骤:
S01、采集导光板图像:利用16K线阵相机采集导光板图像并传到上位机处理;
S02、图像预处理:利用阈值分割技术获得导光板ROI的区域图像,然后,将导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像,其中相邻的小图像之间有1/10图像宽度的左右重叠;
S03、建立并训练一阶段目标检测网络,一阶段目标检测网络包括主干特征提取子网络、特征融合子网络、分类和回归子网络;
S04、缺陷检测:
将S02图像预处理后的H×W×1的小图像输入S03训练好的一阶段目标检测网络,使用特征提取子网络对H×W×1的小图像提取四个多尺度特征图,然后通过特征融合子网络的图像金字塔使用特征融合的方式获得四个有效的特征层,将这四个有效的特征层传输经过分类和回归子网络获得导光板缺陷的预测结果,并在上位机中显示预测结果;
所述主干特征提取子网络包括5个卷积层的批量残差网络ResNeXt50网络为基线网络,将基线ResNeXt50网络中卷积层Conv2、Conv3、Conv4和Conv5的每个ResNeXt_block中下半部分1X1卷积均用Ghost_Module替换;主干特征提取子网络的输入为S02获得的H×W×1的小图像,输出为卷积层Conv2、Conv3、Conv4和Conv5各自输出的多尺度特征图p1、p2、p3和p4;
所述特征融合子网络的输入为多尺度特征图p1、p2、p3和p4,首先经过1x1卷积模块进行通道调整变为p1_in、p2_in、p3_in、p4_in,然后通过特征金字塔使用特征融合的方式获得四个有效特征层P1_out、P2_out、P3_out、P4_out;
主干特征提取子网络输出多尺度特征图p1、多尺度特征图p2、多尺度特征图p3和多尺度特征图p4,分别采用1x1的卷积模块进行通道调整变为p1_in、p2_in、p3_in、p4_in,输入特征金字塔;p4_in上采样之后与p3_in进行堆叠得p3_td,p3_td继续进行上采样后与p2_in进行堆叠得到p2_td,p2_td也进行上采样后再与p1_in进行堆叠得到p1_tg,完成特征融合子网络IFPN的第一部分;
p1_tg进行下采样后与p2_td及p2_in三者进行堆叠得到p2_tg,在堆叠时引入了注意力机制;p2_tg进行一次下采样后与p3_td进行堆叠,得到p3_tg,p3_tg进行一次下采样之后与p4_in完成一次堆叠后得到P4_out;
P4_out上采样后与p3_tg进行堆叠得到P3_out,P3_out完成一次上采样之后与p2_tg进行堆叠得到P2_out,P2_out继续进行一步上采样后与p1_tg及p1_in进行带有注意力机制的堆叠得到P1_out;堆叠时采用特征层相加后进行3X3深度可分离卷积,并用1X1卷积进行通道调整;
所述分类和回归子网络包括四个class+box subnet结构,每个class+box subnet结构均包括class subnet和box subnet,class subnet包括4次256通道的卷积和1次num_priors xnum_classes的卷积,num_priors x num_classes的卷积预测该有效特征层上每一个网格点上每一个预测框对应的种类,num_priors指的是该有效特征层所拥有的先验框数量,num_classes指的是网络一共对多少类的目标进行检测;
box subnet包括4次256通道的卷积和1次num_priors x 4的卷积,4指的是先验框的调整情况,num_priors x 4的卷积预测该有效特征层上每一个网格点上每一个先验框的变化情况;将四个有效特征层P1_out、P2_out、P3_out、P4_out分别各自传输经过一个class+box subnets结构,最终,每个class+box subnet结构均输出一个预测结果:目标位置信息以及该有效特征层上每一个网格点上每一个预测框对应的种类。
2.根据权利要求1所述的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法,其特征在于:训练一阶段目标检测网络,包括:
S0301、建立训练数据集:采集导光板图像建立数据集,并对数据集中的图像手工标注,标注时使用矩形框将缺陷框选出来,并且输入对应的缺陷名称;然后使用背景替换、亮度变换方法对数据集图像进行数据增强后,按照7:2:1的比例划分为训练集、验证集和测试集;
S0302、建立损失函数Focal loss:
γ
Fl(pt)=‑αt(1‑pt) log(pt)
其中pt表示预测正确的概率,αt是权重,αt取0.25,γ表示可调聚焦参数,γ取2;
S0303、训练
‑5
优化器采用Adam优化器,学习率为1x10 ;将S0301建立的训练集图像输入到所述一阶段目标检测网络中进行训练,一阶段目标检测网络的输出预测结果与手工标注通过损失函数Focal loss计算当前轮次一阶段目标检测网络的损失,通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降,若当前训练轮次中验证集损失低于上一轮次中验证集损失,则保存当前轮次的模型,一阶段目标检测网络共训练200轮;然后通过测试集测试并获得训练好的一阶段目标检测网络。
3.根据权利要求2所述的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法,其特征在于:所述主干特征提取子网络的每个卷积操作后均进行归一化BN和激活函数ReLU操作,归一化BN定义为:将输入像素点xi先减去均值μ然后除以均方差 得到归一化的值 然后进行尺度变换和偏移得到批归一化处理后的值yi,其中:n为批处理大小;ε为固
定值,防止除0错误;γ和β是网络学习到的参数;
激活函数ReLU定义为: