利索能及
我要发布
收藏
专利号: 2023100015059
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法,其特征在于,所述方法包括:构建知识蒸馏框架中的教师网络模型和学生网络模型,所述教师网络模型和所述学生网络模型具有相同的模型主体结构,且模型主体结构依次包括主干网络、颈部网络和头部网络;

综合陶瓷基板的高分辨率样本图像和低分辨率样本图像分别输入所述教师网络模型T T得到的特征图计算所述教师网络模型的总损失函数LOSS ,并利用总损失函数LOSS 训练得到所述教师网络模型的模型参数;所述低分辨率样本图像是对所述高分辨率样本图像下采样r倍得到的,且所述高分辨率样本图像的分辨率大于第一分辨率阈值,所述低分辨率样本图像的分辨率小于第二分辨率阈值;

加载所述教师网络模型的模型参数至所述学生网络模型;

根据高分辨率样本图像输入所述教师网络模型得到的颈部网络特征、低分辨率样本图像输入所述教师网络模型得到的颈部网络特征、低分辨率样本图像输入所述学生网络模型得到的颈部网络特征确定知识蒸馏损失LOSSKD,包括:对高分辨率样本图像输入所述教师网络模型得到的颈部网络特征 和低分辨率样本图像输入所述教师网络模型得到的颈部网络特征 进行特征融合得到融合特征Fs,计算融合特征Fs与低分辨率样本图像输入所述学生网络模型得到的颈部网络特征 之间的知识蒸馏损失s为参数,r为偶数, 表示计算任一参数s取值下的融合特征Fs与颈部网络特征 之间的L1损失;

根据知识蒸馏损失LOSSKD以及低分辨率样本图像输入所述学生网络模型得到的预测损S S失 得到所述学生网络模型的总损失函数LOSS ,并利用总损失函数LOSS训练所述学生网络模型得到瑕疵检测模型;

利用所述瑕疵检测模型对待测陶瓷基板的待测图像进行瑕疵检测,得到所述待测陶瓷基板的瑕疵检测结果。

T

2.根据权利要求1所述的方法,其特征在于,计算所述教师网络模型的总损失函数LOSS的方法包括:将高分辨率样本图像输入所述教师网络模型得到对应的预测损失 以及颈部网络特征 s为参数;

T

将低分辨率样本图像输入所述教师网络模型得到对应的预测损失LOSSl以及颈部网络特征 r为偶数;

基于预测损失 颈部网络特征 预测损失 以及颈部网络特征 计T

算得到所述教师网络模型的总损失函数LOSS。

3.根据权利要求2所述的方法,其特征在于,基于预测损失 颈部网络特征T预测损失 以及颈部网络特征 计算得到所述教师网络模型的总损失函数LOSS的方法包括:对各个参数s取值下的颈部网络特征 和颈部网络特征 进行特征融合得到融合特征Fs;

将所述融合特征Fs输入头部网络计算得到预测损失确定所述教师网络模型的总损失函数 λ为参数。

4.根据权利要求1或3所述的方法,其特征在于,对任一参数s取值的颈部网络特征 和颈部网络特征 进行特征融合得到融合特征Fs的方法包括:对颈部网络特征 进行卷积运算降低通道数得到处理后的颈部网络特征 处理后的颈部网络特征 与颈部网络特征 具有相同的特征尺寸H×W以及相同的特征通道数C;

对处理后的颈部网络特征 和颈部网络特征 进行特征融合得到融合特征Fs。

5.根据权利要求4所述的方法,其特征在于,对任一参数s取值下处理后的颈部网络特征 和颈部网络特征 进行特征融合得到融合特征Fs的方法包括:将处理后的颈部网络特征 和颈部网络特征 沿着特征通道的

2C×H×W

方向进行通道拼接得到拼接特征Nconl∈R ;

对拼接特征Nconl沿着X方向进行平均池化得到 对拼接特征Nconl沿着Y方向进行平均池化得到将 和 处理成相同的维度并依次经过通道拼接层、卷积层、批归一化层和非线性

2C/r×1×(H+W)

卷积层得到Ncon2∈R ;

2C/r×1×(H+W)

将Ncon2∈R 进行分离并分别依次经过卷积层和Sigmoid函数,得到和

2C×H×W

将 和 相乘得到权重矩阵hs∈R ,按权重矩阵hs在特征通道维度上的索引顺序将权重矩阵hs分成维度为C×H×W的两个特征块依次为hs{0}和hs{1};

将处理后的颈部网络特征 与特征块hs{0}进行矩阵相乘得到第一结果,将颈部网络特征 与特征块hs{1}进行矩阵相乘得到第二结果;

将所述第一结果和所述第二结果相加得到融合特征Fs。

S

6.根据权利要求3所述的方法,其特征在于,得到所述学生网络模型的总损失函数LOSS的方法包括:确定

7.根据权利要求1所述的方法,其特征在于,对于教师网络模型和学生网络模型中的任意一个网络模型,将高分辨率样本图像和低分辨率样本图像中的任意一种样本图像输入所述网络模型得到预测损失的方法包括:将所述样本图像输入所述网络模型输出多种尺寸的特征图,将特征图划分为若干个单元网格,并在每个单元网格内利用若干个先验框预测得到预测框;

利用所有单元网格内的预测框与对应的真实框的位置尺寸信息计算得到定位损失LOSSreg;基于梯度均衡机制利用所有单元网格内的预测框与对应的真实框的置信度计算得到置信度损失LOSSGHM‑C;利用所有单元网格内的预测框与对应的真实框的目标类别计算得到分类损失LOSScls;

得到所述样本图像输入所述网络模型的预测损失LOSS=LOSSreg+LOSSGHM‑C+LOSScls。

8.根据权利要求7所述的方法,其特征在于,

2

其中,λcoord=2‑w×h,w×h是当前的特征图的尺寸,M 是特征图包含的单元网格的数量,B是每个单元网格中的预测框的数量; 表示特征图的第i个单元网格中的第j个预测框中包含瑕疵目标;特征图的任意第i个单元网格中的第j个预测框的位置尺寸信息包括横坐标偏移量 纵坐标偏移量 宽边比 和高边比 特征图的任意第i个单元网格中的第j个预测框对应的真实框的位置尺寸信息包括横坐标偏移量 纵坐标偏移量 宽边比 和高边比2

N是特征图中包含的预测框的总数量且N=M×B, 是特征图中任意第n个预测框的置信度pn及其对应的真实框的置信度 计算得到的交叉熵损失;GD(gt)表示当前的预测框所在的以梯度模值gt为中心的预定子区间的梯度密度且其中,

ε为预设均分长度,k是第gk个预测框的梯度模值;

Pij(c)表示特征图的第i个单元网格中的第j个预测框中包含的瑕疵目标属于类别c的概率, 表示特征图的第i个单元网格中的第j个预测框对应的真实框中包含的瑕疵目标属于类别c的概率,集合classes包括瑕疵目标的所有类别。