利索能及
我要发布
收藏
专利号: 2022102692035
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Transformer的缺陷检测方法,其特征在于,所述方法应用于预先训练的检测模型;所述检测模型包括分割网络和分类网络,所述分割网络包括编码器和解码器,其中,所述编码器基于Transformer获得,所述解码器基于卷积神经网络获得;

所述方法包括:

基于待检测的查询图像和所述查询图像对应的支持图像及第一分割图像,确定输入序列;所述支持图像,即样本图像;所述第一分割图像,即所述支持图像对应的分割图像;

将所述输入序列输入到所述分割网络的编码器,通过所述分割网络利用所述支持图像及所述第一分割图像,指导所述查询图像的分割,输出所述查询图像对应的第一特征图和第二分割图像;其中,所述编码器包括多头注意力机制,用于捕获所述查询图像的全局上下文信息;

所述编码器包括多个编码层,每个编码层包括交叉对齐模块和自对齐模块;

所述自对齐模块,包括多头注意力机制、多层感知机和至少一个归一化层,用于通过聚合上下文信息来对所述查询图像对应的第一像素特征进行编码;

所述交叉对齐模块,包括循环一致注意力机制、多层感知机和至少一个归一化层,用于将所述支持图像对应的第二像素特征聚合为所述查询图像对应的第一像素特征;

通过所述循环一致注意力机制,根据所述查询图像中各个像素点分别对应的第一像素特征,与所述支持图像中的各个像素点分别对应的所述第二像素特征之间的对应关系,判别所述查询图像的像素点与所述支持图像的像素点之间是否具备循环一致性;滤掉所述支持图像中与所述查询图像不具备循环一致性的像素点对应的第二像素特征;

将所述第一特征图和所述第二分割图像输入到所述分类网络,通过所述分类网络输出所述查询图像对应的缺陷分类结果;所述缺陷分类结果至少用于表征所述查询图像中的目标设备表面是否带有缺陷。

2.如权利要求1所述的方法,其特征在于,

所述滤掉所述支持图像中与所述查询图像不具备循环一致性的像素点对应的第二像素特征,包括:在将所述支持图像对应的第二像素特征聚合为所述查询图像中的目标像素点对应的第一像素特征的过程中,增加偏置项,以使所述目标像素点对所述支持图像中不具备循环一致性的像素点的关注权重趋于0。

3.如权利要求1所述的方法,其特征在于,

所述确定输入序列,包括:

确定所述查询图像对应的第一Query序列、第一Key序列和第一Value序列;

确定所述支持图像对应的第二Query序列、第二Key序列,以及,所述第一分割图像对应的特征序列;

所述将所述输入序列输入到所述分割网络的编码器,包括:将所述查询图像对应的第一Query序列、第一Key序列和第一Value序列输入所述自对齐模块中的多头注意力机制;将所述自对齐模块的输出作为第二Value序列;

将所述第二Query序列、第二Key序列、第二Value序列以及所述特征序列,输入所述交叉对齐模块中的循环一致注意力机制。

4.如权利要求1所述的方法,其特征在于,

将所述输入序列输入到所述分割网络的编码器之后,所述方法还包括:将所述编码器输出的序列输入至所述解码器,通过所述解码器执行上采样以输出所述查询图像对应的第一特征图和第二分割图像;其中,所述解码器包括至少一个卷积层和至少一个采样层;其中,所述卷积层用于对所述编码器输出的序列执行卷积运算,所述采样层用于对所述编码器输出的序列执行上采样处理。

5.如权利要求4所述的方法,其特征在于,

所述卷积运算的卷积核大小为1*1;

所述上采样处理的倍率为2倍。

6.如权利要求1所述的方法,其特征在于,

所述分类网络基于卷积神经网络实现;所述分类网络包括第一池化层、第一卷积层、第二卷积层、第一最大池化层、第一平均池化层、第二最大池化层和第二平均池化层、全连接层;

所述通过所述分类网络输出所述查询图像对应的缺陷分类结果,包括:通过所述第一池化层,对将所述第二分割图像执行池化操作,得到第二特征图;

通过所述第一卷积层,对所述第二特征图执行卷积运算,得到第三特征图;

将所述第二特征图与所述第三特征图进行跳跃连接,获得第一残差块;

通过所述第二卷积层,对所述第三特征图执行卷积运算,得到第四特征图;

将所述第三特征图与所述第四特征图进行跳跃连接,获得第二残差块;

通过所述第二最大池化层和第二平均池化层,对所述第二残差块执行空间金字塔池化操作,得到第一特征;

通过所述第一最大池化层和所述第一平均池化层,对所述第一特征图和所述第二分割图像,执行空间金字塔池化操作,得到第二特征;

对所述第一特征和所述第二特征执行聚合操作,再经过全连接层和激活函数,得到查询图像对应的缺陷分类结果。

7.如权利要求6所述的方法,其特征在于,

所述第一卷积层和/或所述第二卷积层之后,还设置有BN层和ReLU层,用于加速网络收敛。

8.一种电子设备,其特征在于,所述电子设备包括:

一个或多个处理器;存储器;至少一个应用程序;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1‑7中任一项所述的方法。