利索能及
我要发布
收藏
专利号: 2024109251916
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种工业异常检测方法,其特征在于,包括:获取待异常检测的图像;

根据获取的图像,基于预训练好的异常检测模型,对异常进行检测定位;

所述异常检测模型包括:骨干网络、池化层、级联流、双子流以及恒定流;

所述级联流包含若干依次排列的流块;

所述骨干网络采用WideResNet50;

基于骨干网络,将待异常检测的图像作为输入得到特征图;

基于池化层,将特征图作为输入得到压缩后的特征图 ;

基于级联流,将压缩后的特征图 作为输入,得到级联流处理后的保持数值稳定后的特征图A;

基于双子流,将级联流处理后的特征图A作为输入进一步提取特征,得到双子流处理后输出的的丰富了上下文关系的特征图 ;

基于恒定流,将双子流处理后输出的特征图 作为输入,得到恒定流处理后输出的特征图 ;

根据恒定流处理后输出的特征图 得到最终定位的异常;

基于骨干网络,将待异常检测的图像作为输入得到特征图;

基于池化层,将特征图作为输入得到压缩后的特征图 ;

基于级联流,将压缩后的特征图 作为输入,得到级联流处理后的保持数值稳定后的特征图A;

基于双子流,将级联流处理后的特征图A作为输入进一步提取特征,得到双子流处理后输出的的丰富了上下文关系的特征图 ;

基于恒定流,将双子流处理后输出的特征图 作为输入,得到恒定流处理后输出的特征图 ;

根据恒定流处理后输出的特征图 得到最终定位的异常;

所述流块包括两个平行的级联子网络,所述级联子网络包括依次排列的卷积层、层次归一化层、激活函数ReLU、可回溯掩码卷积层、层次归一化层以及激活函数ReLU;

基于流块,将压缩后的特征图 作为输入,将特征图 沿通道拆分为两个特征图后分别输入到两个级联子网络后再将两个级联子网络的输出进行拼接作为下一个流块的输入,以此类推,最终得到级联流处理后输出的特征图A,表达式如下所示:;

其中, 表示级联流 中第i个流块,m表示流块的数量, 表示每个流块中的级联子网络, 表示卷积核为3 3大小卷积层, 为层次归一化层, 为激活函数,为可回溯掩码卷积层;

所述可回溯掩码卷积层在处理上一层激活函数ReLU输出的特征图 时沿通道将其拆分为4个新的特征图 、 、 、 ,将每个特征图与一个掩码后的卷积核进行卷积操作,得到的4个新的特征图 、 、 、 ,其中,4个掩码卷积核的掩码位置依次为左上角、右上角,左下角,右下角,最后,再将这得到的4个特征图 、 、 、 沿通道合并得到掩码处理后的特征图 ;

所述双子流包括全局捕捉模块和邻近搜索模块;

所述全局捕捉模块用以处理结构类数据,所述邻近搜索模块用以处理纹理类数据;

所述全局捕捉模块包括:下采样层、第一全局子网络、第二全局子网络、上采样层以及跳跃连接;所述第一全局子网络包括依次排列的卷积层、层次归一化层、激活函数ReLU以及卷积层,第一全局子网络与第二全局子网络结构相同;

当处理的数据为结构类数据时,基于下采样层,将特征图A作为输入,得到下采样后的特征图D,再将特征图D沿通道拆分为2个新的特征图a、b,将a和b分别输入到第一全局子网络和第二全局子网络中,在第一全局子网络和第二全局子网络中将特征图a、b沿通道分别进行拆分,各自得到两个新的特征图 、 以及 、 ,再将 、 经过第一全局子网络后的输出进行拼接得到特征图a’,将 、 经过第二全局子网络后的输出进行拼接得到特征图b’,再将特征图a’和b’拼接后经过上采样模块上采样后得到特征图A一样的大小的特征图;

表达式如下:

其中,表示全局捕捉模块, 和 分别表示第一全局子网络和第二全局子网络, 为上采样层, 为下采样层, 表示卷积核为3 3大小卷积层, 为层次归一化层,为激活函数ReLU, 表示跳跃连接;

所述邻近搜索模块包括邻近子网络和卷积层;所述邻近子网络包括参数初始层和卷积层;

当处理的数据为纹理类数据时,将特征图A输入到邻近搜索模块中,沿通道拆分出两个新特征图r和s,再将新特征图r和s依次经过邻近子网络和卷积层后再进行拼接得到新的特征图 ,表达式如下:;

其中,表示邻近搜索模块, 为参数初始层; 为双子流的输出,在处理结构类数据时, 对应全局捕捉模块的输出;在处理纹理类数据时 对应邻近搜索模块的输出;

所述恒定流包括若干依次相连的恒定流块,每个恒定流块包括两个恒定子网络;

所述恒定子网络包括依次排列的卷积核为1 1大小的卷积层、卷积核为3 3大小的卷积层、层次归一化层、激活函数LeakyReLU、下采样层、层次归一化层、卷积核为3 3大小的卷积层、激活函数LeakyReLU、上采样层以及跳跃连接;

基于恒定流块,将双子流的输出的特征图 沿通道拆分为两个特征图后分别输入到两个恒定子网络后再将两个恒定子网络的输出进行拼接作为下一个恒定流块的输入,以此类推,最终得到恒定流处理后输出的特征图 ,表达式如下:;

其中, 表示恒定流 中第i个恒定流块,n表示恒定流块的数量, 表示每个恒定流块中的恒定子网络, 表示卷积核为1 1大小的卷积层, 表示激活函数LeakyReLU;

所述根据恒定流处理后输出的特征图 得到最终的定位的异常包括:将恒定流处理后输出的特征图 上采样到原始图像的大小得到特征图 ,通过库函数分别取其最后一维度和倒数第二维度的最大值,表达式如下所示:;

其中, 为最后一维度的最大值, 为倒数第二维度的最大值,为 库函数中的最大值函数;再将特征图 减去 得到特征图 ,如下所示:;

令 , 为指数函数,将 应用于该指数函数,得到新的特征图 ,表达式如下:;

最后,根据下式得到最终的异常图 ;

将异常图 中最大的像素点值作为异常分数,将异常分数超过阈值的点作为异常点。

2.一种工业异常检测系统,其特征在于,包括:数据获取模块,用于获取待异常检测的图像;

异常检测模块,用于根据获取的图像,基于预训练好的异常检测模型,对异常进行检测定位;

所述异常检测模型包括:骨干网络、池化层、级联流、双子流以及恒定流;

所述级联流包含若干依次排列的流块;

所述骨干网络采用WideResNet50;

基于骨干网络,将待异常检测的图像作为输入得到特征图;

基于池化层,将特征图作为输入得到压缩后的特征图 ;

基于级联流,将压缩后的特征图 作为输入,得到级联流处理后的保持数值稳定后的特征图A;

基于双子流,将级联流处理后的特征图A作为输入进一步提取特征,得到双子流处理后输出的的丰富了上下文关系的特征图 ;

基于恒定流,将双子流处理后输出的特征图 作为输入,得到恒定流处理后输出的特征图 ;

根据恒定流处理后输出的特征图 得到最终定位的异常;

基于骨干网络,将待异常检测的图像作为输入得到特征图;

基于池化层,将特征图作为输入得到压缩后的特征图 ;

基于级联流,将压缩后的特征图 作为输入,得到级联流处理后的保持数值稳定后的特征图A;

基于双子流,将级联流处理后的特征图A作为输入进一步提取特征,得到双子流处理后输出的的丰富了上下文关系的特征图 ;

基于恒定流,将双子流处理后输出的特征图 作为输入,得到恒定流处理后输出的特征图 ;

根据恒定流处理后输出的特征图 得到最终定位的异常;

所述流块包括两个平行的级联子网络,所述级联子网络包括依次排列的卷积层、层次归一化层、激活函数ReLU、可回溯掩码卷积层、层次归一化层以及激活函数ReLU;

基于流块,将压缩后的特征图 作为输入,将特征图 沿通道拆分为两个特征图后分别输入到两个级联子网络后再将两个级联子网络的输出进行拼接作为下一个流块的输入,以此类推,最终得到级联流处理后输出的特征图A,表达式如下所示:;

其中, 表示级联流 中第i个流块,m表示流块的数量, 表示每个流块中的级联子网络, 表示卷积核为3 3大小卷积层, 为层次归一化层, 为激活函数,为可回溯掩码卷积层;

所述可回溯掩码卷积层在处理上一层激活函数ReLU输出的特征图 时沿通道将其拆分为4个新的特征图 、 、 、 ,将每个特征图与一个掩码后的卷积核进行卷积操作,得到的4个新的特征图 、 、 、 ,其中,4个掩码卷积核的掩码位置依次为左上角、右上角,左下角,右下角,最后,再将这得到的4个特征图 、 、 、 沿通道合并得到掩码处理后的特征图 ;

所述双子流包括全局捕捉模块和邻近搜索模块;

所述全局捕捉模块用以处理结构类数据,所述邻近搜索模块用以处理纹理类数据;

所述全局捕捉模块包括:下采样层、第一全局子网络、第二全局子网络、上采样层以及跳跃连接;所述第一全局子网络包括依次排列的卷积层、层次归一化层、激活函数ReLU以及卷积层,第一全局子网络与第二全局子网络结构相同;

当处理的数据为结构类数据时,基于下采样层,将特征图A作为输入,得到下采样后的特征图D,再将特征图D沿通道拆分为2个新的特征图a、b,将a和b分别输入到第一全局子网络和第二全局子网络中,在第一全局子网络和第二全局子网络中将特征图a、b沿通道分别进行拆分,各自得到两个新的特征图 、 以及 、 ,再将 、 经过第一全局子网络后的输出进行拼接得到特征图a’,将 、 经过第二全局子网络后的输出进行拼接得到特征图b’,再将特征图a’和b’拼接后经过上采样模块上采样后得到特征图A一样的大小的特征图;

表达式如下:

其中,表示全局捕捉模块, 和 分别表示第一全局子网络和第二全局子网络, 为上采样层, 为下采样层, 表示卷积核为3 3大小卷积层, 为层次归一化层,为激活函数ReLU, 表示跳跃连接;

所述邻近搜索模块包括邻近子网络和卷积层;所述邻近子网络包括参数初始层和卷积层;

当处理的数据为纹理类数据时,将特征图A输入到邻近搜索模块中,沿通道拆分出两个新特征图r和s,再将新特征图r和s依次经过邻近子网络和卷积层后再进行拼接得到新的特征图 ,表达式如下:;

其中,表示邻近搜索模块, 为参数初始层; 为双子流的输出,在处理结构类数据时, 对应全局捕捉模块的输出;在处理纹理类数据时 对应邻近搜索模块的输出;

所述恒定流包括若干依次相连的恒定流块,每个恒定流块包括两个恒定子网络;

所述恒定子网络包括依次排列的卷积核为1 1大小的卷积层、卷积核为3 3大小的卷积层、层次归一化层、激活函数LeakyReLU、下采样层、层次归一化层、卷积核为3 3大小的卷积层、激活函数LeakyReLU、上采样层以及跳跃连接;

基于恒定流块,将双子流的输出的特征图 沿通道拆分为两个特征图后分别输入到两个恒定子网络后再将两个恒定子网络的输出进行拼接作为下一个恒定流块的输入,以此类推,最终得到恒定流处理后输出的特征图 ,表达式如下:;

其中, 表示恒定流 中第i个恒定流块,n表示恒定流块的数量, 表示每个恒定流块中的恒定子网络, 表示卷积核为1 1大小的卷积层, 表示激活函数LeakyReLU;

所述根据恒定流处理后输出的特征图 得到最终的定位的异常包括:将恒定流处理后输出的特征图 上采样到原始图像的大小得到特征图 ,通过库函数分别取其最后一维度和倒数第二维度的最大值,表达式如下所示:;

其中, 为最后一维度的最大值, 为倒数第二维度的最大值,为 库函数中的最大值函数;再将特征图 减去 得到特征图 ,如下所示:;

令 , 为指数函数,将 应用于该指数函数,得到新的特征图 ,表达式如下:;

最后,根据下式得到最终的异常图 ;

将异常图 中最大的像素点值作为异常分数,将异常分数超过阈值的点作为异常点。