利索能及
我要发布
收藏
专利号: 2024116685337
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种高光谱图像异常检测方法,其特征在于,所述方法包括:将待检测的原始高光谱图像数据输入至第一编码模块进行特征提取,得到特征图F1;

将特征图F1输入至第二编码模块进行特征提取,得到特征图F2;

通过抑制异常信息表达的自注意力机制模块分别对特征图F1和特征图F2进行特征处理,对应得到特征图F1’和特征图F2’;

通过Transformer编码模块提取特征图F2’的全局特征,得到特征图F3;

将特征图F1’、特征图F2’和特征图F3进行特征融合,得到特征图F4;

将特征图F4输入至解码模块以恢复图像的尺寸和通道数,得到重构图像数据;

计算重构图像数据与原始高光谱图像数据之间的重构误差,利用重构误差得到异常检测图;

所述通过抑制异常信息表达的自注意力机制模块分别对特征图F1和特征图F2进行特征处理,包括:将所输入特征图的图像数据F分别与查询卷积核、键卷积核、值卷积核进行卷积操作,对应生成查询矩阵Q、键矩阵K和值矩阵V;

对所述查询矩阵Q进行重塑并转置,获取矩阵Q’;

对键矩阵K、值矩阵V分别进行重塑,对应获取矩阵K’和矩阵V’;

将矩阵Q’和矩阵K’进行矩阵乘法运算,并对矩阵乘法运算结果进行指数归一化运算,获取注意力权重矩阵;

将所述注意力权重矩阵进行转置后与矩阵V’进行矩阵乘法运算,获取输出特征Out;

对所述输出特征Out进行重塑,并与所输入特征图的图像数据F进行加权特征融合,获取所述自注意力机制模块的输出特征图;

其中,加权特征融合的表达式如下:

式中, 为自注意力机制模块的输出特征图的图像数据; 为可学习的标量参数,用于调整原始输入和注意力调整后的特征之间的比重; 为输出特征Out的重塑矩阵。

2.根据权利要求1所述的高光谱图像异常检测方法,其特征在于:所述第一编码模块的结构与第二编码模块的结构相同;两编码模块分别包括依次连接的卷积层、第一激活层、全维度动态卷积层、第二激活层、池化层;

其中,全维度动态卷积层专注于卷积核在空间、输入通道、输出通道以及核数量四个维度的动态权重调整,用于优化卷积过程;

第一激活层和第二激活层的结构相同,均采用ReLU函数。

3.根据权利要求1所述的高光谱图像异常检测方法,其特征在于,所述通过Transformer编码模块提取特征图F2’的全局特征之前,对特征图F2’的图像数据依次进行张量重塑和维度转换,以使特征图F2’符合Transformer编码模块的输入格式;

所述通过Transformer编码模块提取特征图F2’的全局特征之后,对所述Transformer编码模块的输出张量进行维度还原后,再通过张量重塑获得与所述特征图F2’形状相同的特征图F3。

4.根据权利要求1所述的高光谱图像异常检测方法,其特征在于,所述解码模块包括依次连接的第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第三激活层;

其中,第三激活层采用sigmoid激活函数,用于将所输入的图像像素输出压缩到(0, 

1);

依次连接的第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层用于逐步恢复图像的尺寸和通道数。

5.根据权利要求1至4中任一项所述的高光谱图像异常检测方法,其特征在于,所述方法还包括:加入覆盖感知损失函数辅助网络训练,用于调整第一编码模块、第二编码模块和解码模块的权重和偏置项,所述覆盖感知损失函数L的表达式如下:;

其中,H、W分别为原始高光谱图像数据的行数和列数,i为行索引;j为列索引; 为重构图像数据,Xi,j为原始高光谱图像数据, 为通过异常检测图得到的平面覆盖图的图像数据。

6.根据权利要求5所述的高光谱图像异常检测方法,其特征在于,覆盖感知损失函数的具体构建方法为:计算重构图像数据与原始高光谱图像数据之间的重构误差res;

计算重构误差res的误差程度,公式为:

其中,N为误差的维度大小;k为维度索引;

生成异常检测图并重塑为原始高光谱图像的形状,得到异常重塑图;

将异常重塑图展平并找出异常分数最高的前百分之一的位置,记为异常指标;

生成一个和异常重塑图大小相同的覆盖图,将覆盖图设置为1,异常指标位置设置为0,得到平面覆盖图的图像数据;

将L1范数作为损失函数,将平面覆盖图的图像数据作为系数引入损失函数,得到覆盖感知损失函数。

7.一种高光谱图像异常检测装置,其特征在于,所述装置包括:第一编码模块:用于对待检测的原始高光谱图像进行特征提取,并输出特征图F1;

第二编码模块:用于对特征图F1进行特征提取,并输出特征图F2;

自注意力机制模块:用于抑制特征图F1和特征图F2中异常点的异常信息表达并增强背景特征,并对应输出特征图F1’和特征图F2’;

Transformer编码模块:用于对特征图F2’进行全局信息提取,并输出特征图F3;

特征融合模块:用于对特征图F1’、特征图F2’和特征图F3进行通道上的拼接,并输出特征图F4;

解码模块:用于恢复图像的尺寸和通道数,输出重构图像数据;

异常检测图构建模块:用于根据重构图像数据和原始高光谱图像数据之间的重构误差构建异常检测图;

所述自注意力机制模块具体用于:

将所输入特征图的图像数据F分别与查询卷积核、键卷积核、值卷积核进行卷积操作,对应生成查询矩阵Q、键矩阵K和值矩阵V;

对所述查询矩阵Q进行重塑并转置,获取矩阵Q’;

对键矩阵K、值矩阵V分别进行重塑,对应获取矩阵K’和矩阵V’;

将矩阵Q’和矩阵K’进行矩阵乘法运算,并对矩阵乘法运算结果进行指数归一化运算,获取注意力权重矩阵;

将所述注意力权重矩阵进行转置后与矩阵V’进行矩阵乘法运算,获取输出特征Out;

对所述输出特征Out进行重塑,并与所输入特征图的图像数据F进行加权特征融合,获取所述自注意力机制模块的输出特征图;

其中,加权特征融合的表达式如下:

式中, 为自注意力机制模块的输出特征图的图像数据; 为可学习的标量参数,用于调整原始输入和注意力调整后的特征之间的比重; 为输出特征Out的重塑矩阵。

8.一种电子终端,其特征在于,包括处理器与所述处理器连接的存储器,在所述存储器内存储有计算机程序,当所述计算机程序被所述处理器执行时,执行如权利要求1 6任一项~所述的高光谱图像异常检测方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1 6任一项所述的高光谱图像异常检测方法的步骤。

~