利索能及
我要发布
收藏
专利号: 2024113476734
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多模态可学习提示的零样本异常检测方法,其特征在于,包括以下步骤:

步骤S1)构建基于多模态可学习提示的异常图像检测网络;

所述的多模态可学习提示包含可学习视觉提示向量和可学习文本提示嵌入特征;

步骤S2)训练异常图像检测网络;

步骤S3)将待测图像输入到训练后的异常图像检测网络获得异常区域热图,根据异常区域热图获得待测图像的异常区域。

2.根据权利要求1所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述的异常图像检测网络包括视觉编码网络、多层感知机mlp、多模态可学习提示模块和异常区域计算模块;视觉编码网络中加载有多模态可学习提示模块中的可学习视觉提示向量,视觉编码网络的输出经多个多层感知机mlp后输入到异常区域计算模块,同时通过多模态可学习提示模块获得可学习文本提示嵌入特征,将可学习文本提示嵌入特征输入到异常区域计算模块,异常区域计算模块的输出依次经改变特征维度操作和元素相加操作后获得异常区域热图的结果。

3.根据权利要求2所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述的视觉编码网络包括依次进行的四个阶段,每个阶段均包含多层依次连接的残差注意层,视觉编码网络的每个阶段均输出视觉编码特征,四个阶段分别输出第一视觉编码特征T1、第二视觉编码特征T2、第三视觉编码特征T3和第四视觉编码特征T4作为视觉编码网络的输出。

4.根据权利要求3所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述视觉编码网络输出的四个编码视觉特征均经各自的多层感知机mlp处理后获得四个视觉特征,四个视觉特征共同输入到异常区域计算模块中。

5.根据权利要求2所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述的多模态可学习提示模块包括可学习文本提示嵌入特征E,可学习文本提示嵌入特征E的构建步骤如下:

1)初始化状态文本描述:首先针对样本的状态state构建对应样本的状态文本描述;

2)初始化状态编码特征:利用视觉语言大模型预训练好的分词嵌入模块分别编码正常样本和异常样本的状态文本描述,以获得正常样本的状态编码特征FN和异常样本的状态编码特征FA;

3)构建可学习文本提示向量:分别对正常样本的状态编码特征FN和异常样本的状态编码特征FA求平均值,以获得正常样本的可学习文本提示向量VN和异常样本的可学习文本提示向量VA;

4)构建可学习文本提示嵌入特征E:将正常样本的可学习文本提示向量VN和异常样本的可学习文本提示向量VA在第0维上拼接,获得可学习文本提示嵌入特征E,并作为多模态可学习提示模块的输出,输入至异常区域计算模块中。

6.根据权利要求3所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述的多模态可学习提示模块还包括可学习视觉提示向量P,可学习视觉提示向量P插入至视觉编码网络中,可学习视觉提示向量P的构建步骤如下:

1)首先,确定待插入的可学习视觉提示向量P中的分词token数量n;

2)接着根据分词token数量n设置可学习视觉提示向量P的维度为n×D,D表示预设的常数;

3)将设置好维度的可学习视觉提示向量P插入到视觉编码网络中第一阶段和第二阶段的第i个残差注意层的输入端。

7.根据权利要求2所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述的异常区域计算模块中,是根据视觉编码网络输出的视觉特征与多模态可学习提示模块输出的可学习文本提示嵌入特征按照以下方式的余弦相似度计算获得异常区域:T

Gm =softmax(Fm @ E), m=1,2,3,4

T

其中,符号@表示矩阵相乘,softmax( )表示激活函数,E表示可学习文本提示嵌入特征的转置,Fm表示视觉编码网络中第m阶段对应获得的视觉特征,Gm表示视觉特征Fm对应获得的初步异常区域图。

8.根据权利要求7所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:将所述异常区域计算模块输出的四个初步异常区域图Gm经改变特征维度操作reshape后获得了四个目标异常区域图Mm,再将四个目标异常区域图Mm按对应元素相加,获得最终的异常区域热图。

9.根据权利要求7所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述步骤S2)训练时采用零样本迁移学习方法,对异常图像检测网络中的视觉编码网络的网络参数不做更新,仅对多模态可学习提示模块中可学习文本提示嵌入特征E、可学习视觉提示向量P的参数以及多层感知机mlp的参数进行优化训练。

10.根据权利要求7所述的一种基于多模态可学习提示的零样本异常检测方法,其特征在于:所述步骤S3)中具体是在异常区域热图中以像素值大于预设的异常阈值的图像区域作为异常区域。