1.一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,包括:获取待检测工业产品图像、所述待检测工业产品图像对应的工业产品参考图像和多个待匹配缺陷类别;
将所述待检测工业产品图像、所述工业产品参考图像和多个所述待匹配缺陷类别输入至预置无监督分割网络框架;所述预置无监督分割网络框架由基于缺陷潜空间特征的自学习点生成提示器的预置分割网络和基于自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块的预置缺陷分类网络组成;
采用基于缺陷潜空间特征的自学习点生成提示器的预置分割网络根据所述待检测工业产品图像和所述工业产品参考图像,生成目标缺陷分割掩码,并基于所述目标缺陷分割掩码,生成目标裁剪图像;
采用基于自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块的预置缺陷分类网络根据所述目标裁剪图像和多个所述待匹配缺陷类别进行图像文本特征提取,输出所述目标裁剪图像对应的图像特征和各所述待匹配缺陷类别对应的文本特征;
将所述图像特征分别与各所述文本特征进行匹配度计算,输出各所述文本特征对应的匹配度;
选取最大的匹配度对应的文本特征关联的缺陷类别作为所述待检测工业产品图像对应的缺陷分类结果;
所述基于自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块的预置缺陷分类网络包括自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块;所述采用基于自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块的预置缺陷分类网络根据所述目标裁剪图像和多个所述待匹配缺陷类别进行图像文本特征提取,输出所述目标裁剪图像对应的图像特征和各所述待匹配缺陷类别对应的文本特征,包括:采用自学习缺陷类别提示模块根据各所述待匹配缺陷类别,确定多个目标可学习提示特征;
通过缺陷图文跨模态特征交互模块根据各所述目标可学习提示特征和所述目标裁剪图像,生成各所述目标可学习提示特征对应的文本特征和所述目标裁剪图像对应的图像特征;
所述采用自学习缺陷类别提示模块根据各所述待匹配缺陷类别,确定多个目标可学习提示特征,包括:对各所述待匹配缺陷类别进行初始化,生成各所述待匹配缺陷类别对应的缺陷文本提示短句;
采用预置字符字典分别对各所述缺陷文本提示短句进行转换,输出各所述缺陷文本提示短句对应的单词索引向量;
对各所述单词索引向量进行映射,输出各所述单词索引向量对应的连续词嵌入向量;
基于各所述连续词嵌入向量,确定各所述连续词嵌入向量对应的目标可学习提示特征;
所述缺陷图文跨模态特征交互模块包括文本特征编码器和图像特征编码器;所述通过缺陷图文跨模态特征交互模块根据各所述目标可学习提示特征和所述目标裁剪图像,生成各所述目标可学习提示特征对应的文本特征和所述目标裁剪图像对应的图像特征,包括:将各所述目标可学习提示特征分别作为文本特征编码器的输入,输出各所述目标可学习提示特征对应的文本特征;
将所述目标裁剪图像作为图像特征编码器的输入,输出图像特征。
2.根据权利要求1所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,所述基于缺陷潜空间特征的自学习点生成提示器的预置分割网络包括基于缺陷潜空间特征的自学习点生成提示器、分割网络图像解码器、分割网络点提示编码器和掩码提议生成器;所述采用基于缺陷潜空间特征的自学习点生成提示器的预置分割网络根据所述待检测工业产品图像和所述工业产品参考图像,生成目标缺陷分割掩码,并基于所述目标缺陷分割掩码,生成目标裁剪图像,包括:采用基于缺陷潜空间特征的自学习点生成提示器根据所述待检测工业产品图像和所述工业产品参考图像,确定目标背景点提示坐标集和目标前景点提示坐标集;
采用分割网络点提示编码器和分割网络图像解码器根据所述待检测工业产品图像、所述目标背景点提示坐标集和所述目标前景点提示坐标集,生成目标缺陷分割掩码,并基于所述目标缺陷分割掩码,生成目标裁剪图像。
3.根据权利要求2所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,所述采用基于缺陷潜空间特征的自学习点生成提示器根据所述待检测工业产品图像和所述工业产品参考图像,确定目标背景点提示坐标集和目标前景点提示坐标集,包括:根据所述待检测工业产品图像和所述工业产品参考图像,生成缺陷特征、产品检测图像重塑特征和产品参考图像重塑特征;
采用匈牙利算法根据所述缺陷特征、所述产品检测图像重塑特征和所述产品参考图像重塑特征,输出多个正向点提示特征坐标和多个反向点提示特征坐标;
基于均值聚类算法对多个所述正向点提示特征坐标和多个所述反向点提示特征坐标进行聚类,确定目标背景点提示坐标集和目标前景点提示坐标集。
4.根据权利要求3所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,所述根据所述待检测工业产品图像和所述工业产品参考图像,生成缺陷特征、产品检测图像重塑特征和产品参考图像重塑特征,包括:分别对所述待检测工业产品图像和所述工业产品参考图像进行编码,输出待检测工业产品图像特征和工业产品参考图像特征;
分别对所述待检测工业产品图像特征和所述工业产品参考图像特征进行重塑,生成产品检测图像重塑特征和产品参考图像重塑特征;
对所述工业产品参考图像对应的参考掩码和所述工业产品参考图像特征进行空间乘法,输出缺陷特征。
5.根据权利要求3所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,所述采用匈牙利算法根据所述缺陷特征、所述产品检测图像重塑特征和所述产品参考图像重塑特征,输出多个正向点提示特征坐标和多个反向点提示特征坐标,包括:对所述缺陷特征和所述产品检测图像重塑特征进行矩阵乘法,生成正向相关特征矩阵;
采用匈牙利算法根据所述正向相关特征矩阵,输出多个正向点提示特征坐标;
在所述产品检测图像重塑特征中选取各所述正向点提示特征坐标对应的正向特征,并采用各所述正向特征和所述产品参考图像重塑特征进行矩阵乘法,输出反向相关特征矩阵;
采用匈牙利算法根据所述反向相关特征矩阵,生成多个反向点提示特征坐标。
6.根据权利要求3所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,所述基于均值聚类算法对多个所述正向点提示特征坐标和多个所述反向点提示特征坐标进行聚类,确定目标背景点提示坐标集和目标前景点提示坐标集,包括:将任一不处于所述工业产品参考图像对应的参考掩码中的反向点提示特征坐标关联的正向点提示特征坐标作为背景点提示坐标,将任一处于所述参考掩码中的反向点提示特征坐标关联的正向点提示特征坐标作为前景点提示坐标;
采用多个所述背景点提示坐标,构建背景点提示坐标集;
采用多个所述前景点提示坐标,构建前景点提示坐标集;
基于多个预置聚类簇数,采用均值聚类算法对所述前景点提示坐标集进行聚类,输出各所述预置聚类簇数对应的簇中心坐标、各所述预置聚类簇数对应的簇中心坐标关联的多个样本坐标点;
根据各所述预置聚类簇数对应的簇中心坐标关联的多个样本坐标点,计算各所述预置聚类簇数对应的轮廓系数;
选取最大的轮廓系数对应的预置聚类簇数作为目标聚类簇数,并采用所述目标聚类簇数对应的簇中心坐标构建目标前景点提示坐标集;
采用预置随机抽取函数根据所述背景点提示坐标集,确定目标背景点提示坐标集。
7.根据权利要求3所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,所述采用分割网络点提示编码器和分割网络图像解码器根据所述待检测工业产品图像、所述目标背景点提示坐标集和所述目标前景点提示坐标集,生成目标缺陷分割掩码,并基于所述目标缺陷分割掩码,生成目标裁剪图像,包括:对所述目标背景点提示坐标集和所述目标前景点提示坐标集进行拼接,输出拼接点提示坐标集;
将所述拼接点提示坐标集作为分割网络点提示编码器的输入,输出点提示特征;
采用分割网络图像解码器对所述点提示特征进行解码,输出初始掩码;
将所述初始掩码作为掩码提议生成器的输入,输出目标缺陷分割掩码;
采用所述目标缺陷分割掩码对所述待检测工业产品图像进行裁剪,生成目标裁剪图像。
8.一种基于预训练模型的产品缺陷无监督语义分割装置,应用于权利要求1所述的一种基于预训练模型的产品缺陷无监督语义分割方法,其特征在于,包括:获取模块,用于获取待检测工业产品图像、所述待检测工业产品图像对应的工业产品参考图像和多个待匹配缺陷类别;
输入模块,用于将所述待检测工业产品图像、所述工业产品参考图像和多个所述待匹配缺陷类别输入至预置无监督分割网络框架;所述预置无监督分割网络框架由基于缺陷潜空间特征的自学习点生成提示器的预置分割网络和基于自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块的预置缺陷分类网络组成;
采用模块,用于采用基于缺陷潜空间特征的自学习点生成提示器的预置分割网络根据所述待检测工业产品图像和所述工业产品参考图像,生成目标缺陷分割掩码,并基于所述目标缺陷分割掩码,生成目标裁剪图像;
输出模块,用于采用基于自学习缺陷类别提示模块和缺陷图文跨模态特征交互模块的预置缺陷分类网络根据所述目标裁剪图像和多个所述待匹配缺陷类别进行图像文本特征提取,输出所述目标裁剪图像对应的图像特征和各所述待匹配缺陷类别对应的文本特征;
计算模块,用于将所述图像特征分别与各所述文本特征进行匹配度计算,输出各所述文本特征对应的匹配度;
选取模块,用于选取最大的匹配度对应的文本特征关联的缺陷类别作为所述待检测工业产品图像对应的缺陷分类结果。
9.一种计算机设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1‑7任一项所述的一种基于预训练模型的产品缺陷无监督语义分割方法的步骤。