利索能及
我要发布
收藏
专利号: 202310576146X
申请人: 广东石油化工学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于情景记忆的图像分类模型优化方法,其特征在于,用于对图像分类模型参数进行优化,包括:构建若干个任务,每个任务包括一个支持集,每个支持集包括若干图像样本;

将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征;

根据当前任务支持集特征得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值作为存储数据进行存储;

根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值;

将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合,生成新的梯度值,根据新的梯度值对图像分类模型参数进行优化;

所述根据当前任务支持集特征得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值作为存储数据进行存储,具体包括:构建外部记忆存储器;

将当前任务支持集特征输入外部记忆存储器进行处理,得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值存储在外部记忆存储器中;

所述将当前任务支持集特征输入外部记忆存储器进行处理,得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值存储在外部记忆存储器中,具体包括:所述外部记忆存储器表示为: ;

其中, 为外部记忆存储器的存储容量, 为外部记忆存储器中存储第n个任务的关键字和梯度值的存储单元,存储单元表示为: ;

其中, 表示第n个任务的关键字,采用 结构获得当前任务的关键字,具体为: ;

其中, 表示在 结构中和第n个任务相关联的token,其初始值为随机取值,ei为支持集Sn中第i个图像样本的特征,N表示该支持集有N个类别,将 输入到结构中,将第0个输出, 对应位置的输出,作为该任务的关键字;

表示为向量 ;

其中, 为第n个任务对图像分类模型第l层参数的梯度值;

还包括:构建外部记忆存储控制器,用于管理外部记忆存储器,所述外部记忆存储控制器具体用于:当外部记忆存储器的存储容量未满时,将当前任务的梯度值 作为 ,存储至外部记忆存储器中,当前任务对图像分类模型第l层参数的梯度值计算公式为:;

其中,表示图像分类模型第l层参数, 表示第n个任务中第i个图像样本的图像分类标注真实结果, 表示第n个任务中第i个图像经过图像分类模型预测得到的图像分类标注预测结果,表示预测结果和真实结果之间差异的交叉熵损失函数, 表示对交叉熵损失函数求梯度值, 表示对参数 求梯度值,K表示每个类别包含K个图像样本;

当外部记忆存储器的内存已满时,外部记忆存储控制器 选择一个要进行替换的存储单元 ,将 替代 生成新的存储单元 ,表示为: ;

所述将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合,生成新的梯度值,根据新的梯度值对图像分类模型参数进行优化,具体包括:;

其中,为学习率, 为当前任务的梯度值, 为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值, 表示将当前任务的梯度值与在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值进行融合的聚合函数, 表示优化前的图像分类模型参数, 表示优化后的图像分类模型参数。

2.根据权利要求1所述的一种基于情景记忆的图像分类模型优化方法,其特征在于,所述将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征,具体包括:所述支持集表示为: ;其中,N表示该支持集有N个类别,K表示每个类别包含K个图像样本,n表示第n个任务,xi表示支持集内的第i个图像样本,yi为该图像样本的图像分类标注;

构建编码器,使用编码器将支持集Sn内每一个图像样本xi转换为特征表示ei,则该支持集特征为 。

3.根据权利要求1所述的一种基于情景记忆的图像分类模型优化方法,其特征在于,所述外部记忆存储控制器选择一个要进行替换的存储单元,具体包括:外部记忆存储控制器跟踪外部记忆存储器所有存储单元,将最先进入外部记忆存储器的存储单元放在队列最前,当需要替换存储单元时,选择队列最前的存储单元进行替换;

或,所述当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值,具体包括:计算当前任务的关键字和外部记忆存储器内存储的所有关键字之间的余弦距离,选择余弦距离最小的关键字对应的梯度值作为与当前任务相似情景下产生的梯度值。

4.根据权利要求1所述的一种基于情景记忆的图像分类模型优化方法,其特征在于,所述聚合函数为平均操作 ,或求和操作 ,或基于Transformer的融合,具体表示为:;

其中 是在 结构中令牌的梯度, 为当前任务的梯度值, 为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值集合, 为梯度值集合中元素的个数, 为向量 , 为第n个任务对图像分类模型第l层参数的梯度值, 为第n任务在外部记忆存储器中查找到的与当前任务相似情景下产生的第个梯度值。

5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1 4任一项所述的基于情景记忆的图像分类模型优化方法。

~

6.一种基于情景记忆的图像分类模型优化系统,其特征在于,用于对图像分类模型参数进行优化,包括:任务模块,用于构建若干个任务,每个任务包括一个支持集,每个支持集包括若干图像样本;

编码器模块,将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征;

外部记忆存储器模块,根据当前任务支持集特征得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值作为存储数据进行存储;

外部记忆存储控制器模块,用于根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值;

情景记忆模块,用于将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合,生成新的梯度值,根据新的梯度值对图像分类模型参数进行优化;

所述根据当前任务支持集特征得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值作为存储数据进行存储,具体包括:构建外部记忆存储器;

将当前任务支持集特征输入外部记忆存储器进行处理,得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值存储在外部记忆存储器中;

所述将当前任务支持集特征输入外部记忆存储器进行处理,得到当前任务的关键字和梯度值,将当前任务的关键字和梯度值存储在外部记忆存储器中,具体包括:所述外部记忆存储器表示为: ;

其中, 为外部记忆存储器的存储容量, 为外部记忆存储器中存储第n个任务的关键字和梯度值的存储单元,存储单元表示为: ;

其中, 表示第n个任务的关键字,采用 结构获得当前任务的关键字,具体为: ;

其中, 表示在 结构中和第n个任务相关联的token,其初始值为随机取值,ei为支持集Sn中第i个图像样本的特征,N表示该支持集有N个类别,将 输入到结构中,将第0个输出, 对应位置的输出,作为该任务的关键字;

表示为向量 ;

其中, 为第n个任务对图像分类模型第l层参数的梯度值;

还包括:构建外部记忆存储控制器,用于管理外部记忆存储器,所述外部记忆存储控制器具体用于:当外部记忆存储器的存储容量未满时,将当前任务的梯度值 作为 ,存储至外部记忆存储器中,当前任务对图像分类模型第l层参数的梯度值计算公式为:;

其中,表示图像分类模型第l层参数, 表示第n个任务中第i个图像样本的图像分类标注真实结果, 表示第n个任务中第i个图像经过图像分类模型预测得到的图像分类标注预测结果,表示预测结果和真实结果之间差异的交叉熵损失函数, 表示对交叉熵损失函数求梯度值, 表示对参数 求梯度值,K表示每个类别包含K个图像样本;当外部记忆存储器的内存已满时,外部记忆存储控制器 选择一个要进行替换的存储单元 ,将 替代 生成新的存储单元 ,表示为: ;

所述将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合,生成新的梯度值,根据新的梯度值对图像分类模型参数进行优化,具体包括:;

其中,为学习率, 为当前任务的梯度值, 为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值, 表示将当前任务的梯度值与在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值进行融合的聚合函数, 表示优化前的图像分类模型参数, 表示优化后的图像分类模型参数。