利索能及
我要发布
收藏
专利号: 2022112878651
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像持续学习识别方法,其特征在于,包括特征提取共享和知识迁移学习两大步骤,其中特征提取共享包括如下子步骤:S11,无监督预训练,采用自编码网络中的无监督重构预训练方法训练得到特征提取共享模型;

S12,维护更新特征提取共享模型,使用BP反向传播算法对S11步骤生成的特征提取共享模型进行微调更新;

(t)

S13,使用更新后的特征提取共享模型对待识别图像X 进行逐层特征提取得到图像特(t)征H ,t表示第t个识别任务;

(t) (t)

S14,对当前任务的特征H 进行分解求解模型参数θ 以及知识库矩阵L;

知识迁移学习包括知识仓库构建、知识迁移、模型学习、更新知识库和接受反馈;

(t) (t) (t)

其中知识迁移中使用特征提取共享模块提取得到的特征H 构建新任务Z =(H ,y(t) (t)),y 为标签,随后对这组训练数据使用终身机器学习算法进行迁移学习,获得每个任务(t)最终的图像识别学习模型f (θ),并利用学习模型进行图像识别。

2.如权利要求1所述的一种图像持续学习识别方法,其特征在于:步骤S1中,先随机初u始化自编码网络模型参数Wl,bl,利用无标签训练数据集X , 其中Tc为待识别任务池个数,使用对比散度算法逐一自下而上进行优化更新参数Wl,bl;对比散度算法首先使用吉布斯采样方法得到三次采样后的隐藏层特征Hl‑1,0,Hl,0,Hl‑1,1,Hl,1,然后通过Wl←Wl+T Tα(Hl‑1,0Hl,0‑Hl‑1,1 Hl,1)更新矩阵Wl, 更新bl,其中,T表示矩阵的转置,α为网络预训练的学习率,loss(·)为损失函数,表示偏导。

3.如权利要求1所述的一种图像持续学习识别方法,其特征在于:步骤S12中,预训练完成后,开始连续地进行图像识别任务,设定当前即将识别的任务为任务t,任务t的表示为Z(t) (t) (t) (t) (t)=(X ,y ),其中,X 为任务t中图像样本,y 为其对应的标签;使用这些数据对S11步骤生成的特征提取共享模型进行微调更新,以避免由于出现分布漂移而影响特征的代表性,使用BP反向传播算法更新特征模型;

(t)

先对输入X 自下而上计算一次每层特征,得到Hl,l=1,2,3,…,nL,nL表示最大的层(t)数,利用单任务学习器对(Hl,y )进行学习得到参数W0,应用BP算法对网络参数进行调优;

T (t)

对每一层l,计算∪l=Hl*(1‑Hl)∪l+1Wl+1 ,如果是最后一层,则∪l=Hl*(1‑Hl)y ,通过Wl←TWl‑αtHl‑1∪l更新矩阵Wl;

考虑到避免任务负迁移的发生,模型的学习率αt是随任务相关性变化的,即对每一个任务t,计算它和前一个任务的相关性γt:(t) (t‑1) (t) (t‑1) (t) (t‑1)γt=cos(θ ,θ )=cos(Ls ,Ls )=cos(s ,s )(t) (t)

其中, 为知识库矩阵,s 为性线组合系数;每一个任务模型的参数θ 由L矩阵(t) (t)里的某些列向量线性组合组成,即θ =Ls ,cos()表示两个向量的余弦夹角,任务模型的划分超平面之间的夹角越小,任务相关性越高;进一步的,任务学习率αt由下式决定:αt=αc(γt+1)/2

其中αc为BP调优的基准学习率,是需要手工调优的超参数。

4.如权利要求3所述的一种图像持续学习识别方法,其特征在于:步骤S14中,对于输入(t) (t) (t) (t)(H ,y ),可以通过下式闭式求得模型参数θ 和海塞矩阵D :(t) (t) (t)T ‑1 (t) (t)θ =(H H ) H y

(t)

随后,从 中优化s ,其中,μ是一个平衡因子,采用随机梯度下降法计算 然后通过

更新共享任务基L,即知识库矩阵,T表示最

大任务数,nt表示第t个任务对应的样本数。

5.如权利要求1所述的一种图像持续学习识别方法,其特征在于:(1) (2) (M)

假定有M个图像识别任务T ,T ,…T 和大量符合已学任务分布的有标签数据,每个(m) (m) (m) (m) (m) (m)任务T =(f (θ),H ,y ),其中H 为任务m的训练样本的特征,y 为对应的样本标签,(m)f (θ)为任务m的识别函数,θ为学习模型的网络参数;即,每个任务的标签由一个真实隐含(m)函数f (θ)决定,它随着识别任务的增加不断更新优化;每个任务给定nm个训练样本(m)和相应的标签y ,d为特征提取共享模块提取的样本特征维数;在任意的时间点,图像识别学习模型接收到一批来自任务m的有标签样本时,它们可能是来自一个新任务或者是已经学习过的任务,接收到训练数据后,学习模型的目标是通过给定的训练样本学(m)习每个任务的学习模型 尽可能接近真实的目标函数f ;学习模型的目标函数为:其中, σ(·)为激活函数; 表示第m个任务的第i个输入在第l层的特征表示, 是m任务中第i个样本的标签,nm表示任务m的训练样本的数量,(m)Wl表示l层权值连接矩阵, 为知识库矩阵,s 为性线组合系数;每一个任务模型的(m) (m) (m)参数θ 由L矩阵里的某些列向量线性组合组成,即θ =Ls ;μ和λ都是平衡参数。

6.如权利要求1所述的一种图像持续学习识别方法,其特征在于:为了进行知识迁移和避免灾难性遗忘,对每个图像识别任务,在训练完成该任务之后,计算网络中每个参数对于该任务的重要性Ωij,即第i行第j列的参数值占整个参数值的比例大小,并沿用到训练后续的任务中去,Ωij以正则项的形式添加到损失函数中去,每当进行新任务训练时:对于Ωij较大的参数,在梯度下降中尽量减少它的改变幅度,因为该参数对过去的某任务很重要,需要保留它的值来避免灾难性遗忘;而对于Ωij较小的参数,可以以较大的幅度对其进行梯度更新,以得到在新任务上较好的性能;因此,第m个任务的损失函数为:(m)

其中,L (θ)是当前任务的损失函数,λ是平衡因子,θij是当前的模型参数矩阵中第i行第j列的参数, 是由前n‑1个任务训练后得到的模型参数,每当训练完一个任务之后,Ωij都会进行更新,进行第一个任务时, 取0。

7.一种图像持续学习识别装置,其特征在于,包括特征提取共享模块和知识迁移学习模块,其中特征提取共享模块包括如下单元:无监督训练单元,用于进行无监督预训练,采用自编码网络中的无监督重构预训练方法训练得到特征提取共享模型;

更新单元,用于维护更新特征提取共享模型,使用BP反向传播算法对S11步骤生成的特征提取共享模型进行微调更新;

(t)

特征提取单元,用于使用更新后的特征提取共享模型对待识别图像X 进行逐层特征(t)提取得到图像特征H ,t表示第t个识别任务;

(t) (t)

模型参数求解单元,用于对当前任务的特征H 进行分解求解模型参数θ 以及知识库矩阵L;

(t) (t)

其中知识迁移学习模块中使用特征提取共享模块提取得到的特征H 构建新任务Z(t) (t) (t)=(H ,y ),y 为标签,随后对这组训练数据使用终身机器学习算法进行迁移学习,获得(t)每个任务最终的图像识别学习模型f (θ),并利用学习模型进行图像识别。

8.一种电子设备,包括分布式存储器、处理器以及在存储器中可在处理器中运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求要求1至6中任一项所述一种图像持续学习识别方法的步骤。

9.一种计算机可读存储介质,储存有计算机软件指令,其特征在于:所述计算机软件指令实现权利要求1至6中任一项所述一种图像持续学习识别方法的步骤。