利索能及
我要发布
收藏
专利号: 2022112878789
申请人: 武汉纺织大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于进阶式学习的图像多任务识别方法,其特征在于,包括如下步骤:

步骤1,构建多级别的训练样本;

步骤2,构建进阶式学习的多级别图像识别网络模型;

进阶式学习的多级别图像识别网络模型包括3个阶段,第1阶级利用终身学习构建初级网络,利用单属性样本进行训练,使模型能够初步识别各任务的性能,第2阶级是在迁移初级网络知识的基础上利用多属性样本进行协同训练学习,利用多任务协同学习构建高级网络,使模型能够充分利用不同任务之间的相关性和异质性,完成多任务同时识别功能;第3阶级是在迁移初级网络和高级网络知识的基础上利用软标签样本进行训练学习得到专家网络,利用软标签学习构建专家网络,使模型具备去伪存真的图像识别本质能力,从而提高模型的鲁棒性和泛化能力;

步骤3,利用对应级别的训练样本训练图像识别网络模型;

步骤4,利用训练好的多级别图像识别网络模型实现图像的多任务识别。

2.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:步骤1中构建的多级别训练样本包括单标签初级网络训练样本,多标签高级网络训练样本,以及带置信度的多标签专家网络训练样本。

3.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:进阶式学习的多级别图像识别网络模型通过两种方式进行知识迁移,其一是输入迁移:为了能使用之前阶级网络的经验,当前阶级网络会将当前任务的输入输入进所有之前的阶级网络,并且将之前阶级网络的每一层的输出和当前阶级网络每一层的输出一起输入下一层;其二是输出的迁移:而为了能使用之前阶级网络的知识,将各阶级网络的损失函数设计为:其中,i,j表示阶级,yi是当前阶级网络真实结果,qj是之前阶级网络的输出结果,pred是当前阶级网络的输出结果,loss表示损失函数。

4.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:所述初级网络为了进行知识迁移和避免灾难性遗忘,对每个属性任务,在训练完成该任务之后,计算网络中每个参数对于该任务的重要性Ωij,即第i行第j列的参数值占整个参数值的比例大小,并沿用到训练后续的任务中去;Ωij以正则项的形式添加到损失函数中去,每当进行新任务训练时:对于Ωij较大的参数,在梯度下降中尽量减少它的改变幅度,因为该参数对过去的某任务很重要,需要保留它的值来避免灾难性遗忘;而对于Ωij较小的参数,可以以较大的幅度对其进行梯度更新,以得到在新任务上较好的性能,因此,第n个任务的损失函数为:其中,Ln(θ)是当前任务的损失函数,λ是平衡因子,θij是当前的模型参数矩阵中第i行第j列的参数, 是由前n‑1个任务训练后得到的模型参数,每当训练完一个任务之后,Ωij都会进行更新,进行第一个任务时, 取0。

5.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:初级网络的输入为单属性训练样本,输出为单属性标签,其主干网络采用RestNet或EfficientNet。

6.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:利用多任务协同学习构建高级网络,其在迁移初级网络知识的基础上利用多属性样本进行协同训练学习,高级网络的主干网络和初级网络的主干网络一样;

假设使用N个训练样本去学习T个任务,用 表示第t∈{1,…,T}个任务中第i∈{1,…,N}个样本向量和其对应的任务标签,则多任务协同学习的目标为:其中,:xi表示第i个训练样本, 表示第t个属性任务中第i个样本的标签,f(xi,θ)表示深度网络函数,即高级网络的主干网络,θ为需要求解的网络参数,Φ(θ)为正则惩罚项,采用L2惩罚项,Lt(·)表示不同任务的损失函数,λt表示不同损失函数的权值分配。

7.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:

专家网络的主干网络和初级网络的主干网络一样,专家网络中通过对硬标签yk进行软化得到新的损失函数:其中, 表示标签软化, 值根据样本自身情况确定,ck为样本标签的置信度,pk为网络预测结果,yk为非1即0的真实结果,K为标签类别数。

8.如权利要求4所述的基于进阶式学习的图像多任务识别方法,其特征在于:进行人脸图像多属性识别过程中,采用交叉验证的策略找出各任务难易度及学习排序问题,最终确定的识别顺序为性别、光照、分辨率、姿态、年龄、表情。

9.如权利要求1所述的基于进阶式学习的图像多任务识别方法,其特征在于:利用训练好的多级别图像识别网络模型实现人脸图像的性别、年龄、表情、姿态、光照和分辨率属性识别。

10.基于进阶式学习的图像多任务识别系统,其特征在于,包括如下模块:

训练样本构建模块,用于构建多级别的训练样本;

模型构建模块,用于构建进阶式学习的多级别图像识别网络模型;

进阶式学习的多级别图像识别网络模型包括3个阶段,第1阶级利用终身学习构建初级网络,利用单属性样本进行训练,使模型能够初步识别各任务的性能,第2阶级是在迁移初级网络知识的基础上利用多属性样本进行协同训练学习,利用多任务协同学习构建高级网络,使模型能够充分利用不同任务之间的相关性和异质性,完成多任务同时识别功能;第3阶级是在迁移初级网络和高级网络知识的基础上利用软标签样本进行训练学习得到专家网络,利用软标签学习构建专家网络,使模型具备去伪存真的图像识别本质能力,从而提高模型的鲁棒性和泛化能力;

模型训练模块,用于利用对应级别的训练样本训练图像识别网络模型;

识别模块,用于利用训练好的多级别图像识别网络模型实现图像的多任务识别。