利索能及
我要发布
收藏
专利号: 2019113086075
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于动态修正向量的图像增量学习方法,其特征在于,所述方法包括如下步骤:

S1:构造以ResNet‑32网络层结构为模型的主干网络,用于识别增量阶段任务中出现的新旧类别,ResNet‑32模型采用Adam训练优化器,同时,基础分类损失函数是Kullback‑Leibler Divergence相对熵损失函数;

S2:ResNet‑32引入知识蒸馏损失函数,帮助新模型学习旧类别中的知识,缓解灾难性遗忘问题;

S3:训练方式采用代表性记忆方法,即预定义的超参数K用于固定系统内存中保存的旧类别数据的数目,从而联合新到来的数据训练ResNet‑32模型:内存中的每一类数据的数目都相同;每次增量训练结束后,随机删除内存中每一类的旧数据,为新到来的数据预留存储空间,动态修正向量用于训练过程中统计模型训练的数据类别,防止模型在预测阶段过多偏向于数据较多的类别;

S4:重载上一增量阶段训练的最佳模型,重复S2~S3步骤,评估在所有测试集上的性能,直到训练完所有增量数据;

所述步骤S2中,ResNet‑32引入知识蒸馏具体来说,在每一个增量步骤中,教师模型是前一个增量步骤中完全训练过的学生模型,而学生模型是当前步骤的更新模型,假设F(xi)是教师模型在i增量步骤中预测的输入xi的概率分布,G(xi)是学生模型的softmax层的输出;

概率标签由教师模型的分类层计算得到,训练数据有两个标签,分别是概率标签和真实标签,每个样本的概率标签与类的尺寸相同,为了计算F(xi)和G(xi)之间的距离,使用Kullback‑Leibler Divergence作为知识提取过程中的损失函数,通过最小化蒸馏损失,学生模型从教师模型中获得足够的信息,知识蒸馏损失函数 的定义如下:上式中T是将概率标签提升到指数1/T的温度参数,参数T可以强化训练模型中已有的知识,当T=1时,知识蒸馏损失函数退化为分类损失函数,当温度参数T大于0.9且小于1时,得分较低的类对结果的影响更小,当T>1时,得分高的类对损失的影响变小,而得分低的类对损失的影响变大,因此,温度参数迫使网络更加关注细粒度分离,通过知识蒸馏,网络可以有选择地学习更加鲁棒的特征;

所述步骤S3中,使用动态修正向量 修改学生模型G(xi)和教师模型F(xi)的输出,它记T

录了每一步中每个图像的真实标签yi和概率标签F (xi),当前向量 派生于前一步中的向量,下面的公式中定义了动态修正向量其中N是现有类的数量,k是新类的数量,·是点乘操作的符号,修正向量将教师模型生成的概率标签和分类损失生成的真实标签相加,向量 表示训练中概率标签和真实标签的统计信息,分类结果偏向于训练数据较多的类别,为了解决这个问题,输出乘以向量 的倒数,因此,向量可以显著地减少偏差问题,由于代表性记忆内存大小K的限制,在增量训练的后期仍然可能出现不平衡,因此,使用任务索引来限制 的子向量的增长,如下面的公式所示:其中 是旧的类子向量, 是新类子向量,I是从零开始的增量任务索引,任务索引I用于补偿过拟合问题,为了解决过拟合问题,向量 由类向量和任务索引重新调整大小;

因此,通过结合动态修正向量技术,在下面的公式中推导出新的损失函数:

其中 是存储在学生模型中的最后一个动态修正向量,因此, 包含所有训练数T

据的统计信息,F(xi)乘以 以纠正概率标签并消除偏差;

因此,应用动态修正向量后,学生模型G′(X)在预测中的预测结果由下面的公式给出:

其中·为点乘法运算符号,该操作仅仅在测试集上运用的。

2.如权利要求1所述的一种基于动态修正向量的图像增量学习方法,其特征在于:所述步骤S1中,ResNet‑32是一个残差结构的卷积神经网络,残差结构可以防止过拟合发生,提高模型在训练中的收敛速度,在增量学习中起着至关重要的作用,ResNet‑32模型采用Adam训练优化器,提高了模型参数的优化速率,同时,基础分类损失函数是Kullback‑Leibler Divergence相对熵损失函数,它有着比交叉熵损失更加低的数值,减小了超参数的选取的敏感性,定义为:其中xi表示第i个数据,yi表示第i个数据的标签, 表示标准的Kullback‑Leibler Divergence相对熵损失函数,G(xi)表示新模型对于第i个数据的响应输出,表示本增量阶段的训练数据集。