利索能及
我要发布
收藏
专利号: 2023104327882
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种鲁棒的增量行为识别模型建立方法,其特征在于包括:

步骤S1:将包括若干视频样本的数据集划分为训练数据集、验证数据集及测试数据集,并确定数据集中不同类别样本的训练顺序;

步骤S2:构建类增量行为识别模型;

步骤S3:按照训练顺序获取需要训练的类别样本,将样本进行在线增广;

步骤S4:采用在线增广后的训练数据集对类增量行为识别模型进行训练,训练时,如果训练的样本属于旧类,则根据对应标签生成正相关的软标签进行自纠正损失计算,如果训练的样本属于新类,则从属于旧类的样本中选择若干代表性样本,并从代表性样本中选取若干关键帧,将这些关键帧与属于新类的样本构成新类训练数据集样本进行训练;所述旧类为之前已经识别到的类别,所述新类为还未识别到的类别;

步骤S5:通过验证数据集筛选出识别精度最高的类增量行为识别模型保存;

步骤S6:采用测试数据集对保存的模型进行测试,获取当前类别的行为识别准确度和遗忘率,并根据增量类别更新模型;

步骤S7:返回执行步骤S3,直至完成所有类的训练,得到训练好的类增量行为识别模型。

2.根据权利要求1所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S1中,所述确定数据集中不同类别样本的学习顺序,具体如下:从数据集中选择任一已确定类别的一类视频样本作为基类,进行第一个训练,剩余类别的视频样本作为增量类,进行后续训练。

3.根据权利要求1所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S2中,所述类增量行为识别模型包括特征提取器和分类器,其中,所述特征提取器用于从输入的样本中提取特征,具体为预训练网络,所述分类器用于将特征提取器提取的特征进行分类。

4.根据权利要求1所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S3中,在线增广的方法具体如下:步骤S3‑1:如果当前阶段为基类训练阶段,则将该样本的视频帧沿时间维度进行相同的裁剪,裁剪空间分辨率大小为H×W,其中H和W分别为空间分辨率的高和宽;如果当前阶段属于增量类训练阶段,则对将该样本的视频帧沿时间维度进行相同的裁剪,裁剪空间分辨率大小为(aH)×(aW),0<a≤1;其中,对基类的训练阶段为基类训练阶段,对增量类的训练阶段为增量训练阶段;

步骤S3‑2:将样本的视频帧沿时间维度进行相同的随机水平翻转。

5.根据权利要求1所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S4中,采用在线增广后的训练数据集对类增量行为识别模型进行训练的方法包括:步骤S4‑1:设置训练参数,如果当前阶段为基训练阶段,对类增量行为识别模型进行随机初始化,如果是增量训练阶段,则直接采用之前训练得到的网络参数进行初始化;

步骤S4‑2:如果当前样本属于新类,则从属于旧类的样本中选择若干代表性样本,并从代表性样本中选取若干关键帧,将这些关键帧与属于新类的样本构成新类训练数据集样本;否则执行步骤S4‑3;

步骤S4‑3:将样本的视频平均分段后对每个片段随机采样,特征提取器对将采样的视频帧进行特征提取;

步骤S4‑4:分类器对步骤S4‑3所提取的特征进行分类;

步骤S4‑5:利用交叉熵损失进行损失计算;

步骤S4‑6:如果当前样本属于旧类,则根据对应标签生成正相关的软标签进行自纠正损失计算;否则直接执行步骤S4‑7;

步骤S4‑7:结合步骤S4‑5和步骤S4‑6所计算的损失,对网络参数进行优化。

6.根据权利要求5所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S4‑6中,根据对应标签生成正相关的软标签进行自纠正损失计算的方法包括:采用下式根据对应标签生成正相关的软标签:

式中, 表示样本x的软标签,θt表示样本x的标签,α∈(0,1]是正则化因子, 是与相同维度的校准输入, 的取值范围在0到1之间,t表示当前迭代次数;

根据软标签进行自纠正损失计算:

式中, 表示自纠正损失,Ot‑1代表属于旧类的样本,o(x)表示旧类样本网络预测的输出,σ(·)表示sigmoid运算。

7.根据权利要求5所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S4‑2中,所述代表性样本通过利用herding算法选择。

8.根据权利要求5所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S4‑2中,所述关键帧的选取方法为:对代表性样本按照下式计算每帧的差异性程度值CY(i),若CY(i)≥β,则将当前帧作为关键帧,β是给定的阈值:式中,CY(i)表示第i帧的差异性程度值,γ是一个超参数,0<γ≤1,j代表上一关键帧的下一帧的索引,f(·)为表征函数,V·表示第·帧,T表示当前帧所属视频总帧数。

9.根据权利要求1所述的鲁棒的增量行为识别模型建立方法,其特征在于:所述步骤S6中,根据增量任务类别更新模型的方法具体为:利用上一训练阶段分类器的参数来更新下一增量训练阶段分类器中旧类分类头的权重和偏置,并根据后续增量的类别数增加分类器的维度。

10.一种鲁棒的增量行为识别模型建立装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1‑9中任意一项所述的方法。