利索能及
我要发布
收藏
专利号: 2021116778111
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多维原型重构增强学习的小样本行为识别方法,其特征在于,包括:基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征,利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子;

基于所述支持集时序特征求解原始时序注意力,在所述支持集时序特征上施加随机打乱重排列操作,得到支持集时序特征的补充特征,计算所述补充特征的打乱时序注意力,对所述打乱时序注意力实施逆操作得到补充时序注意力,计算所述原始时序注意力与补充时序注意力的差值,并将其作为动态时序变换损失用于优化注意力网络;

利用平均法计算所述支持集视频描述子中的每一类视频的类平均原型,并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度,根据各自对应的相似度对支持集样本和查询集样本重加权,得到两个原型,将两个原型进行加权求和得到交叉增强原型;

分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组,通过正负样本的相对距离计算可适应边距,基于上述双三元组和可适应边距设计双三元组可适应损失,增强所述交叉增强原型对不同类别的可鉴别能力;

利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类。

2.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法,其特征在于,基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征,包括:

基于所述支持集样本和查询集样本分别构建支持集视频表示和查询集视频表示;

根据支持集视频表示和查询集视频表示提取得到支持集帧级特征和查询集帧级特征,获得支持集时序特征和查询集时序特征。

3.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法,其特征在于,利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子,包括:

使用时序卷积网络TCN基于所述支持集帧级特征和查询集帧级特征计算支持集时序特征和查询集时序特征,采用MLP对所述支持集时序特征和查询集时序特征进行压缩,经过softmax后得到支持集时序注意力和查询集时序注意力,将时序注意力与相应的时序特征相乘,获得支持集视频描述子和查询集的视频描述子。

4.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法,其特征在于,分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组,通过正负样本的相对距离计算可适应边距,基于上述双三元组和可适应边距设计双三元组可适应损失,增强所述交叉增强原型对不同类别的可鉴别能力,包括:以查询集中的样本为中心,判断所述交叉增强原型是否与该样本属于同一类,若判断结果为是,则所述交叉增强原型为正原型,反之为负原型,构建包含查询集样本、正原型和负原型元素的查询三元组;以交叉增强原型为中心,判断所述查询集中的样本是否与该交叉增强原型属于同一类,若判断结果为是,则所述样本为正查询样本,反之为负查询样本,构建包含交叉增强原型、正查询样本和负查询样本元素的原型三元组;

基于所述查询三元组和原型三元组构建双三元组损失联合优化原型,使得原型与同类样本相似度最大,与不同类样本相似度最小,且正负样本在特征空间上相隔三元组损失中可适应边距的距离。

5.根据权利要求1所述的基于多维原型重构增强学习的小样本行为识别方法,其特征在于,利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类,包括:计算得到所述支持集视频中的每类视频的交叉增强原型,并求解查询集样本与交叉增强原型的欧式距离,根据最近邻算法,确定最近的交叉增强原型类别为该查询集样本类别。

6.根据权利要求5所述的基于多维原型重构增强学习的小样本行为识别方法,其特征在于,还包括:

在所述查询集视频描述子中的视频分类完成后,计算交叉熵损失、动态时序变换损失、原型可适应三元组损失和查询可适应三元组损失,将交叉熵损失、动态时序变换损失、原型三元组损失和查询三元组损失相加计算总损失。

7.一种基于多维原型重构增强学习的小样本行为识别系统,其特征在于,包括:视频描述子计算模块,所述视频描述子计算模块用于基于获取的支持集样本和查询集样本计算得到支持集时序特征和查询集时序特征,利用支持集时序特征和查询集时序特征计算得到支持集视频描述子和查询集的视频描述子;

动态时序变换模块,所述动态时序变换模块用于基于所述支持集时序特征求解原始时序注意力,在所述支持集时序特征上施加随机打乱重排列操作,得到支持集时序特征的补充特征,计算所述补充特征的打乱时序注意力,对所述打乱时序注意力实施逆操作得到补充时序注意力,计算所述原始时序注意力与补充时序注意力的差值,并将其作为动态时序变换损失用于优化注意力网络;

交叉增强原型计算模块,所述交叉增强原型计算模块用于利用平均法计算所述支持集视频描述子中的每一类视频的类平均原型,并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度,根据各自对应的相似度对支持集样本和查询集样本重加权,得到两个原型,将两个原型进行加权求和得到交叉增强原型;

原型鉴别优化模块,所述原型鉴别优化模块用于分别以交叉增强原型为中心和以查询集的样本为中心构建双三元组,通过正负样本的相对距离计算可适应边距,基于上述双三元组和可适应边距设计双三元组可适应损失,增强所述交叉增强原型对不同类别的可鉴别能力;

视频分类模块,所述视频分类模块用于利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类。

8.根据权利要求7所述的基于多维原型重构增强学习的小样本行为识别系统,其特征在于,所述视频描述子计算模块包括:视频表示构建单元,所述视频表示构建单元用于基于所述支持集样本和查询集样本分别构建支持集视频表示和查询集视频表示;

时序特征获取单元,所述时序特征获取单元根据支持集视频表示和查询集视频表示提取得到支持集帧级特征和查询集帧级特征,获得支持集时序特征和查询集时序特征。

9.根据权利要求7所述的基于多维原型重构增强学习的小样本行为识别系统,其特征在于,所述原型鉴别优化模块包括:

双三元组构建单元,所述双三元组构建单元用于以查询集中的样本为中心,判断所述交叉增强原型是否与该样本属于同一类,若判断结果为是,则所述交叉增强原型为正原型,反之为负原型,构建包含查询集样本、正原型和负原型元素的查询三元组;以交叉增强原型为中心,判断所述查询集中的样本是否与该交叉增强原型属于同一类,若判断结果为是,则所述样本为正查询样本,反之为负查询样本,构建包含交叉增强原型、正查询样本和负查询样本元素的原型三元组;

联合优化单元,所述联合优化单元用于基于所述查询三元组和原型三元组构建双三元组损失联合优化原型,使得原型与同类样本相似度最大,与不同类样本相似度最小,且正负样本在特征空间上相隔三元组损失中可适应边距的距离。

10.根据权利要求7所述的基于多维原型重构增强学习的小样本行为识别系统,其特征在于,还包括:

损失计算模块,所述损失计算模块用于在所述查询集视频描述子中的视频分类完成后,计算交叉熵损失、动态时序变换损失、原型可适应三元组损失和查询可适应三元组损失,将交叉熵损失、动态时序变换损失、原型三元组损失和查询三元组损失相加计算总损失。