1.一种基于元学习的少样本行为识别方法,其特征在于,所述方法包括以下步骤:
1)将视频数据集分为元训练集和元测试集,从元训练集中抽取多组支持集和询问集用于训练模型,从元测试集中抽取多组支持集和询问集用于测试模型;
2)使用浅层三维卷积神经网络提取支持集和询问集的视频特征;
3)构建一种元学习网络,用于对支持集进行建模,生成步骤2)中浅层三维卷积神经网络参数;
4)对步骤2)提取到的视频特征进行二阶变换和归一化处理;
5)将处理后的支持集和询问集视频特征进行拼接,采用多层二维卷积神经网络提取询问集和支持集视频特征之间的非线性距离关系,对训练集视频进行分类。
2.如权利要求1所述的一种基于元学习的少样本行为识别方法,其特征在于:所述步骤
1)中,视频数据集的划分过程包括:将视频数据集划分为元训练集Dmeta‑train和元测试集Dmeta‑test,在训练过程中,每轮从Dmeta‑train随机抽取N个不同的类,每类有K个不同样本组成支持集 再从剩余Dmeta‑train中随机抽取这N个类中的样本组成询问集 在测试过程中,对Dmeta‑test做同样的操作。
3.如权利要求1或2所述的一种基于元学习的少样本行为识别方法,其特征在于:所述步骤3)中,元学习网络生成步骤2)中浅层三维卷积网络参数的过程如下:将输入由三维卷积网络组成的任务编码器E,得到任务的概率分布,将任务表示成条件概率分布模型得到任务特征向量t,如式(1),(2):式中q是条件概率分布, 是正态分布;
然后使用单层全连接神经网络g生成步骤2)中三维卷积的网络参数θ,如式(3)所示:θ=g(t) (3)将式(3)中得到的网络参数作正则化处理,如式(4):
4.如权利要求1或2所述的一种基于元学习的少样本行为识别方法,其特征在于:所述步骤2)中浅层三维卷积网络fθ使用由步骤3)中元学习网络生成的参数θ,提取视频特征,视频特征表示计算为:
w=fθ(x) (5)C×T×H×W C'×T'×H'×W'式中x是视频片段,并且x∈R ,w是视频特征,且w∈R 。
5.如权利要求1或2所述的一种基于元学习的少样本行为识别方法,其特征在于:所述C′×T′×H′×W′
步骤4)中,对于步骤2)提取到的视频特征w处理的过程如下:首先将w∈R 改变维度C'×M
为w'∈R (M=T'×H'×W'),求二阶特征 的公式如下:式中ψ(·)为归一化函数,如下:
6.如权利要求5所述的一种基于元学习的少样本行为识别方法,其特征在于:所述步骤
5)中,寻找支持集和询问集度量关系,对询问集进行分类的过程如下:将步骤4)提取到的支持集和询问集的视频特征 进行拼接,表示为 将拼接后的特征输入多层二维卷积网络,得到相似性r,如式(8)所示:式中ri,j是一个0到1的数值,表示支持集视频xi和询问集视频xj的相似度;最后,使用均方差公式作为损失函数,如式(9):