1.复杂背景下双人交互行为识别方法,其特征在于,包括如下步骤:
步骤SS1:构建两层卷积叠加ISA网络,所述ISA网络用于对视频进行提取基于视频自动学习的时空特征;具体包含有局部时空样本提取、图层ISA1特征提取、图层ISA2特征提取三个步骤;
所述步骤SS1中的所述局部时空样本提取步骤,包括:使用密集采用得到视频时空样本,密集采样现在时空域进行视频缩放,然后从随机位置提取视频块提取视频块,得到最终样本;
所述步骤SS1中的所述图层ISA1特征提取步骤,包括:首先对小的输入图像块进行PCA降维,使用ISA算法学习权重矩阵,再将其与更大的图像块进行卷积,即把大图形拆分成不同的子块,单独计算子块特征,再将所有特征合并输出;
所述步骤SS1中的所述图层ISA2特征提取步骤,包括:先用PCA对第一层合并特征进行降维预处理,将其结果作为ISA2的输入,计算最终的样本特征;
步骤SS2:训练步骤,即采用训练集的全部双人交互行为视频,通过所述两层卷积叠加ISA网络提取训练集视频的时空特征,并用所述时空特征通过SPN结构学习算法得到SPN模型结构;
步骤SS3:识别步骤,即采用测试集的双人交互行为视频,通过所述两层卷积叠加ISA网络提取测试集视频的时空特征,并用所述的SPN模型获取对双人交互行为视频的识别结果。
2.根据权利要求1所述的复杂背景下双人交互行为识别方法,其特征在于,所述步骤SS2具体还包括:步骤SS21:变量划分,即使用图模型结合并查集结构的Indep-Graph Union-Find算法寻找连接子图,通过寻找无向图中的独立子集,将每一个子集中的元素独立于其他子集;
步骤SS22:实例划分,即使用DBSCAN聚类算法将相似的实例划分到同一子集中;
步骤SS23:生成SPN结构,即当划分子块的长度为1时生成单变量分布节点;大于等于1时判断进行变量划分或者实例划分;判断满足划分结束条件,若满足生成SPN结构。
3.根据权利要求1所述的复杂背景下双人交互行为识别方法,其特征在于,所述步骤SS3具体还包括:对输入样本首先进行线性变换得到线性特征响应,将其响应作为下一层的输入进行非线性变换得到ISA网络的最终输出;图层ISA1输入为16*16大小连续10帧图像,ISA每个子空间大小为2;图层ISA2提取大小为20*20连续14帧,每个子空间为4。