利索能及
我要发布
收藏
专利号: 2018101705135
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.复杂背景下双人交互行为识别方法,其特征在于,包括如下步骤:

步骤SS1:构建两层卷积叠加ISA网络,所述ISA网络用于对视频进行提取基于视频自动学习的时空特征;具体包含有局部时空样本提取、图层ISA1特征提取、图层ISA2特征提取三个步骤;

所述步骤SS1中的所述局部时空样本提取步骤,包括:使用密集采用得到视频时空样本,密集采样现在时空域进行视频缩放,然后从随机位置提取视频块提取视频块,得到最终样本;

所述步骤SS1中的所述图层ISA1特征提取步骤,包括:首先对小的输入图像块进行PCA降维,使用ISA算法学习权重矩阵,再将其与更大的图像块进行卷积,即把大图形拆分成不同的子块,单独计算子块特征,再将所有特征合并输出;

所述步骤SS1中的所述图层ISA2特征提取步骤,包括:先用PCA对第一层合并特征进行降维预处理,将其结果作为ISA2的输入,计算最终的样本特征;

步骤SS2:训练步骤,即采用训练集的全部双人交互行为视频,通过所述两层卷积叠加ISA网络提取训练集视频的时空特征,并用所述时空特征通过SPN结构学习算法得到SPN模型结构;

步骤SS3:识别步骤,即采用测试集的双人交互行为视频,通过所述两层卷积叠加ISA网络提取测试集视频的时空特征,并用所述的SPN模型获取对双人交互行为视频的识别结果。

2.根据权利要求1所述的复杂背景下双人交互行为识别方法,其特征在于,所述步骤SS2具体还包括:步骤SS21:变量划分,即使用图模型结合并查集结构的Indep-Graph Union-Find算法寻找连接子图,通过寻找无向图中的独立子集,将每一个子集中的元素独立于其他子集;

步骤SS22:实例划分,即使用DBSCAN聚类算法将相似的实例划分到同一子集中;

步骤SS23:生成SPN结构,即当划分子块的长度为1时生成单变量分布节点;大于等于1时判断进行变量划分或者实例划分;判断满足划分结束条件,若满足生成SPN结构。

3.根据权利要求1所述的复杂背景下双人交互行为识别方法,其特征在于,所述步骤SS3具体还包括:对输入样本首先进行线性变换得到线性特征响应,将其响应作为下一层的输入进行非线性变换得到ISA网络的最终输出;图层ISA1输入为16*16大小连续10帧图像,ISA每个子空间大小为2;图层ISA2提取大小为20*20连续14帧,每个子空间为4。