1.一种群体行为识别方法,其特征在于,包括:获取待识别的视频帧;
根据视频帧,基于预训练好的群体行为识别模型,得到群体行为类别;
所述群体行为识别模型包括:骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器。
2.根据权利要求1所述的一种群体行为识别方法,其特征在于,所述骨干网络为VGG‑16或者Inception‑v3。
3.根据权利要求1所述的一种群体行为识别方法,其特征在于,基于骨干网络,将视频帧作为输入得到全局特征 ;
根据全局特征 采用区域兴趣对齐得到个体特征 ;
基于融合模块,将全局特征 和个体特征 作为输入进行融合,得到融合模块最后输出的融合特征 ;
基于嵌入层,将个体特征 作为输入,再将嵌入层的输出与融合模块最后输出的融合特征 进行残差计算得到最终的融合特征 ;
基于关系推理模块,根据最终的融合特征 得到个体间的关系交互图 ;
基于预训练好的图卷积网络,以个体间的关系交互图 与最终的融合特征 作为输入,将图卷积网络的输出与个体特征 进行残差计算后再依次经过全局平均池化层和分类器得到最终的群体行为类别。
4.根据权利要求3所述的一种群体行为识别方法,其特征在于,所述根据最终的融合特征 得到个体间的关系交互图 包括:;
;
其中, 为最终的融合特征 在时空维度上的单个个体特征, 为时间步长, 为单张图片上的目标个体数量,为融合函数, 为个体 与个体 之间的外观相似度, 为个体 与个体 之间的位置关系, 、 分别为最终的融合特征 在时空维度上个体 和个体 的外观特征; 分别为最终的融合特征 在时空维度上个体和个体 的位置特征; 为个体与个体 之间的关系交互图。
5.根据权利要求3所述的一种群体行为识别方法,其特征在于,获取群体行为类别的表达式如下:;
其中, 为最终得到的群体行为类别, 为分类器, 为全局平均池化层,为图卷积网络的输出。
6.根据权利要求3所述的一种群体行为识别方法,其特征在于,所述融合模块包括:卷积层、注意力机制模块、线性嵌入层、Softmax层、层归一化层以及前馈网络;
针对个体特征 和全局特征 分别进行位置编码以添加位置信息,再将位置编码后的个体特征和全局特征通过卷积层进行通道规划,表达式如下:;
其中, 表示位置编码, 表示1×1卷积核的pointwise卷积层, 表示位置编码后的个体特征或全局特征, 经过上式计算后输出 , 对应于个体特征时表示为 ,对应于全局特征时表示为 ;
基于注意力机制模块,对经过卷积层的个体特征 和全局特征 添加通道注意机制,表达式如下:;
其中, 表示通道注意力机制, 为添加通道注意机制后的个体特征或全局特征, 对应于个体特征时表示为 ,对应于全局特征时表示为 ; 表示维度大小为 的权重矩阵;
将添加通道注意机制后的个体特征 通过线性嵌入层后得到 ,表达式如下:;
其中, 表示线性嵌入层;
将通过线性嵌入层的个体特征 和添加通道注意机制后的全局特征 进行乘积融合,并通过Softmax层得到中间特征 ,表达式如下:;
其中,Softmax表示Softmax层;
再将中间特征 与添加通道注意机制后的全局特征 进行乘积融合后再与通过线性嵌入层后的个体特征 进行残差计算得到融合特征 ,表达式如下:;
再将融合特征 进行层归一化后经过前馈网络再进行层归一化得到表征能力增强的融合特征 ,表达式如下:;
其中, 表示层归一化层, 表示前馈网络;
再将表征能力增强的融合特征 经过卷积层得到融合模块最后输出的融合特征,表达式如下:。
7.一种群体行为识别系统,其特征在于,包括:数据获取模块,用于获取待识别的视频帧;
行为识别模块,用于根据视频帧,基于预训练好的群体行为识别模型,得到群体行为类别;
所述群体行为识别模型包括:骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器。
8.根据权利要求7所述的一种群体行为识别系统,其特征在于,所述行为识别模块执行的操作包括:基于骨干网络,将视频帧作为输入得到全局特征 ;
根据全局特征 采用区域兴趣对齐得到个体特征 ;
基于融合模块,将全局特征 和个体特征 作为输入进行融合,得到融合模块最后输出的融合特征 ;
基于嵌入层,将个体特征 作为输入,再将嵌入层的输出与融合模块最后输出的融合特征 进行残差计算得到最终的融合特征 ;
基于关系推理模块,根据最终的融合特征 得到个体间的关系交互图 ;
基于预训练好的图卷积网络,以个体间的关系交互图 与最终的融合特征 作为输入,将图卷积网络的输出与个体特征 进行残差计算后再依次经过全局平均池化层和分类器得到最终的群体行为类别。
9.根据权利要求7所述的一种群体行为识别系统,其特征在于,所述融合模块包括:卷积层、注意力机制模块、线性嵌入层、Softmax层、层归一化层以及前馈网络;
所述融合模块执行的操作包括:针对个体特征 和全局特征 分别进行位置编码以添加位置信息,再将位置编码后的个体特征 和全局特征 通过卷积层进行通道规划,表达式如下:;
其中, 表示位置编码, 表示1×1卷积核的pointwise卷积层, 表示个体特征或全局特征, 经过上式计算后输出 , 对应于个体特征时表示为 ,对应于全局特征时表示为 ;
基于注意力机制模块,对经过卷积层的个体特征 和全局特征 添加通道注意机制,表达式如下:;
其中, 表示通道注意力机制, 为添加通道注意机制后的个体特征或全局特征, 对应于个体特征时表示为 ,对应于全局特征时表示为 ; 表示维度大小为 的权重矩阵;
将添加通道注意机制后的个体特征 通过线性嵌入层后得到 ,表达式如下:;
其中, 表示线性嵌入层;
将通过线性嵌入层的个体特征 和添加通道注意机制后的全局特征 进行乘积融合,并通过Softmax层得到中间特征 ,表达式如下:;
其中,Softmax表示Softmax层;
再将中间特征 与添加通道注意机制后的全局特征 进行乘积融合后再与通过线性嵌入层后的个体特征 进行残差计算得到融合特征 ,表达式如下:;
再将融合特征 进行层归一化后经过前馈网络再进行层归一化得到表征能力增强的融合特征 ,表达式如下:;
其中, 表示层归一化层, 表示前馈网络;
再将表征能力增强的融合特征 经过卷积层得到融合模块最后输出的融合特征,表达式如下:。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1‑6中任一项所述方法的步骤。