1.一种基于多任务自监督框架的群体行为识别方法,其特征在于,所述基于多任务自监督框架的群体行为识别方法,包括:获取个体的行为数据,生成第一训练数据集和第二训练数据集;
构建包括个体特征提取模块、Transformer编码器和任务头的第一网络模型,采用第一训练数据集训练第一网络模型,在训练时,个体特征提取模块提取的个体嵌入特征输入到Transformer编码器提取编码特征,然后输入到各个任务头,计算各个任务头所对应的损失,完成第一网络模型的训练;
构建包括个体特征提取模块、Transformer编码器、全局特征补充模块和推理模块的第二网络模型,冻结Transformer编码器的参数,采用第二训练数据集训练第二网络模型,在训练时,个体特征提取模块提取的个体嵌入特征输入到全局特征补充模块和Transformer编码器,分别得到的全局特征和编码特征进行融合后输入到推理模块,计算损失,完成第二网络模型的训练;
将采集的个体行为数据输入训练好的第二网络模型,得到群体行为识别结果;
其中,所述全局特征补充模块,执行如下操作:
将个体嵌入特征拼接而成的群体特征矩阵聚类为各个集群;
对于每个集群,计算集群内注意力特征;
通过对集群内向量取均值,得到每个集群的中心;
将所有集群中心堆叠成集群中心矩阵,计算集群间注意力特征;
将集群内注意力特征与集群间注意力特征经过线性变换后拼接,然后通过激活函数得到动态权重值;
使用动态权重值动态加权集群内注意力特征与集群间注意力特征,得到加权注意力特征;
对每个输入的个体嵌入特征进行线性变换后得到值向量,然后与加权注意力特征相乘,得到个体嵌入特征对应的全局特征;
将输入的所有个体嵌入特征对应的全局特征堆叠,得到输出的全局特征。
2.根据权利要求1所述的基于多任务自监督框架的群体行为识别方法,其特征在于,所述任务头包括对比学习任务头、行为预测任务头和速度变换任务头;
所述对比学习任务头,包括依次连接的第一多层感知机、第二多层感知机和归一化层,所述编码特征输入到对比学习任务头,得到对比学习特征,所述对比学习任务头对应的损失为InfoNCE损失;
所述行为预测任务头,采用长短期记忆网络,所述编码特征输入到行为预测任务头,得到行为预测值,所述行为预测任务头对应的损失为行为预测值与真实值之间的均方误差损失;
所述速度变换任务头,包括均值池化层、全连接层和softmax函数,所述编码特征输入到行为速度变换任务头,得到预测变换倍率的概率分布,所述速度变换任务头对应的损失为预测变换倍率的概率分布与真实倍率之间的交叉熵损失。
3.根据权利要求2所述的基于多任务自监督框架的群体行为识别方法,其特征在于,所述训练第一网络模型,采用的总损失函数为各个任务头所对应的损失的总和。
4.根据权利要求1所述的基于多任务自监督框架的群体行为识别方法,其特征在于,所述推理模块,执行如下操作:将全局特征和编码特征融合后得到的融合特征输入到前馈神经网络对子群基数进行预测,得到预测的子群基数;
基于融合特征,计算个体间的特征相似度,构建特征邻接矩阵;
根据子群基数,对特征邻接矩阵进行图谱聚类操作,得到子群分割结果;
将子群分割结果输入到群体行为分类器,得到群体行为识别结果。
5.根据权利要求4所述的基于多任务自监督框架的群体行为识别方法,其特征在于,训练第二网络模型,所采用的损失函数包括子群基数损失、子群分割损失和群体行为识别损失。
6.一种基于多任务自监督框架的群体行为识别装置,包括处理器以及存储有若干计算机指令的存储器,其特征在于,所述计算机指令被处理器执行时实现权利要求1至权利要求
5中任意一项所述方法的步骤。