利索能及
我要发布
收藏
专利号: 2021111535664
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于人体关键点时空图模型的异常行为检测方法,其特征在于:所述方法包括如下步骤:

步骤a,当获取到待检测的视频时,对视频中的目标进行人体姿态估计,对当前视频进行预处理,获得视频中每个目标的关键点坐标;

步骤b,将步骤a中获得的目标关键点在基于人体关节自然连接的关系下,各关键点互连,构造空间图,并在连续帧中添加相应关节之间的时间边,搭建目标关键点时空图模型;

步骤c,构建数据驱动的图邻接矩阵,通过矩阵加法,对步骤b中搭建的目标关键点时空图模型进行融合,一起输入到行为特征提取模型当中,获得每个目标的行为特征;

步骤d,将步骤c中获得的目标行为特征,输入到自动编码器网络中,通过编码网络的处理,将原始特征x压缩表示为隐藏特征z;

步骤e,将步骤d中的获得的潜在向量,输入到自动编码器网络中,通过解码网络的处理,将隐藏特征z恢复为新特征 编码网络和解码网络共享相同的网络参数;

步骤f,将步骤c中获得的原始行为特征与步骤e中获得的重构行为特征进行误差分析,通过特征重构误差拟合异常评分,根据误差来实现目标的异常行为检测。

2.根据权利要求1所述的一种基于人体关键点时空图模型的异常行为检测方法,其特征在于:所述步骤a中,视频预处理包括,采用了OpenPose人体姿态估计中的COCO模型,对每个目标进行人体姿态估计,获得目标的18个关键点的(x,y)坐标和置信度分数acc,得到(x,y,acc)的位置特征。

3.根据权利要求1所述的一种基于人体关键点时空图模型的异常行为检测方法,其特征在于:所述步骤b中,获得人体关键点坐标以后,搭建时空图模型包括:步骤b1,在时间和空间维度下进行坐标数据归一化,也就是将一个关节在不同帧下的位置特征(x,y,acc)进行归一化;

步骤b2,给定身体关节的序列,以人体结构中的节点为图节点,以人体结构的自然连通性为图的边,获得单帧的人体关键点图,保存为邻接矩阵,再以时间的连续性,将同一节点在连续帧中相连,获得时间段内人体的关键点时空图模型;

步骤b3,将时空图中所有关节点的距离为1的邻域,划分为分别表示根关节点自身、近重心邻居关节点和远重心邻居关节点的三个子集。

4.根据权利要求1所述的一种基于人体关键点时空图模型的异常行为检测方法,其特征在于:所述步骤c中,构建数据驱动的图邻接矩阵包括:步骤c1,把基于步骤b2中获得的人体关键点图的邻接矩阵进行初始化,获得一个新的邻接矩阵;

步骤c2,把步骤c1中获得的新邻接矩阵在神经网络训练过程中,与其它参数一起被参数化,根据训练数据的不同,获得数据驱动的图邻接矩阵。

5.根据权利要求4所述的一种基于人体关键点时空图模型的异常行为检测方法,其特征在于:所述步骤c中,获得每个目标的行为特征包括:步骤c3,把步骤c2获得的数据驱动的图邻接矩阵与步骤b获得的人体关键点时空图模型,根据网络层次的不同需求,进行矩阵加法融合;

步骤c4,根据步骤b3中获得的三个子集,在步骤c3融合后的基础上,对每个子集构建卷积核大小;

步骤c5,构建图卷积块,包括依次连接的空间图卷积层GCN、BN层、RELU层、注意力模块STC、时域卷积层TCN、BN层、RELU层;

步骤c6,构建图卷积网络,包括依次连接的BN层、6个图卷积块、GAP层和softmax层,卷积块大小从(3,64,1)逐步增加到(128,128,1);

步骤c7,训练图卷积网络,利用模型去获得每个目标的行为特征。

6.根据权利要求1所述的一种基于人体关键点时空图模型的异常行为检测方法,其特征在于:所述步骤f中,判别异常行为的依据的基本公式如下:z=φe(x;Θe)

上述各式中,x是输入的原始特征,φe是编码器网络Θe的参数,φd是解码器网络Θd的参数,编码器和解码器共享相同的权值参数,sx是特征x基于重构误差的异常评分。