利索能及
我要发布
收藏
专利号: 2023103694032
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度时空主题图卷积网络的动作识别方法,其特征在于,包括以下步骤:步骤S1、生成动作识别特征图的步骤:利用关键点置信度和亲和度预测网络对输入的图像数据进行骨骼特征关键点提取,生成待识别的特征图;

步骤S2、建立主题图卷积网络的步骤:对邻近关节点和每对关节点之间的可能关系,构建基于主题的人体骨骼的邻接矩阵,并增加四肢区域节点的划分策略,对每对关节点之间存在的联系建立主题图卷积网络;

步骤S3、建立多尺度主题图卷积网络的步骤:对人体骨骼邻接节点的骨骼特征,利用多尺度特征提取方法,建立多尺度主题图卷积网络;

步骤S4、建立多尺度时空主题图卷积网络模型:利用训练样本对多尺度时空主题图卷积网络模型进行训练,验证模型的可行性以及鲁棒性;

步骤S5、对日常环境下实现常见动作进行检测,当视频图像内的人发生危险动作时,及时进行报警。

2.根据权利要求1所述的一种基于多尺度时空主题图卷积网络的动作识别方法,其特征在于,所述步骤S1生成动作识别特征图的步骤,具体包括以下步骤:S11:利用关键点置信度和亲和度预测网络对人体进行骨骼信息获取,关键点置信度和亲和度预测网络通过人体关节点的高斯距离和亲和度来表现人体骨骼的信息,从而获取人体骨骼18个关节点数据;

S12:骨骼序列由每帧图片中的人体骨骼关节点的2D或3D坐标表示,每个2D或3D坐标表示为一个向量,一个完整的视频动作序列表示为不同帧之间的向量序列组成;

S13:根据视频中的动作内容,对视频样本完成标注,以方便后续模型的训练和预测。

3.根据权利要求1所述的一种基于多尺度时空主题图卷积网络的动作识别方法,其特征在于,所述步骤S2建立主题图卷积网络的步骤具体包括:S21、根据人体的自然连接的关系,将关节点进行连接,形成人体骨骼连接图;将骨骼关节点表示为图的顶点,将相邻两帧时空图的相应顶点之间的连边表示为时间边,完成人体物理连接的骨骼图的构建;

S22、根据人体关节之间的欧式距离关系,人体骨骼节点分为物理连接的节点和非物理连接的节点;将人体骨骼图转化为基于欧式距离的邻接矩阵,邻接矩阵描述了人体骨骼图中的物理连接节点之间和非物理连接节点之间的连接关系;

S23:建立主题图卷积模块与图卷积模块模拟人体骨骼中关节的物理连接和断开;提取人体骨骼的物理连接特征信息与非物理连接特征信息;

S24:图卷积模块提取人体骨骼中的物理连接的关节的邻接关系,得到人体关节中的物理连接特征;

S25:主题图卷积模块利用高阶的网络结构特征描述算子,通过计算每对节点之间的平均欧几里得距离,对距离较短的关节分配较大的权重来定义断开的关节,提取人体骨骼中非物理连接的关节中的可能关系;得到人体关节中的非物理连接特征。

4.根据权利要求3所述的一种基于多尺度时空主题图卷积网络的动作识别方法,其特征在于,所述步骤S23建立主题图卷积模块与图卷积模块模拟人体骨骼中关节的物理连接和断开;提取人体骨骼的物理连接特征信息与非物理连接特征信息,具体包括:基于主题的人体骨骼节点的分区策略中,物理连接的节点空间距离的策略进行节点划分,在定义物理连接节点的邻接矩阵中,引入人体四肢区域的节点提取,增强人体四肢提取的特征;将四肢区域的节点定义为四肢区域子集,在新的骨骼节点划分策略中,邻接节点被分为四个子集:1)根节点子集;2)近心子集;3)远心子集;4)四肢区域子集;新的骨骼节点划分策略为:式中Li(vj)表示为人体骨骼点子图划分函数,r表示关节点到骨架的重心之间的距离,vj表示为根节点的一阶邻域节点,当根节点的一阶邻域节点vj距离重心距离rj等于根节点距离重心的距离ri时,vj标记为0,当rj小于ri时,vj标记为1,当rj大于ri时,vj标记为2。Vs表示四肢区域节点集合,当节点vj和vi属于Vs时,vj和vi标记为3。

5.根据权利要求1所述的一种基于多尺度时空主题图卷积网络的动作识别方法,其特征在于,所述步骤S3建立多尺度主题图卷积网络,具体包括步骤:S31:基于主题的邻接矩阵分为物理连接节点和非物理连接节点,针对物理连接的节点,其中对节点设置不同的卷积进行提取特征,得到不同特征的重要性权重W1、W2、W3;得到三个不同的动作特征的输出后,与主题图卷积模块的输出相加得到最终的输出;

N×D N×D

S32:对于每一帧的输入fin∈R ,R 表示为具有D维坐标的V个关节的节点集合,多尺度主题图卷积网络定义为:式中cv表示为卷积核的数量;c表示为卷积;K表示为语义角色;KM矩阵表示为 定义的主题图卷积的邻接矩阵; 表示编码了骨骼图中所有物理连接节点之间的语义角色;

表示为 的对角化矩阵; 表示为权重函数。

6.根据权利要求1所述的一种基于多尺度时空主题图卷积网络的动作识别方法,其特征在于,所述步骤S4建立多尺度时空主题图卷积网络模型,具体包括以下步骤:S41:构建多尺度时空主题图卷积网络模型,该模型由多个多尺度主题图卷积网络和时间卷积网络叠加而成;在模型训练过程中,采用梯度下降算法函数和交叉熵损失函数进行优化;

S42:对包含动作特征的RGB图像进行数据处理,转换为对应的图像文件,将图像文件分别存储单独的文件,并划分为动作识别的训练集和测试集;

S43:将数据处理后的动作识别数据集输入到多尺度时空主题图卷积网络中训练,随后采用softmax分类,得到多次训练结果。

7.一种基于多尺度时空主题图卷积网络的动作识别系统,其特征在于,包括数据获取模块、人体骨骼节点提取模块、人体动作识别模块、动作识别显示模块、预警模块和客户端app模块;其中,数据获取模块,用于对摄像头拍摄的视频信息进行获取,并将数据处理为动作识别系统所需的格式,实现对视频的格式转换,分辨率调整;

人体骨骼节点提取模块,用于对数据获取模块采集的数据进行人体骨骼节点信息的提取,获取数据内的人体骨骼动作信息,并对视频内出现的人进行人体追踪;

人体动作识别模块,用于对人体骨骼节点提取模块处理后的人体骨骼动作信息进行判断人体动作类型,并保存判断的动作信息;

动作识别显示模块,用于对人体动作识别模块中判断的动作信息提供直观的界面显示;

预警模块,用于判断人体动作识别模块识别的人体动作类型是否为危险动作,当判断发生危险动作时,立即发送预警信息到客户端的app模块中,通知用户采取必要的安全措施。当判断没有发生危险动作时,动作识别系统继续监控摄像头拍摄的区域;

客户端app模块,方便用户通过客户端app模块来实时查看摄像头采集的视频数据,并且在发生危险动作时及时收到警报信息。