利索能及
我要发布
收藏
专利号: 2023103600302
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于图对比模型的动作识别方法,其特征在于,包括以下步骤:

获取对照视频和待分类视频,其中,对照视频为已知类别的人体动作视频,待分类视频为未知类别的人体动作视频;

将对照视频和待分类视频进行预处理,得到多帧对照图像和多帧待分类图像;

将多帧对照图像和多帧待分类图像输入关键点识别网络中,进行人体关节骨骼点提取,生成对照图像和待分类图像的图结构,节点特征采用中心点的极坐标形式;

对对照图像和待分类图像的图结构进行单图特征提取,获得单图特征;

将单图特征输入至对照图像和待分类图像的图结构对应关节骨骼点关系组成的跨图图神经网络中,进行跨图特征提取,获得跨图对比特征;

聚合跨图对比特征中所有点的距离特征,将距离特征输入多层感知机中,输出对照视频和待分类视频的预测距离;

基于预测距离,对待分类视频动作是否为危险动作进行分类。

2.如权利要求1所述的基于图对比模型的动作识别方法,其特征在于,采用关键点识别网络HRnet提取多帧对照图像和多帧待分类图像中人体25个骨骼关节,获得多帧对照图像和多帧待分类图像中人体骨骼关节点的位置信息,将每一帧人体的骨骼位置信息极坐标化作为骨骼关键节点的特征。

3.如权利要求2所述的基于图对比模型的动作识别方法,其特征在于,对每一帧对照图像和待分类图像中的人体骨骼关节由骨架的实际连接关系生成边结构,得到对照图像和待分类图像的图结构,对多帧对照图像和多帧待分类图像分别生成边结构,生成对照视频和待分类视频的人体关节骨骼时序图。

4.如权利要求1所述的基于图对比模型的动作识别方法,其特征在于,采用共享参数的暹罗网络框架下图神经网络,将对照图像和待分类图像的图结构同时输入,输出单图的节点隐变量作为单图特征。

5.如权利要求1所述的基于图对比模型的动作识别方法,其特征在于,根据人体骨骼节点的属性得到对照图像的图结构和待分类图像的图结构之间的匹配关系矩阵,如果待分类图像的图结构中的关键点与对照图像的图结构中关键点为同一骨骼关节,则匹配矩阵中元素值为1,否则值为0;将匹配的边进行连接,将对照图像的图结构和待分类图像的图结构构成一张大图。

6.如权利要求5所述的基于图对比模型的动作识别方法,其特征在于,在对照图像的图结构、待分类图像的图结构、对照图像的图结构和待分类图像的图结构节点匹配关系构造生成的大图上,通过图上信息传播操作更新全部节点隐变量,对对照图像的图结构、待分类图像的图结构进行跨图特征提取,获得跨图对比特征。

7.如权利要求1所述的基于图对比模型的动作识别方法,其特征在于,所述图对比模型采用软间隔损失函数作为损失函数。

8.基于图对比模型的动作识别系统,其特征在于:包括:

视频获取模块,被配置为:获取对照视频和待分类视频,其中,对照视频为已知类别的人体动作视频,待分类视频为未知类别的人体动作视频;

预处理模块,被配置为:将对照视频和待分类视频进行预处理,得到多帧对照图像和多帧待分类图像;

图结构生成模块,被配置为:将多帧对照图像和多帧待分类图像输入图对比模型中,进行人体关节骨骼点提取,位置坐标通过极坐标变换生成对照图像和待分类图像的图结构;

单图特征获取模块,被配置为:对对照图像和待分类图像的图结构进行单图特征提取,获得单图特征;

跨图特征获取模块,被配置为:将单图特征输入至对照图像和待分类图像的图结构对应关节骨骼点关系组成的跨图图神经网络中,进行跨图特征提取,获得跨图对比特征;

预测距离获取模块,被配置为:聚合跨图特征中所有点的距离特征,将距离特征输入多层感知机中,输出对照视频和待分类视频的预测距离;

分类模块,被配置为:基于预测距离,对待分类视频动作是否为危险动作进行分类。

9.计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1‑7任一项所述的基于图对比模型的动作识别方法中的步骤。

10.电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑7任一项所述的基于图对比模型的动作识别方法中的步骤。