利索能及
我要发布
收藏
专利号: 2018116290854
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种动作识别方法,其特征在于,所述方法包括:

获取多帧图像,检测所述多帧图像包含的对象的关键点信息;

获取所述多帧图像包含的对象中的目标对象的关键点信息;

根据所述目标对象的关键点信息,生成所述目标对象的关键点时序图;

基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归,得到每帧目标图像的动作分类结果和动作进程结果;

根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果;

其中,基于所述关键点时序图对包含所述目标对象的每帧目标图像进行进程回归,得到每帧目标图像的动作进程结果,包括:对于所述关键点时序图中的每帧目标图像,根据动作开始帧的位置T1、动作结束帧的位置T2及每帧的位置T3,按照如下公式确定每帧的动作进程P3,得到每帧目标图像的动作进程结果:P3=(T3‑T1+1)/(T2‑T1+1)。

2.根据权利要求1所述的方法,其特征在于,所述检测所述多帧图像包含的对象的关键点信息,包括:获取关键点识别模型,采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别,得到所述多帧图像包含的对象的关键点信息。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

对每帧图像进行尺寸调整;

所述采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别,包括:采用所述关键点识别模型对尺寸调整后的多帧图像包含的对象的关键点进行识别。

4.根据权利要求1所述的方法,其特征在于,所述获取所述多帧图像包含的对象中的目标对象的关键点信息,包括:根据所述多帧图像包含的对象的关键点信息确定每个对象的外接矩形框;

根据每个对象的外接矩形框对目标对象进行跟踪匹配,基于跟踪匹配结果得到所述目标对象的关键点信息。

5.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象的关键点信息,生成所述目标对象的关键点时序图,包括:对所述目标对象的关键点信息按照时序进行累计,得到所述目标对象的关键点时序图,所述关键点时序图的行数为包含所述目标对象的图像的帧数,所述关键点时序图的列数为关键点个数,所述关键点时序图的通道数为坐标维度。

6.根据权利要求1所述的方法,其特征在于,基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类,得到每帧目标图像的动作分类结果,包括:获取动作分类模型,采用所述动作分类模型,基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类,得到每帧目标图像的动作分类结果。

7.根据权利要求6所述的方法,其特征在于,所述采用所述动作分类模型,基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类,得到每帧目标图像的动作分类结果,包括:采用所述动作分类模型提取所述关键点时序图中包含所述目标对象的每帧目标图像的骨架数据,根据每帧目标图像的骨架数据获取每帧目标图像的骨架运动数据;

提取所述骨架运动数据的特征,将提取的特征在通道维度上进行拼接,得到拼接后的特征;

基于拼接后的特征对每帧目标图像进行动作分类。

8.根据权利要求1所述的方法,其特征在于,所述根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果,包括:若第一参考数量帧的目标图像中,动作分类结果和动作进程结果均满足条件,且对于相同动作分类结果的图像数量达到第二参考数量帧,则将所述相同的动作分类结果对应的动作作为识别结果进行输出。

9.一种动作识别装置,其特征在于,所述装置包括:

第一获取模块,用于获取多帧图像;

检测模块,用于检测所述多帧图像包含的对象的关键点信息;

第二获取模块,用于获取所述多帧图像包含的对象中的目标对象的关键点信息;

生成模块,用于根据所述目标对象的关键点信息,生成所述目标对象的关键点时序图;

分类回归模块,用于基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归,得到每帧目标图像的动作分类结果和动作进程结果;

输出模块,用于根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果;

其中,所述分类回归模块包括回归单元,所述回归单元,用于对于所述关键点时序图中的每帧目标图像,根据动作开始帧的位置T1、动作结束帧的位置T2及每帧的位置T3,按照如下公式确定每帧的动作进程P3,得到每帧目标图像的动作进程结果:P3=(T3‑T1+1)/(T2‑T1+

1)。

10.根据权利要求9所述的装置,其特征在于,所述检测模块,用于获取关键点识别模型,采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别,得到所述多帧图像包含的对象的关键点信息。

11.根据权利要求10所述的装置,其特征在于,所述装置还包括:调整模块,用于对每帧图像进行尺寸调整;

所述检测模块,用于采用所述关键点识别模型对尺寸调整后的多帧图像包含的对象的关键点进行识别。

12.根据权利要求9所述的装置,其特征在于,所述第二获取模块,用于根据所述多帧图像包含的对象的关键点信息确定每个对象的外接矩形框;根据每个对象的外接矩形框对目标对象进行跟踪匹配,基于跟踪匹配结果得到所述目标对象的关键点信息。

13.根据权利要求9所述的装置,其特征在于,所述生成模块,用于对所述目标对象的关键点信息按照时序进行累计,得到所述目标对象的关键点时序图,所述关键点时序图的行数为包含所述目标对象的图像的帧数,所述关键点时序图的列数为关键点个数,所述关键点时序图的通道数为坐标维度。

14.根据权利要求9所述的装置,其特征在于,所述分类回归模块,还包括:分类单元,用于获取动作分类模型,采用所述动作分类模型,基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类,得到每帧目标图像的动作分类结果。

15.根据权利要求14所述的装置,其特征在于,所述分类单元,用于采用所述动作分类模型提取所述关键点时序图中包含所述目标对象的每帧目标图像的骨架数据,根据每帧目标图像的骨架数据获取每帧目标图像的骨架运动数据;提取所述骨架运动数据的特征,将提取的特征在通道维度上进行拼接,得到拼接后的特征;基于拼接后的特征对每帧目标图像进行动作分类。

16.根据权利要求9所述的装置,其特征在于,所述输出模块,用于若第一参考数量帧的目标图像中,动作分类结果和动作进程结果均满足条件,且对于相同动作分类结果的图像数量达到第二参考数量帧,则将所述相同的动作分类结果对应的动作作为识别结果进行输出。

17.一种动作识别装置,其特征在于,所述装置包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1‑8中任一所述的动作识别方法。

18.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1‑8中任一所述的动作识别方法。