利索能及
我要发布
收藏
专利号: 202110961864X
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视频流的动作类型识别方法,包括:获取视频流中每帧图像中的各对象的二维关键点信息;

根据各所述二维关键点信息,确定各帧图像中属于同一对象的二维关键点信息,并根据同一对象的所有二维关键点信息,预测得到同一对象的三维关键点信息;

对每一对象的三维关键点信息进行分析,得到所述每一对象的动作类型。

2.根据权利要求1所述的方法,其中,对每一对象的三维关键点信息进行分析,得到所述每一对象的动作类型,包括:

根据所述每一对象的三维关键点信息,分别获取所述每一对象的各关键点之间的连接关系信息、以及所述每一对象对应于预设关键点组的运动关系信息,其中,所述预设关键点组包括起始关键点和结束关键点;

根据所述连接关系信息和所述运动关系信息,确定所述每一对象的动作类型。

3.根据权利要求2所述的方法,其中,所述运动关系信息包括坐标差异信息;获取所述每一对象对应于预设关键点组的运动关系信息,包括:获取所述每一对象在所述起始关键点的三维坐标,并获取所述每一对象在所述结束关键点的三维坐标;

计算所述每一对象在所述结束关键点的三维坐标、与所述每一对象在所述起始关键点的三维坐标之间的坐标差异信息。

4.根据权利要求1至3中任一项所述的方法,其中,对每一对象的三维关键点信息进行分析,得到所述每一对象的动作类型,包括:根据预先训练的动作识别模型对所述每一对象的三维关键点信息进行分析,得到所述每一对象的动作类型;其中,所述动作识别模型是基于样本运动关系信息所训练得到的,所述样本运动关系信息表征:样本视频的每一样本图像帧中的目标对象,对应于预设关键点组的运动关系,所述预设关键点组包括起始关键点和结束关键点。

5.根据权利要求4所述的方法,其中,所述动作识别模型是基于样本连接关系信息和所述样本运动关系信息对基础网络模型的参数进行调整而得到的;

所述样本连接关系信息和所述样本运动关系信息是基于所述基础网络模型所确定的,所述样本连接关系信息表征:每一样本图像帧中目标对象的各关键点的连接关系。

6.根据权利要求1至5中任一项所述的方法,其中,根据各所述二维关键点信息,确定各帧图像中属于同一对象的二维关键点信息,包括:根据各对象的二维关键点信息,确定各对象各自对应的人体重心信息,并根据各人体重心信息,确定属于同一对象的二维关键点信息。

7.根据权利要求6所述的方法,其中,根据各人体重心信息,确定属于同一对象的二维关键点信息,包括:

以第一帧图像为起始图像,依次确定相邻两帧图像的各对象人体重心信息之间的重心差异信息,直至最后一帧图像,并根据各重心差异信息确定归属于同一对象的二维关键点信息。

8.根据权利要求7所述的方法,其中,根据各重心差异信息确定归属于同一对象的二维关键点信息,包括:

若任意相邻两帧图像的任意两个对象的人体重心信息之间的重心差异信息,小于预设差异阈值,则确定所述任意两个对象为同一对象,并将所述任意两个对象在所述任意相邻两帧图像中的二维关键点信息,确定为归属于同一对象的二维关键点信息。

9.根据权利要求8所述的方法,其中,若任意相邻两帧图像的任意两个对象的人体重心信息之间的重心差异信息,小于预设差异阈值,则确定所述任意两个对象为同一对象,包括:

若任意相邻两帧图像的任意两个对象的人体重心信息之间的重心差异信息,小于预设差异阈值,则计算所述任意两个对象的二维关键点信息之间的相似度,且若所述相似度大于预设相似度阈值,则确定所述任意两个对象为同一对象。

10.根据权利要求3至9中任一项所述的方法,其中,不同的动作类型所对应的坐标差异信息不同。

11.根据权利要求1至10中任一项所述的方法,还包括:若确定预测出的动作类型为摔倒类型,则生成并发出预警信息。

12.一种动作识别模型的训练方法,包括:获取目标对象在样本视频中的每一样本图像帧,并获取所述每一样本图像帧中的各样本三维关键点信息;

根据所述每一样本图像帧中的各样本三维关键点信息,确定所述目标对象对应于预设关键点组的样本运动关系信息,所述预设关键点组包括起始关键点和结束关键点;

根据所述样本运动关系信息对预设基础网络模型的参数进行调整,得到动作识别模型,所述动作识别模型用于对权利要求1至11中任一项所述每一对象的三维关键点信息进行分析,以得到每一对象的动作类型。

13.根据权利要求12所述的方法,其中,根据所述样本运动关系信息对预设基础网络模型的参数进行调整,得到动作识别模型,包括:根据所述每一样本图像帧中的各样本三维关键点信息,确定所述目标对象的各关键点的样本连接关系信息;

根据所述样本连接关系信息和所述样本运动关系信息对预设基础网络模型的参数进行调整,得到所述动作识别模型。

14.根据权利要求12所述的方法,其中,所述样本运动关系信息包括样本坐标差异信息;根据所述每一样本图像帧中的各样本三维关键点信息,确定所述目标对象对应于预设关键点组的样本运动关系信息,包括:获取所述目标对象在起始关键点的三维坐标,并获取所述目标对象在结束关键点的三维坐标;

计算所述目标对象在结束关键点的三维坐标、与所述目标对象在起始关键点的三维坐标之间的样本坐标差异信息。

15.根据权利要求13或14所述的方法,其中,根据所述样本连接关系信息和所述样本运动关系信息对所述基础网络模型的参数进行调整,得到动作识别模型,包括:根据所述样本连接关系信息、以及为所述样本连接关系信息预先配置的第一权重,确定第一识别结果;

根据所述样本动作关系信息、以及为所述样本动作关系信息预先配置的第二权重,确定第二识别结果;

根据所述第一识别结果和所述第二识别结果,对所述基础网络模型的参数进行调整,得到动作识别模型。

16.根据权利要求15所述的方法,其中,根据所述第一识别结果和所述第二识别结果,对所述基础网络模型的参数进行调整,得到动作识别模型,包括:根据所述第一识别结果和所述第二识别结果,确定预测动作类型,并根据所述预测动作类型和预设标准动作类型对所述基础网络模型的参数进行调整,得到所述动作识别模型。

17.根据权利要求13至16中任一项所述的方法,其中,根据所述每一样本图像帧中的各样本三维关键点信息,确定所述目标对象的各关键点的样本连接关系信息,包括:对每一样本三维关键点信息进行卷积处理,得到各卷积特征,对所述各卷积特征进行融合处理,得到融合特征,并对所述融合进行逻辑回归softmax处理,得到所述样本连接关系信息。

18.一种基于视频流的动作类型识别装置,包括:第一获取单元,用于获取视频流中每帧图像中的各对象的二维关键点信息;

第一确定单元,用于根据各所述二维关键点信息,确定各帧图像中属于同一对象的二维关键点信息;

预测单元,用于根据同一对象的所有二维关键点信息,预测得到同一对象的三维关键点信息;

分析单元,用于对每一对象的三维关键点信息进行分析,得到所述每一对象的动作类型。

19.根据权利要求18所述的装置,其中,所述分析单元,包括:第一获取子单元,用于根据所述每一对象的三维关键点信息,分别获取所述每一对象的各关键点之间的连接关系信息、以及所述每一对象对应于预设关键点组的运动关系信息,其中,所述预设关键点组包括起始关键点和结束关键点;

第一确定子单元,用于根据所述连接关系信息和所述运动关系信息,确定所述每一对象的动作类型。

20.根据权利要求19所述的装置,其中,所述运动关系信息包括坐标差异信息;所述第一获取子单元,包括:

获取模块,用于获取所述每一对象在所述起始关键点的三维坐标,并获取所述每一对象在所述结束关键点的三维坐标;

计算模块,用于计算所述每一对象在所述结束关键点的三维坐标、与所述每一对象在所述起始关键点的三维坐标之间的坐标差异信息。

21.根据权利要求18至20中任一项所述的装置,其中,所述分析单元用于,根据预先训练的动作识别模型对所述每一对象的三维关键点信息进行分析,得到所述每一对象的动作类型;其中,所述动作识别模型是基于样本运动关系信息所训练得到的,所述样本运动关系信息表征:样本视频的每一样本图像帧中的目标对象,对应于预设关键点组的运动关系,所述预设关键点组包括起始关键点和结束关键点。

22.根据权利要求21所述的装置,其中,所述动作识别模型是基于样本连接关系信息和所述样本运动关系信息对基础网络模型的参数进行调整而得到的;

所述样本连接关系信息和所述样本运动关系信息是基于所述基础网络模型所确定的,所述样本连接关系信息表征:每一样本图像帧中目标对象的各关键点的连接关系。

23.根据权利要求18至22中任一项所述的装置,其中,所述第一确定单元,包括:第二确定子单元,用于根据各对象的二维关键点信息,确定各对象各自对应的人体重心信息;

第三确定子单元,用于根据各人体重心信息,确定属于同一对象的二维关键点信息。

24.根据权利要求23所述的装置,其中,所述第三确定子单元,包括:第一确定模块,用于以第一帧图像为起始图像,依次确定相邻两帧图像的各对象人体重心信息之间的重心差异信息,直至最后一帧图像;

第二确定模块,用于根据各重心差异信息确定归属于同一对象的二维关键点信息。

25.根据权利要求24所述的装置,其中,所述第二确定模块,包括:第一确定子模块,用于若任意相邻两帧图像的任意两个对象的人体重心信息之间的重心差异信息,小于预设差异阈值,则确定所述任意两个对象为同一对象;

第二确定子模块,用于将所述任意两个对象在所述任意相邻两帧图像中的二维关键点信息,确定为归属于同一对象的二维关键点信息。

26.根据权利要求25所述的装置,其中,所述第一确定子模块用于,若任意相邻两帧图像的任意两个对象的人体重心信息之间的重心差异信息,小于预设差异阈值,则计算所述任意两个对象的二维关键点信息之间的相似度,且若所述相似度大于预设相似度阈值,则确定所述任意两个对象为同一对象。

27.根据权利要求20至26中任一项所述的装置,其中,不同的动作类型所对应的坐标差异信息不同。

28.根据权利要求18至27中任一项所述的装置,还包括:生成单元,用于若确定预测出的动作类型为摔倒类型,则生成并发出预警信息。

29.一种动作识别模型的训练装置,包括:第二获取单元,用于获取目标对象在样本视频中的每一样本图像帧,并获取所述每一样本图像帧中的各样本三维关键点信息;

第二确定单元,用于根据所述每一样本图像帧中的各样本三维关键点信息,确定所述目标对象对应于预设关键点组的样本运动关系信息,所述预设关键点组包括起始关键点和结束关键点;

调整单元,用于根据所述样本运动关系信息对预设基础网络模型的参数进行调整,得到动作识别模型,所述动作识别模型用于对权利要求1至11中任一项所述每一对象的三维关键点信息进行分析,以得到每一对象的动作类型。

30.根据权利要求29所述的装置,其中,所述调整单元,包括:第四确定子单元,用于根据所述每一样本图像帧中的各样本三维关键点信息,确定所述目标对象的各关键点的样本连接关系信息;

调整子单元,用于根据所述样本连接关系信息和所述样本运动关系信息对预设基础网络模型的参数进行调整,得到所述动作识别模型。

31.根据权利要求29所述的装置,其中,所述样本运动关系信息包括样本坐标差异信息;所述第二确定单元,包括:

第二获取子单元,用于获取所述目标对象在起始关键点的三维坐标,并获取所述目标对象在结束关键点的三维坐标;

计算子单元,用于计算所述目标对象在结束关键点的三维坐标、与所述目标对象在起始关键点的三维坐标之间的样本坐标差异信息。

32.根据权利要求30或31所述的装置,其中,所述调整子单元,包括:第三确定模块,用于根据所述样本连接关系信息、以及为所述样本连接关系信息预先配置的第一权重,确定第一识别结果;

第四确定模块,用于根据所述样本动作关系信息、以及为所述样本动作关系信息预先配置的第二权重,确定第二识别结果;

调整模块,用于根据所述第一识别结果和所述第二识别结果,对所述基础网络模型的参数进行调整,得到动作识别模型。

33.根据权利要求32所述的装置,其中,所述调整模块,包括:第三确定子模块,用于根据所述第一识别结果和所述第二识别结果,确定预测动作类型;

调整子模块,用于根据所述预测动作类型和预设标准动作类型对所述基础网络模型的参数进行调整,得到所述动作识别模型。

34.根据权利要求30所述的装置,其中,所述第四确定子单元,包括:卷积模块,用于对每一样本三维关键点信息进行卷积处理,得到各卷积特征;

融合模块,用于对所述各卷积特征进行融合处理,得到融合特征;

回归模块,用于对所述融合进行逻辑回归softmax处理,得到所述样本连接关系信息。

35.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至11中任一项所述的方法;或者,以使所述至少一个处理器能够执行权利要求12至17中任一项所述的方法。

36.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1至11中任一项所述的方法;或者,所述计算机指令用于使所述计算机执行权利要求12至17中任一项所述的方法。

37.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至11中任一项所述的方法;或者,所述计算机程序在被处理器执行时实现根据权利要求12至17中任一项所述的方法。

38.一种穿戴设备,包括:

图像采集装置,用于获取视频流;

如权利要求18至34中任一项所述的装置。