利索能及
我要发布
收藏
专利号: 2022103232170
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人体关键点检测方法,包括:

获取待检测视频帧序列;

对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测,得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图;

根据所述人体关键点热图中的人体中心点热图,确定所述待检测视频帧中人体中心点的二维坐标信息;

根据所述人体关键点中非人体中心点与所述人体中心点之间的连接关系,将所述非人体中心点分为第一关键点和第二关键点;

根据人体中心点的二维坐标信息和所述第一关键点与所述人体中心点之间的向量,确定所述第一关键点的预测坐标信息;

根据所述第一关键点的预测坐标信息和第一关键点热图,确定所述第一关键点的二维坐标信息;

根据所述第一关键点的二维坐标信息、第一关键点与第二关键点之间的向量、以及与第一关键点相连的第二关键点的第二关键点热图,确定与第一关键点相连的第二关键点的二维坐标信息;根据该第二关键点的二维坐标信息、与该第二关键点相连的其他第二关键点的第二关键点热图、该第二关键点与该第二关键点相连的其他第二关键点之间的向量,确定与该第二关键点相连的其他第二关键点的二维坐标信息;以此类推,依次确定剩余所有第二关键点的二维坐标信息。

2.根据权利要求1所述的方法,其中,所述对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测,得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图,包括:将所述待检测视频帧序列输入到关键点检测模型中的第一特征提取网络,得到所述待检测视频帧序列中待检测视频帧对应的第一特征;

将所述第一特征输入到所述关键点检测模型中的第二特征提取网络,得到所述待检测视频帧对应的目标特征;

将所述目标特征输入到所述关键点检测模型中的关键点检测网络,得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图。

3.根据权利要求2所述的方法,其中,所述关键点检测模型中的第二特征提取网络包括正向特征提取网络和反向特征提取网络;

相应的,所述将所述第一特征输入到所述关键点检测模型中的第二特征提取网络,得到所述待检测视频帧对应的目标特征,包括:分别将所述第一特征输入到所述正向特征提取网络和所述反向特征提取网络,得到所述待检测视频帧对应的正向特征和反向特征;

将所述正向特征和所述反向特征进行融合,得到所述待检测视频帧对应的目标特征。

4.根据权利要求1所述的方法,其中,若所述人体中心点为至少两个,则每一人体中心点关联的第一关键点的第一关键点热图中包括至少两个子热图;

相应的,所述根据所述第一关键点的预测坐标信息和第一关键点热图,确定所述第一关键点的二维坐标信息,包括:根据每一人体中心点关联的第一关键点的预测坐标信息,从该人体中心点关联的第一关键点热图的至少两个子热图中选择目标子热图;

根据所述目标子热图,确定该人体中心点关联的第一关键点的二维坐标信息。

5.根据权利要求1所述的方法,还包括:

根据所述人体中心点的二维坐标信息和深度信息,确定所述人体中心点的三维坐标信息;

根据所述人体中心点的深度信息和所述人体关键点之间的向量,确定所述非人体中心点的深度信息;

根据所述非人体中心点的二维坐标信息和深度信息,确定所述非人体中心点的三维坐标信息。

6.一种人体关键点检测装置,包括:

视频帧序列获取模块,用于获取待检测视频帧序列;

关键点检测模块,用于对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测,得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图;

位置信息确定模块,包括:

第一坐标确定单元,用于根据所述人体关键点热图中的人体中心点热图,确定所述待检测视频帧中人体中心点的二维坐标信息;

第二坐标确定单元,包括:

关键点划分子单元,用于根据所述人体关键点中非人体中心点与所述人体中心点之间的连接关系,将所述非人体中心点分为第一关键点和第二关键点;

第一坐标确定子单元,用于根据人体中心点的二维坐标信息和所述第一关键点与所述人体中心点之间的向量,确定所述第一关键点的预测坐标信息;根据所述第一关键点的预测坐标信息和第一关键点热图,确定所述第一关键点的二维坐标信息;

第二坐标确定子单元,用于根据所述第一关键点的二维坐标信息、第一关键点与第二关键点之间的向量、以及与第一关键点相连的第二关键点的第二关键点热图,确定与第一关键点相连的第二关键点的二维坐标信息;根据该第二关键点的二维坐标信息、与该第二关键点相连的其他第二关键点的第二关键点热图、该第二关键点与该第二关键点相连的其他第二关键点之间的向量,确定与该第二关键点相连的其他第二关键点的二维坐标信息;

以此类推,依次确定剩余所有第二关键点的二维坐标信息。

7.根据权利要求6所述的装置,其中,所述关键点检测模块包括:第一特征确定单元,用于将所述待检测视频帧序列输入到关键点检测模型中的第一特征提取网络,得到所述待检测视频帧序列中待检测视频帧对应的第一特征;

目标特征确定单元,用于将所述第一特征输入到所述关键点检测模型中的第二特征提取网络,得到所述待检测视频帧对应的目标特征;

热图确定单元,用于将所述目标特征输入到所述关键点检测模型中的关键点检测网络,得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图。

8.根据权利要求7所述的装置,其中,所述关键点检测模型中的第二特征提取网络包括正向特征提取网络和反向特征提取网络;

相应的,所述目标特征确定单元具体用于:

分别将所述第一特征输入到所述正向特征提取网络和所述反向特征提取网络,得到所述待检测视频帧对应的正向特征和反向特征;

将所述正向特征和所述反向特征进行融合,得到所述待检测视频帧对应的目标特征。

9.根据权利要求6所述的装置,其中,若所述人体中心点为至少两个,则每一人体中心点关联的第一关键点的第一关键点热图中包括至少两个子热图;

相应的,所述第一坐标确定子单元具体用于:

根据每一人体中心点关联的第一关键点的预测坐标信息,从该人体中心点关联的第一关键点热图的至少两个子热图中选择目标子热图;

根据所述目标子热图,确定该人体中心点关联的第一关键点的二维坐标信息。

10.根据权利要求6所述的装置,其中,所述位置信息确定模块还包括:第三坐标确定单元,用于根据所述人体中心点的二维坐标信息和深度信息,确定所述人体中心点的三维坐标信息;

深度信息确定单元,用于根据所述人体中心点的深度信息和所述人体关键点之间的向量,确定所述非人体中心点的深度信息;

第四坐标确定单元,用于根据所述非人体中心点的二维坐标信息和深度信息,确定所述非人体中心点的三维坐标信息。

11. 一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的人体关键点检测方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1‑5中任一项所述的人体关键点检测方法。