利索能及
我要发布
收藏
专利号: 2016104312590
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种姿势估计方法,其特征在于,所述姿势估计方法包括:

提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图,其中每个所述身体部位对应至少一个部位类型;

为每个所述特征图中的每个特征预测部位类型分值,并根据所预测的部位类型分值建立多个部位类型得分图;

对于每个所述部位类型得分图中的至少一点,根据与所述点对应的身体部位的相邻身体部位相关的消息,优化所建立的部位类型得分图;以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型,以得到所述对象的估计姿势。

2.如权利要求1所述的姿势估计方法,其特征在于,所述消息表示与所述点对应的身体部位的所述相邻身体部位的置信,以及在根据与所述点对应的身体部位的相邻身体部位相关的消息,优化所建立的部位类型得分图之前,所述姿势估计方法还包括:根据与所述点对应的身体部位的相邻身体部位的部位类型得分图确定所述相邻身体部位的置信。

3.如权利要求2所述的姿势估计方法,其特征在于,根据与所述点对应的身体部位的相邻身体部位相关的消息,通过置信传播来优化所建立的部位类型得分图。

4.如权利要求2所述的姿势估计方法,其特征在于,所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。

5.如权利要求3所述的姿势估计方法,其特征在于,所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。

6.如权利要求4所述的姿势估计方法,其特征在于,根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。

7.如权利要求5所述的姿势估计方法,其特征在于,根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。

8.如权利要求6所述的姿势估计方法,其特征在于,在确定所述空间相容性之前,所述姿势估计方法还包括:根据第一距离和第二距离确定所述相对位置信息,其中所述第一距离表示在x轴方向上所述身体部位与所述相邻身体部位之间的距离,所述第二距离表示在y轴方向上所述身体部位与所述相邻身体部位之间的距离。

9.如权利要求7所述的姿势估计方法,其特征在于,在确定所述空间相容性之前,所述姿势估计方法还包括:根据第一距离和第二距离确定所述相对位置信息,其中所述第一距离表示在x轴方向上所述身体部位与所述相邻身体部位之间的距离,所述第二距离表示在y轴方向上所述身体部位与所述相邻身体部位之间的距离。

10.如权利要求1-9任一所述的姿势估计方法,其特征在于,通过卷积神经网络来提取所述图像中的所述特征。

11.如权利要求10所述的姿势估计方法,其特征在于,通过卷积神经网络来提取所述图像中的所述特征之前,还包括:根据预设数据集提取的特征图与所述预设数据集的参考部位类型之间的差别,训练所述卷积神经网络。

12.如权利要求1-9任一所述的姿势估计方法,其特征在于,通过消息传递单元来传递消息和优化所建立的部位类型得分图,其中所述消息传递单元根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别训练而得。

13.如权利要求10所述的姿势估计方法,其特征在于,通过消息传递单元来传递消息和优化所建立的部位类型得分图,其中所述消息传递单元根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别训练而得。

14.如权利要求11所述的姿势估计方法,其特征在于,通过消息传递单元来传递消息和优化所建立的部位类型得分图,其中所述消息传递单元根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别训练而得。

15.一种姿势估计装置,其特征在于,所述姿势估计装置包括:

提取模块,用于提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图,其中每个所述身体部位对应至少一个部位类型;

预测模块,用于为每个所述特征图中的每个特征预测部位类型分值,并根据所预测的部位类型分值建立多个部位类型得分图;

优化模块,用于对于每个所述部位类型得分图中的至少一点,根据与所述点对应的身体部位的相邻身体部位相关的消息,优化所建立的部位类型得分图;以及确定模块,用于根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型,以得到所述对象的估计姿势。

16.如权利要求15所述的姿势估计装置,其特征在于,所述消息表示与所述点对应的身体部位的所述相邻身体部位的置信,以及所述优化模块还用于根据与所述点对应的身体部位的相邻身体部位的部位类型得分图确定所述相邻身体部位的置信。

17.如权利要求15所述的姿势估计装置,其特征在于,所述优化模块用于对于每个所述部位类型得分图中的至少一点,根据与所述点对应的身体部位的相邻身体部位相关的消息,通过置信传播来优化所建立的部位类型得分图。

18.如权利要求16所述的姿势估计装置,其特征在于,所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。

19.如权利要求17所述的姿势估计装置,其特征在于,所述消息还表示所述身体部位与所述相邻身体部位之间的空间相容性。

20.如权利要求18所述的姿势估计装置,其特征在于,所述优化模块还用于根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。

21.如权利要求19所述的姿势估计装置,其特征在于,所述优化模块还用于根据所述身体部位与所述相邻身体部位之间的相对位置信息确定所述身体部位与所述相邻身体部位之间的空间相容性。

22.如权利要求20所述的姿势估计装置,其特征在于,所述优化模块还用于根据第一距离和第二距离确定所述相对位置信息,其中所述第一距离表示在x轴方向上所述身体部位与所述相邻身体部位之间的距离,所述第二距离表示在y轴方向上所述身体部位与所述相邻身体部位之间的距离。

23.如权利要求21所述的姿势估计装置,其特征在于,所述优化模块还用于根据第一距离和第二距离确定所述相对位置信息,其中所述第一距离表示在x轴方向上所述身体部位与所述相邻身体部位之间的距离,所述第二距离表示在y轴方向上所述身体部位与所述相邻身体部位之间的距离。

24.如权利要求15-23任一所述的姿势估计装置,其特征在于,所述提取模块用于通过卷积神经网络来提取所述图像中的所述特征。

25.如权利要求24所述的姿势估计装置,其特征在于,所述姿势估计装置还包括:网络训练模块,用于根据预设数据集提取的特征图与所述预设数据集的参考部位类型之间的差别,训练所述卷积神经网络。

26.如权利要求15-23任一所述的姿势估计装置,其特征在于,所述优化模块包括消息传递单元,所述优化模块用于通过所述消息传递单元来传递消息和优化所建立的部位类型得分图;以及所述姿势估计装置还包括:单元训练模块,用于根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别,训练所述消息传递单元。

27.如权利要求24所述的姿势估计装置,其特征在于,所述优化模块包括消息传递单元,所述优化模块用于通过所述消息传递单元来传递消息和优化所建立的部位类型得分图;以及所述姿势估计装置还包括:单元训练模块,用于根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别,训练所述消息传递单元。

28.如权利要求25所述的姿势估计装置,其特征在于,所述优化模块包括消息传递单元,所述优化模块用于通过所述消息传递单元来传递消息和优化所建立的部位类型得分图;以及所述姿势估计装置还包括:单元训练模块,用于根据预设数据集预测的部位类型得分图与所述预设数据集的参考部位位置图之间的差别,训练所述消息传递单元。

29.一种计算机系统,其特征在于,包括:

存储器,存储可执行指令;

一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:

提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图,其中每个所述身体部位对应至少一个部位类型;

为每个所述特征图中的每个特征预测部位类型分值,并根据所预测的部位类型分值建立多个部位类型得分图;

对于每个所述部位类型得分图中的至少一点,根据与所述点对应的身体部位的相邻身体部位相关的消息,优化所建立的部位类型得分图;以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型,以得到所述对象的估计姿势。