利索能及
我要发布
收藏
专利号: 2021800017000
申请人: 商汤国际私人有限公司
专利类型:其他
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像中关联对象的检测方法,其特征在于,所述方法包括:检测目标图像中的人脸对象,人手对象以及预设人体部位对象,其中,所述预设人体部位对象表征人脸与人手之间的预设连接部位;

对检测出的人脸对象与预设人体部位对象,以及预设人体部位对象与人手对象分别进行关联性预测,得到人脸对象与预设人体部位对象的第一关联性预测结果,以及预设人体部位对象与人手对象的第二关联性预测结果;

对检测出的人脸对象以及人手对象进行关联性预测,得到第三关联性预测结果;

根据所述第一关联性预测结果以及所述第二关联性预测结果,确定所述目标图像中的关联对象,包括:根据所述第一关联性预测结果以及所述第二关联性预测结果,对所述第三关联性预测结果进行调整;

基于调整后的第三关联性预测结果,确定所述目标图像中的关联对象。

2.根据权利要求1所述的方法,其特征在于,

所述目标图像包括多个人脸对象和多个人手对象;

所述对检测出的人脸对象以及人手对象进行关联性预测,得到第三关联性预测结果,包括:将检测出的各人脸对象,分别与检测出的各人手对象进行组合,得到多个第一组合;

根据各第一组合内的人脸对象和人手对象的视觉特征以及位置特征,对各第一组合内的人脸对象与人手对象进行关联性预测,得到各所述第一组合内的人脸对象与人手对象之间的第三关联性预测结果。

3.根据权利要求2所述的方法,其特征在于,

所述目标图像还包括多个预设人体部位对象;

所述对检测出的人脸对象与预设人体部位对象,以及预设人体部位对象与人手对象分别进行关联性预测,得到人脸对象与预设人体部位对象的第一关联性预测结果,以及预设人体部位对象与人手对象的第二关联性预测结果,包括:将检测出的各人脸对象,分别与各预设人体部位对象进行组合,得到多个第二组合;

根据各第二组合内的人脸对象与预设人体部位对象的视觉特征以及位置特征,对各第二组合内的人脸对象与预设人体部位对象进行关联性预测,得到各第二组合内的人脸对象与预设人体部位对象之间的第一关联性预测结果;

将检测出的各预设人体部位对象,分别与各人手对象进行组合,得到多个第三组合;

根据各第三组合内的预设人体部位对象与人手对象的视觉特征以及位置特征,对各第三组合内的预设人体部位对象与人手对象进行关联性预测,得到各第三组合内的预设人体部位对象与人手对象之间的第二关联性预测结果。

4.根据权利要求1所述的方法,其特征在于,所述根据所述第一关联性预测结果以及所述第二关联性预测结果,对所述第三关联性预测结果进行调整,包括:确定与所述预设人体部位对象之间的所述第一关联性预测结果中的第一关联性预测分数最高的目标人脸对象;

确定与所述预设人体部位对象之间的所述第二关联性预测结果中的第二关联性预测分数最高的目标人手对象;

基于所述目标人脸对象与所述预设人体部位对象之间的第一关联性预测分数,以及所述预设人体部位对象与所述目标人手对象之间的第二关联性预测分数,对所述目标人脸对象与所述目标人手对象之间的所述第三关联性预测结果中的第三关联性预测分数进行调整。

5.根据权利要求4所述的方法,其特征在于,

所述确定与所述预设人体部位对象之间的所述第一关联性预测分数最高的目标人脸对象,包括:确定与所述预设人体部位对象之间的第一关联性预测分数大于预设阈值的候选人脸对象;

从候选人脸对象中确定与所述预设人体部位对象之间的第一关联性预测分数最高的作为目标人脸对象;和/或,所述确定与所述预设人体部位对象之间的所述第二关联性预测分数最高的目标人手对象,包括:确定与所述预设人体部位对象之间的第二关联性预测分数大于预设阈值的候选人手对象;

从候选人手对象中确定与所述预设人体部位对象之间的第二关联性预测分数最高的作为目标人手对象。

6.根据权利要求4所述的方法,其特征在于,所述基于所述目标人脸对象与所述预设人体部位对象之间的第一关联性预测分数,以及所述预设人体部位对象与所述目标人手对象之间的第二关联性预测分数,对所述目标人脸对象与所述目标人手对象之间的所述第三关联性预测结果中的第三关联性预测分数进行调整,包括:确定所述目标人脸对象与所述预设人体部位对象之间的第一关联性预测分数、以及所述预设人体部位对象与所述目标人手对象之间的第二关联性预测分数的均值;

对所述目标人脸对象与所述目标人手对象之间的第三关联性预测分数与所述均值进行求和,得到调整后的第三关联性预测分数。

7.根据权利要求6所述的方法,其特征在于,所述基于调整后的第三关联性预测结果,确定所述目标图像中的关联对象,包括:按照第三关联性预测分数由高到低的排序,依次将各第三关联性预测分数对应的人脸对象与人手对象的组合确定为当前组合,并执行:基于所述目标图像中的已确定的关联对象,确定与当前组合内的人脸对象互为关联对象的人手对象的第一数量,以及确定与当前组合内的人手对象互为关联对象的人脸对象的第二数量;

在所述第一数量未达到第一预设阈值,且所述第二数量未达到第二预设阈值的情况下,将当前组合内的人脸对象与人手对象确定为所述目标图像中的关联对象。

8.根据权利要求1所述的方法,其特征在于,所述根据所述第一关联性预测结果以及所述第二关联性预测结果,确定所述目标图像中的关联对象,包括:根据所述第一关联性预测结果和所述第二关联性预测结果,确定与同一预设人体部位对象之间的关联性满足预设条件的人脸对象和人手对象为所述目标图像中的关联对象。

9.根据权利要求1所述的方法,其特征在于,所述方法还包括:输出所述目标图像中的关联对象的检测结果。

10.根据权利要求1所述的方法,其特征在于,所述预设人体部位对象包括肩膀对象、手肘对象、手腕对象中的至少之一。

11.根据权利要求1所述的方法,其特征在于,

所述目标图像中的人脸对象,人手对象以及预设人体部位对象通过目标对象检测网络对所述目标图像进行检测得出;

所述第三关联性预测结果通过第一预设网络检测得出,所述第一预设网络包括人脸‑人手关联性检测模型;

所述第一关联性预测结果和所述第二关联性预测结果通过第二预设网络检测得出,所述第二预设网络包括人脸‑预设人体部位关联性检测模型以及预设人体部位‑人手关联性检测模型;

所述目标对象检测网络、所述人脸‑人手关联性检测模型、所述人脸‑预设人体部位关联性检测模型以及所述预设人体部位‑人手关联性检测模型按照如下方式训练得到:基于第一训练样本集对所述目标对象检测网络进行训练;其中,所述第一训练样本集包含多个包括第一标注信息的训练样本;所述第一标注信息包括人脸对象,人手对象以及预设人体部位对象的位置标注信息;

基于第二训练样本集对所述目标对象检测网络、所述人脸‑人手关联性检测模型、所述人脸‑预设人体部位关联性检测模型以及所述预设人体部位‑人手关联性检测模型进行联合训练;其中,所述第二训练样本集包含多个包括第二标注信息的训练样本;所述第二标注信息包括人脸对象,人手对象以及预设人体部位对象的位置标注信息,以及人脸对象、预设身体部位对象和人手对象三者的关联性标注信息。

12.一种图像中关联对象的检测装置,其特征在于,所述装置包括:检测模块,用于检测目标图像中的人脸对象,人手对象以及预设人体部位对象,其中,所述预设人体部位对象表征人脸与人手之间的预设连接部位;

第一关联性预测模块,用于对检测出的人脸对象与预设人体部位对象,预设人体部位对象与人手对象,以及人脸对象与人手对象分别进行关联性预测,得到人脸对象与预设人体部位对象的第一关联性预测结果,预设人体部位对象与人手对象的第二关联性预测结果,以及人脸对象与人手对象的第三关联性预测结果;

确定模块,用于根据所述第一关联性预测结果以及所述第二关联性预测结果,对所述第三关联性预测结果进行调整;以及基于调整后的第三关联性预测结果,确定所述目标图像中的关联对象。

13.一种电子设备,其特征在于,所示设备包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现如权利要求1至

11中任一项所述的图像中关联对象的检测方法。

14.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行如权利要求1至11中任一项所述的图像中关联对象的检测方法。