利索能及
我要发布
收藏
专利号: 2021800016987
申请人: 商汤国际私人有限公司
专利类型:其他
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像中对象的关联性预测方法,包括:检测获取的图像中的第一对象和第二对象,其中,所述第一对象和所述第二对象表征不同的人体部位;

确定所述第一对象关于目标区域的第一权重信息和所述第二对象关于所述目标区域的第二权重信息,其中,所述目标区域为所述第一对象和所述第二对象的组合的包围框对应的区域;

分别基于所述第一权重信息与所述第二权重信息对所述目标区域进行加权处理,得到所述目标区域的第一加权特征和第二加权特征;

基于所述第一加权特征和所述第二加权特征预测所述目标区域内的第一对象和第二对象的关联性。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括按照如下方式确定所述包围框:

基于所述第一对象的第一边界框和所述第二对象的第二边界框,确定包含所述第一边界框和所述第二边界框、并且与所述第一边界框以及所述第二边界框均无交点的框作为所述包围框;或,

基于所述第一对象的第一边界框与所述第二对象对应的第二边界框,确定包含所述第一边界框和所述第二边界框、并且与所述第一边界框和/或所述第二边界框外接的框作为所述包围框。

3.根据权利要求1或2所述的方法,其特征在于,所述确定所述第一对象关于所述目标区域的第一权重信息和所述第二对象关于所述目标区域的第二权重信息,包括:对所述第一对象对应的区域进行区域特征提取,确定所述第一对象的第一特征图,对所述第二对象对应的区域进行区域特征提取,确定所述第二对象的第二特征图;

将所述第一特征图调整至预设尺寸得到第一权重信息,将所述第二特征图调整至所述预设尺寸得到第二权重信息。

4.根据权利要求1‑3任一所述的方法,其特征在于,所述分别基于所述第一权重信息与所述第二权重信息对所述目标区域进行加权处理,得到所述目标区域的第一加权特征和第二加权特征,包括:

对所述目标区域进行区域特征提取,确定所述目标区域的特征图;

采用根据所述第一权重信息构建的第一卷积核,对所述目标区域的特征图进行卷积操作得到所述第一加权特征;

采用根据所述第二权重信息构建的第二卷积核,对所述目标区域的特征图进行卷积操作得到所述第二加权特征。

5.根据权利要求1‑4任一所述的方法,其特征在于,所述基于所述第一加权特征和所述第二加权特征预测所述目标区域内的第一对象和第二对象的关联性,包括:基于所述第一对象、所述第二对象和所述目标区域中的任意一项或多项,以及所述第一加权特征和所述第二加权特征,预测所述目标区域内的第一对象和第二对象的关联性。

6.根据权利要求5所述的方法,其特征在于,所述基于所述第一对象,所述第二对象和所述目标区域中的任意一项或多项,以及所述第一加权特征和所述第二加权特征,预测所述目标区域内的第一对象和第二对象的关联性,包括:对所述第一对象,所述第二对象和所述目标区域中的任意一项或多项的区域特征,与所述第一加权特征和所述第二加权特征进行特征拼接,得到拼接特征;

基于所述拼接特征,预测所述目标区域内的第一对象和第二对象的关联性。

7.根据权利要求1‑6任一所述的方法,还包括:基于所述目标区域内的第一对象和第二对象的关联性的预测结果,确定所述图像中的关联对象。

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

对从所述图像检测出的各第一对象分别与各第二对象进行组合,得到多个组合,每个所述组合包括一个第一对象和一个第二对象;

所述基于所述目标区域内的第一对象和第二对象的关联性的预测结果,确定所述图像中的关联对象,包括:

确定所述多个组合分别对应的关联性预测结果;其中,所述关联性预测结果包括关联性预测分数;

按照各所述组合对应的所述关联性预测分数由高到低的顺序,依次将各所述组合确定为当前组合;

对所述当前组合执行:

基于已确定的关联对象,统计与当前组合内的第一对象关联的第二已确定对象,以及与当前组合内的第二对象关联的第一已确定对象;

确定所述第二已确定对象的第一数量以及所述第一已确定对象的第二数量;

响应于所述第一数量未达到第一预设阈值,且所述第二数量未达到第二预设阈值,将所述当前组合内的第一对象与第二对象确定为所述图像中的关联对象。

9.根据权利要求8所述的方法,其特征在于,所述按照各所述组合对应的所述关联性预测分数由高到低的顺序,依次将各所述组合确定为当前组合,包括:按照关联性预测分数由高到低的顺序,依次将关联性预测分数达到预设的分数阈值的组合确定为当前组合。

10.根据权利要求7‑9任一所述的方法,还包括:输出该图像中的关联对象的检测结果。

11.根据权利要求1‑10任一所述的方法,其特征在于,所述第一对象包括人脸对象;

所述第二对象包括人手对象。

12.根据权利要求1所述的方法,还包括:基于第一训练样本集对目标检测模型进行训练;其中,所述第一训练样本集包含具有第一标注信息的训练样本;所述第一标注信息包括第一对象和第二对象的边界框;

基于第二训练样本集对所述目标检测模型以及关联性预测模型进行联合训练;其中,所述第二训练样本集包含具有第二标注信息的训练样本;所述第二标注信息包括第一对象和第二对象的边界框、以及所述第一对象与所述第二对象之间的关联性标注信息;

其中,所述目标检测模型用于检测图像中的第一对象和第二对象,所述关联性预测模型用于预测图像中的第一对象和第二对象的关联性。

13.一种图像中对象的关联性预测装置,包括:检测模块,用于检测获取的图像中的第一对象和第二对象,其中,所述第一对象和所述第二对象表征不同的人体部位;

确定模块,用于确定所述第一对象关于目标区域的第一权重信息和所述第二对象关于所述目标区域的第二权重信息,其中,所述目标区域为所述第一对象和所述第二对象的组合的包围框对应的区域;

加权处理模块,用于分别基于所述第一权重信息与所述第二权重信息对所述目标区域进行加权处理,得到所述目标区域的第一加权特征和第二加权特征;

关联性预测模块,用于基于所述第一加权特征和所述第二加权特征预测所述目标区域内的第一对象和第二对象的关联性。

14.根据权利要求13所述的装置,还包括包围框确定模块,用于:基于所述第一对象的第一边界框和所述第二对象的第二边界框,确定包含所述第一边界框和所述第二边界框、并且与所述第一边界框以及所述第二边界框均无交点的框作为所述包围框;或,

基于所述第一对象的第一边界框与所述第二对象对应的第二边界框,确定包含所述第一边界框和所述第二边界框、并且与所述第一边界框和/或所述第二边界框外接的框作为所述包围框。

15.根据权利要求13或14所述的装置,其特征在于,所述确定模块具体用于:对所述第一对象对应的区域进行区域特征提取,确定所述第一对象的第一特征图,对所述第二对象对应的区域进行区域特征提取,确定所述第二对象的第二特征图;

将所述第一特征图调整至预设尺寸得到第一权重信息,将所述第二特征图调整至所述预设尺寸得到第二权重信息。

16.根据权利要求13‑15任一所述的装置,其特征在于,所述加权处理模块具体用于:对所述目标区域进行区域特征提取,确定所述目标区域的特征图;

采用根据所述第一权重信息构建的第一卷积核,对所述目标区域的特征图进行卷积操作得到所述第一加权特征;

采用根据所述第二权重信息构建的第二卷积核,对所述目标区域的特征图进行卷积操作得到所述第二加权特征。

17.根据权利要求13‑16任一所述的装置,其特征在于,所述关联性预测模块包括:关联性预测子模块,用于基于所述第一对象、所述第二对象和所述目标区域中的任意一项或多项,以及所述第一加权特征和所述第二加权特征,预测所述目标区域内的第一对象和第二对象的关联性。

18.根据权利要求17所述的装置,其特征在于,所述关联性预测子模块具体用于:对所述第一对象,所述第二对象和所述目标区域中的任意一项或多项的区域特征,与所述第一加权特征和所述第二加权特征进行特征拼接,得到拼接特征;

基于所述拼接特征,预测所述目标区域内的第一对象和第二对象的关联性。

19.根据权利要求13‑18任一所述的装置,还包括:关联对象确定模块,用于基于所述目标区域内的第一对象和第二对象的关联性的预测结果,确定所述图像中的关联对象。

20.根据权利要求19所述的装置,其特征在于,所述装置还包括:

组合模块,用于对从所述图像检测出的各第一对象分别与各第二对象进行组合,得到多个组合,每个所述组合包括一个第一对象和一个第二对象;

所述关联性预测模块具体用于:确定所述多个组合分别对应的关联性预测结果;其中,所述关联性预测结果包括关联性预测分数;

按照各所述组合对应的所述关联性预测分数由高到低的顺序,依次将各所述组合确定为当前组合;

对所述当前组合执行:

基于已确定的关联对象,统计与当前组合内的第一对象关联的第二已确定对象以及与当前组合内的第二对象关联的第一已确定对象;

确定所述第二已确定对象的第一数量以及所述第一已确定对象的第二数量;

响应于所述第一数量未达到第一预设阈值,且所述第二数量未达到第二预设阈值,将所述当前组合内的第一对象与第二对象确定为所述图像中的关联对象。

21.根据权利要求20所述的装置,其特征在于,所述关联性预测模块具体用于:按照关联性预测分数由高到低的顺序,依次将关联性预测分数达到预设的分数阈值的组合确定为当前组合。

22.根据权利要求19‑21任一所述的装置,还包括:输出模块,用于输出该图像中的关联对象的检测结果。

23.根据权利要求13‑22任一所述的装置,其特征在于,第一对象包括人脸对象;

所述第二对象包括人手对象。

24.根据权利要求13所述的装置,还包括:第一训练模块,用于基于第一训练样本集对目标检测模型进行训练;其中,所述第一训练样本集包含具有第一标注信息的训练样本;所述第一标注信息包括第一对象和第二对象的边界框;

联合训练模块,用于基于第二训练样本集对所述目标检测模型以及关联性预测模型进行联合训练;其中,所述第二训练样本集包含具有第二标注信息的训练样本;所述第二标注信息包括第一对象和第二对象的边界框、以及所述第一对象与所述第二对象之间的关联性标注信息;

其中,所述目标检测模型用于检测图像中的第一对象和第二对象,所述关联性预测模型用于预测图像中的第一对象和第二对象的关联性。

25.一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现如权利要求1‑

12任一所述的图像中对象的关联性预测方法。

26.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序用于执行如权利要求1‑12任一所述的图像中对象的关联性预测方法。

27.一种计算机程序产品,包括计算机可读代码,所述计算机可读代码被处理器执行以实现如权利要求1‑12任一所述的图像中对象的关联性预测方法。