利索能及
我要发布
收藏
专利号: 2021800016826
申请人: 商汤国际私人有限公司
专利类型:其他
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种对象间的关联性的预测方法,其特征在于,所述方法包括:检测目标图像中的第一对象、第二对象以及第三对象,其中,所述第一对象、所述第二对象表征不同的人体部位,所述第三对象为人体对象;

确定包围所述第一对象、所述第二对象以及所述第三对象的联合边界框;

基于所述目标图像中所述联合边界框对应的区域,预测所述第一对象和所述第二对象的关联性。

2.根据权利要求1所述的方法,其特征在于,所述确定包围所述第一对象、所述第二对象以及所述第三对象的联合边界框,包括:根据所述第一对象和所述第二对象的检测结果确定包围所述第一对象和所述第二对象的第一包围框;

根据所述第一包围框以及所述第三对象的检测结果,生成包围所述第一对象、第二对象和第三对象的联合边界框。

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一对象和所述第二对象的检测结果确定包围所述第一对象和所述第二对象的第一包围框,包括:

对检测出的至少一个第一对象分别与检测出的至少一个第二对象进行组合,得到至少一个对象对;

分别确定包围各所述对象对的第一包围框;和/或,针对每个所述对象对,所述根据所述第一包围框以及所述第三对象的检测结果,生成包围所述第一对象、第二对象和第三对象的联合边界框,包括:将所述对象对与至少一个第三对象进行组合,得到至少一个三元对象组,所述对象对由检测出的第一对象和第二对象组合得到;

针对每个所述三元对象组,根据所述对象对的第一包围框以及所述三元对象组中的第三对象的检测结果,生成包围所述三元对象组的联合边界框。

4.根据权利要求2所述的方法,其特征在于,所述检测结果包括边界框;

所述根据所述第一包围框以及所述第三对象的检测结果,生成包围所述第一对象、第二对象和第三对象的联合边界框,包括:将检测出的各第三对象的边界框中,与所述第一包围框的重合范围最大的边界框,作为所述第一包围框对应的目标边界框;

根据所述第一包围框以及所述目标边界框,生成包围所述第一对象、第二对象和第三对象的联合边界框。

5.根据权利要求2或3所述的方法,其特征在于,所述第一包围框包括包围所述第一对象和所述第二对象的包围框中面积最小的包围框;和/或,

所述联合边界框包括与所述第一包围框外接的外接联合边界框。

6.根据权利要求4所述的方法,其特征在于,所述联合边界框包括与所述第三对象的边界框外接的联合边界框;或者所述联合边界框包括与所述第一包围框外接且与所述第三对象的边界框外接的联合边界框。

7.根据权利要求1‑6任一项所述的方法,其特征在于,所述基于所述目标图像中所述联合边界框对应的区域,预测所述第一对象和所述第二对象的关联性,包括:将所述联合边界框,所述联合边界框包围的第一对象与第二对象对应的边界框分别输入区域特征提取单元,得到所述联合边界框的区域特征,以及所述联合边界框内包围的第一对象与第二对象分别对应的区域特征;

将所述联合边界框的区域特征,所述联合边界框包围的第一对象与第二对象分别对应的区域特征以及所述联合边界框包围的第一对象与第二对象分别对应的位置特征进行特征拼接,得到预设长度的拼接特征;

基于所述拼接特征,预测所述第一对象和所述第二对象的关联性。

8.根据权利要求1‑7任一所述的方法,其特征在于,所述方法还包括:基于所述第一对象和所述第二对象的关联性的预测结果确定所述目标图像中的关联对象。

9.根据权利要求8所述的方法,其特征在于,所述关联性的预测结果包括关联性预测分数,所述基于所述第一对象和所述第二对象的关联性的预测结果确定所述目标图像中的关联对象,包括:

按照所述关联性预测分数由高到低的顺序,依次将各对象对确定为当前对象对,所述对象对由检测出的任意第一对象和任意第二对象进行组合得到,并执行:基于所述目标图像中已确定的关联对象,确定与当前对象对内的第一对象互为关联对象的第二对象的数量作为第一数量,以及确定与当前对象对内的第二对象互为关联对象的第一对象的数量作为第二数量;

响应于所述第一数量未达到第一预设阈值,且所述第二数量未达到第二预设阈值,将所述当前对象对内的第一对象与第二对象确定为所述目标图像中的关联对象。

10.根据权利要求7‑9任一所述的方法,其特征在于,所述方法还包括:输出所述目标图像中的关联对象的检测结果。

11.根据权利要求1‑10任一项所述的方法,其特征在于,所述第一对象和所述第二对象的关联性包括所述第一对象与所述第二对象属于同一人体对象的置信度。

12.根据权利要求1‑11任一所述的方法,其特征在于,所述第一对象包括人脸对象;所述第二对象包括人手对象。

13.根据权利要求1‑12任一所述的方法,其特征在于,所述检测目标图像中的第一对象、第二对象以及第三对象,包括:利用目标对象检测模型检测目标图像中的第一对象、第二对象以及第三对象;

所述基于所述目标图像中所述联合边界框对应的区域,预测所述第一对象和所述第二对象的关联性,包括:

基于所述目标图像中所述联合边界框对应的区域,利用关联性预测模型预测所述第一对象和所述第二对象的关联性;

其中,所述目标对象检测模型和所述关联性预测模型按照如下方式训练得到:基于第一训练样本集对所述目标对象检测模型进行训练;其中,所述第一训练样本集包含具有第一标注信息的训练样本;所述第一标注信息包括第一对象,第二对象以及第三对象分别对应的边界框;

基于第二训练样本集对所述目标对象检测模型以及所述关联性预测模型进行联合训练;其中,所述第二训练样本集包含具有第二标注信息的训练样本;所述第二标注信息包括所述第一对象,所述第二对象和所述第三对象分别对应的边界框,以及所述第一对象与所述第二对象之间关联性标注信息。

14.一种对象间的关联性的预测装置,其特征在于,所述装置包括:对象检测模块,用于检测目标图像中的第一对象、第二对象以及第三对象,其中,所述第一对象、所述第二对象表征不同的人体部位,所述第三对象为人体对象;

确定模块,用于确定包围所述第一对象、所述第二对象以及所述第三对象的联合边界框;

关联性预测模块,用于基于所述目标图像中所述联合边界框对应的区域,预测所述第一对象和所述第二对象的关联性。

15.一种电子设备,其特征在于,所述设备包括:处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求1至13中任一项所述的对象间的关联性的预测方法。

16.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行权利要求1至13中任一项所述的对象间的关联性的预测方法。

17.一种计算机程序产品,包括计算机可读代码,其特征在于,当所述计算机可读代码在设备中的处理器上运行时,所述处理器执行用于实现权利要求1至13任意一项所述的方法的指令。