利索能及
我要发布
收藏
专利号: 201810421005X
申请人: 上海商汤智能科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种对象预测方法,其特征在于,应用于神经网络,所述方法包括:对待预测对象进行特征提取处理,得到所述待预测对象的特征信息;

根据所述特征信息,确定针对所述待预测对象的多个中间预测结果;

对所述多个中间预测结果进行融合处理,得到融合信息;

根据所述融合信息,确定针对所述待预测对象的多个目标预测结果,所述多个目标预测结果为不同预测任务的预测结果;

所述对所述多个中间预测结果进行融合处理,得到融合信息,包括:对所述多个中间预测结果进行再处理,得到各中间预测结果的再处理结果;

对所述各中间预测结果的再处理结果进行融合处理,得到融合信息;

所述多个中间预测结果中包括第一中间预测结果以及第二中间预测结果,其中,所述第一中间预测结果与目标预测结果的相关度最高;

所述对所述各中间预测结果的再处理结果进行融合处理,得到融合信息,包括:对所述第二中间预测结果的再处理结果进行处理,得到参考结果;

将所述第一中间预测结果的再处理结果与所述参考结果进行叠加处理,得到针对所述目标预测结果的融合信息;

所述待预测对象包括:图像;

所述中间预测结果包括:深度估计中间预测结果、曲面法线中间预测结果、轮廓中间预测结果、语义分割中间预测结果中至少一种,所述目标预测结果包括深度估计结果、场景分割结果中至少一种。

2.根据权利要求1所述的方法,其特征在于,对待预测对象进行特征提取处理,得到所述待预测对象的特征信息,包括:对待预测对象进行特征提取处理,得到多个层级的特征;

对所述多个层级的特征进行聚集处理,得到针对所述待预测对象的特征信息。

3.根据权利要求1所述的方法,其特征在于,根据所述特征信息,确定针对所述待预测对象的多个中间预测结果,包括:对所述特征信息进行重构处理,得到多个重构特征;

根据各重构特征,确定针对所述待预测对象的各中间预测结果。

4.根据权利要求1所述的方法,其特征在于,对所述各中间预测结果的再处理结果进行融合处理,得到融合信息,包括:对所述各中间预测结果的再处理结果进行叠加处理,得到融合信息。

5.根据权利要求1所述的方法,其特征在于,所述多个中间预测结果中包括第一中间预测结果以及第二中间预测结果,其中,所述第一中间预测结果与目标预测结果的相关度最高,其中,对所述各中间预测结果的再处理结果进行融合处理,得到融合信息,包括:根据所述第一中间预测结果的再处理结果,确定注意力系数,所述注意力系数是根据注意力机制确定的参考系数;

对所述第二中间预测结果的再处理结果进行处理,得到参考结果;

将所述参考结果以及所述注意力系数进行点乘处理,得到注意力内容;

将所述第一中间预测结果的再处理结果与所述注意力内容进行叠加处理,得到针对所述目标预测结果的融合信息。

6.根据权利要求1所述的方法,其特征在于,根据所述融合信息,确定针对所述待预测对象的多个目标预测结果,包括:确定针对各目标预测结果的融合信息;

对所述融合信息进行处理,得到目标特征;

根据所述目标特征,确定各目标预测结果。

7.根据权利要求1所述的方法,其特征在于,所述神经网络根据待预测对象训练得到。

8.根据权利要求7所述的方法,其特征在于,根据待预测对象训练所述神经网络的步骤包括:将所述待预测对象输入所述神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息;

将所述特征信息输入所述神经网络中的第一预测网络中进行处理,确定针对所述待预测对象的多个中间预测结果;

将所述中间预测结果输入所述神经网络的融合网络中进行融合处理,得到所述融合信息;

将所述融合信息分别输入所述神经网络中的多个第二预测网络中进行处理,确定针对所述待预测对象的多个目标预测结果;

根据所述多个中间预测结果、多个中间预测结果的标注信息、多个目标预测结果以及多个目标预测结果的标注信息,确定所述神经网络的模型损失;

根据所述模型损失,调整所述神经网络的网络参数值。

9.根据权利要求8所述的方法,其特征在于,根据待预测对象训练所述神经网络的步骤还包括:在将所述待预测对象输入所述神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息之前,确定所述多个目标预测结果的标注信息;

根据所述多个目标预测结果的标注信息,确定所述多个中间预测结果的标注信息。

10.根据权利要求1所述的方法,其特征在于,根据所述特征信息,确定针对所述待预测对象的多个中间预测结果,包括:根据所述特征信息,确定针对所述待预测对象的深度估计中间预测结果、曲面法线中间预测结果、轮廓中间预测结果以及语义分割中间预测结果,其中,对所述多个中间预测结果进行融合处理,得到融合信息,包括:对所述深度估计中间预测结果、所述曲面法线中间预测结果、所述轮廓中间预测结果以及所述语义分割中间预测结果进行融合处理,得到融合信息,其中,根据所述融合信息,确定针对所述待预测对象的多个目标预测结果,包括:根据所述融合信息,确定针对所述待预测对象的深度估计结果以及场景分割结果。

11.一种对象预测方法,其特征在于,应用于神经网络,所述方法包括:将待预测对象输入神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息;

将所述特征信息输入所述神经网络中的第一预测网络中进行处理,确定针对所述待预测对象的多个中间预测结果;

将所述中间预测结果输入所述神经网络的融合网络中进行融合处理,得到融合信息;

将所述融合信息分别输入所述神经网络中的多个第二预测网络中进行处理,确定针对所述待预测对象的多个目标预测结果;

根据所述多个中间预测结果、多个中间预测结果的标注信息、多个目标预测结果以及多个目标预测结果的标注信息,确定所述神经网络的模型损失;

根据所述模型损失,调整所述神经网络的网络参数值;

将所述中间预测结果输入所述神经网络的融合网络中进行融合处理,得到所述融合信息,包括:对所述多个中间预测结果进行再处理,得到各中间预测结果的再处理结果;

对所述各中间预测结果的再处理结果进行融合处理,得到融合信息;

所述多个中间预测结果中包括第一中间预测结果以及第二中间预测结果,其中,所述第一中间预测结果与目标预测结果的相关度最高;

所述对所述各中间预测结果的再处理结果进行融合处理,得到融合信息,包括:对所述第二中间预测结果的再处理结果进行处理,得到参考结果;

将所述第一中间预测结果的再处理结果与所述参考结果进行叠加处理,得到针对所述目标预测结果的融合信息;

所述待预测对象包括:图像;

所述中间预测结果包括:深度估计中间预测结果、曲面法线中间预测结果、轮廓中间预测结果、语义分割中间预测结果中至少一种,所述目标预测结果包括深度估计结果、场景分割结果中至少一种。

12.根据权利要求11所述的方法,其特征在于,所述方法还包括:在将待预测对象输入神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息之前,确定所述多个目标预测结果的标注信息;

根据所述多个目标预测结果的标注信息,确定所述多个中间预测结果的标注信息。

13.一种对象预测装置,其特征在于,应用于神经网络,所述装置包括:特征提取模块,用于对待预测对象进行特征提取处理,得到所述待预测对象的特征信息;

中间预测结果确定模块,用于根据所述特征信息,确定针对所述待预测对象的多个中间预测结果;

融合模块,用于对所述多个中间预测结果进行融合处理,得到融合信息;

目标预测结果确定模块,用于根据所述融合信息,确定针对所述待预测对象的多个目标预测结果,所述多个目标预测结果为不同预测任务的预测结果;

所述融合模块包括:

再处理结果获得子模块,用于对所述多个中间预测结果进行再处理,得到各中间预测结果的再处理结果;

融合信息获得子模块,用于对所述各中间预测结果的再处理结果进行融合处理,得到融合信息;

所述多个中间预测结果中包括第一中间预测结果以及第二中间预测结果,其中,所述第一中间预测结果与目标预测结果的相关度最高;

所述融合信息获得子模块还用于:

对所述第二中间预测结果的再处理结果进行处理,得到参考结果;

将所述第一中间预测结果的再处理结果与所述参考结果进行叠加处理,得到针对所述目标预测结果的融合信息;

所述待预测对象包括:图像;

所述中间预测结果包括:深度估计中间预测结果、曲面法线中间预测结果、轮廓中间预测结果、语义分割中间预测结果中至少一种,所述目标预测结果包括深度估计结果、场景分割结果中至少一种。

14.根据权利要求13所述的装置,其特征在于,所述特征提取模块包括:特征获得子模块,用于对待预测对象进行特征提取处理,得到多个层级的特征;

特征信息获得子模块,用于对所述多个层级的特征进行聚集处理,得到针对所述待预测对象的特征信息。

15.根据权利要求13所述的装置,其特征在于,所述中间预测结果确定模块包括:重构特征获得子模块,用于对所述特征信息进行重构处理,得到多个重构特征;

中间预测结果获得子模块,用于根据各重构特征,确定针对所述待预测对象的各中间预测结果。

16.根据权利要求13所述的装置,其特征在于,所述融合信息获得子模块用于:对所述各中间预测结果的再处理结果进行叠加处理,得到融合信息。

17.根据权利要求13所述的装置,其特征在于,所述多个中间预测结果中包括第一中间预测结果以及第二中间预测结果,其中,所述第一中间预测结果与目标预测结果的相关度最高,其中,所述融合信息获得子模块用于:

根据所述第一中间预测结果的再处理结果,确定注意力系数,所述注意力系数是根据注意力机制确定的参考系数;

对所述第二中间预测结果的再处理结果进行处理,得到参考结果;

将所述参考结果以及所述注意力系数进行点乘处理,得到注意力内容;

将所述第一中间预测结果的再处理结果与所述注意力内容进行叠加处理,得到针对所述目标预测结果的融合信息。

18.根据权利要求13所述的装置,其特征在于,所述目标预测结果确定模块包括:融合信息确定子模块,用于确定针对各目标预测结果的融合信息;

目标特征获得子模块,用于对所述融合信息进行处理,得到目标特征;

目标预测结果确定子模块,用于根据所述目标特征,确定各目标预测结果。

19.根据权利要求13所述的装置,其特征在于,所述神经网络根据待预测对象训练得到。

20.根据权利要求19所述的装置,其特征在于,所述装置还包括:第一获得模块,用于将所述待预测对象输入所述神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息;

第一确定模块,用于将所述特征信息输入所述神经网络中的第一预测网络中进行处理,确定针对所述待预测对象的多个中间预测结果;

第二获得模块,用于将所述中间预测结果输入所述神经网络的融合网络中进行融合处理,得到所述融合信息;

第二确定模块,用于将所述融合信息分别输入所述神经网络中的多个第二预测网络中进行处理,确定针对所述待预测对象的多个目标预测结果;

第三确定模块,用于根据所述多个中间预测结果、多个中间预测结果的标注信息、多个目标预测结果以及多个目标预测结果的标注信息,确定所述神经网络的模型损失;

网络参数值调整模块,用于根据所述模型损失,调整所述神经网络的网络参数值。

21.根据权利要求20所述的装置,其特征在于,所述装置还包括:标注信息确定模块,用于在将所述待预测对象输入所述神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息之前,确定所述多个目标预测结果的标注信息;

中间标注信息确定模块,用于根据所述多个目标预测结果的标注信息,确定所述多个中间预测结果的标注信息。

22.根据权利要求13所述的装置,其特征在于,所述中间预测结果确定模块包括:第一确定子模块,用于根据所述特征信息,确定针对所述待预测对象的深度估计中间预测结果、曲面法线中间预测结果、轮廓中间预测结果以及语义分割中间预测结果,其中,所述融合模块包括:获得子模块,用于对所述深度估计中间预测结果、所述曲面法线中间预测结果、所述轮廓中间预测结果以及所述语义分割中间预测结果进行融合处理,得到融合信息,其中,所述目标预测结果确定模块包括:第二确定子模块,用于根据所述融合信息,确定针对所述待预测对象的深度估计结果以及场景分割结果。

23.一种对象预测装置,其特征在于,应用于神经网络,所述装置包括:第一信息获得模块,用于将待预测对象输入神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息;

第一结果确定模块,用于将所述特征信息输入所述神经网络中的第一预测网络中进行处理,确定针对所述待预测对象的多个中间预测结果;

第二信息获得模块,用于将所述中间预测结果输入所述神经网络的融合网络中进行融合处理,得到融合信息;

第二结果确定模块,用于将所述融合信息分别输入所述神经网络中的多个第二预测网络中进行处理,确定针对所述待预测对象的多个目标预测结果;

模型损失确定模块,用于根据所述多个中间预测结果、多个中间预测结果的标注信息、多个目标预测结果以及多个目标预测结果的标注信息,确定所述神经网络的模型损失;

参数调整模块,用于根据所述模型损失,调整所述神经网络的网络参数值;

所述第二信息获得模块,用于对所述多个中间预测结果进行再处理,得到各中间预测结果的再处理结果;对所述各中间预测结果的再处理结果进行融合处理,得到融合信息;

所述多个中间预测结果中包括第一中间预测结果以及第二中间预测结果,其中,所述第一中间预测结果与目标预测结果的相关度最高;

所述第二信息获得模块,还用于:

对所述第二中间预测结果的再处理结果进行处理,得到参考结果;

将所述第一中间预测结果的再处理结果与所述参考结果进行叠加处理,得到针对所述目标预测结果的融合信息;

所述待预测对象包括:图像;

所述中间预测结果包括:深度估计中间预测结果、曲面法线中间预测结果、轮廓中间预测结果、语义分割中间预测结果中至少一种,所述目标预测结果包括深度估计结果、场景分割结果中至少一种。

24.根据权利要求23所述的装置,其特征在于,所述装置还包括:第一信息确定模块,用于在将待预测对象输入神经网络中的特征提取网络进行特征提取处理,得到针对所述待预测对象的特征信息之前,确定所述多个目标预测结果的标注信息;

第二信息确定模块,用于根据所述多个目标预测结果的标注信息,确定所述多个中间预测结果的标注信息。

25.一种电子设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:执行权利要求1至12中任意一项所述的方法。

26.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。