利索能及
我要发布
收藏
专利号: 2019113634455
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多任务检测方法,其特征在于,包括:

获取待检测图像;

基于目标模型对所述待检测图像进行多个检测任务的检测,获得所述多个检测任务分别对应的检测结果;

其中,所述目标模型至少包括所述多个检测任务共用的共用神经网络,以及与所述多个检测任务分别对应的检测网络;

所述目标模型采用以下方式训练:

获取第二融合模型;其中,所述第二融合模型包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络;

每次同时基于所述多个检测任务分别对应的多张样本图像,分多次对所述第二融合模型的参数所包括的参数进行迭代更新;

响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件,停止更新所述第二融合模型所包括的所述参数,获得所述目标模型;

所述每次同时基于所述多个检测任务分别对应的多张样本图像,分多次对所述第二融合模型的参数所包括的参数进行迭代更新,包括:通过所述第二共用神经网络对与所述多个检测任务分别对应的多张所述样本图像进行特征提取,获得与每张样本图像对应的多个特征图像;

在所述多个特征图像中,通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像;

通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络,获得每个所述第二检测网络输出的每个检测结果;

基于每个所述检测结果与多张所述样本图像中标注的检测结果真值,更新所述第二共用神经网络中的参数和所述第二检测网络中的参数,直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件;

所述基于每个所述检测结果与多张所述样本图像中标注的检测结果真值,更新所述第二共用神经网络中的参数和所述第二检测网络中的参数,包括:分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值,获得多个第一梯度值;

对多个所述第一梯度值分别进行正则化处理,得到多个第二梯度值;

根据多个所述第一梯度值,分别更新所述第二检测网络中的参数;

根据多个所述第二梯度值,更新所述第二共用神经网络的参数;

其中,所述对多个所述第一梯度值分别进行正则化处理,得到多个第二梯度值,包括:计算不同的第一梯度值的平方和相加后的开平方值,得到第三梯度值;

计算多个第一梯度值与第三梯度值的商,从而获得多个第二梯度值。

2.根据权利要求1所述的方法,其特征在于,所述获取待检测图像,包括:获取车载摄像头采集的视频流所包括的多帧图像,将所述多帧图像作为所述待检测图像;

所述基于目标模型对所述待检测图像进行多个检测任务的检测,获得所述多个检测任务分别对应的检测结果,包括:基于所述目标模型对所述多帧图像进行多个交通目标检测任务的检测,获得所述多个交通目标检测任务分别对应的交通目标所在位置和/或状态的检测结果。

3.根据权利要求1或2所述的方法,其特征在于,采用以下方式训练所述目标模型:获取第一融合模型;其中,所述第一融合模型包括所述多个检测任务共用的第一共用神经网络以及与所述多个检测任务分别对应的第一检测网络;

基于所述多个检测任务分别对应的多张样本图像,每次基于一个检测任务对应的多张样本图像,分多次对所述第一融合模型所包括的参数进行迭代更新;

响应于所述第一融合模型所包括的所述参数满足预设的第一停止迭代条件,停止更新所述第一融合模型所包括的所述参数,获得所述目标模型。

4.根据权利要求3所述的方法,其特征在于,所述基于所述多个检测任务分别对应的多张样本图像,每次基于一个检测任务对应的多张样本图像,分多次对所述第一融合模型所包括的参数进行迭代更新,包括:基于与所述多个检测任务中第一检测任务对应的多张第一样本图像,更新所述第一共用神经网络的参数和与所述第一检测任务对应的所述第一检测网络的所述参数;

基于与所述多个检测任务中第二检测任务对应的多张第二样本图像,分别更新所述第二检测任务对应的所述第一检测网络的所述参数;

基于多张所述第二样本图像和预先设置的第一学习率,分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数;以及,基于多张所述第一样本图像和所述第一学习率,分别更新所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数,直到所述第一融合模型所包括的所述参数满足所述第一停止迭代条件。

5.根据权利要求4所述的方法,其特征在于,所述基于多张所述第二样本图像和预先设置的第一学习率,分别更新所述第二检测任务对应的所述第一检测网络的所述参数以及所述第一共用神经网络的参数,包括:基于多张所述第二样本图像和预先设置的第一学习率,分别更新所述第二检测任务对应的所述第一检测网络的所述参数;以及,基于多张所述第二样本图像和第二学习率,更新所述第一共用神经网络的参数,所述第二学习率基于所述第一学习率计算得到。

6.根据权利要求4或5所述的方法,其特征在于,所述基于多张所述第一样本图像和所述第一学习率,分别更新所述第一检测任务对应的所述第一检测网络的参数以及所述第一共用神经网络的所述参数,包括:基于多张所述第一样本图像和所述第一学习率,更新与所述第一检测任务对应的所述第一检测网络的参数;以及,基于多张所述第一样本图像和第二学习率,更新所述第一共用神经网络的所述参数,所述第二学习率基于所述第一学习率计算得到。

7.根据权利要求3‑6任一项所述的方法,其特征在于,所述第一停止迭代条件包括:所述第一融合模型中的至少一个所述参数至少两次更新后的参数值的差值小于预设阈值。

8.根据权利要求1所述的方法,其特征在于,所述第二停止迭代条件包括:对所述第二融合模型所包括的所述参数进行迭代更新的次数达到预设次数。

9.根据权利要求1或8所述的方法,其特征在于,所述获得所述目标模型之后,所述方法还包括:在所述多个检测任务中确定至少一个目标检测任务;

在所述多个第二检测网络中,确定与所述目标检测任务对应的目标检测网络;

获取所述目标检测网络中的中间网络层输出的第一特征图像;

通过预先建立的目标检测模型对目标样本图像进行特征提取后,获得第二特征图像;

其中,所述目标检测模型是所述目标检测任务对应的检测模型,所述目标样本图像是所述目标检测任务对应的样本图像;

将所述第一特征图像与所述第二特征图像之间的第四梯度值作为目标损失函数,对所述目标模型中的所述目标检测网络的所述参数进行更新。

10.一种多任务检测装置,其特征在于,所述装置包括:

图像获取模块,用于获取待检测图像;

多任务检测模块,用于基于目标模型对所述待检测图像进行多个检测任务的检测,获得所述多个检测任务分别对应的检测结果;

其中,所述目标模型至少包括所述多个检测任务共用的共用神经网络,以及与所述多个检测任务分别对应的检测网络;

所述装置还包括:第二融合模型获取模块,用于获取第二融合模型;其中,所述第二融合模型包括多个检测任务共用的第二共用神经网络、特征分割网络以及与所述多个检测任务分别对应的第二检测网络;第二迭代更新模块,用于每次同时基于所述多个检测任务分别对应的多张样本图像,分多次对所述第二融合模型的参数所包括的参数进行迭代更新;

第二模型建立模块,用于响应于所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件,停止更新所述第二融合模型所包括的所述参数,获得所述目标模型;

所述第二迭代更新模块包括:通过所述第二共用神经网络对与所述多个检测任务分别对应的多张所述样本图像进行特征提取,获得与每张样本图像对应的多个特征图像;在所述多个特征图像中,通过所述特征分割网络分别确定与每个检测任务对应的目标特征图像;通过所述特征分割网络将与每个所述检测任务对应的所述目标特征图像分别输入所述每个检测任务对应的所述第二检测网络,获得每个所述第二检测网络输出的每个检测结果;基于每个所述检测结果与多张所述样本图像中标注的检测结果真值,更新所述第二共用神经网络中的参数和所述第二检测网络中的参数,直到所述第二融合模型所包括的所述参数满足预设的第二停止迭代条件;

所述第二迭代更新模块包括:分别计算每个所述检测结果与多张所述样本图像中标注的检测结果真值之间的梯度值,获得多个第一梯度值;对多个所述第一梯度值分别进行正则化处理,得到多个第二梯度值;根据多个所述第一梯度值,分别更新所述第二检测网络中的参数;根据多个所述第二梯度值,更新所述第二共用神经网络中的参数;

其中,所述对多个所述第一梯度值分别进行正则化处理,得到多个第二梯度值,包括:计算不同的第一梯度值的平方和相加后的开平方值,得到第三梯度值;

计算多个第一梯度值与第三梯度值的商,从而获得多个第二梯度值。

11.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1‑9任一所述的多任务检测方法。

12.一种多任务检测装置,其特征在于,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求1‑9中任一项所述的多任务检测方法。