利索能及
我要发布
收藏
专利号: 2017104575904
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于物体检测的神经网络的训练方法,包括:

通过待训练的物体检测神经网络提取样本图像中物体的位置检测数据和方向检测数据,以及提取所述样本图像的物体方向分布预测向量,所述样本图像含有物体的位置标注数据和方向标注数据,所述物体方向分布预测向量的各个元素分别指示所述样本图像含有处于所述元素对应的方向的物体的预测概率;

确定所述位置标注数据和所述位置检测数据之间的第一差异和所述方向标注数据和所述方向检测数据之间的第二差异,并且根据所述方向标注数据和所述物体方向分布预测向量确定第三差异;

至少根据所述第一差异、第二差异和第三差异调整所述物体检测神经网络的网络参数。

2.根据权利要求1所述的方法,其中,

所述物体检测神经网络为含有全局池化层的卷积神经网络;

所述提取所述样本图像的物体方向分布预测向量,包括:

从所述物体检测神经网络的全局池化层中提取物体方向分布预测向量。

3.根据权利要求1或2所述的方法,其中,所述根据所述方向标注数据和所述物体方向分布预测向量确定第三差异包括:根据所述方向标注数据为所述样本图像的物体方向分布预测向量生成检测监督数据,其中,对于所述物体方向分布预测向量的各个元素,如果所述方向标注数据指示含有所述元素对应的方向的物体,则为该元素生成正的监督标签;如果所述方向标注数据指示不含有所述元素对应的方向的物体,则为所述元素生成负的监督标签,根据所述检测监督数据和所述物体方向分布预测向量确定所述第三差异。

4.根据权利要求1~2中任一项所述的方法,其中,所述方向标注数据包括至少一个以下数据:物体相对于图像画面所在平面中标准方向的角度、物体在图像画面所处空间中的朝向、物体的特征点的平面坐标、物体的特征点的空间坐标。

5.根据权利要求1~2中任一项所述的方法,其中,所述样本图像还含有物体的尺寸标注数据,并且所述方法还包括:

通过所述物体检测神经网络获取样本图像中物体的尺寸检测数据;

确定所述尺寸标注数据和所述尺寸检测数据之间的第四差异;

所述至少根据所述第一差异、第二差异和第三差异调整所述物体检测神经网络的网络参数包括:根据所述第一差异、第二差异、第三差异和第四差异调整所述物体检测神经网络的网络参数。

6.一种图像处理方法,包括:

根据用于物体检测的神经网络获取待处理的图像中物体的位置和方向以及全图物体方向分布数据的预测信息;

根据所述物体的位置和方向以及全图物体方向分布数据的预测信息当中的一个或多个执行检测或控制操作,其中,所述用于物体检测的神经网络通过如权利要求1~5中任一项所述的训练方法训练获得。

7.根据权利要求6所述的方法,其中,所述全图物体方向分布数据包括物体方向分布预测向量,所述物体方向分布预测向量的各个元素分别指示所述待处理的图像含有处于所述元素对应的方向的物体的预测概率。

8.一种用于物体检测的神经网络的训练装置,包括:

检测模块,用于通过待训练的物体检测神经网络提取样本图像中物体的位置检测数据和方向检测数据,以及提取所述样本图像的物体方向分布预测向量,所述样本图像含有物体的位置标注数据和方向标注数据,所述物体方向分布预测向量的各个元素分别指示所述样本图像含有处于所述元素对应的方向的物体的预测概率;

差异确定模块,用于确定所述位置标注数据和所述位置检测数据之间的第一差异和所述方向标注数据和所述方向检测数据之间的第二差异,并且根据所述方向标注数据和所述物体方向分布预测向量确定第三差异;

训练模块,用于至少根据所述第一差异、第二差异和第三差异调整所述物体检测神经网络的网络参数。

9.根据权利要求8所述的装置,其中,

所述物体检测神经网络为含有全局池化层的卷积神经网络;

所述检测模块用于从所述物体检测神经网络的全局池化层中提取物体方向分布预测向量。

10.根据权利要求9所述的装置,其中,所述差异确定模块在根据所述方向标注数据和所述物体方向分布预测向量确定第三差异中,用于:监督数据生成单元,用于根据所述方向标注数据为所述样本图像的物体方向分布预测向量生成检测监督数据,其中,对于所述物体方向分布预测向量的各个元素,如果所述方向标注数据指示含有所述元素对应的方向的物体,则为该元素生成正的监督标签;如果所述方向标注数据指示不含有所述元素对应的方向的物体,则为所述元素生成负的监督标签,差异计算单元,用于根据所述检测监督数据和所述物体方向分布预测向量确定所述第三差异。

11.根据权利要求9~10中任一项所述的装置,其中,所述方向标注数据包括至少一个以下数据:物体相对于图像画面所在平面中标准方向的角度、物体在图像画面所处空间中的朝向、物体的特征点的平面坐标、物体的特征点的空间坐标。

12.根据权利要求9~10中任一项所述的装置,其中,所述样本图像还含有物体的尺寸标注数据,并且所述检测模块还用于通过所述物体检测神经网络获取样本图像中物体的尺寸检测数据;

所述差异确定模块还用于确定所述尺寸标注数据和所述尺寸检测数据之间的第四差异;

所述训练模块用于根据所述第一差异、第二差异、第三差异和第四差异调整所述物体检测神经网络的网络参数。

13.一种图像处理装置,包括:

根据用于物体检测的神经网络获取待处理的图像中物体的位置和方向以及全图物体方向分布数据的预测信息;

控制执行模块,用于根据所述物体的位置和方向以及全图物体方向分布数据的预测信息当中的一个或多个执行检测或控制操作,其中,所述用于物体检测的神经网络通过如权利要求1~5中任一项所述的训练方法训练获得。

14.根据权利要求13所述的装置,其中,所述全图物体方向分布数据包括物体方向分布预测向量,所述物体方向分布预测向量的各个元素分别指示所述待处理的图像含有处于所述元素对应的方向的物体的预测概率。

15.一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述程序指令被处理器执行时实现权利要求1~5中任一项所述用于物体检测的神经网络的训练方法的步骤。

16.一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述程序指令被处理器执行时实现权利要求6~7中任一项所述图像处理方法的步骤。

17.一种电子设备,包括:处理器、存储器、通信元件和通信总线,所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1~5中任一项所述用于物体检测的神经网络的训练方法对应的操作。

18.一种电子设备,包括:处理器、存储器、通信元件和通信总线,所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求6~7中任一项所述图像处理方法对应的操作。