利索能及
我要发布
收藏
专利号: 201610431109X
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种建立神经网络分类模型的方法,其特征在于,包括:获取包含目标对象的至少一帧图像数据;

分别从各帧图像数据中确定若干个关键区域,所述若干个关键区域中的每个关键区域为至少包含部分所述目标对象的概率满足预定要求的区域;

从所述若干个关键区域中选取至少一个关键区域作为神经网络的数据输入,对所述神经网络进行训练;

根据所述神经网络输出的训练结果调整所述神经网络的结构参数,以建立神经网络分类模型;

其中,所述分别从各帧图像数据中确定若干个关键区域包括:生成多个包围盒,所述多个包围盒分别覆盖至少局部不同的多个像素区域;

分别根据所述多个包围盒覆盖的所述多个像素区域确定各包围盒的质量得分,每个包围盒的质量得分用于表征所述包围盒包含所述目标物体的概率大小;

根据各所述质量得分从所述多个包围盒中选出若干个包围盒,将所述若干个包围盒覆盖的像素区域作为所述若干个关键区域;

所述图像数据包括在时域上连续的若干帧图像;

所述根据各所述质量得分从所述多个包围盒中选出若干个包围盒,包括:确定各包围盒在所述若干帧图像上的平均质量得分,其中,各包围盒在所述若干帧图像上的位置相同;

根据所述平均质量得分从所述多个包围盒中选出若干个包围盒。

2.如权利要求1所述的方法,其特征在于,所述根据各所述质量得分从所述多个包围盒中选出若干个包围盒,包括:按各所述质量得分从高到低的顺序从所述多个包围盒中选出若干个包围盒。

3.如权利要求1所述的建立神经网络分类模型的方法,其特征在于,所述根据所述平均质量得分从所述多个包围盒中选出若干个包围盒包括:根据所述平均质量得分分别对各包围盒在所述若干帧图像上进行非极大抑制运算,以确定所述若干个关键区域。

4.如权利要求1所述的建立神经网络分类模型的方法,其特征在于,所述对所述神经网络进行训练包括:提取与所述至少一关键区域分别对应的至少一数据特征;

分别将所述至少一数据特征转换成与对应的各关键区域分别对应的各分类器的预测输出,所述各分类器的预测输出包含分别与N种图像数据标签对应的N个元素,其中N为大于

1的整数;每个元素用于表征对应关键区域属于对应种类图像数据标签的概率;

根据所述各分类器的预测输出分别确定所述各分类器的损失函数,以得到所述训练结果。

5.如权利要求4所述的建立神经网络分类模型的方法,其特征在于,采用如下公式确定所述各分类器的损失函数:lossu=-([label=u]log(pu)+[label≠u]log(1-pu)),其中,所述u为整数,且1≤u≤N,lossu为第u个逻辑斯蒂回归器的损失函数,label为所述关键区域的标签,[.]为示性函数,pu为第u个逻辑斯蒂回归器的概率预测。

6.如权利要求4或5所述的建立神经网络分类模型的方法,其特征在于,所述输出所述神经网络的训练结果包括:分别选取所述各分类器的预测输出中每个种类图像数据标签对应的各元素中最大的值作为训练结果输出。

7.如权利要求4或5所述的建立神经网络分类模型的方法,其特征在于,在所述输出所述神经网络的训练结果之前,还包括:确定所述N种图像数据标签中的学习的图像数据标签;

所述输出所述神经网络的训练结果包括:

对于所述各分类器的预测输出中与所述学习的图像数据标签对应的各元素,以所述各元素分别与所述各元素之和的比值分别作为所述各元素被随机选择的概率,随机选择所述各元素作为训练结果输出;

对于所述各分类器的预测输出中的其他元素,将每个种类图像数据标签对应的各元素中最大的值作为训练结果输出。

8.一种基于采用如权利要求1-7任一所述的方法建立而得的神经网络分类模型的图像数据分类方法,其特征在于,包括:获取待分类的图像数据;

将所述待分类的图像数据输入所述神经网络分类模型,得到对所述待分类的图像数据的分类结果。

9.一种建立神经网络分类模型的装置,其特征在于,包括:图像数据获取单元,用于获取包含目标对象的至少一帧图像数据;

关键区域确定单元,用于分别从各帧图像数据中确定若干个关键区域,所述若干个关键区域中的每个关键区域为至少包含部分所述目标对象的概率满足预定要求的区域;

数据输入选取单元,用于从所述若干个关键区域中选取至少一个关键区域作为神经网络的数据输入,对所述神经网络进行训练;

调整单元,用于根据所述神经网络输出的训练结果调整所述神经网络的结构参数,以建立神经网络分类模型;

其中,所述关键区域确定单元包括:

包围盒生成单元,用于生成多个包围盒,所述多个包围盒分别覆盖至少局部不同的多个像素区域;

质量评价单元,分别根据所述多个包围盒覆盖的所述多个像素区域确定各包围盒的质量得分,每个包围盒的质量得分用于表征所述包围盒包含所述目标物体的概率大小;

包围盒选取单元,用于根据各所述质量得分从所述多个包围盒中选出若干个包围盒,将所述若干个包围盒覆盖的像素区域作为所述若干个关键区域;

所述包围盒选取单元包括:

平均质量得分单元,用于确定各包围盒在所述若干帧图像上的平均质量得分,其中,各包围盒在所述若干帧图像上的位置相同;

包围盒确定单元,用于根据所述平均质量得分从所述多个包围盒中选出若干个包围盒。

10.如权利要求9所述的建立神经网络分类模型的装置,其特征在于,所述包围盒选取单元用于按各所述质量得分从高到低的顺序从所述多个包围盒中选出若干个包围盒。

11.如权利要求9或10所述的建立神经网络分类模型的装置,其特征在于,所述训练单元包括:特征提取子单元,用于提取与所述至少一关键区域分别对应的至少一数据特征;

转换子单元,用于分别将所述至少一数据特征转换成与对应的各关键区域分别对应的各分类器的预测输出,所述各分类器的预测输出包含分别与N种图像数据标签对应的N个元素,其中N为大于1的整数;每个元素用于表征对应关键区域属于对应种类图像数据标签的概率;

损失确定子单元,用于根据所述各分类器的预测输出分别确定所述各分类器的损失函数,以得到所述训练结果。

12.如权利要求11所述的建立神经网络分类模型的装置,其特征在于,所述调整单元包括:第一子单元,用于分别选取所述各分类器的预测输出中每个种类图像数据标签对应的各元素中最大的值作为训练结果输出。

13.如权利要求11所述的建立神经网络分类模型的装置,其特征在于,还包括:标签获取单元,用于确定所述N种图像数据标签中的学习的图像数据标签;

所述输出单元包括:

第二子单元,用于对于所述各分类器的预测输出中与所述学习的图像数据标签对应的各元素,以所述各元素分别与所述各元素之和的比值分别作为所述各元素被随机选择的概率,随机选择所述各元素作为训练结果输出;

第三子单元,用于对于所述各分类器的预测输出中的其他元素,将每个种类图像数据标签对应的各元素中最大的值作为训练结果输出。

14.一种基于采用如权利要求9-13任意一项所述装置建立而得到的神经网络分类模型的图像数据分类装置,其特征在于,包括:待分类图像获取单元,用于获取待分类的图像数据;

分类单元,用于将所述待分类的图像数据输入所述神经网络分类模型,得到对所述待分类的图像数据的分类结果。

15.一种建立神经网络分类模型的系统,其特征在于,包括:图像获取装置,用于获取图像数据;

存储器,用于存储程序;

处理器,接收所述图像获取装置所获取的所述图像数据,用于执行所述程序以实现如权利要求1-7任意一项所述方法中的操作。

16.一种图像数据分类系统,其特征在于,包括:图像获取装置,用于获取图像数据;

存储器,用于存储程序;

处理器,接收所述图像获取装置所获取的所述图像数据,用于执行所述程序以实现如权利要求8所述方法中的操作。