利索能及
我要发布
收藏
专利号: 2019105791473
申请人: 商汤集团有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像采集控制方法,其特征在于,包括:

将第一图像样本集提供给第一神经网络;

根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果,从所述第一图像样本集中筛选出第一困难样本;

基于所述第一困难样本,确定所述第一困难样本的采集环境信息;

根据所述采集环境信息,生成图像采集控制信息;所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。

2.根据权利要求1所述的方法,其特征在于,所述第一图像样本集包括不具有标注信息的第一图像样本。

3.根据权利要求2中所述的方法,其特征在于,所述根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果,从所述第一图像样本集中筛选出第一困难样本,包括:检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确;

根据检测出的不正确的处理结果对应的第一图像样本,确定所述第一困难样本。

4.根据权利要求3所述的方法,其特征在于,所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确,包括:在所述第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下,对所述第一神经网络针对所述多个视频帧样本输出的目标对象检测结果,进行目标对象连续性检测;

将不满足预设连续性要求的目标对象检测结果,作为不正确的处理结果。

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:将所述第一图像样本提供给第二神经网络;

所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确,包括:确定所述第二神经网络针对所述第一图像样本的处理结果与所述第一神经网络针对所述第一图像样本的处理结果之间的差异;

将不满足预设差异要求的差异对应的处理结果,作为不正确的处理结果。

6.根据权利要求3至4中任一项所述的方法,其特征在于,所述根据检测出的不正确的处理结果对应的第一图像样本,确定所述第一困难样本,包括:获取所述不正确的处理结果对应的错误类型;

将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本,作为所述第一困难样本。

7.根据权利要求6所述的方法,其特征在于,在所述第一神经网络用于检测所述第一图像样本中的目标对象的情况下,所述方法还包括:在所述不正确的处理结果对应的错误类型为所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下,对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。

8.根据权利要求6所述的方法,其特征在于,所述方法还包括:在所述不正确的处理结果对应的错误类型为摄像装置因素的情况下,发送更改所述摄像装置的提示信息。

9.根据权利要求1至4中任一项所述的方法,其特征在于,所述采集环境信息包括:路段信息、天气信息、以及光线强度信息中的至少一个。

10.根据权利要求9所述的方法,其特征在于,所述根据所述采集环境信息,生成图像采集控制信息,包括:在所述采集环境信息包括路段信息的情况下,基于所述采集环境信息中包括的路段信息,确定与所述第一困难样本匹配的采集路段;

利用确定的所述采集路段,生成数据采集路径,所述图像采集控制信息中包括所述数据采集路径,所述数据采集路径用于指示摄像装置按照所述数据采集路径采集所述第二图像样本集。

11.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:将所述第一困难样本加入至训练样本集;

利用包含有所述第一困难样本的训练样本集,对所述第一神经网络进行训练,得到调整后的第一神经网络。

12.根据权利要求11所述的方法,其特征在于,将所述第一困难样本加入至训练样本集,包括:对所述第一困难样本进行标注处理,将带有标注信息的第一困难样本加入至所述训练样本集;

所述利用包含有所述第一困难样本的训练样本集对所述第一神经网络进行训练,得到调整后的第一神经网络,包括:将所述训练样本集中的多个带有标注信息的第一困难样本提供给所述第一神经网络;

根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异,调整所述第一神经网络的网络参数,得到调整后的第一神经网络。

13.根据权利要求11所述的方法,其特征在于,所述方法还包括:获取所述第二图像样本集;

将所述第二图像样本集提供给所述调整后的第一神经网络;

根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果,从所述第二图像样本集中筛选出所述第二困难样本。

14.一种图像采集控制装置,其特征在于,包括:提供模块,用于将第一图像样本集提供给第一神经网络;

筛选模块,用于根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果,从所述第一图像样本集中筛选出第一困难样本;

确定环境模块,用于基于所述第一困难样本,确定所述第一困难样本的采集环境信息;

采集控制模块,用于根据所述采集环境信息,生成图像采集控制信息;所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。

15.根据权利要求14所述的装置,其特征在于,所述第一图像样本集包括不具有标注信息的第一图像样本。

16.根据权利要求15中所述的装置,其特征在于,所述筛选模块,包括:第一子模块,用于检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确;

第二子模块,用于根据检测出的不正确的处理结果对应的第一图像样本,确定所述第一困难样本。

17.根据权利要求16所述的装置,其特征在于,所述第一子模块进一步用于:在所述第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下,对所述第一神经网络针对所述多个视频帧样本输出的目标对象检测结果,进行目标对象连续性检测;

将不满足预设连续性要求的目标对象检测结果,作为不正确的处理结果。

18.根据权利要求16或17所述的装置,其特征在于,所述提供模块还用于:将所述第一图像样本提供给第二神经网络;

所述第一子模块进一步用于:

确定所述第二神经网络针对所述第一图像样本的处理结果与所述第一神经网络针对所述第一图像样本的处理结果之间的差异;

将不满足预设差异要求的差异对应的处理结果,作为不正确的处理结果。

19.根据权利要求16至17中任一项所述的装置,其特征在于,所述第二子模块进一步用于:获取所述不正确的处理结果对应的错误类型;

将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本,作为所述第一困难样本。

20.根据权利要求19所述的装置,其特征在于,在所述第一神经网络用于检测所述第一图像样本中的目标对象的情况下,所述装置还包括:优化模块,用于在所述不正确的处理结果对应的错误类型为所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下,对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。

21.根据权利要求19所述的装置,其特征在于,所述第二子模块进一步用于:在所述不正确的处理结果对应的错误类型为摄像装置因素的情况下,发送更改所述摄像装置的提示信息。

22.根据权利要求14至17中任一项所述的装置,其特征在于,所述采集环境信息包括:路段信息、天气信息、以及光线强度信息中的至少一个。

23.根据权利要求22所述的装置,其特征在于,所述采集控制模块进一步用于:在所述采集环境信息包括路段信息的情况下,基于所述采集环境信息中包括的路段信息,确定与所述第一困难样本匹配的采集路段;

利用确定的所述采集路段,生成数据采集路径,所述图像采集控制信息中包括所述数据采集路径,所述数据采集路径用于指示摄像装置按照所述数据采集路径采集所述第二图像样本集。

24.根据权利要求14至17任一所述的装置,其特征在于,所述装置还包括:训练模块,用于将所述第一困难样本加入至训练样本集;

利用包含有所述第一困难样本的训练样本集,对所述第一神经网络进行训练,得到调整后的第一神经网络。

25.根据权利要求24所述的装置,其特征在于,所述训练模块进一步用于:对所述第一困难样本进行标注处理,将带有标注信息的第一困难样本加入至所述训练样本集;

将所述训练样本集中的多个带有标注信息的第一困难样本提供给所述第一神经网络;

根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异,调整所述第一神经网络的网络参数,得到调整后的第一神经网络。

26.根据权利要求24所述的装置,其特征在于,所述提供模块还用于:获取所述第二图像样本集;将所述第二图像样本集提供给所述调整后的第一神经网络;

所述筛选模块还用于根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果,从所述第二图像样本集中筛选出所述第二困难样本。

27.一种电子设备,其特征在于,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述权利要求1‑13中任一项所述的方法。

28.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述权利要求1‑13中任一项所述的方法。