利索能及
我要发布
收藏
专利号: 2018102153372
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种神经网络自适应训练方法,其特征在于,包括:放大第二图像;

向作为当前待训练神经网络的第一神经网络输入放大后的第二图像,得到经所述第一神经网络处理后且调整为与所述第二图像等大的第三图像;其中,所述第一神经网络具有尺度分集现象;其中,所述尺度分集现象表示所述第三图像,相比较于直接将第二图像输入第一神经网络经过第一神经网络处理后输出的图像,具有更丰富的有意义的高频细节信息;

基于所述第二图像并以所述第三图像为监督数据,对所述第一神经网络进行训练;

所述第一神经网络在作为所述当前待训练的神经网络之前,用于处理针对第一场景的图像处理任务;所述第二图像为对应第二场景的图像;其中,所述第一场景和所述第二场景不同。

2.根据权利要求1所述的方法,其特征在于,还包括:基于第一图像并以所述第一图像的标注信息为监督数据,对所述第一神经网络进行训练。

3.根据权利要求2所述的方法,其特征在于,所述当前待训练的神经网络训练完成后作为针对第二场景的图像处理任务的神经网络。

4.根据权利要求3所述的方法,其特征在于,所述第一图像为对应所述第一场景的图像。

5.根据权利要求1所述的方法,其特征在于,所述第二图像为在所述第二场景下的采集图像。

6.根据权利要求2-4任一项所述的方法,其特征在于,还包括:获取训练图像集,所述训练图像集包括:至少一所述第一图像,和/或,至少一所述第二图像。

7.根据权利要求6所述的方法,其特征在于,

所述第一神经网络的训练为多次迭代训练,

任一迭代训练的训练图像集包括:至少一所述第一图像,和/或,至少一所述第二图像;

各次迭代的训练图像集的合集包括:至少一所述第一图像,和至少一所述第二图像。

8.根据权利要求6所述的方法,其特征在于,所述获取训练图像集包括:从无标注图像集中选取至少一所述第二图像;和/或,从标注图像集中选取至少一所述第一图像。

9.根据权利要求6所述的方法,其特征在于,

所述放大第二图像之前,还包括:确定所述第二图像为无标注图像;和/或,所述基于第一图像并以所述第一图像的标注为监督数据,对所述第一神经网络进行训练之前,还包括:确定所述第一图像为标注图像。

10.根据权利要求1-5任一项所述的方法,其特征在于,所述向第一神经网络输入放大后的第二图像,得到经所述第一神经网络处理后且调整为与所述第二图像等大的第三图像,包括:向第一神经网络输入放大后的第二图像;

经所述第一神经网络对放大后的第二图像进行图像处理;

将图像处理结果调整为与所述第二图像等大的第三图像。

11.根据权利要求10所述的方法,其特征在于,所述图像处理包括:像素级图像处理。

12.根据权利要求11所述的方法,其特征在于,所述像素级图像处理包括下列中的任意一种:双目立体匹配、光流估计和图像语义分割。

13.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述第二图像并以所述第三图像为监督数据,对所述第一神经网络进行训练,包括:基于包括有正则化约束项的损失函数确定所述第二图像和所述第三图像之间的损失,基于确定的损失调整所述第一神经网络的网络参数。

14.根据权利要求13所述的方法,其特征在于,所述正则化约束包括下列中的一种或多种:拉普拉斯矩阵约束和全变分约束。

15.一种神经网络自适应训练装置,其特征在于,包括:放大单元,用于放大第二图像;

处理单元,用于向作为当前待训练神经网络的第一神经网络输入放大后的第二图像,得到经所述第一神经网络处理后且调整为与所述第二图像等大的第三图像;其中,所述第一神经网络具有尺度分集现象;其中,所述尺度分集现象表示所述第三图像,相比较于直接将第二图像输入第一神经网络经过第一神经网络处理后输出的图像,具有更丰富的有意义的高频细节信息;

训练单元,用于基于所述第二图像并以所述第三图像为监督数据,对所述第一神经网络进行训练;

所述第一神经网络在作为所述当前待训练的神经网络之前,用于处理针对第一场景的图像处理任务;所述第二图像为对应第二场景的图像;其中,所述第一场景和所述第二场景不同。

16.根据权利要求15所述的装置,其特征在于,所述训练单元,还用于基于第一图像并以所述第一图像的标注信息为监督数据,对所述第一神经网络进行训练。

17.根据权利要求16所述的装置,其特征在于,所述当前待训练的神经网络训练完成后作为针对第二场景的图像处理任务的神经网络。

18.根据权利要求16所述的装置,其特征在于,所述第一图像为对应所述第一场景的图像。

19.根据权利要求15所述的装置,其特征在于,所述第二图像为在所述第二场景下的采集图像。

20.根据权利要求16-18任一项所述的装置,其特征在于,还包括:获取单元,用于获取训练图像集,所述训练图像集包括:至少一所述第一图像,和/或,至少一所述第二图像。

21.根据权利要求20所述的装置,其特征在于,所述第一神经网络的训练为多次迭代训练,

任一迭代训练的训练图像集包括:至少一所述第一图像,和/或,至少一所述第二图像;

各次迭代的训练图像集的合集包括:至少一所述第一图像,和至少一所述第二图像。

22.根据权利要求20所述的装置,其特征在于,所述获取单元具体用于:从无标注图像集中选取至少一所述第二图像;和/或,从标注图像集中选取至少一所述第一图像。

23.根据权利要求20所述的装置,其特征在于,还包括:确定单元,用于在所述放大第二图像之前,确定所述第二图像为无标注图像;和/或,在所述基于第一图像并以所述第一图像的标注为监督数据,对所述第一神经网络进行训练之前,确定所述第一图像为标注图像。

24.根据权利要求15-19任一项所述的装置,其特征在于,所述处理单元,包括:输入模块,用于向第一神经网络输入放大后的第二图像;

处理模块,用于经所述第一神经网络对放大后的第二图像进行图像处理;

调整模块,用于将图像处理结果调整为与所述第二图像等大的第三图像。

25.根据权利要求24所述的装置,其特征在于,所述图像处理包括:像素级图像处理。

26.根据权利要求25所述的装置,其特征在于,所述像素级图像处理包括下列中的任意一种:双目立体匹配、光流估计和图像语义分割。

27.根据权利要求15-19任一项所述的装置,其特征在于,所述训练单元,还用于基于包括有正则化约束项的损失函数确定所述第二图像和所述第三图像之间的损失,基于确定的损失调整所述第一神经网络的网络参数。

28.根据权利要求27所述的装置,其特征在于,所述正则化约束包括下列中的一种或多种:拉普拉斯矩阵约束和全变分约束。

29.一种电子设备,其特征在于,包括权利要求15-28任一项所述的装置。

30.一种电子设备,其特征在于,包括:

存储器,用于存储可执行指令;以及

处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至14任一项所述的方法。

31.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1至14任一项所述的方法。