利索能及
我要发布
收藏
专利号: 2017104586063
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理神经网络的训练方法,包括:

通过参数生成神经网络,获取第一样本图像的图像效果变换参数,所述第一样本图像含有图像效果分类标注信息,所述参数生成神经网络用于生成图像效果变换参数;

根据所述图像效果变换参数,将所述第一样本图像变换为第二样本图像;

通过分类神经网络,获取所述第二样本图像的效果分类检测数据,所述分类神经网络用于对图像效果进行分类;

根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息,训练所述参数生成神经网络。

2.根据权利要求1所述的方法,其中,所述图像效果分类标注信息包括指示高质量图像的标注信息或指示低质量图像的标注信息;

或者,所述图像效果分类标注信息包括指示图像质量正样本的标注信息或指示图像质量负样本的标注信息。

3.根据权利要求1或2所述的方法,其中,所述通过分类神经网络,获取所述第二样本图像的效果分类检测数据包括:通过所述分类神经网络,获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据,其中,所述第二样本图像为负样本,所述第三样本图像为正样本;

所述方法还包括:

根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。

4.根据权利要求1~2中任一项所述的方法,其中,

所述参数生成神经网络通过对通用分类神经网络进行变换得到,所述通用分类神经网络是具有分类器层和池化层的用于分类的神经网络,所述变换包括,移除所述通用分类神经网络末端的分类器层和池化层,获取图像特征提取器,通过将所述图像特征提取器作为第一基准网络并在所述第一基准网络的末端添加用于生成图像效果变换参数的卷积层,构建所述参数生成神经网络。

5.根据权利要求4所述的方法,其中,在移除所述通用分类神经网络末端的分类器层和池化层,获取图像特征提取器之后,所述方法还包括:通过将所述图像特征提取器作为第二基准网络并在所述第二基准网络的末端添加第一池化层和分类器层,构建所述分类神经网络。

6.根据权利要求1~2中任一项所述的方法,其中,所述图像效果变换参数包括至少一种以下参数:用于图像剪裁的第一参数和用于图像色彩增强的第二参数。

7.根据权利要求6所述的方法,其中,所述用于图像剪裁的第一参数包括图像剪裁坐标数据,以及/或者,所述用于图像色彩增强的第二参数包括LAB颜色空间的L分量变换参数、A分量变换参数和B分量变换参数。

8.根据权利要求7所述的方法,其中,L分量变换参数包括像素值的L分量变换阈值,A分量变换参数包括像素值的A分量变换阈值,B分量变换参数包括像素值的B分量变换阈值。

9.根据权利要求1~2中任一项所述的方法,其中,所述根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息,训练所述参数生成神经网络包括:计算获取到的各个第二样本图像的效果分类检测数据的平均损失值,以及/或者,通过所述分类神经网络获取所述第一样本图像的效果分类检测数据,并且确定获取到的各个第二样本图像的效果分类检测数据和相应的第一样本图像的效果分类检测数据之间的第一差异损失值;

根据所述平均损失值和/或所述第一差异损失值,调整所述参数生成神经网络的网络参数。

10.根据权利要求3所述的方法,其中,所述根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络包括:计算所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据之间的第二差异损失值;

根据所述第二差异损失值,调整所述分类神经网络的网络参数。

11.根据权利要求1或2所述的方法,其中,在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支;

所述根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息,训练所述参数生成神经网络包括:训练所述参数生成神经网络的第一输出分支或第二输出分支。

12.根据权利要求11所述的方法,其中,在所述第一输出分支和所述第二输出分支的末端还设有用于筛选参数的第二池化层。

13.一种图像处理方法,包括:

通过用于生成图像效果变换参数的参数生成神经网络,获取待处理图像的图像效果变换参数的预测数据,所述参数生成神经网络为根据权利要求1~12中任一项所述的训练方法训练获得的参数生成神经网络;

根据所述图像效果变换参数的预测数据,对所述待处理图像进行图像效果变换处理。

14.根据权利要求13所述的图像处理方法,其中,所述待处理图像的图像效果变换参数包括至少一种以下参数:用于图像剪裁的第一参数和用于图像色彩增强的第二参数。

15.根据权利要求14所述的图像处理方法,其中,在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。

16.根据权利要求15所述的图像处理方法,其中,所述根据所述图像效果变换参数的预测数据,对所述待处理图像进行图像效果变换处理包括:根据所述用于图像剪裁的第一参数的预测数据,对所述待处理图像进行剪裁;

根据所述用于图像色彩增强的第二参数的预测数据,对经过剪裁的待处理图像中相应的图像像素进行色彩变换。

17.根据权利要求15所述的图像处理方法,其中,所述根据所述图像效果变换参数的预测数据,对所述待处理图像进行图像效果变换处理包括:根据所述用于图像色彩增强的第二参数的预测数据,对所述待处理图像中的图像像素进行色彩变换;

根据所述用于图像剪裁的第一参数的预测数据,对经过色彩变换的待处理图像进行剪裁。

18.一种图像处理神经网络的训练装置,包括:

参数检测模块,用于通过参数生成神经网络,获取第一样本图像的图像效果变换参数,所述第一样本图像含有图像效果分类标注信息,所述参数生成神经网络用于生成图像效果变换参数;

样本图像变换模块,用于根据所述图像效果变换参数,将所述第一样本图像变换为第二样本图像;

分类检测模块,用于通过分类神经网络,获取所述第二样本图像的效果分类检测数据,所述分类神经网络用于对图像效果进行分类;

第一网络训练模块,用于根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息,训练所述参数生成神经网络。

19.根据权利要求18所述的装置,其中,所述图像效果分类标注信息包括指示高质量图像的标注信息或指示低质量图像的标注信息;

或者,所述图像效果分类标注信息包括指示图像质量正样本的标注信息或指示图像质量负样本的标注信息。

20.根据权利要求18或19所述的装置,其中,所述分类检测模块用于通过所述分类神经网络,获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据,其中,所述第二样本图像为负样本,所述第三样本图像为正样本;

所述装置还包括:

第二网络训练模块,用于根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。

21.根据权利要求18~19中任一项所述的装置,其中,所述参数生成神经网络通过对通用分类神经网络进行变换得到,所述通用分类神经网络是具有分类器层和池化层的用于分类的神经网络,所述装置还包括:

参数生成网络生成模块,用于移除所述通用分类神经网络末端的分类器层和池化层,获取图像特征提取器,通过将所述图像特征提取器作为第一基准网络并在所述第一基准网络的末端添加用于生成图像效果变换参数的卷积层,构建所述参数生成神经网络。

22.根据权利要求21所述的装置,其中,所述装置还包括:

分类网络生成模块,用于通过将所述图像特征提取器作为第二基准网络并在所述第二基准网络的末端添加第一池化层和分类器层,构建所述分类神经网络。

23.根据权利要求18~19中任一项所述的装置,其中,所述图像效果变换参数包括至少一种以下参数:用于图像剪裁的第一参数和用于图像色彩增强的第二参数。

24.根据权利要求23所述的装置,其中,所述用于图像剪裁的第一参数包括图像剪裁坐标数据,以及/或者,所述用于图像色彩增强的第二参数包括LAB颜色空间的L分量变换参数、A分量变换参数和B分量变换参数。

25.根据权利要求24所述的装置,其中,L分量变换参数包括像素值的L分量变换阈值,A分量变换参数包括像素值的A分量变换阈值,B分量变换参数包括像素值的B分量变换阈值。

26.根据权利要求18~19中任一项所述的装置,其中,所述第一网络训练模块包括:第一计算单元,用于计算获取到的各个第二样本图像的效果分类检测数据的平均损失值,以及/或者,第二计算单元,用于通过所述分类神经网络获取所述第一样本图像的效果分类检测数据,并且确定获取到的各个第二样本图像的效果分类检测数据和相应的第一样本图像的效果分类检测数据之间的第一差异损失值;

第一训练单元,用于根据所述平均损失值和/或所述第一差异损失值,调整所述参数生成神经网络的网络参数。

27.根据权利要求20所述的装置,其中,所述第二网络训练模块包括:第三计算单元,用于计算所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据之间的第二差异损失值;

第二训练单元,用于根据所述第二差异损失值,调整所述分类神经网络的网络参数。

28.根据权利要求18或19所述的装置,其中,在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支;

所述第一网络训练模块用于根据所述第二样本图像的效果分类检测数据训练所述参数生成神经网络的第一输出分支或第二输出分支。

29.根据权利要求28所述的装置,其中,在所述第一输出分支和所述第二输出分支的末端还设有用于筛选参数的第二池化层。

30.一种图像处理装置,包括:

参数获取模块,用于通过用于生成图像效果变换参数的参数生成神经网络,获取待处理图像的图像效果变换参数的预测数据,所述参数生成神经网络为根据权利要求1~12中任一项所述的训练方法训练获得的参数生成神经网络;

待检图像变换模块,用于根据所述图像效果变换参数的预测数据,对所述待处理图像进行图像效果变换处理。

31.根据权利要求30所述的装置,其中,所述待处理图像的图像效果变换参数包括至少一种以下参数:用于图像剪裁的第一参数和用于图像色彩增强的第二参数。

32.根据权利要求31所述的装置,其中,在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。

33.根据权利要求32所述的装置,其中,所述待检图像变换模块包括:第一剪裁单元,用于根据所述用于图像剪裁的第一参数的预测数据,对所述待处理图像进行剪裁;

第一色彩变换单元,用于根据所述用于图像色彩增强的第二参数的预测数据,对经过剪裁的待处理图像中相应的图像像素进行色彩变换。

34.根据权利要求32所述的装置,其中,所述待检图像变换模块包括:第二色彩变换单元,用于根据所述用于图像色彩增强的第二参数的预测数据,对所述待处理图像中的图像像素进行色彩变换;

第二剪裁单元,用于根据所述用于图像剪裁的第一参数的预测数据,对经过色彩变换的待处理图像进行剪裁。

35.一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述程序指令被处理器执行时实现权利要求1~12中任一项所述图像处理神经网络的训练方法的步骤。

36.一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述程序指令被处理器执行时实现权利要求13~17中任一项所述图像处理方法的步骤。

37.一种电子设备,包括:处理器、存储器、通信元件和通信总线,所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1~12中任一项所述图像处理神经网络的训练方法对应的操作。

38.一种电子设备,包括:处理器、存储器、通信元件和通信总线,所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求13~17中任一项所述图像处理方法对应的操作。