利索能及
我要发布
收藏
专利号: 2020100657112
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种生成网络的训练方法,其特征在于,

获取训练样本集,所述训练样本集包括近红外图像样本和可见光图像样本;

获取待训练的对抗网络,所述对抗网络包括生成网络和判别网络,所述生成网络用于根据输入的可见光图像生成对应的近红外图像,所述判别网络用于判断输入的图像是真实的还是生成的;

根据所述生成的近红外图像和近红外图像样本在图像空间中的距离,以及所述生成的近红外图像和近红外图像样本在特征空间中的距离,构建第一目标函数;

优化所述第一目标函数值,采用所述训练样本集对所述对抗网络进行对抗训练。

2.根据权利要求1所述的方法,其特征在于,所述根据所述生成的近红外图像和近红外图像样本在图像空间中的距离,以及所述生成的近红外图像和近红外图像样本在特征空间中的距离,构建第一目标函数,包括:根据所述生成的近红外图像与近红外图像样本的对应像素的像素值,得到所述生成的近红外图像与近红外图像样本在所述图像空间中的距离;

根据所述生成的近红外图像与近红外图像样本的深度特征,得到所述生成的近红外图像与近红外图像样本在所述特征空间中的距离;

根据所述生成的近红外图像和近红外图像样本在图像空间中的距离,以及所述生成的近红外图像和近红外图像样本在特征空间中的距离,构建第一目标函数。

3.根据权利要求1或2所述的方法,其特征在于,所述判别网络用于对输入的近红外图像进行多种尺度变换,并判断各种尺度变换后的图像是真实的还是生成的;

所述方法还包括:

根据判别网络中的多种变换尺度,对所述近红外图像样本进行尺度变换;

根据各尺度的近红外图像样本的数据分布与生成的对应尺度的近红外图像的数据分布之间的推土机距离,得到第二目标函数;

优化所述第二目标函数值,采用所述训练样本集对所述判别网络进行训练。

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:根据生成的近红外图像与所述可见光图像样本的图像特征相似度,构建第三目标函数;

优化第三目标函数值,采用所述可见光图像样本对所述生成网络进行训练。

5.根据权利要求1或2所述的方法,其特征在于,在所述优化所述第一目标函数值,采用所述训练样本集对所述对抗网络进行对抗训练之前,还包括:对近红外图像样本和可见光图像样本分别进行三维重建,并生成同角度下的二维投影图像;

将所述近红外图像样本基于其对应的二维投影图像进行像素对齐;

将所述可见光图像样本基于其对应的二维投影图像进行像素对齐。

6.根据权利要求1或2所述的方法,其特征在于,在所述优化所述第一目标函数值,采用所述训练样本集对所述对抗网络进行对抗训练之前,还包括:对所述近红外图像样本和可见光图像样本进行颜色编码,分离出所述近红外图像样本和可见光图像样本中的结构信息。

7.一种近红外图像的生成方法,其特征在于,包括:获取包括目标对象的可见光图像;

将所述可见光图像输入至生成网络中,得到近红外图像;

所述生成网络采用权利要求1-6任一项所述的方法进行训练得到。

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:从所述可见光图像中截取包括所述目标对象的设定兴趣点的局部图像;

将所述局部图像输入至所述生成网络中,得到局部近红外图像;

将所述近红外图像和所述局部近红外图像进行图像融合,得到最终的近红外图像。

9.根据权利要求7所述的方法,其特征在于,所述将所述近红外图像和所述局部近红外图像进行图像融合,得到最终的近红外图像,包括:将所述近红外图像和所述局部近红外图像的对应像素的像素值进行加权求和。

10.根据权利要求7-9任一项所述的方法,其特征在于,所述目标对象包括人脸,所述设定兴趣点包括嘴部和/或眼部。

11.一种生成网络的训练装置,其特征在于,包括:第一获取模块,用于获取训练样本集,所述训练样本集包括近红外图像样本和可见光图像样本;

第二获取模块,用于获取待训练的对抗网络,所述对抗网络包括生成网络和判别网络,所述生成网络用于根据输入的可见光图像生成对应的近红外图像,所述判别网络用于判断输入的图像是真实的还是生成的;

构建模块,用于根据所述生成的近红外图像和近红外图像样本在图像空间中的距离,以及所述生成的近红外图像和近红外图像样本在特征空间中的距离,构建第一目标函数;

训练模块,用于优化所述第一目标函数值,采用所述训练样本集对所述对抗网络进行对抗训练。

12.一种近红外图像的生成装置,其特征在于,包括:第一获取模块,用于获取包括目标对象的可见光图像;

生成模块,用于将所述可见光图像输入至生成网络中,得到近红外图像;

所述生成网络采用权利要求1-6任一项所述的方法进行训练得到。

13.一种电子设备,其特征在于,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的一种生成网络的训练方法,或者权利要求7-10任一项所述的近红外图像的生成方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的一种生成网络的训练方法,或者权利要求7-10任一项所述的近红外图像的生成方法。