1.一种基于生成对抗网络的红外深度图像增强方法,其特征在于:包括以下步骤:
S1:选取训练网络的图像数据库;
S2:构建生成对抗网络模型,所述生成对抗网络采用半监督式的生成模型,包含生成网络和辨别网络,在训练过程中,生成网络的目标为生成与参考图像相近的图像去欺骗辨别网络,辨别网络的目标是把生成网络生成的图像和参考图像分别开来,从而生成网络和辨别网络构成一个动态的博弈过程,最后博弈的结果在最理想的状态下,生成网络将失真图像质量增强,生成近似参考图像的高质量深度图像;
所述生成网络采用对称结构,直接学习从输入失真图像到其相应的参考图像的端到端映射:首先采用一个平卷积层,两个下卷积块,从输入图像中提取特征属性,每个卷积层加入批量标准化和Lrelu激活函数,来加速学习过程以及增强模型的表达能力;
其中,平卷积层采用卷积核尺寸为7*7,卷积步长为1,卷积核数量为32个;
第一个卷积块有两个卷积层,第一层卷积核尺寸为3*3,卷积步长为2,卷积核数量为64个,第二层卷积核尺寸为3*3,卷积步长为1,卷积核数量为64个;
第二个卷积块有两个卷积层,第一层卷积核尺寸为3*3,卷积步长为2,卷积核数量为
128个,第二层卷积核尺寸为3*3,卷积步长为1,卷积核数量为128个;
然后设有五个残差网络单元,每个残差网络单元包含两个卷积层,批量标准化和Lrelu激活,每个卷积层的卷积核尺寸为3*3,卷积步长为1,卷积核数量为128个,并且每个残差网络单元的输出都与输入相加,将特征图重复利用,使网络在训练中有效且具有更好的收敛性能,同时该残差网络单元的输出与上述第二个卷积块的输出相加,再次将特征图重复利用,提高网络性能;
接下来通过两个反卷积块实现上采样,以及一个反卷积层将图像恢复,并且在其中包含三个对称跳转连接,实现特征的重复利用,其中,第一个反卷积块有两个反卷积层,第一层卷积核尺寸为3*3,卷积步长为1,卷积核数量为128个,第二层卷积核尺寸为3*3,卷积步长为2,卷积核数量为64个,同时将该反卷积块的输出与第一个卷积块的输出相加;第二个反卷积块同样有两个反卷积层,第一层卷积核尺寸为3*3,卷积步长为1,卷积核数量为64个,第二层卷积核尺寸为3*3,卷积步长为2,卷积核数量为32个,同时将该反卷积块的输出与第一个平卷积层的输出相加;最后一层反卷积层,卷积核尺寸为3*3,卷积步长为1,卷积核数量为1个,同时将该反卷积层的输出与输入的失真图相加;
辨别网络采用6个卷积层来学习图像的特征,以判别真假,其中,前5个卷积层采用卷积核尺寸为5*5,卷积步长为2,卷积核数量分别为32个、64个、128个、256个、512个,并且都加入批量标准化以及Lrelu激活,最后个卷积层卷积核尺寸为5*5,卷积步长为2,卷积核数量为1,并加入批量标准化以及sigmoid激活;
S3:预处理图像,将图像分割成9*4*6*4个128*128的失真图像块,并分别将图像块在失真图中向四周扩选64个像素点,生成256*256的失真图像块,最终得到9*4*6*4个256*256的失真图像块;
通过生成网络进行深度图像增强后,只取每个图像块中央的128*128大小,并拼接成质量增强的深度图像;
S4:训练生成对抗网络。
2.根据权利要求1所述的一种基于生成对抗网络的红外深度图像增强方法,其特征在于:步骤S1所述图像数据库为MCL_3D数据库。
3.根据权利要求1所述的一种基于生成对抗网络的红外深度图像增强方法,其特征在于:步骤S2所述生成对抗网络由生成网络和辨别网络构成,所述生成网络和辨别网络均采用基于卷积神经网络改进的结构。
4.根据权利要求3所述的一种基于生成对抗网络的红外深度图像增强方法,其特征在于:所述生成网络包括卷积网络单元,残差网络单元以及反卷积网络单元;
从卷积阶段开始,设有实现下采样的第一卷积网络单元和第二卷积网络单元;
第一卷积网络单元和第二卷积网络单元后接有残差网络单元,用于增加网络深度;
将第一卷积网络单元和第二卷积网络单元输出的特征与残差网络单元的输出相加,接着第一反卷积网络单元实现图像的上采样,并与对应的第一个卷积网络单元的输出相加,进入第二反卷积网络单元,输出与第一卷积网络单元输出相加,进入第三反卷积网络单元,并与输入的图像相加,最终得到生成网络的输出。
5.根据权利要求3所述的一种基于生成对抗网络的红外深度图像增强方法,其特征在于:所述辨别网络采用六层卷积层,将图像下采样,最终输出值,用以区分输入图像的真假。
6.根据权利要求1所述的一种基于生成对抗网络的红外深度图像增强方法,其特征在于:步骤S4所述生成对抗网络训练过程中,选取某一畸变失真的深度图像对进行训练,用以训练一个针对特定畸变的增强模型;每次从训练数据集中随机选取1个深度图像对输入进网络对生成网络和判别网络进行交替训练。
7.根据权利要求6所述的一种基于生成对抗网络的红外深度图像增强方法,其特征在于:步骤S4所述训练生成对抗网络,具体包括:把畸变的深度图像输入到生成网络,得到增强后的图像;
将增强后的图像与参考图像分别输入辨别网络得到辨别标签,并以所述辨别标签计算出辨别网络的损失,同时计算生成网络的损失,包括对抗损失,像素损失以及平滑损失;
辨别网络的损失和生成网络的损失依据Adam优化算法分别进行生成网络与辨别网络的参数更新,两个网络进行交替训练,最终达到收敛。