1.一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,包括以下步骤:步骤S100:收集数据并构建训练样本,所述训练样本由低分辨率可见光图像的梯度图和低分辨率热成像图像组成,将低分辨率可见光图像的梯度图和低分辨率热成像图像构成训练样本对;
步骤S200:采用深度神经网络的主干网络提取训练样本的深度卷积特征,所述主干网络包括生成网络部分和判别网络部分;
步骤S300:将训练样本输入生成网络部分,且在可见光图像的梯度图分支网络和热成像分支网络的每层中间层上进行融合,所述生成网络部分输出预测的高分辨率热成像图像和预测的高分辨率可见光梯度图;
步骤S400:将生成网络部分输出的预测的高分辨率热成像图像和预测的高分辨率可见度梯度图以及真实标签输入判别网络部分,然后利用损失函数计算预测值与真实值之间的差异,并利用随机梯度下降法优化器对损失值进行优化,迭代计算,直至损失值收敛。
2.根据权利要求1所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,步骤S200中的生成网络部分由从前至后依次设置的卷积层、激活函数层、批归一化层、残差密集块、上采样层、特征拼接层组成;所述残差密集块由从前至后依次设置的卷积层、特征权重相乘层、特征相加层堆叠组成。
3.根据权利要求2所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,步骤S200中的判别网络部分采用VGG网络结构,且由从前至后依次设置的卷积层、激活函数层、批归一化层组成。
4.根据权利要求3所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,所述生成网络部分的残差密集块设置有23个,所述判别网络部分的卷积层设置有9个。
5.根据权利要求3所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,步骤S200中的生成网络部分、判别网络部分的激活函数层均为泄露修正线性单元层。
6.根据权利要求1-5任一项所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,步骤S200中的生成网络部分采用参数共享机制,且判别网络部分的参数不共享。
7.根据权利要求1所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,步骤S400中的损失函数有基于像素的位置损失函数、感知损失函数以及对抗损失函数组成;所述基于像素的位置损失函数用于计算网络部分的预测值与真实值之间的损失值;所述感知损失函数用于计算图像细节差异的变化。
8.根据权利要求7所述的一种融合可见光图像梯度信息的热成像超分辨率重建方法,其特征在于,所述基于像素的位置损失函数采用L1损失函数,所述对抗损失函数采用对数损失函数;
所述基于像素的位置损失函数的计算公式如下;
所述感知损失函数的计算公式如下:
其中:为预测的高分辨率图,
I为真实的高分辨率图,
N为批处理样本的大小,
M为输出的特征图的特征点总数;
j是指判别网络部分网络层的索引;
所述对抗损失函数的计算公式如下:
其中:表示判别网络部分输出的预测特征信息。