1.一种基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述基于深度学习的红外图像辅助图像去雾方法包括:获取待去雾的有雾图像和对应的红外图像;
将有雾图像输入至训练好的图像去雾模型中,在图像去雾模型中,有雾图像经过主干模块得到第一特征图,然后将红外图像与第一特征图进行融合得到第二特征图;
第二特征图经过编码模块得到第三特征图;
将有雾图像与红外图像进行位置编码后得到编码信息,与经过块分割和线性嵌入后的有雾图像进行融合得到第四特征图;
将第四特征图输入至Transformer模块中后得到第五特征图;
第五特征图与第三特征图进行融合得到第六特征图;
然后将第六特征图依次经过注意力模块、残差模块、解码模块和输出模块得到去雾图像;
其中,所述有雾图像与红外图像进行位置编码时,对有雾图像的位置信息进行位置编码,且对红外图像中的雾霾密度进行编码;
其中,所述注意力模块包括依次连接且预设数量的注意力结构,各所述注意力结构的输入在经过注意力结构时,依次经过注意力结构中的第一卷积块、第二卷积块、池化模块、第三卷积块、第一卷积层和第一激活层得到第七特征图,其中第一卷积块、第二卷积块、池化模块、第三卷积块、第一卷积层和第一激活层构成通道注意力,然后第七特征图与注意力结构的输入进行融合得到第八特征图,所述第八特征图再依次经过注意力结构中的第四卷积块、第五卷积块、扩张因果卷积模块、第六卷积块、第二卷积层和第二激活层得到第九特征图,其中第四卷积块、第五卷积块、扩张因果卷积模块、第六卷积块、第二卷积层和第二激活层构成空间注意力,然后第九特征图再与第八特征图进行融合得到第十特征图,所述第十特征图再与注意力结构的输入进行融合得到注意力结构的输出;
在各注意力结构中,池化模块包括并行的最大池化层和平均池化层,第二卷积块的输出分别经过最大池化层和平均池化层,然后最大池化层的输出和平均池化层的输出进行融合后输入至第三卷积块中;
所述扩张因果卷积模块包括第一扩张因果卷积层和第二扩张因果卷积层,第五卷积块的输出经过第一扩张因果卷积层后,再与第五卷积块的输出进行融合得到第十一特征图,同时第五卷积块的输出经过第二扩张因果卷积层后,再与第十一特征图进行融合后输入至第六卷积块中;
所述第一卷积块和第四卷积块均包括由数据输入至输出依次连接的卷积层、批标准化层和激活层;
所述第二卷积块和第五卷积块均包括由数据输入至输出依次连接的卷积层和批标准化层;
所述第三卷积块包括由数据输入至输出依次连接的卷积层和激活层;
所述第六卷积块包括由数据输入至输出依次连接的卷积层和批标准化层。
2.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述主干模块包括由数据输入至输出依次连接的卷积层、激活层和三个依次连接的第七卷积块,且各所述第七卷积块包括由数据输入至输出依次连接的卷积层、批标准化层和激活层。
3.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述红外图像与第一特征图进行融合的操作为加权操作,且具体计算公式如下:;
其中, 表示红外图像与第一特征图融合后的结果, 表示红外图像, 表示第一特征图,表示权重参数;
所述Transformer模块为Swin‑Transformer结构,且包括三个阶段,每个阶段均包括依次连接的第一Swin Transformer Block和第二Swin Transformer Block。
4.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述编码模块包括依次连接且预设数量的下采样层,各所述下采样层包括由数据输入至输出依次连接的卷积层、批标准化层和激活层;
所述解码模块包括依次连接且预设数量的上采样层,各所述上采样层包括由数据输入至输出依次连接的转置卷积层、批标准化层和激活层。
5.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述残差模块包括由数据输入至输出依次连接的预设数量的残差块和预设数量的可变形卷积层,各所述残差块的输入在经过残差块时,先依次经过两个第八卷积块后,再与残差块的输入进行融合得到残差块的输出;
其中各所述第八卷积块均包括由数据输入至输出依次连接的卷积层、批标准化层和激活层。
6.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述输出模块包括由数据输入至输出依次连接的卷积层和激活层。
7.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述图像去雾模型在训练过程的数据集包括第一数据集和第二数据集,以及第一扩展数据和第二扩展数据;
所述第一数据集包括无雾图像和红外图像,对该第一数据集中的无雾图像进行加雾处理得到均匀雾图像作为第一扩展数据,具体公式如下:;
其中,
;
其中, 表示第一扩展数据,且为均匀雾图像, 表示第一数据集中的无雾图像,表示区域大气光值,表示大气散射系数, 表示深度值, 表示第一中间变量;
所述第二数据集包括无雾图像和非均匀雾图像,将第二数据集中的无雾图像输入至DINOv2模型得到对应的红外图像,得到的红外图像作为第二扩展数据。
8.如权利要求1所述的基于深度学习的红外图像辅助图像去雾方法,其特征在于:所述图像去雾模型训练过程的损失函数包括多尺度结构相似性损失 、感知损失 和平滑L1损失 ,且图像去雾模型的损失函数 的计算公式如下:;
其中, 、 和 依次表示平滑L1损失、感知损失和多尺度结构相似性损失的比例系数;
其中平滑L1损失 的公式如下:
;
令 ,且:
;
其中,
;
其中, 表示平滑L1损失,表示图像去雾模型的输出特征,表示真值无雾图像,表示图像去雾模型的输出特征与真值无雾图像各像素一一对应作差后的图像,表示图像中的像素总数量,表示图像 中的像素序号, 表示图像 中的第 个像素点,表示第二中间变量;
其中感知损失 的公式如下:
;
其中, 表示VGG‑16网络中第 个感知层的输出特征, 表示L1损失, 表示感知层的数量;
其中多尺度结构相似性损失 的公式如下:
;
其中, 表示多尺度结构相似性损失的函数;
多尺度结构相似性损失 是SSIM在多尺度域上的扩展,其中SSIM的计算公式如下:;
令:
;
;
其中, 表示SSIM的函数, 表示真值无雾图像中的任意一个像素,表示图像去雾模型的输出特征中的任意一个像素, 表示真值无雾图像中所有像素的均值, 表示图像去雾模型的输出特征中所有像素的均值, 表示真值无雾图像中所有像素的方差,表示图像去雾模型的输出特征中所有像素的方差, 表示真值无雾图像中像素与图像去雾模型的输出特征中像素的协方差,表示第一预设值,表示第二预设值, 表示第三中间变量, 表示第四中间变量;
则多尺度结构相似性损失 的计算公式表示如下:
;
其中, 表示尺度的数量, 表示其中任意一个尺度的编号, 表示第 个尺度的第四中间变量, 表示所有尺度 的SSIM的函数, 表示第 个尺度的权重,表示所有尺度 的权重。