1.一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,包括:S1:获取原始图像超分辨率重建数据集,所述原始图像超分辨率重建数据集包括原始的清晰图像;
S2:利用原始图像超分辨率重建数据集对VQGAN网络模型进行训练,获得码本、VQ解码器的网络结构和其对应的参数;
所述VQGAN网络模型包括,VQ编码器、码本、VQ解码器;
S3:获取原始图像去雾数据集,所述原始图像去雾数据集包括:原始有雾图像、对应的清晰无雾图像;
S4:利用原始的图像去雾数据集对双分支多尺度图像去雾网络模型进行训练;
所述双分支多尺度图像去雾网络模型,分为先验匹配分支和通道注意力分支;其中,所述先验匹配分支包括固定参数后的VQGAN网络模型、金字塔空洞邻域注意力编码器、增强解码器,其结构组成依次为VQ编码器、金字塔空洞邻域注意力编码器、固定参数的码本匹配模块、固定参数的VQ解码器、增强解码器;所述通道注意力分支包括一个3×3的卷积、4个残差通道注意力层;并最终通过一个特征融合结构融合两个分支的结果;
所述金字塔空洞邻域注意力编码器,包括:序列化器、邻域注意力Transformer块、下采样器;
所述金字塔空洞邻域注意力编码器处理过程包括以下步骤:
步骤1:输入数据通过序列化器以及两次降采样获取四个不同分辨率大小的特征图,采用金字塔结构通过级联操作将前面每一层的特征信息作为下一层的输入,聚合不同层级的特征;
步骤2:采用多个残差连接,允许不同级别特征进行融合,从而提取图像雾气分布的多尺度特征,得到输出特征;
S5:将有雾图像输入到训练好的双分支多尺度图像去雾网络模型中得到生成的清晰无雾图像。
2.根据权利要求1所述的一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,在步骤S2中对VQGAN网络模型训练的步骤为:S21:将原始的清晰图像x输入到基于UNet的网络架构的VQ编码器Evq中进行提取和采样,且在采样过程中采用多个残差结构进行边缘特征的拼接,得到潜在特征图z;
q
S22:将潜在特征图z匹配到码本中最近的元素,从而得到经过码本离散特征图z;
q
S23:根据潜在特征图z和离散特征图z ,构建码本离散化损失函数,以损失函数最小为优化目标对模型的VQ编码器、码本的参数进行更新;
q
S24:将离散特征图z送入VQ解码器解码,得到重建后的清晰图像y;
S25:根据重建后的清晰图像y和原始的清晰图像x,构建VQ解码器的损失函数,以损失函数最小为优化目标对模型的VQ解码器的参数进行更新。
3.根据权利要求1或2所述的一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,所述码本的数学表示式为:其中,Z表示码本,zk表示码本编码,K表示码本编码数量, 表示码本编码集。
4.根据权利要求2所述的一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,所述码本离散化损失函数,包括:q
其中,LZ表示码本离散化损失函数,sg[]表示停止梯度stop‑gradient,z表示离散特征图,z表示潜在特征图,β表示权重因子。
5.根据权利要求1所述的一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,在S4中对双分支多尺度图像去雾网络模型进行训练步骤包括以下步骤:S41:将原始的有雾图像x输入到VQ编码器中粗略的提取特征,得到初步特征F1,随后将初步特征F1输入到金字塔空洞邻域注意力编码器得到高级特征F2;
S42:将高级特征F2输入到固定参数的码本匹配模块进行匹配,获得匹配后的特征F3;
S43:将原始的清晰无雾图像输入到S2中预训练好的VQGAN网络模型中,依次经过VQ编码器、码本,获得中间特征F4;
S44:根据初步特征F1、高级特征F2和匹配后的特征F3和中间特征F4,构建双分支多尺度图像去雾网络模型的编码器损失函数,以损失函数最小为优化目标对模型的VQ编码器、金字塔空洞邻域注意力编码器的参数进行更新;
S45:将特征F3依次送入固定参数的VQ解码器、增强解码器进行解码,得到中间特征F5;
S46:将原始的有雾图像输入到通道注意力分支得到中间特征F6;
S47:将中间特征F5、F6通过通道相加操作,随后过特征融合模块得到生成的去雾图像y;
S48:根据去雾后的清晰图像y和原始的清晰图像x,构建双分支多尺度图像去雾网络模型剩余部分的损失函数,包括平滑l1损失函数、MS‑SSIM损失、感知损失、对抗损失,以损失函数最小为优化目标对模型剩余部分的参数进行更新;
所述模型剩余部分的参数,包括:VQ解码器、增强解码器、码本匹配模块的参数。
6.根据权利要求1所述的一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,码本匹配模块的匹配过程表示为:α
F(fk,α)=fk×e
其中,M(z)表示码本匹配模块的匹配过程,F()表示根据频率差生成的权重函数,fk表示有雾图像和清晰图像在码本激活上的频率差,α表示用于调节去雾的程度的参数,||z‑zk||表示有雾图像离散化特征z和码本编码zk之间的距离,argmin( )表示取距离的最小值函数。
7.根据权利要求1所述的一种基于高质量码本的双分支多尺度图像去雾方法,其特征在于,双分支多尺度图像去雾网络模型的编码器损失函数,包括:其中,LVQ表示双分支多尺度图像去雾网络模型的编码器损失函数,zh表示有雾图像的中间特征, 表示无雾图像的中间特征,λstyle和λadv表示用于调节不同损失的权重的第一、第二超参数,Ψ()表示用于衡量风格损失的矩阵,E[]表示编码器,D()表示判别器,表示有雾图像的第i个中间特征。