1.一种交互引导的双分支图像去雾模型,用于对图像进行去雾处理,其特征在于,包括输入层(1)、Transformer分支(2)、CNN分支(3)、多个CPA块(4)、CNN解码器(5)和输出层(6);
所述Transformer分支(2)包括多层串联连接的Transformer块(201),所述CNN分支(3)包括多层第一CNN层(301),所述Transformer块(201)、所述第一CNN层(301)和所述CPA块(4)的数量相同;
所述Transformer分支(2)的输入端和所述CNN分支(3)的输入端均与所述输入层(1)连接;
每层所述Transformer块(201)的输出与同一层的第一CNN层(301)的输出相加后输入一个所述CPA块(4),得到所述CPA块(4)输出的权重矩阵,用以与所述同一层的第一CNN层(301)的输出相乘,得到所述同一层的第一CNN层(301)对应的引导输出;最后一层所述第一CNN层(301)之前的各层所述第一CNN层(301)对应的所述引导输出输入各自的下一层所述第一CNN层(301),最后一层所述第一CNN层(301)对应的所述引导输出与最后一层所述Transformer块(201)的输出相加后输入所述CNN解码器(5);
所述CNN解码器(5)的输出端与所述输出层(6)连接;
所述CNN解码器(5)包括多层串联连接的第二CNN层(501),所述第二CNN层(501)的数量与所述第一CNN层(301)的数量相同,所述CNN分支(3)与所述CNN解码器(5)连接形成U‑Net网络;
第i层所述第一CNN层(301)对应的所述引导输出与第n‑i层所述第二CNN层(501)的输出相加后输入第n‑i+1层所述第二CNN层(501),i为正整数且i∈[1,n‑1],n为所述第一CNN层(301)和所述第二CNN层(501)的层数。
2.根据权利要求1所述的交互引导的双分支图像去雾模型,其特征在于,所述CPA块(4)包括通道注意力模块(401)和像素注意力模块(402);
所述像素注意力模块(402)包括第一平均池化层(4021)、第一最大池化层(4022)、第一卷积层(4023)和第一Sigmoid激活函数层(4024),所述第一平均池化层(4021)的输入端和所述第一最大池化层(4022)的输入端均与所述CPA块(4)的输入端连接,所述第一平均池化层(4021)的输出端和所述第一最大池化层(4022)的输出端级联后与所述第一卷积层(4023)的输入端连接,所述第一卷积层(4023)的输出端与所述第一Sigmoid激活函数层(4024)的输入端连接;
所述通道注意力模块(401)包括第二平均池化层(4011)、第二最大池化层(4012)、FC全连接层(4013)和第二Sigmoid激活函数层(4014),所述第二平均池化层(4011)的输入端和所述第二最大池化层(4012)的输入端均与所述CPA块(4)的输入端连接,所述第二平均池化层(4011)的输出与所述第二最大池化层(4012)的输出相加后输入所述FC全连接层(4013),所述FC全连接层(4013)的输出端与所述第二Sigmoid激活函数层(4014)的输入端连接;
所述第一Sigmoid激活函数层(4024)的输出、所述第二Sigmoid激活函数层(4014)的输出和所述CPA块(4)的输入相乘后作为所述CPA块(4)的输出。
3.根据权利要求1所述的交互引导的双分支图像去雾模型,其特征在于,所述第一CNN层(301)和所述Transformer块(201)均设置有四层,所述CPA块(4)设置有四个。
4.根据权利要求1所述的交互引导的双分支图像去雾模型,其特征在于,所述
Transformer分支(2)还包括依次连接在第一层所述Transformer块(201)前侧的第二卷积层(202)和下采样层(203)。
5.根据权利要求1所述的交互引导的双分支图像去雾模型,其特征在于,所述
Transformer块(201)包含归一化层,且所述归一化层执行以下运算:;
其中,y为所述归一化层的输出,x为输入所述归一化层的特征图,为x的平均值, 为x的标准差,为学习缩放因子,为偏差因子, 和 为权重, 和 为偏差参数,F(·)为主块函数。
6.根据权利要求1所述的交互引导的双分支图像去雾模型,其特征在于,所述
Transformer块(201)的滑动窗口机制采用反射填充机制,以把边缘窗口的尺寸填充成设置的窗口尺寸。
7.根据权利要求6所述的交互引导的双分支图像去雾模型,其特征在于,所述
Transformer块(201)通过以下运算聚合邻域窗口之间的信息:
;
其中, 为聚合结果,Q为查询矩阵,K为键矩阵,V为值矩阵, 为K的
转置矩阵,d为查询矩阵和键矩阵的维度,B为相对位置偏置参数, 为窗口划分前的V,为softmax函数, 为卷积函数。
8.一种图像处理方法,其特征在于,基于权利要求1‑7任一项所述的交互引导的双分支图像去雾模型,包括步骤:A1.获取待去雾图像;
A2.把所述待去雾图像输入所述交互引导的双分支图像去雾模型,得到所述交互引导的双分支图像去雾模型输出的无雾图像。