1.一种基于注意力机制与门控循环单元的图像去雨方法,其特征在于,包括以下步骤:(1)构建基于注意力机制与门控循环单元的图像去雨网络架构,包含6个模块,卷积核的个数为24,其中前五个模块每个模块中都包含门控循环单元、空间注意力模块和激活函数,并使用3×3的卷积核;模块1作为编码器,将图像转换为特征图;模块2到模块5中分别使用扩张因子为1、2、4和8的膨胀卷积,对应的接受域大小分别为5×5,9×9,17×17,33×33;
模块6包含卷积层、通道注意力模块和激活函数,使用3×3的卷积核,接受域大小设置为35×35;模块6后连接一个1×1的卷积层,接受域大小设置为35×35,作为解码器生成残差映射;
(2)构造损失函数,选择MSE和SSIM作为损失函数;
(3)获取不同方向和不同强度雨线的密集雨条纹数据集,并划分为训练集和测试集,对步骤(1)提出的基于注意力机制与门控循环单元的图像去雨网络架构进行训练;
所述门控循环单元工作过程如下:
计算候选隐藏状态 来辅助后续隐藏状态 的计算:首先将当前时间步重置门的输出与上一时间步隐藏状态 进行哈达玛积运算;若重置门中的元素值趋近于0,则意味着重置对应的隐藏状态元素为0,即丢掉上一时间步的隐藏状态;若重置门中的元素值趋近于
1,则对上一时间步的隐藏状态进行保留;然后将 分别与权重矩阵 和 相
乘,再将这两部分结果相加后放入Tanh激活函数中,将值域压缩到[‑1,1],得到候选隐藏状态 时间步s的候选隐藏状态 的公式表示为:其中, 和 表示权重参数, 表示偏差参数;
计算时间步s的隐藏状态 使用更新门的输出 分别和上一时间步的状态 以及候选隐藏状态 进行哈达玛积运算,得到当前时刻网络的输出,表示为:如果更新门的输出 趋近于0,则表示遗忘了上一时刻的信息,反之如果更新门的输出趋近于1,则表示遗忘了当前的输入信息;更新门的值越大,说明前一时刻的状态信息带入的越多;
步骤(1)所述的基于注意力机制与门控循环单元的图像去雨网络架构,经过四次循环,将每次循环的输入图像视为包含不同级别的含雨线图像的时间序列,并使用GRU循环单元:O1=O
Os+1=Os‑Rs,1≤s≤S
其中,O表示输入的含条纹图像,S表示去条纹阶段的数量,Rs表示第s阶段的输出, 为第s阶段分解的第i个条纹层,Os为第s阶段的输入,xs‑1为第(s‑1)个阶段的隐藏状态,Os+1为第s阶段输出的去条纹结果,通过将 与不同的α值相加来计算Rs。
2.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法,其特征在于,步骤(1)所述的门控循环单元使用Tanh和ReLU激活函数;空间注意力模块使用Sigmoid激活函数;通道注意力模块Sigmoid和ReLU激活函数。
3.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法,其特征在于,步骤(1)所述的空间注意力模块包含膨胀指数d和缩减率r两个超参数:首先使用1×1卷积将特征 的尺寸缩减到 然后使用两个3×3的膨胀卷积;再使用一个1×1的卷积,将特征简化成 得到了空间注意力图M(F1);随后取Sigmoid函数,得到0到1范围内的空间注意力图M(F);最后将M(F)与输入特征图F相乘,并将其与原始输入特征图相加,得到细化后的特征图F′,空间注意力M(F)的计算如下:
4.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法,其特征在于,步骤(1)中所述的模块6的工作过程如下:首先进行挤压操作,对输入的特征X采用全局均值池化操作,然后进行激励操作,使用参数为每个特征通道生成权重,引入两个全连接层,降维比例设置为6;在两个全连接层后采用简单的门限机制,分别使用ReLU和Sigmoid激活函数;最后通过重置权重的操作,将激励操作输出的权重当做每个特征通道的权重信息,再使用乘法运算逐通道加权到原输入特征X上,最终得到新的特征X’,实现在通道维度上对原始特征的重标定处理。
5.根据权利要求1所述的一种基于注意力机制与门控循环单元的图像去雨方法,其特征在于,所述步骤(2)通过以下公式实现:其中,Lmse和Lssim分别表示MSE和SSIM损失函数,s表示去条纹阶段数, 表示网络预测的条纹信息,R表示真实条纹信息,α表示平衡两个损失的参数。