利索能及
我要发布
收藏
专利号: 2022101562956
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于端到端神经网络的单幅图像去雨方法,其特征在于,包括如下步骤:S1、构建神经网络模型:由一个3×3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3×3卷积层构成;

S2、设计损失函数:由L1距离函数和对比感知的正则化约束项构成;

S3、利用有雨图像和无雨图像对进行神经网络模型的训练,得到神经网络模型的模型参数;

S4、在神经网络模型中导入步骤S3训练好的模型参数,输入有雨图像,输出得到无雨图像。

2.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,步骤S1中,下采样层和上采样层之间进行短连接,基础模块的头尾之间进行短连接。

3.根据权利要求2所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,所述短连接的方法为:低层输出Fl和高层输出Fh进行级联F=[Fl,Fh],然后再经过一个1×1卷积层处理。

4.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,所述基本模块由空间图卷积网络和注意力卷积网络组成,其输入特征Fin经过空间图卷积网络、若干个注意力卷积网络和一个通道图卷积网络提取全局特征和局部特征后,通过短连接将特征从低层网络引入高层网络,得到输出特征Fout。

5.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,所述注意力卷积网络由两个空洞卷积层和一个注意力单元构成,其中,第一层空洞卷积层的空洞卷积参数DF=1,第二层空洞卷积层的空洞卷积参数DF=3;

所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。

6.根据权利要求5所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,所述注意力单元由空间注意力和像素注意力融合构成,融合步骤如下:(1)采用全局平均池化处理输入特征:

其中,Hp表示全局平均池化函数,Xc(i,j)表示输入值的c通道位于(i,j)处的值;

(2)池化后的特征通过两个空洞卷积层提取特征,其中,第一个空洞卷积层的空洞卷积参数设置为DF=1,并采用ReLU激活函数,第二个空洞卷积层的空洞卷积参数设置为DF=3,并采用sigmoid激活函数,得到CA:CA=σ(DConv(δ(DConv(gc))));

其中,σ表示sigmoid函数,δ表示ReLU函数;

*

(3)将输入特征与CA相乘得到通道注意力特征CA:*

然后CA通过两层空洞卷积层,空洞参数分别设置为DF=1和DF=3:*

PA=σ(Conv(δ(Conv(CA))));

最终融合通道注意力和像素注意力输出:

7.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,所述空间图卷积网络用于学习特征空间中像素间的关联关系,学习过程如下:HW×C

(1)令输入特征为F∈R ;

其中,H和W分别表示特征高度和宽度,C表示通道数;

(2)输入特征经过三个1×1的卷积层处理,其中后两个卷积层加入softmax激活函数防止数值不稳定,得到输出特征为:FsGCN=Fin+AsGCNFsWsGCN;

其中,Fs=conv(Fin), AsGCN为邻接矩阵,WsGCN为权重矩阵。

8.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,所述通道图卷积网络用于学习特征图中通道级全局关联关系,学习过程如下:HW×C

(1)令输入特征Fin∈R ;

其中,H和W分别表示特征高度和宽度,C表示通道数;

(2)输入特征经过两个1×1的卷积层处理,得到输出特征为:and

(3)利用softmax激活函数进行处理,得到输出特征为:(4)Fc经过1×1空洞卷积层处理后与 再经过3×3空洞卷积层处理,其中,空洞参数分别设置为DF=1,DF=3,得到Fd;

(5)Fd与 进行点乘,得到:

(6)Fe经过一个1×1的卷积层处理之后,Fin相加得到最终输出:

9.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,步骤S2中的损失函数定义如下:其中,J表示真实的无雨图像,I表示输入的有雨图像,φ(I,w)表示经过网络处理后得到的去雨图像,w表示模型的参数,‖J‑φ(I,w)‖1表示L1损失值;

表示对比感知正则化约束项,Gi(·)表示通过预训练模型提取的图像特征,D(·)表示L1距离,n表示提取的图像特征层数,ωi表示每层特征系数,α表示正则化占比参数。

10.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法,其特征在于,对神经网络模型进行训练的步骤为:(1)选取有雨‑无雨的图像对样本集,各12000张,测试图像1200对;

(2)优化函数为Adam,参数β1=0.9和β2=0.99,学习率设置为0.001;

(3)训练200轮,每20轮测试一次结果,测试结果采用峰值信噪比和结构相似性进行度量,选择最好的结果保存模型参数。