利索能及
我要发布
收藏
专利号: 2020115137816
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种端到端的图像去沙尘暴方法,其特征在于,通过深度学习网络模型估计出无沙尘暴图像和沙尘暴图像之间的残差图,而后用沙尘暴图像加上残差图来得到最终的去沙尘暴结果;其中,深度学习网络模型包括用于提取图像特征的编码模块、用于缓解空洞卷积带来的网格伪影问题的平滑空洞残差卷积模块、用于融合不同网络层提取的图像特征的注意力融合模块、用于将残差图还原到初始分辨率以获得沙尘暴残差图的解码模块;

所述平滑空洞残差卷积模块具体实现如下:

对于给定一个一维的输入f,卷积核大小为S的卷积c的输出结果为:

其中, 表示卷积操作,每一个输出的像素点覆盖所有S窗口大小的输入像素,因此卷积c的感受野为S;而空洞卷积可以被看作是带空洞滤波器cd的卷积:其中,r代表空洞率;当空洞率r=1时,空洞卷积泛化为普通卷积;空洞卷积可被视为在普通卷积核中的相邻两个像素点间插入r‑1个0;因此,空洞卷积可以在不降低图像分辨率的情况下,感受野从S增大到r*(S‑1)+1;

考虑到空洞卷积虽扩大感受野,但存在网格伪影的问题,因此为缓解空洞卷积存在的2

网格伪影问题,在进行空洞卷积之前,使用一个卷积核大小恒为常数(2r‑1) 的可分离共享卷积给输入像素点之间添加依赖关系,该可分离共享卷积即平滑空洞卷积;

平滑空洞残差卷积模块由七个残差块组成,每个中间残差块都使用平滑空间卷积层来替代卷积层,其中前三个残差块使用空洞率为2的空洞卷积,第四到六个残差块使用空洞率为4的空洞卷积,最后一个残差块的空洞率为1;中间层的间距层数均为64;

所述注意力融合模块具体实现如下:

首先将三个不同层次下提取的图像特征(Fl,Fm,Fh),通过一个卷积核大小为3×3的普通卷积,分别得到三个它们所对应的权重(Wl,Wm,Wh):(Wl,Wm,Wh)=ABo(Fl,Fm,Fh)

其中,ABo表示普通卷积;然后,基于这些权重,将三个不同层次下的特征图进行融合,得到融合后的图像特征Fo:Fo=Wl*Fl+Wm*Fm+Wh*Fh

最后,将Fo输入到解码模块;

所述方法采用均方误差作为损失函数,学习目标是输入的沙尘暴图像和理想无沙尘暴图像的残差即:R=J‑I

其中,R和 表示分别真实和预测的沙尘暴残差图,DedustNet(I)是采用所述方法获得的残差,J是无沙尘暴图像,I是沙尘暴图像;所述方法将 与输入的沙尘暴图像进行相加获得最终的去沙尘暴结果。

2.根据权利要求1所述的一种端到端的图像去沙尘暴方法,其特征在于,所述编码模块由三个卷积层组成,用于将输入图像编码到图像特征空间,前两个卷积层不改变原始图像尺寸,最后一个卷积将特征图编码到原始图像尺寸的1/2大小;每一卷积层后,均使用实例归一化层和ReLU激活函数。

3.根据权利要求1所述的一种端到端的图像去沙尘暴方法,其特征在于,所述解码模块采用与编码模块对称的形式,即第一层用步长为1/2的反卷积进行特征图像上采样到原始图像分辨率,接着两层卷积层将特征图转换到图像空间,从而获得残差图;每一卷积层后,均使用实例归一化层和ReLU激活函数。