利索能及
我要发布
收藏
专利号: 2023114259985
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合时空频信息的非均匀遥感视频影像去雾方法,其特征在于,包括以下步骤:

11)获取合成有雾遥感视频影像数据集:基于清晰遥感视频影像,根据大气辐射传输模型、气象数据、雾的物理参数构建帧内雾度分布不均匀且考虑帧间雾块运动的遥感视频影像数据集;基于大气辐射传输模型合成单帧有雾影像数据,并将单帧影像切分成32个子块,对所有子块进行随机采样,对不同采样子块合成不同雾度,用于模拟雾度的不均匀分布;基于气象数据,模拟受风的速度和风的方向影响的不均匀雾块在视频各帧间的运动状态,对真实视频影像中的雾块运动进行仿真;最终合成帧内雾度分布不均匀且考虑帧间雾块运动的有雾遥感视频影像数据集;

12)构建融合时域、空域和频域信息的非均匀遥感视频影像去雾模型:该模型由帧内特征提取、帧间时空信息聚合和多域信息融合模块组成;

121)构建用于提取遥感视频影像中单帧影像全局信息和局部细节信息的帧内特征提取模块;

1211)构建用于分离单帧影像高、低频信息的频域分析子模块,采用小波变换对单帧影像进行低频和高频信息分离,获得低频子图和水平、垂直和对角三个方向的高频子图,其中低频子图作为低频信息提取子模块的输入,三个方向的高频子图作为高频信息提取子模块的输入;

1212)构建用于提取单帧遥感视频影像亮度、对比度和颜色信息的全局低频信息提取子模块,该子模块由3阶段具有雾度分布先验引导的Swin Transformer Block组成,在第一阶段Swin Transformer Block的位置编码信息嵌入操作中加入由低频子图提供的影像雾度分布知识;

1213)构建用于增强单帧影像高频细节纹理信息的局部高频信息提取子模块,该子模块由2个连续的卷积下采样块组成,卷积下采样块结构由两个卷积核大小为3×3的卷积层,每个卷积层后接一个Relu层堆叠而成,最后接一个卷积核大小为2×2,步长为2的最大值池化层;

122)构建用于提取遥感视频影像时空信息的帧间特征提取模块,该帧间特征提取模块由3个连续的3D卷积下采样块组成,3D卷积下采样块结构由两个卷积核大小为3×3×3的卷积层,每个卷积层后接一个Relu层堆叠而成,最后再堆叠一个卷积核大小为2×2×2,各个方向上步长均为2的最大值池化层;

123)构建用于渐进式融合时域、空域和频域信息和恢复影像分辨率的信息融合模块,该信息融合模块由3个连续的上采样卷积块组成,上采样卷积块结构由一个对应高、低频特征图拼接操作,一个帧间、帧内特征图拼接操作,一个二倍上采样操作,最后由两个卷积核大小为3×3的卷积层,每个卷积层后接一个Relu层堆叠而成;

13)非均匀遥感视频影像去雾模型训练:将合成有雾遥感视频影像数据作为输入,同时以清晰遥感视频影像作为参考对模型进行监督训练;

14)待去雾真实遥感视频影像数据获取;

15)待去雾真实遥感视频影像去雾结果的获取:将获取的待去雾的真实视频影像数据输入到非均匀遥感视频影像去雾模型,得到去雾后的视频影像。

2.根据权利要求1所述的一种融合时空频信息的非均匀遥感视频影像去雾方法,其特征在于,所述获取合成有雾遥感视频影像数据集包括以下步骤:

21)基于大气辐射传输模型合成单帧有雾影像数据;

I(x)=J(x)t(x)+a(1‑t(x)) (1)

其中,x为单帧影像中任意一个像素点,I(x)代表有雾影像,J(x)代表清晰影像,t(x)代表透射率,a代表全局大气光值;

211)根据透射率的定义t(x),选择β∈{0.005,0.01,0.02,0.03}计算t(x);

‑βd(x)

t(x)=e  (2)

其中,β代表大气散射系数,d(x)为影像中像素点x所处地面位置到遥感卫星相机的距离;

212)选取当前帧影像最亮的点的像素值作为估计的全局大气值a;

213)将单帧影像切分成32个子块,对所有子块进行随机采样,随机选取β计算透射率t(x)对不同采样子块合成不同雾度,用于模拟雾度的不均匀分布;

22)基于气象数据,模拟受风的速度和风的方向影响的不均匀雾块在视频各帧间的运动状态;

其中,Δxt、Δyt代表当前帧相对于上一帧的相对位置偏移量,v代表风速,Δt代表相对前一帧的时间变化量,t代表相对于首帧的时间变化量,θ角代表风向,k1、k2为常数,由气象数据计算所得;

221)对清晰遥感视频影像数据的首帧影像进行上述步骤21)基于大气辐射传输模型合成有雾影像,计算除首帧影像外视频流影像数据中各帧雾块相对于首帧雾度分布状态的衰减量,并通过高斯加权平均的方式映射到帧内雾块的透射率的衰减量;

Δt(xt)=t(x0)log(bt+1) (4)

其中,Δt(xt)代表当前帧雾块受大气风影响下的透射率变化量,t(x0)代表用于合成首帧影像的透射率,t代表相对于首帧的时间变化量,b为常数;

222)根据大气参数中的风速和风向计算除首帧影像外视频流影像数据中各帧雾块相对于前一帧影像中雾块中心位置的偏移量;

223)基于视频影像数据的高斯衰减量和相对位置偏移量合成有雾遥感视频影像数据;

23)重复21)‑22)步骤,获取合成有雾遥感视频影像数据集。

3.根据权利要求1所述的一种融合时空频信息的非均匀遥感视频影像去雾方法,其特征在于,非均匀遥感视频影像去雾模型训练包括以下步骤:

31)将合成的有雾视频数据集输入帧间特征提取模块,获取聚合时空信息时空特征图;

输入到用于聚合时空信息的帧间特征提取模块,经过3个阶段连续的卷积结构,输入视频数据在每阶段执行两次卷积核大小为3×3×3的卷积层,每次卷积后经过一次Relu非线性激活操作;

最后执行一次卷积核大小为2×2×2的各个方向上步长均为2的最大值池化,获得下采样的数据作为下一阶段卷积结构的输入,同时也作为渐进式信息融合模块对应阶段的特征图输入;

32)将合成的有雾视频数据集逐帧输入帧内特征提取模块,获取聚合帧内高、低频信息空频特征图,具体步骤如下:

321)将单帧遥感影像数据进行基于Haar小波基的二维离散小波变换,分离出影像的低频子图和高频子图,低频子图作为低频信息提取子模块的输入,高频子图作为高频信息提取子模块的输入;

322)将单帧遥感影像和分离出的低频子图输入低频信息提取子模块,获取低频信息特征图;

3221)提取低频子图中遥感影像数据的雾度分布信息,作为第一阶段Swin Transformer Block的位置编码操作的信息补充,在位置编码信息嵌入操作时与经过Patch Partition和Linear Emdedding操作的输入影像数据逐像素相加,得到具有雾度分布信息的影像数据块;

3222)将具有雾度分布信息的影像数据块输入到用于提取单帧遥感视频影像亮度、对比度和颜色信息的低频信息提取子模块,经过3个阶段连续的Swin Transformer Block,每阶段的Swin Transformer Block均执行LayerNorm,Window Attention,Shifted Window Attention和MLP操作,其Attention操作均为查询矩阵Q,键值矩阵K,值矩阵V的自注意力计算;每阶段输出的下采样特征图作为下一阶段的输入,同时也作为渐进式信息融合模块对应阶段的特征图输入;

323)将关注3个不同方向的高频子图拼接后作为高频信息提取子模块的输入,用于获取单帧影像的高频细节纹理信息特征图;

输入到高频信息提取子模块,经过2个阶段连续的卷积结构,输入的高频子图在每阶段执行两次卷积核大小为3×3的卷积层,每次卷积后经过一次Relu非线性激活操作;

最后执行一次卷积核大小为2×2,步长为2的最大值池化,获得下采样的数据作为下一阶段卷积结构的输入,同时也作为渐进式信息融合模块对应阶段的特征图输入;

33)将帧间特征提取模块和帧内特征提取模块获得的特征图作为时空频信息渐进式信息融合模块的输入,获取最终输出;

信息融合模块采用3阶段逐步融合模式,各阶段输入为对应阶段的帧内特征提取模块、帧间特征提取模块和上一阶段特征融合输出的特征图拼接而成的融合特征图;

输入的融合特征图每阶段依次执行一次二倍上采样操作、两次卷积核为3×3的卷积操作、每次卷积操作后进行一次Relu非线性激活,得到本阶段融合的特征图,作为下一阶段的输入;

最后一阶段的输出即为与输入遥感视频影像相同分辨率的去雾遥感视频影像;

34)正向传播,得到去雾后的遥感视频影像数据;

35)使用L1损失函数lossL1和SSIM损失函数lossssim作为遥感视频影像去雾模型的损失函数,对去雾后的遥感视频影像与清晰遥感视频影像进行计算得到损失;

L1损失函数表达式如下:

其中,T表示遥感视频影像的帧数,yi是第i帧清晰遥感视频影像,f(xi)是第i帧有雾遥感视频影像的去雾结果;

单帧影像的SSIM损失函数表达式如下:

其中,x表示有雾遥感视频影像,y是清晰遥感视频影像,μx和μy分别表示影像的均值,和 表示标准差,σxy表示协方差,C1、C2为常数;

36)通过损失值反向传播确定梯度向量;

37)判断是否达到设定的训练轮数,若是则完成遥感视频影像去雾模型的训练,否则继续训练。