利索能及
我要发布
收藏
专利号: 2025102480482
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于微波引导扩散模型的遥感影像去云方法,其特征在于,包括以下步骤:S1、建立云体掩膜:

采用最大似然分类的方法,对光学遥感影像进行云层区域的分类识别,从而生成云体掩膜图;

S2、分析提取多波段微波特征:

S21、将在同一位置拍摄的两张微波影像的像素值展开为矩阵形式,对每列数据进行标准化处理,使均值为0,方差为1;

S22、计算标准化矩阵的协方差矩阵,并对其进行特征值分解,获取对应的两个特征向量;

S23、选择对应最大特征值的特征向量,将原始数据投影到第一主成分PC1方向,并将投影结果重塑为影像形式,用以代替步骤S21中的两张微波影像;其中,所述特征向量从原始数据开始依次为: 、 、 、... ;

S3、利用微波引导扩散模型训练生成可见光图像:S31、正向扩散:从原始数据 开始,通过逐步向数据中添加噪声,将复杂的真实数据分布转变为标准高斯分布的过程;

S31的具体步骤为:

正向扩散从原始数据 开始,在每个时间步t中引入噪声 :,

其中, 是原始数据, 是正向扩散到时间t后的结果, 是噪声衰减系数,决定每一步中数据和噪声的比例,是标准高斯分布噪声;

在正向扩散的过程中,每个时刻t只与t‑1时刻有关,用马尔科夫过程表示: ,

随着t的增大, 越来越接近纯噪声;当 , 是完全的高斯噪声;

S32、逆向扩散:从随机噪声 开始,按照扩散步骤 的顺序,逐步去除噪声;在每个时间步 ,扩散模型会根据当前数据 预测噪声成分 ,并用该噪声的估计结果更新数据 ,从而逼近目标数据分布;其中,所述扩散模型由U‑Net 神经网络构建,U‑Net 的网络架构包括ControlNet网络和Stable Diffusion网络;

S32的具体步骤为:

从 到 中,每一步都会由U‑Net神经网络建模,该网络通过学习正向扩散过程中的噪声分布,掌握如何从任意时间点的噪声数据中恢复出更接近原始数据的结果,主要计算公式为:其中, 是预测的均值, 是预测的方差, 是正向扩散过程中的噪声衰减系数, 是累积噪声衰减系数, 是神经网络预测的噪声;

U‑Net网络的学习方法包括训练ControlNet网络和Stable  Diffusion网络;

ControlNet网络将U‑Net网络的编码器复制到自己的网络中,并通过零卷积与U‑Net网络一起进行训练,且不会生成过程产生干扰;具体步骤为:S321、额外条件输入:将微波图像作为一个额外条件输入到ControlNet网络中,通过零卷积初始化权重为零,确保条件输入的初始影响可控,不干扰基础网络;

S322、条件引导编码:ControlNet网络将微波图像、噪声图像和时间步编码组合并传递给编码器模块;该部分由多个Encoder Block组成,每个块包括以下操作:卷积操作:提取输入特征并压缩空间分辨率;归一化:使用归一化来标准化特征分布;激活函数:使用GELU函数来增加非线性;降采样:通过卷积减少特征图的尺寸,将输入的图从64×64依次变为32×

32,16×16,8×8;ControlNet训练时,Stable Diffusion的U‑Net网络的权重冻结,以保持原模型的生成能力;

S323、中间特征处理:在每个尺度上,ControlNet网络的输出通过Skip Connection模块融合到主U‑Net的编码器特征中,然后输出融合了条件输入信息的多尺度特征图;

S324、条件解码:解码器通过反卷积对低分辨率特征进行上采样;每个解码块将特征分辨率从8×8提升到16×16,再到32×32,最终还原到 64×64的原始分辨率;同时,利用Skip Connection模块,保留高分辨率的局部细节信息;

S325、损失函数:在给定时间步t,文本提示 以及微波图像 ,通过学习网络 ,用来预测添加到噪声图像 上的噪声,损失函数表示如下: ,

是整个扩散模型的总体学习目标,该目标可以直接用于微调扩散模型;

S33、风格迁移:基于最优传输的图像风格迁移将目标域可见光图像空间的色彩风格迁移至源域,其中图像空间由图像平面及色彩通道的数值信息构成;

S33的具体步骤为:

假设源域和目标域图像空间色彩分布分别是 和 ,其中,代表高斯分布;最优传输确定 和 之间的闭合形式映射,其满足,即:

 ,

其中 为传输矩阵,  和 分别表示源域和目标域样本;通过最优传输确定最优的映射 来最小化源域和目标域分布之间的距离,即: ,

其中, 表示成本函数;最优传输矩阵为:

S4、将微波生成图替换云图:

利用ControlNet网络,将微波波段生成可见光图像,利用步骤S1建立的掩膜图,用生成部分替换云图,从而完成去云工作。