利索能及
我要发布
收藏
专利号: 2024116070385
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,包括以下步骤:对与雨情相关的多源数据集进行归一化化处理,得到多物理量数据集;基于多源数据集,对表现不同量级小时降水量的数据进行空间模态统计,得到多模态特征因子库,并进行自适应编码,得到多模态特征因子库特征向量,进一步建立无量纲化的多模态特征因子库;

针对多源数据集中数据密集的子区域,基于降水等级的差异和空间分布特征,对损失函数进行多维非等权处理,构建多尺度空间转换模型MF‑ST‑Unet,并展开模型训练;其中MF‑ST‑Unet模型包括输入层、编码模块、解码模块和融合模块,输入层将多物理量数据集、无量纲化的多模态特征因子库和雨量站观测数据组合得到模型输入特征,在编码模块中首先使用卷积神经网络CNN对模型输入特征不同数据源、不同尺度空间场的特征信息进行提取和融合,得到全局信息,然后将全局信息引入多尺度空间转换编码模块,通过多层编码捕捉不同尺度下的空间信息,得到编码后的特征场;在解码模块中通过上采样过程恢复空间分辨率,并使用卷积对编码后的特征场进行细化提取,得到解码后的特征场;在融合模块中,通过跳跃连接层将全局信息与解码后的特征场进行非等权重加权处理,得到融合后的特征输出场;模型训练后最终生成逐小时区域高分辨率雨情分析数据集;

基于训练好的MF‑ST‑Unet模型,通过迁移学习知识蒸馏,得到应用于覆盖整体区域的高分辨率雨情分析数据集。

2.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,与雨情相关的多源数据集包括区域逐小时雨情监测数据、降水产品融合的逐时降水量网格数据集、更高分辨率的雷达数据、多通道卫星数据、雷达和卫星预警频次数据集、再分析气象要素数据集和地理高程数据。

3.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,多模态特征因子库,包括小时降水量的历史平均模态、对流性降水的降水量和频次空间分布模态、短时强降雨的降水量和频次空间分布模态、极端降水降水量和频次空间分布模态、雷达预警频次分布模态、卫星预警频次分布模态和地理高程分布模态。

4.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,建立无量纲化的多模态特征因子库的方法为:(1)首先基于多源数据集,对表现不同量级小时降水量的数据进行空间模态统计,引入对流性降水、短时强降雨、极端降水的降水量和频次空间模态分布及雷达、卫星的预警频次分布模态,并考虑地理高程分布模态,通过自适应标识编码,学习降水的多种空间分布特征,其特征学习过程公式为:,

其中, 为编码特征, , 为多模态特征因子库中各空间分布

模态特征数量; 是输入数据,即多模态特征因子库中各空间分布模态特征; 是自适应编码学习特征映射函数, 是与输入 相关的参数;

(2)在得到多模态特征因子库的编码特征后,将其整合成一个整体的特征向量:,

其中, 为多模态特征因子库特征向量;

(3)对多模态特征因子库特征向量进行无量纲化处理,形成无量纲化的多模态特征因子库 。

5.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,对损失函数进行多维度非等权处理得到非等权重多维损失函数,表达式为:,

其中, 为非等权重多维损失函数; 、 、 分别是均方根误差RMSE、空间相关系数PCC、峰值信噪比PSNR指标的权重系数; , 为模型训练区域内参与RMSE计算的雨量站数量; 为训练过程中的模型输出结果; 为训练过程中的模型输出结果在模型训练区域的空间平均值; 为雨量站的降水观测值; 为雨量站降水观测值在模型训练区域内的空间平均值; , 为模型训练区域内参与PSNR计算的格点数; 为训练过程中的模型输出结果对应的像素值; 为雨量站的降水观测值对应的像素值; 为训练过程中的模型输出图像和雨量站的降水观测图像中最大像素值。

6.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,多尺度空间转换模型MF‑ST‑Unet的构建方法为:输入层:模型接收多物理量数据集 、无量纲化的多模态特征因子库 以及雨量站观测数据 ,在输入层整合形成模型输入特征 ;

卷积神经网络编码模块:使用CNN对模型输入特征 不同尺度空间场的特征信息进行提取,应用激活函数引入非线性,并通过池化层,降低空间分辨率,提取全局信息;卷积特征提取如下:,

其中, 为卷积特征场,即全局信息, 为卷积神经网络编码操作;

多尺度空间转换编码模块:将卷积特征场 引入多尺度空间转换模块:,

其中, 为空间转换编码操作,首先利用滑动窗口将 分割成多个子

区域后,将这些子区域按顺序整理成一个序列,形成一个新的特征 ,并通过线性变换将其转换成基本单元序列,其表达式如下:,

其中, 是基本单元序列, 是权重矩阵, 是偏置项;利用多头注意力机制计算基本单元之间的相关性,再利用前馈神经网络对每个基本单元进行非线性变换,训练过程通过层归一化来稳定,最终生成编码后的特征场 ;

解码模块:通过上采样操作恢复空间分辨率,并利用卷积提取特征:

其中, 为解码后的特征场, 为U行网络解码操作;

融合模块:引入跳跃连接层,将编码模块中生成的卷积特征场 与解码后的特征场进行加权平均;

其中, 为融合后的特征输出场, 为融合模块函数。

7.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,利用训练集对模型进行训练后,基于梯度下降法在验证集上通过对损失函数沿着梯度的反方向调整模型参数,不断迭代,使得损失函数最小,验证其多源模态融合效果;

具体的参数更新规则如下:

其中, 表示更新后的模型参数; 为非等权重多维损失函数; 表示当前模型参数; 为学习率; 为非等权重多维损失函数对当前模型参数的梯度。

8.根据权利要求1所述的基于多源模态融合深度学习的高分辨雨情分析生成方法,其特征在于,在知识蒸馏中,利用交叉熵计算迁移后的MF‑ST‑Unet模型与训练好的MF‑ST‑Unet模型的差异,其损失函数通过原始交叉熵损失和迁移后的MF‑ST‑Unet模型与训练好的MF‑ST‑Unet模型之间的软标签交叉熵损失的加权计算得到,其表达式如下:,

其中, 为新的交叉熵损失, 为原始交叉熵损失, 为软

标签交叉熵损失, 是平衡原始交叉熵损失和软标签交叉熵损失的超参。

9.基于多源模态融合深度学习的高分辨雨情分析生成系统,其特征在于,包括:数据处理单元,用于对与雨情相关的多源数据集进行归一化处理,得到多物理量数据集;基于多源数据集,对表现不同量级小时降水量的数据进行空间模态统计,得到多模态特征因子库,并进行自适应编码,得到多模态特征因子库特征向量,进一步建立无量纲化的多模态特征因子库;

模型构建及训练单元,用于针对多源数据集中数据密集的子区域,基于降水等级的差异和空间分布特征,对损失函数进行多维非等权处理,构建多尺度空间转换模型MF‑ST‑Unet,并展开模型训练;其中MF‑ST‑Unet模型包括输入层、编码模块、解码模块和融合模块,输入层将多物理量数据集、无量纲化的多模态特征因子库和雨量站观测数据组合得到模型输入特征,在编码模块中首先使用卷积神经网络CNN对模型输入特征不同数据源、不同尺度空间场的特征信息进行提取和融合,得到全局信息,然后将全局信息引入多尺度空间转换编码模块,通过多层编码捕捉不同尺度下的空间信息,得到编码后的特征场;在解码模块中通过上采样过程恢复空间分辨率,并使用卷积对编码后的特征场进行细化提取,得到解码后的特征场;在融合模块中,通过跳跃连接层将全局信息与解码后的特征场进行非等权重加权处理,得到融合后的特征输出场;模型训练后最终生成逐小时区域高分辨率雨情分析数据集;

分析单元,用于基于训练好的MF‑ST‑Unet模型,通过迁移学习知识蒸馏,得到应用于覆盖整体区域的高分辨率雨情分析数据集。

10.一种电子设备,其特征在于,所述设备包括:

存储有可执行程序代码的存储器;

与所述存储器耦合的处理器;

所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1‑8任一项所述的基于多源模态融合深度学习的高分辨雨情分析生成方法的步骤。