1.一种气象数据压缩重建方法,其特征在于,包括:
获取气象监测数据;
基于归一化映射函数和地理掩膜信息对所述气象监测数据进行预处理,得到张量数据;
根据所述张量数据,基于预先训练的级联增强型混合编码网络进行特征提取与概率分布预测得到预测结果,基于预测结果进行压缩得到基础二进制码流,并在编码端对所述基础二进制码流进行本地重构得到基础气象重建数据;
若气象监测数据与基础气象重建数据之间的物理误差小于等于预设阈值,则将所述基础二进制码流作为压缩结果;
若气象监测数据与基础气象重建数据之间的物理误差大于预设阈值,则根据所述物理误差大于预设阈值的基础气象重建数据以及预设物理容忍阈值构建稀疏二值掩膜;
提取稀疏二值掩膜的掩膜区域残差值并进行量化生成增量补丁码流;
将增量补丁码流与基础二进制码流作为压缩结果;
基于压缩结果进行联合解码和反归一化得到重建数据;
所述级联增强型混合编码网络的网络结构,包括:
前端特征增强模块,包括至少2个级联的残差密集组,用于对所述张量数据进行特征提取并提升通道数后输出至核心压缩模块;
核心压缩模块,用于对提升通道数后的张量数据进行压缩得到压缩张量;对压缩张量进行概率分布预测得到预测结果,并基于预测结果进行熵编码得到基础二进制码流,对所述基础二进制码流进行熵解码得到重构结果;对重构结果进行解压缩得到解压缩张量;
后端特征重建模块,包括至少2个级联的残差密集组,用于通过对解压缩张量降低通道数后进行重建,得到基础气象重建数据。
2.根据权利要求1所述的气象数据压缩重建方法,其特征在于,基于归一化映射函数和地理掩膜信息对所述气象监测数据进行预处理,得到张量数据,包括:通过归一化映射函数将所述气象监测数据中的物理量数据进行映射;
根据地理掩膜信息,将“0”填充在映射后的物理量数据的无效区域,得到张量数据。
3.根据权利要求1所述的气象数据压缩重建方法,其特征在于,所述核心压缩模块包括依次连接的下采样层、超先验网络和上采样层;
所述下采样层,包括至少两个依次连接的残差块,用于对提升通道数后的张量数据通过空间尺寸折叠进行压缩得到压缩张量;
所述超先验网络,用于对压缩张量通过统计建模进行概率分布预测得到预测结果,并基于预测结果进行熵编码得到基础二进制码流,对所述基础二进制码流进行熵解码得到重构结果;
所述上采样层,包括至少两个依次连接的残差块,用于通过空间尺寸还原对重构结果进行解压缩得到解压缩张量并输出至后端特征重建模块。
4.根据权利要求1所述的气象数据压缩重建方法,其特征在于,根据所述物理误差大于预设阈值的基础气象重建数据以及预设物理容忍阈值构建稀疏二值掩膜,包括:将所述物理误差大于预设阈值的基础气象重建数据与所述气象监测数据对应的地理网格位置进行逐位置残差计算,得到物理残差矩阵;对所述物理残差矩阵进行绝对值处理,得到绝对误差分布;将所述绝对误差分布中的各位置误差值与预设物理容忍阈值进行比较:当地理网格位置对应的绝对误差值大于所述预设物理容忍阈值时,将地理网格位置对应的稀疏二值掩膜标记为“1”;
当地理网格位置对应的绝对误差值小于等于所述预设物理容忍阈值时,将地理网格位置对应的稀疏二值掩膜标记为“0”。
5.根据权利要求4所述的气象数据压缩重建方法,其特征在于,提取稀疏二值掩膜的掩膜区域残差值并进行量化生成增量补丁码流,包括:根据所述稀疏二值掩膜提取地理网格位置对应的残差值;对所述地理网格位置对应的残差值进行量化处理,得到量化后的残差值;根据所述稀疏二值掩膜对应的地理网格位置对量化后的残差值进行熵编码处理,得到增量补丁码流。
6.根据权利要求5所述的气象数据压缩重建方法,其特征在于,基于压缩结果进行联合解码和反归一化得到重建数据,包括:当压缩结果仅包括基础二进制码流时:
对所述基础二进制码流执行解析和解码,恢复基础气象重建数据;对基础气象重建数据执行反归一化,得到重建数据;
当压缩结果包括增量补丁码流与基础二进制码流时:
对所述基础二进制码流执行解析和解码,恢复基础气象重建数据;对所述增量补丁码流执行解析和解码,恢复稀疏二值掩膜的掩膜区域残差值及对应的地理网格位置;
将所述稀疏二值掩膜的掩膜区域残差值根据对应的地理网格位置融合至所述基础气象重建数据中,得到修正后的基础气象重建数据;对修正后的基础气象重建数据执行反归一化,得到重建数据。
7.根据权利要求6所述的气象数据压缩重建方法,其特征在于,所述重建数据表示为:;
式中, 表示第 个通道的重建数据, 表示第 个通道经过残差修正后的归一化重建数据, 表示第 个通道在归一化映射时所采用的最大值参数, 表示第个通道在归一化映射时所采用的最小值参数, 表示逐元素乘法, 表示地理掩膜矩阵,为陆地掩膜矩阵, 表示保留非陆地区域的重建结果并屏蔽陆地区域。
8.根据权利要求1所述的气象数据压缩重建方法,其特征在于,对所述级联增强型混合编码网络进行训练的方法,包括:获取历史气象监测数据,基于归一化映射函数和地理掩膜信息对所述历史气象监测数据进行预处理后构建样本集,将样本集划分为训练样本和验证样本;
构建联合损失函数,包括码率损失和均方误差损失;
将训练样本输入至级联增强型混合编码网络,通过反向传播算法最小化联合损失函数,迭代更新网络参数直至收敛,并基于验证样本选取最优的级联增强型混合编码网络参数,得到训练好的级联增强型混合编码网络。
9.根据权利要求8所述的气象数据压缩重建方法,其特征在于,所述联合损失函数表示为:;
式中,表示联合损失函数, 表示基础二进制码流对应的主潜在特征部分的估计码率值,表示经量化后的主潜在特征, 表示超先验潜在特征的估计码率值,表示经量化后的超先验潜在特征, 表示气象监测数据 与重建数据 之间的均方误差,为拉格朗日乘子,用于调节压缩率与物理精度之间的平衡。