利索能及
我要发布
收藏
专利号: 2024101302799
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种海洋大数据智能轻量化处理方法,其特征在于,该方法将海洋原始数据转换成按周期自主选择的数据,对按周期自主选择的数据先升维后降维,进行经验正交模态分解,再将自适应方法融入分解的经验正交模态中,捕捉海洋观测或监测数据的时空变异性,自动调整参数,完成海洋观测或监测数据不同数据轻量化;具体包括:S1,数据分解:通过自主选择周期数将原始二维数据矩阵变成三维数据矩阵进行数据升维,再对数据升维的三维数据矩阵自动选择降维后的二维矩阵;对自动选择降维后的二维矩阵海洋历史数据分解成时空系数和时空模态EOFsH×H;

S2,特征提取:对于要被压缩的数据YM×T,基于不同的分解方式进行时空模态EOFsH×H以及时空模态EOFsH×H的逆矩阵 进行特征提取;

S3,数据重构:基于特征提取的数据,通过自适应方法选择主成分和时空模态的数量,对获得的主成分和时空模态的数量得到不同重构数据,所述重构数据包括含有时序信息的海洋或气候数据在空间和时间维度变化的时空特征;

在步骤S1中,原始二维数据矩阵为历史海洋数据X的二维数据矩阵XM×N,表达式为:其中,M代表空间数据点,N代表时间长度,xMN为空间数据点M在时间点N的观测值或测量值;

所述通过自主选择周期数将原始二维数据矩阵变成三维数据矩阵进行数据升维包括:按压缩率自主将时间长度N分解为周期T和周期数K,利用功率谱分析估计海洋数据的主要周期 根据 其中[]表示取整符号,确定K的取值,得到相对应的周期数

当处理海洋大数据时,确立适切的压缩率ω,筛选出满足条件的周期T,表示为:ω表示确定的压缩率, 表示利用功率谱分析估计的海洋数据的主要周期;对于满足上述条件的集合为 对应的周期数为 其中 表示周期数的合集,在满足条件 的基础上,对于满足上述条件的集合为 对应的周期为自主选择周期 和相对应的周期 放弃时间长度N中超过T×K的部分,并将海洋数据转化为三维矩阵XM×T×K,其中,M代表空间数据点,T代表一个周期的时间点,K代表周期数;

* *

选择的所有周期中第K个周期下的全部时间T和空间点M对应的数据,一共有K个矩阵,K是由功率谱分析和自主选择确定;将原始数据从二维变成三维,利用周期数K和时间T进行降维计算;一个周期的数据表示为:* * *

表示在第K 个周期下的全部时间T和空间点M, 为在第K 个周期下空间数*据点M在时间点T的观测值或测量值;

在步骤S1中,所述对数据升维的三维数据矩阵自动选择降维后的二维矩阵包括:对数据X进行降维操作,按照T和K的大小自动选择降维后的二维矩阵大小,包括:(1)当T≤K,周期小于等于周期数,将数据XM×T×K降维成X(M×K)×T,记M×K=I,降维后的数据为XI×T,表达式为:式中,X(M×K)×T和XI×T表示降维后的数据,XIT表示数据点I在时间点T的观测值或测量值;

(2)当T>K,周期大于周期数,将数据XM×T×K降维成X(M×T)×K,记M×T=H,降维后的数据为XH×K,表达式为:式中,X(M×T)×K和XH×T表示降维后的数据,XHK表示数据点H在周期K的观测值或测量值;

在步骤S1中,通过不同的选取方式分解成时空系数和时空模态EOFsH×H包括:* *

(i)T≤K;计算协方差矩阵 再通过矩阵变换获得C矩阵的特征向量,C 矩阵的特征向量计算为:*

C×EOF=EOF×Λ

*

式中,时空模态EOF表示C的特征向量,Λ表示特征值的对角矩阵;

将时空模态投影到矩阵X上得到对应的主成分,即:

PC=X×EOF

同时,计算历史SLA数据时空模态EOFsT×T的逆矩阵 通过逆矩阵的计算公式求出时空模态EOFsT×T的逆矩阵 和计算出的PC相乘,计算出原始数据X,进行特征提取;表达式为:其中,|EOFsT×T|为EOFsT×T的行列式, 为EOFsT×T的伴随矩阵,逆矩阵的计算用来进行数据的反演或反向推导,通过计算时空模态的逆矩阵,从已知的时空模态信息中推导出原始的SLA数据;

海洋历史数据XI×T分解成时空系数PCsI×T和时空模态EOFsT×T,即:其中,I表示M×K,其中M代表空间数据点,T代表一个周期的时间点,K代表周期数;

(ii)T>K;

计算协方差矩阵 再通过矩阵变换获得C矩阵的特征向量,C矩阵的特征向量计算为:C×EOF=EOF×Λ

同时计算历史SLA数据时空模态EOFsH×H的逆矩阵 表示如下:其中,EOFsH×H|为EOFsH×H的行列式, 为EOFsH×H的伴随矩阵;

将时空模态投影到矩阵X上得到对应的主成分,即:

海洋历史数据XH×K分解成时空系数PCsH×K和时空模态EOFsH×H,表示如下:XH×K=EOFsH×H×PCsH×K

其中,H表示M×T,其中M代表空间数据点,T代表一个周期的时间点,K代表周期数;

在步骤S3中,所述通过自适应方法选择主成分和时空模态的数量包括:为选择适当数量的主成分PC和时空模态EOF,引入自适应机制,设定目标Z1,代表累计方差贡献率;累计方差贡献率Z1:式中,Λ代表特征根, 表示设定的衡量指标,在选择EOF和PC的数量中满足停止;

所述自适应方法具体包括:

步骤i:初始化累计方差贡献率C=0,Q=0;

步骤ii:对每个特征根Λ(i)执行以下操作:计算每个Λ对应的方差贡献率;

步骤iii:遍历循环每个Λ(i),在此过程中逐步递增累计方差贡献率C至Ci,同时每完成一次循环Q=Q+1;

在迭代过程中,不断检查累计方差贡献率C是否达到了预设的目标阈值 一旦累计方差贡献率C超过或等于目标阈值 立即终止循环,并且选取前Q个特征向量作为数据的新表示,Q为选择的EOF和PC数量。

2.根据权利要求1所述的海洋大数据智能轻量化处理方法,其特征在于,在步骤S2中,对于要被压缩的数据YM×T,基于不同的分解方式进行特征提取:(a)T≤K;

将得到的EOFsT×T和YM×T做乘积得PCsM×T:PCs′M×T=YM×T×EOFsT×T

(b)T>K;

首先将对数据进行降维,YM×T重构为:Y(M×T)×1=YH×1,再将得到的 和被处理后的SLA数据YH×1做乘积得PCsM×T:

3.根据权利要求1所述的海洋大数据智能轻量化处理方法,其特征在于,在步骤S3对获得的主成分和时空模态的数量利用不同特征提取方式得到不同重构数据中,T≤K时,从以下特征提取方式得到数据重构:第一步:由自适应机制可以得到前Q个SLA时空模态 与时空系数PCs′M×T的Q个元素PCsM×Q;将得到的 和PCsM×Q即可得到重构SLA数据Y′M×T,提出:第二步:进行模型评估,将得到的Y′M×T与原始数据YM×T进行比较,若得到的相关系数则返回上一步,令Q=Q+1,重新进行数据重构,直到

4.根据权利要求1所述的海洋大数据智能轻量化处理方法,其特征在于,在步骤S3对获得的主成分和时空模态的数量利用不同特征提取方式得到不同重构数据中,T>K时,从以下特征提取方式得到数据重构:第1步:由自适应机制可以得到前Q个SLA时空模态EOFsH×Q与时空系数PCs′H×1的Q个元素PCs′Q×1;将得到的EOFsH×Q和PCs′Q×1即可得到重构SLA数据Y′H×1:Y′H×1=EOFsH×Q×PCs′Q×1

第2步:进行模型评估,将得到的Y′H×1与原始数据YH×1进行比较,若得到的相关系数则返回上一步,令Q=Q+1,重新进行数据重构,直到 若得到的相关系数将Y′H×1升维为Y″M×T,即得到重构数据。

5.一种海洋大数据智能轻量化处理系统,其特征在于,该系统通过权利要求1‑4任意一项所述的海洋大数据智能轻量化处理方法实现,该系统包括:数据分解模块,用于通过自主选择周期数将原始二维数据矩阵变成三维数据矩阵进行数据升维,再对数据升维的三维数据矩阵自动选择降维后的二维矩阵;对所述自动选择降维后的二维矩阵海洋历史数据通过不同的选取方式分解成时空系数和时空模态;

特征提取模块,用于对于要被压缩的数据YM×T,基于不同的分解方式进行时空模态以及时空模态的逆矩阵进行特征提取;

数据重构模块,用于基于特征提取的数据,通过自适应方法选择主成分和时空模态的数量,对获得的主成分和时空模态的数量利用不同特征提取方式得到不同重构数据,所述重构数据包括含有时序信息的海洋或气候数据在空间和时间维度变化的时空特征。