利索能及
我要发布
收藏
专利号: 2026106289003
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,包括:构建包括台风历史轨迹数据、ERA5再分析数据和Himawari卫星数据的跨模态多源数据集;

基于跨模态多源数据集和复合损失函数训练融合物理信息的大语言台风路径预测模型,得到训练好的融合物理信息的大语言台风路径预测模型;

将跨模态多源数据输入训练好的融合物理信息的大语言台风路径预测模型,得到台风路径预测结果;

其中,所述融合物理信息的大语言台风路径预测模型的训练方法包括:对跨模态多源数据进行特征提取和融合,得到物理融合特征;

基于语义引导的跨模态关联机制对物理融合特征进行处理,得到语义增强的物理融合特征;

基于LSTM的低秩微调机制对语义增强的物理融合特征进行处理,得到时序补偿特征,将时序补偿特征多次复制拼接后以旁路形式注入大语言模型的注意力层中进行残差融合,得到的残差融合特征继续通过大语言模型的原架构,得到大语言模型的输出;

取大语言模型的输出中最后一个时间步的隐藏状态送入由多层感知机构建的输出头,最终输出未来多个时间步的轨迹坐标;

所述基于LSTM的低秩微调机制对语义增强的物理融合特征进行处理,得到时序补偿特征,包括:将语义增强的物理融合特征通过可学习的线性映射矩阵投影到低秩空间,公式如下:;

式中, 为降维后的时序特征,Henhanced表示语义增强的物理融合特征,,B为批次大小,L为时间序列长度,D为特征维度,R为实数集;WA为低秩投影矩阵, ,r为特征维度, ;

将降维后的时序特征输入串行的长期记忆网络和短期记忆网络,得到时序动态重塑的低秩特征,公式如下:;

;

式中, 表示长时序长短期记忆模块的输出序列, 表示长时序长短期记忆模块的隐藏态和细胞状态, 表示长时序长短期记忆模块, 表示短时序长短期记忆模块的输出序列, 表示短时序长短期记忆模块的隐藏态和细胞状态, 表示短时序长短期记忆模块;

将时序动态重塑的低秩特征通过可学习的线性映射矩阵恢复为原本的维度,公式如下:;

式中, 为时序补偿特征,WB为可学习矩阵, 。

2.根据权利要求1所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述构建包括台风历史轨迹数据、ERA5再分析数据和Himawari卫星数据的跨模态多源数据集,包括:获取台风历史轨迹数据、ERA5再分析数据和Himawari卫星数据;

对ERA5再分析数据和Himawari卫星数据,以台风中心为中心向外裁剪20°×20°的区域;

将裁剪后的ERA5再分析数据和Himawari卫星数据与台风历史轨迹数据进行时间步的对齐,构建得到跨模态多源数据集。

3.根据权利要求1所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述对跨模态多源数据进行特征提取和融合,得到物理融合特征,包括:将ERA5再分析数据在时间维度和空间维度上进行特征提取和拼接,得到显示增强的物理特征,将显示增强的物理特征与原始输入的ERA5再分析数据进行特征拼接后,输入带有注意力机制的深度时空网络中进一步提取特征,得到影响台风移动的环境场特征;

将Himawari卫星数据输入带有注意力机制的深度时空网络中提取特征,得到台风本身的精细结构特征;

通过台风历史轨迹数据计算物理特征,得到台风历史轨迹特征;

将影响台风移动的环境场特征、台风本身的精细结构特征和台风历史轨迹特征进行融合,得到物理融合特征。

4.根据权利要求3所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述将ERA5再分析数据在时间维度和空间维度上进行特征提取和拼接,得到显示增强的物理特征,包括:在时间维度上,利用前向差分计算环境变量的时间导数得到相邻时间步的环境场变化特征,公式如下:;

式中,Xt表示t时刻的环境场变量,Xt+1表示t+1时刻的环境场变量, 表示相邻时间步之间的时间间隔;

在空间维度上,将经度x方向和纬度y方向的网格间距融入索贝尔算子变体差分卷积核中,提取物理一阶导数:;

式中, 、 分别为经度x方向和纬度y方向的离散差分卷积核, 和 为ERA5再分析数据的网格空间分辨率;

提取引导气流层和低层水汽输送层的纬向风u以及引导气流层和低层水汽输送层的经向风v,通过 、 二维物理卷积核计算空间梯度场,再通过下式显式构建相对涡度 和水平散度 :;

将环境场变化特征、相对涡度和水平散度进行特征拼接,得到显示增强的物理特征。

5.根据权利要求1所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述基于语义引导的跨模态关联机制对物理融合特征进行处理,得到语义增强的物理融合特征,包括:提取预训练的大语言模型GPT-2的词嵌入,并构建语义空间;

将语义空间作为查询向量,将物理融合特征作为键向量和值向量,通过交叉注意力的作用生成对齐后的联合特征,公式如下:;

;

式中,Q表示查询向量,S表示语义空间,Wq表示与查询向量进行矩阵相乘的可学习矩阵,K表示键向量,H表示物理融合特征,Wk表示与键向量进行矩阵相乘的可学习矩阵,V表示值向量,Wv表示与值向量进行矩阵相乘的可学习矩阵,C表示联合特征,Softmax表示激活函数,D表示特征维度,T表示对矩阵进行转置操作;

对联合特征进行平均池化,得到联合特征空间,将联合特征空间和物理融合特征进行拼接,经过全连接层和Sigmoid激活函数得到门控权重,再通过门控机制得到语义增强的物理融合特征,公式如下:;

;

式中,g表示门控权重, 表示Sigmoid激活函数,Linear表示线性层,cat表示将特征进行拼接操作,Cmean表示联合特征空间,Henhanced表示语义增强的物理融合特征, 表示乘积操作。

6.根据权利要求1所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述将时序补偿特征多次复制拼接后以旁路形式注入大语言模型的注意力层中进行残差融合,包括:将时序补偿特征在特征维度上进行三次复制拼接,再与冻结参数的大语言模型的注意力层的输出进行残差连接,公式如下:;

式中,output表示时序补偿后的大语言模型注意力特征, 表示冻结参数的大语言模型的注意力层的输出, ,B为批次大小,L为时间序列长度,D为特征维度,R为实数集;Henhanced表示语义增强的物理融合特征,cat表示将特征进行拼接操作, 为时序补偿特征。

7.根据权利要求1所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述复合损失函数的公式为:;

式中, 为复合损失函数,P为预测未来轨迹的时间步数,i为预测时间序列中的时间步索引, 为第i个时间步的均方误差损失的权重系数, 为第i个时间步的均方误差损失,为轨迹平滑损失的权重系数, 为轨迹平滑损失;

其中,第i个时间步的均方误差损失的权重系数 的计算公式如下:;

式中, 为预测的第i个时间步的验证损失,为防止除零操作的微小值;

所述轨迹平滑损失 的计算公式如下:

;

式中,B为批次大小,L为时间序列长度, 为轨迹二阶加速度, 表示均方误差。

8.根据权利要求1所述的基于大语言模型的跨模态多源数据台风路径预测方法,其特征在于,所述融合物理信息的大语言台风路径预测模型的训练方法还包括:采用平均绝对误差MAE、均方根误差RMSE和平均球面距离MSD作为评价指标评价融合物理信息的大语言台风路径预测模型的预测效果。

9.一种基于大语言模型的跨模态多源数据台风路径预测系统,其特征在于,用于实现权利要求1 8任一项所述方法,所述系统包括:~

数据获取模块,用于获取包括台风历史轨迹数据、ERA5再分析数据和Himawari卫星数据的跨模态多源数据集;

模型训练模块,用于基于跨模态多源数据集和复合损失函数训练融合物理信息的大语言台风路径预测模型,得到训练好的融合物理信息的大语言台风路径预测模型;

台风路径预测模块,用于将跨模态多源数据输入训练好的融合物理信息的大语言台风路径预测模型,得到台风路径预测结果;

其中,所述融合物理信息的大语言台风路径预测模型的训练方法包括:对跨模态多源数据进行特征提取和融合,得到物理融合特征;

基于语义引导的跨模态关联机制对物理融合特征进行处理,得到语义增强的物理融合特征;

基于LSTM的低秩微调机制对语义增强的物理融合特征进行处理,得到时序补偿特征,将时序补偿特征多次复制拼接后以旁路形式注入大语言模型的注意力层中进行残差融合,得到的残差融合特征继续通过大语言模型的原架构,得到大语言模型的输出;

取大语言模型的输出中最后一个时间步的隐藏状态送入由多层感知机构建的输出头,最终输出未来多个时间步的轨迹坐标。