1.一种LSTM与XGBoost融合的带宽预测方法,其特征在于,所述方法包括以下步骤:
1)数据收集:收集与带宽相关的时序特征数据,包括:
历史带宽:记录用户在过去时间窗口内的带宽使用情况;
用户位置信息:通过GPS获取用户的位置数据,捕捉用户移动对带宽需求的影响;
延迟数据:记录网络传输的延迟情况,评估网络性能;
网络负载:统计当前网络的流量负载,分析网络拥塞程度;
对时序特征数据进行清理、标准化与归一化,以保证不同特征的尺度一致,便于输入到模型中;将数据分为训练集和测试集,用于模型训练和性能评估;
2)LSTM模型与注意力机制:使用LSTM模型来处理时序特征数据,捕捉历史带宽的动态变化;在LSTM模型中引入注意力机制,通过计算时间步的权重,使得LSTM+Attention模型能够聚焦于对预测最有影响的时间步,忽略不相关的信息;
3)特征融合:将LSTM+Attention模型的输出,即经过注意力机制加权的时间序列预测值作为特征之一,同时引入其他网络状态特征,包括以下:RSSI、RSRP、RSRQ和SINR;将上述特征与LSTM+Attention模型的输出拼接成一个新的特征矩阵,形成一个高维特征空间矩阵;
4)XGBoost模型:使用XGBoost算法对拼接后的高维特征空间矩阵进行建模;XGBoost通过构建多棵决策树,逐步捕捉特征之间的复杂非线性关系;在每棵树的分裂过程中,XGBoost会自动评估每个特征的重要性,并选择最优的分裂点,从而实现对特征的有效筛选和建模;
使用标准的回归损失函数来最小化预测误对XGBoost模型进行训练,通过梯度提升方法,每一棵新树都会根据前一棵树的残差进行训练,并对其进行优化;
5)输出结果:所有XGBoost树的预测结果会被加权求和,得到最终的带宽预测值;
所述1)的过程为:
步骤1.1)使用6个设备,分别是3个移动设备,用于模拟用户的慢速移动,该设备的位置和状态会根据实验设计进行调整,以模拟用户在不同网络环境下的带宽需求;3个HMD,用于模拟高性能设备,确保设备差异性以满足对实验的准确性;
步骤1.2)每个设备通过 WiFi 与服务器连接,传输VR 视频数据;历史带宽、延迟数据、网络负载实时数据通过 Android APIs 以1秒的粒度收集关键指标被采集,以用于后续的带宽预测模型训练;每个设备的用户位置信息通过GPS信号收集,帮助建模用户的移动行为;
步骤1.3)数据清理,操作如下:
1.3.1)检测并移除缺失值或无效数据点;
1.3.2)处理异常值,通过设定阈值过滤掉极端值;
1.3.3)对不完整的时间序列数据进行插值,保证数据的连续性;
步骤1.4)对所有特征进行标准化和归一化,如下:
1.4.1)标准化:将数据转换为均值为0、标准差为1的分布,公式为:;
其中, 为原始数据, 为均值, 为标准差;
1.4.2)归一化:将数据缩放到[0, 1]区间,公式为:;
其中, 和 分别为数据的最小值和最大值;
步骤1.5)数据划分:将数据分为训练集和测试集,用于模型训练和性能评估,操作如下:
1.5.1)按照时间顺序划分数据,将80%的数据作为训练集,20%的数据作为测试集;
1.5.2)确保训练集和测试集的时间连续性,避免数据泄漏。
2.如权利要求1所述的LSTM与XGBoost融合的带宽预测方法,其特征在于,所述2)中,LSTM 网络结构构建和训练过程如下:步骤2.1)输入层:输入特征包括历史带宽、用户位置信息、延迟数据和网络负载数据,每个时间步的输入是一个由多个特征组成的向量;
步骤2.2)LSTM 层:由 num_layers个LSTM层构成,用来学习时间序列数据中的长短期依赖关系,设定各层的神经元数量;
步骤2.3)注意力机制:在LSTM的输出层之后,加入一个加性注意力机制,该机制为每个时间步的LSTM输出分配一个权重,重点关注那些对带宽预测有较大影响的时刻;
步骤2.4)输出层:LSTM和注意力机制结合后的输出被传递到一个全连接层,用于预测当前时刻的带宽值;
步骤2.5)LSTM模型的训练:使用均方误差MSE作为损失函数训练模型,损失函数定义为:;
其中, 是样本数量, 是第i个样本的真实带宽值, 是第i个样本的模型预测的带宽值;
使用梯度下降法更新模型参数,确保模型能够逐步减小预测误差,Adam优化器更新规则是:;
其中,η 是学习率; 是梯度的一阶矩估计, ; 是
梯度的二阶矩估计, ;ϵ 是一个非常小的常数1e‑8,用于防止除以零稳定性常数; 是当前时刻的梯度, 是一阶矩的衰减率, 是当前梯度的平方,是二阶矩的衰减率;
步骤2.6)注意力机制模型训练:采用Additive Attention方法,通过计算每个时间步的重要性权重来调整模型的焦点,自动筛选出重要的时间片段进行更精细的学习,每个时刻的输出通过加权求和得到最终的带宽预测结果;
步骤2.7)在训练过程中,LSTM+Attention模型会使用训练数据进行前向传播和反向传播,通过梯度下降法不断调整LSTM的权重,最小化损失函数,直到模型收敛;在训练过程中,使用早停法来避免过拟合,当验证集的损失在连续设定数量个epochs内没有改善时,停止训练。
3.如权利要求1所述的LSTM与XGBoost融合的带宽预测方法,其特征在于,所述4)中,对多维特征之间复杂的非线性关系进行建模,过程为:步骤4.1)XGBoost使用决策树来建模输入数据的特征,在每次迭代中,XGBoost会通过分裂节点来选择最佳特征和分裂点,逐步构建树,每棵树都在前一棵树的残差上进行建模,XGBoost会自动评估哪些特征对带宽预测最重要,并根据这些特征构建预测模型;
步骤4.2)XGBoost模型的训练:使用标准的回归损失函数来最小化预测误差,使用XGBoost的树模型来捕捉特征之间的复杂非线性关系,XGBoost 采用加法模型来迭代生成树,每生成一棵树后,会对前面生成的树的残差进行拟合;每棵树的节点会根据特征的不同值进行分裂,目标是最小化分裂后的均方误差;通过正则化控制模型的复杂度,防止过拟合;XGBoost使用了 L1 和 L2 正则化,通过惩罚树的复杂度来控制模型的灵活性;
步骤4.3)XGBoost模型优化:通过梯度提升方法,每一棵新树都会根据前一棵树的残差进行训练,并对其进行优化;通过交叉验证调整模型的超参数,超参数包括树的深度、学习率和子采样比例,每棵树通过调整前一棵树的预测来减少误差,从而提高模型的精度;
步骤4.4)使用均方误差MSE、均方根误差RMSE和平均绝对误差MAE回归评价指标对模型进行评估,公式为:, , ;
其中, 是样本数量, 是第i个样本的真实值, 是第i个样本的预测值。