利索能及
我要发布
收藏
专利号: 2024115333932
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.子图驱动的轻量化联邦学习时空蜂窝网络预测方法,其特征在于:包括以下步骤:S1、数据预处理:选取蜂窝网络数据集,进行清洗,去除无效或缺失的数据点;

并将数据处理为时序输入,每个序列包含12个时间步的历史数据,用于预测下一个时间步的流量情况;

S2、子图划分:提取节点间的邻接距离矩阵以及节点流量模式矩阵以构建混合式稀疏矩阵,通过图嵌入提取代表节点多跳邻居结构的低维连续向量表示节点间的复杂依赖关系,获得相似度矩阵,对相似度矩阵进行社区检测划分得到最后的子图;

所述混合式稀疏矩阵是将BS记录节点单日流量视作一条向量,则D天内产生的流量按天划分为一组向量,对于任意节点 即存在向量组 ;将该向量组视作一项概率分布,每条向量视作概率分布的一项概率质量,得到节点 的概率质量 组成的概率分布 :不同节点间概率分布间的转换代价视为节点流量模式间的差距距离,使用Wasserstein概率分布距离计算每两个节点间的流量模式距离,而代价函数 表示为1与两个向量组间的余弦相似度的差值:进一步得到节点 与节点 间的Wasserstein概率分布距离矩阵为 ,每两个节点间的概率分布距离 为:其中, 是一个联合概率分布,它满足以下边际约束:

其中, 和 分别是节点 和节点 的概率分布;

由概率分布距离表示的节点间流量模式关系矩阵 和由节点间实际距离为主导的邻接矩阵 理解为是隐式时空关系和显式时空关系的外在表现,对二者的有机结合;

对邻接矩阵 和 进行聚合获得新的稀疏矩阵:

其中, 是归一化常数,代表稀疏性矩阵保留阈值;

所述相似度矩阵是指全局图中的每个节点在广度和深度两个维度均存在许多邻居节点,需要更进一层提取这些邻居节点的信息,以保证节点划分后子图所包含信息的最大有效性;

使用Node2vec节点嵌入模型,提取节点间的两个特性:同质性,所述同质性即节点在图上的距离越近越相似;

同构性,所述同构性即如果两个节点周围的结构越相近,则越相似;

通过对同质性以及同构性的提取,低维节点连续向量中包含了多跳节点间的邻居关系,帮助进一步获取节点间的影响关系;控制返回参数 和进出参数 来平衡DFS和BFS策略,从而生成节点序列,节点连续向量提取过程如下:给定当前节点 和前一个节点,选择下一步节点 的转移概率 为:其中, 是权重, 是归一化常数,权重 的计算取决于 和 :之后,对每个节点 进行 次长度为的随机游走生成节点序列,并使用生成的节点序列来训练Skip‑gram模型,Skip‑gram模型通过最大化节点 和上下文节点 的共现概率来学习节点的嵌入表示:其中,对于上下文节点 ,在窗口大小范围内;是所有生成的节点对集合, 是条件概率,用softmax函数表示:模型的最终输出是节点嵌入矩阵 ,其大小为 ,其中 是节点的数量,是嵌入向量的维度,每一行对应一个节点的嵌入向量 ;

在全局图中有 个节点,每个节点的嵌入向量维度为 ,则节点嵌入矩阵 表示为:其中, 是节点 的嵌入向量;

这些提取出的连续向量有效代表了每个节点在一定维度内的连接关系及边权重,通过算法计算,获得每个节点的向量 ,对图中的两两节点间的 向量进行相似度计算,则获得节点的邻居相似度矩阵 ,如下:所述社区检测划分是指使用相似度矩阵 ,应用Leiden算法进行社区检测,Leiden算法通过最大化模块度 来优化社区结构,模块度 定义为:其中, 是邻接矩阵, 和 分别是节点 和节点 的度,是图中的总边数, 是Kronecker delta,当节点和节点 属于同一社区时,值为1;或节点和节点 不属于同一社区时,值为0;Leiden算法通过迭代优化模块度,不断细化社区结构,从而生成密集连接的子图;

S3、模型训练:在划分后的子图上进行本地客户端的时空图卷积神经网络模型训练,获得本地模型参数;

所述步骤S3中还搭建了一个联邦学习通信框架,自适应剪枝模块为优化传输成本模块,本地训练模型考虑客户端训练资源有限,所以采用非循环网络中的时空图卷积神经网络的网络流量预测模型;

时空图卷积神经网络包括时空图卷积块和一个最终卷积层,每个时空图卷积块包括Chebyshev图卷积层和时间卷积层及一个残差连接层,其中输入信号 的形状为 ,其中,是批大小,是节点数量, 是输入特征维度,是时间步长,时空图卷积块组成如下:Chebyshev图卷积层:

采用了Chebyshev多项式近似方法计算图卷积,图卷积层的计算公式为:其中, 是第 阶的Chebyshev多项式,是归一化的拉普拉斯算子, 是第 阶的滤波器参数,输出的形状为 ,其中 是输出特征维度;

时间卷积层对图卷积层的输出 进行卷积操作,计算公式为:输出 的形状为 ,其中 是卷积后的时间步长;

在残差连接层中,输入信号 与经过图卷积和时间卷积后的信号 相加,以保留输入信号的信息;残差连接层的计算公式为:其中, 是对输入信号 进行的卷积操作,使其形状与 一致;残差连接层输出的形状为 ;

最终卷积层将残差连接层的输出进行进一步处理,以得到最终的预测结果,最终卷积层的输出形状为 ,其中 是最终的时间步长;

所述联邦学习通信框架包括中心服务器和边缘客户端;

模型初始化后分发到各个客户端,在客户端进行训练后,将模型参数传输至中心服务器聚合,之后进行参数下发,直至模型收敛;

每次模型聚合前,在客户端内设置自适应权重剪枝模块,自适应模块内置了一个强化学习模型以及动态损失窗口,模型以本地客户端本轮模型与滑动窗口轮次内最低训练损失与验证损失,通过强化学习模型自适应调整剪枝比例以保护模型精度;

每个客户端剪枝后的权重被上传至中央服务器;所述联邦学习通信框架如下:假设,有 个客户端,每个客户端 有 个数据样本,总数据量为 ,各客户端分别训练本地模型并更新其参数;

然后,将这些参数上传至中央服务器,服务器根据各客户端的数据量对参数进行加权平均,更新全局模型,如下:每个客户端的模型参数 按其数据量 加权,得到全局模型参数 ;

S4、模型参数剪枝:对训练后的模型权重参数进行自适应剪枝,通过强化学习代理调整剪枝策略,获取剪枝后的权重参数;

S5、模型传输:客户端将剪枝后的模型参数传输至服务器;

S6、参数聚合:服务器获取每个客户端传递的参数进行联邦平均聚合;

S7、模型更新:服务器将聚合得到的新参数发送回客户端,客户端获取传回参数进行下一轮时空图卷积神经网络模型训练,直到迭代轮次结束。

2.根据权利要求1所述的子图驱动的轻量化联邦学习时空蜂窝网络预测方法,其特征在于:所述步骤S4中为了进一步减少计算和通信成本,自适应参数剪枝模块被引入;

该模块根据模型训练过程中损失函数的变化动态调整剪枝比例,从而在保证模型精度的前提下,最大限度地减少传输和计算开销,具体如下:假设,在第轮训练中,每个客户端 的本地模型参数为 ,剪枝比例为 ,剪枝后的模型参数为 ;通过以下步骤进行自适应剪枝:M1:计算需要保留的权重数量,如下:

其中, 为模型的总权重数, 为需要保留的权重数;

M2:根据权重的绝对值进行排序,如下:

对模型参数 的绝对值进行排序,找到第 个权重值作为阈值 ;

M3:应用阈值进行剪枝,如下:

其中, 是指示函数,当权重的绝对值大于等于阈值 时取值为1,否则为0;

在每轮训练后,活动损失窗口所记忆的最小损失函数与当前轮的损失函数 的差值作为奖励,与剪枝率 和剪枝间隔 一同输入强化学习代理模型以自适应调整剪枝比例。

3.根据权利要求1所述的子图驱动的轻量化联邦学习时空蜂窝网络预测方法,其特征在于:所述强化学习代理理模选择Q‑learning模型,该Q‑learning模型根据奖励与状态间关系,自适应调整action以获得最优解,模型更新算法如下:其中,表示当前状态,表示当前动作,是学习率, 是下一时刻的奖励,是折扣因子。

4.根据权利要求3所述的子图驱动的轻量化联邦学习时空蜂窝网络预测方法,其特征在于:所述自适应调整action动作的具体调整策略如下:动作1:线性增加剪枝率以及动作2:指数减少剪枝率,如下:动作3:增加剪枝间隔并微调剪枝率,如下:

动作4:减少剪枝间隔并微调剪枝率,如下:

动作5:小幅度线性增加剪枝率以及动作6:小幅度线性减少剪枝率,如下:。