利索能及
我要发布
收藏
专利号: 2022108364227
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于聚类的联邦图学习方法,所述方法由中心服务器和至少一个客户端实现,所述方法包括如下步骤:S1:客户端通过各自的数据收集方式获取图数据,构建图网络并计算各类标签的结构差异性E,上传至服务器;

S2:客户端利用图网络单独训练至模型收敛,获得输出层的模型参数aout上传至服务器;服务器将客户端上传的两个参数处理后作为划分客户端到不同的聚类簇的依据;具体包括:S2.1:客户端均采用三层多头图注意力网络模型(GAT)进行训练,前两层用于压缩节点特征,最后一层为输出层;

S2.2:基于步骤S2.1的模型结构训练至收敛获得输出层注意力系数aout上传至服务器;

服务器对各客户端的aout进行归一化后,再通过主成分分析法(PCA)将aout的进行降维得到具体公式如下:其中μ为各客户端的aout的平均值,σ为标准差;客户端 的维度由客户端数量确定;

客户端数量越多,所划分的聚类簇也越多; u表示客户端p降维后

的维度;服务器采用基于距离的聚类方法实现客户端的划分,具体公式如下:其中, p,v∈q且p≠v,q表示参与联邦学习的客户端的集

合;flagp,v表示客户端p,v之间的聚类信号,当flagp,v=1时表示两个客户端可以被分至同一个簇内,反之不能;δ为聚类的阈值,可根据具体情况调整;

S3:各客户端本地训练至一定批次时,上传其模型参数至服务器;服务器通过簇内聚合与簇间聚合更新全局模型参数并发送给各个客户端,客户端更新模型继续下一批次的训练,直至模型收敛。

2.如权利要求1所述的一种基于聚类的联邦图学习方法,其特征在于,所述步骤S1具体包括客户端计算图数据的各类标签的结构差异性el,具体公式如下:其中,Nl表示图网络中某一类标签的节点数量,该标签的节点根据邻居节点数量被分为m类,第i类中的节点数量为ki;最终获得一个L维向量E=[e1,e2,el,…,eL]并上传至服务器。

3.如权利要求1所述的一种基于聚类的联邦图学习方法,其特征在于,所述步骤S3具体包括参与联邦学习的客户端在设定的训练批次内基于同态加密的方式加密上传各层GAT的模型参数W,a至服务器;服务器对各个聚类簇内的客户端进行聚合,获得各个簇的模型参数后再进行簇间聚合,最终获得全局模型参数;具体公式如下:其中, 表示簇c内的客户端i在第t批次的权重参数和注意力系数,Qc表示簇c内客户端的数量,r表示簇的数量;服务器将全局模型参数传回给各个客户端,客户端接收并解密全局模型参数;t=t+2,使用该参数重复上述步骤,直至模型收敛。

4.一种基于聚类的联邦图学习系统,其特征在于:包括依次连接的参数获取与处理模块、聚类模块、联邦聚合模块;

所述参数获取与处理模块,用于收集并处理用作聚类的参数,具体包括:客户端各标签的结构性差异指标计算,客户端本地训练至收敛的模型输出层注意力系数的获取;具体包括:S2.1:客户端均采用三层多头图注意力网络模型(GAT)进行训练,前两层用于压缩节点特征,最后一层为输出层;

S2.2:基于步骤S2.1的模型结构训练至收敛获得输出层注意力系数aout上传至服务器;

服务器对各客户端的aout进行归一化后,再通过主成分分析法(PCA)将aout的进行降维得到具体公式如下:其中μ为各客户端的aout的平均值,σ为标准差;客户端 的维度由客户端数量确定;

客户端数量越多,所划分的聚类簇也越多; u表示客户端p降维后

的维度;服务器采用基于距离的聚类方法实现客户端的划分,具体公式如下:其中, p,v∈q且p≠v,q表示参与联邦学习的客户端的集

合;flagp,v表示客户端p,v之间的聚类信号,当flagp,v=1时表示两个客户端可以被分至同一个簇内,反之不能;δ为聚类的阈值,可根据具体情况调整;

所述聚类模块,用于将各客户端上传的输出层注意力系数与标签的结构差异性指标进行计算处理,以此对拥有不同数据分布的客户端进行聚类;

所述联邦聚合模块,各客户端在训练至第t批次时,上传其各层的模型参数;服务器通过簇内聚合与簇间的聚合获得全局模型重新发送给各个客户端;客户端更新模型继续下一批次的训练,直至模型收敛。