利索能及
我要发布
收藏
专利号: 2021102202756
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于宽度学习的联邦学习策略优化方法,其特征在于,包括以下步骤:(1)对包括移动电话、可穿戴设备或自动驾驶汽车的远程设备边缘端的本地模型进行模型初始化,同时在服务器端部署宽度学习网络,其中,宽度学习网络包括特征节点组成的特征层和增强节点组成的增强层以及全连接层;

(2)采用本地数据集对本地模型进行预训练,同时采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端,其中:采用公式(1)筛选获得信息熵含量前n大的n个较优特征向量

其中,k为边缘端和本地模型的索引,Xk、Yk分别表示第k个边缘端的样本数据集和对应的样本标签集,xi、yi分别表示第i个样本数据和对应的样本标签,L1(yi,xi)表示计算xi与yi距离的2范数;

(3)服务器端以n个较优特征向量作为宽度学习网络的输入数据,获得输出宽度学习网络对输出数据的预测置信度,并根据预测置信度更新宽度学习网络的参数,同时返回预测置信度至边缘端,其中:服务器端依据n个较优特征向量进行宽度学习的训练初期,也就是当循环训练次数小于等于总循环训练次数时,宽度学习的过程为:N

Hm=ξ(ZWm+βm),m=1,2,…,M     (3)

其中,Ws、βs分别表示宽度学习网络中特征节点的权重参数和偏置参数,Zs表示第s个特N征节点的输出, 表示特征节点的激活函数,Z 表示N个特征节点的输出的拼接矩阵,作为特征节点的输入,Wm、βm分别表示宽度学习网络中增强节点的权重参数和偏置参数,Hm表M示第m个增强节点的输出,ξ(·)表示增强节点的激活函数,H表示M个增强节点的输出的拼N M N M接矩阵,符号∣表示拼接操作,Z∣H表示矩阵Z与矩阵H的拼接矩阵,W是全连接层的权重,Y表示宽度学习网络输出的预测置信度矩阵,其维度与分类类别数相同;

服务器端依据n个较优特征向量进行宽度学习的训练中期,也就是当循环训练次数大于总循环训练次数时,宽度学习的过程为:N+p

Hm=ξ(Z Wm+βm),m=M+1,…,M+q    (6)其中,p为特征层增加的特征节点的个数,其输入为较优特征向量 Ws、βs分别表示宽度学习网络中特征节点的权重参数和偏置参数,Zs表示第s个特征节点的输出, 表示特N+p征节点的激活函数,Z 表示N+p个特征节点的输出的拼接矩阵,作为特征节点的输入,Wm、βm分别表示宽度学习网络中增强节点的权重参数和偏置参数,Hm表示第m个增强节点的输出,M+qξ(·)表示增强节点的激活函数,q为增强层增加的增强节点的个数,H 表示M+q个增强节N+p M+q N+p M+q点的输出的拼接矩阵,符号∣表示拼接操作,Z ∣H 表示矩阵Z 与矩阵H 的拼接矩阵,W是全连接层的权重,Y表示宽度学习网络输出的预测置信度矩阵,其维度与分类类别数相同;

(4)边缘端利用返回的预测置信度更新本地模型的参数;

(5)重复迭代步骤(2)~步骤(4),直到达到迭代终止条件,参数确定的本地模型作为特征提取器,参数确定的宽度学习网络作为分类器,组成联邦学习模型。

2.如权利要求1所述的基于宽度学习的联邦学习策略优化方法,其特征在于,采用公式(8)更新宽度学习网络的参数:其中, 表示属于特征向量 的第i个特征向量对应的标签yi与预测置信度Yi之间的交叉熵损失函数,η表示宽度学习网络的学习率, 表示第t轮更新网络学习网络的模型参数, 表示第t+1轮更新网络学习网络的模型参数,K表示本地模型的总个数。

3.如权利要求1所述的基于宽度学习的联邦学习策略优化方法,其特征在于,采用公式(9)来更新本地模型的参数;

其中, 表示属于特征向量 的第i个特征向量对应的标签yi与预测置信度Yi之间的交叉熵损失函数, 表示特征向量的个数, 表示函数 相对于 求导,即损失函数梯度, 表示第t轮第k个本地模型参数。

4.如权利要求1所述的基于宽度学习的联邦学习策略优化方法,其特征在于,对边缘端的本地模型进行模型初始化时,需要确定训练总轮次,本地数据集,初始化宽度学习的特征节点个数和增强节点个数,参与联邦学习的本地模型个数。

5.一种基于宽度学习的联邦学习策略优化装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,其特征在于,所述计算机处理器执行所述计算机程序时实现权利要求1~4任一项所述的基于宽度学习的联邦学习策略优化方法。