1.一种基于批增量方式的联邦学习训练方法,其特征在于,具体操作步骤如下:(1)、搭建具有增量学习的联邦学习框架;
在所述步骤(1)中,通过提出搭建具有增量学习的联邦学习框架的具体操作步骤如下:(1.1)、客户端训练前,检查是否存在上次训练保存的模型参数,若存在先前训练的模型参数,则将其加载到全局模型;
(1.2)、全局模型将聚合联邦模型发送给各客户端;
(1.3)、各客户端在本地训练过程对各客户端模型采用批增量训练,保存固定批量数训练的模型参数,训练完后输出最后一次固定批量训练得到的网络模型参数;
(1.4)、客户端训练完后将此时的模型参数更新发送到聚合服务器;
(1.5)、聚合服务器将接收到的模型参数进行聚合,最后对收到的模型参数使用加权平均,其具体如下式所示:式(1)中,t表示做聚合平均处理的时刻,nk表示第k个参与方的局部数据量, 表示t时刻局部模型的参数;之后服务器将聚合后的模型参数 发送给所有参与方;
(2)、通过构建本地损失更新,选择针对性的损失函数优化模型;
在所述步骤(2)中,通过构建本地损失更新的具体操作如下:(2.1)、本地训练时,先判断是否存在上次训练保存的模型参数,若存在,则本地loss更新如下式所示;
式(2)中,x表示样本,y表示标签,j表示遍历所有标签的变量;
(2.2)、若不存在,则本地loss更新如下式所示;
式(3)中,b=0.5, 表示当前本地训练得到的损失值, 表示目前所有本地损失的平均值,q表示遍历当前所有客户端的变量;
(3)、再通过搭建联邦学习局部增量自注意力机制模型,加强具有增量学习的联邦学习框架在训练数据时的记忆;
在所述步骤(3)中,通过搭建联邦学习局部增量自注意力机制模型的具体操作步骤如下:(3.1)、从服务器获得最新的模型更新 数据集为Dk;随机将数据集Dk划分为批量B的大小,将其放入网络模型训练;
(3.2)、搭建卷积层,采用卷积神经网络CNN,在本地加入自注意力机制,如下式所示;
式(4)中,Q表示查询矩阵,V和K表示矩阵的键值, 表示缩放因子,用于调节,防止Q、K的内积太大;
(3.3)、局部批增量更新模型参数,固定批量的模型参数进行保存;之后将当前局部模型参数,发送给全局模型。
2.根据权利要求1所述的一种基于批增量方式的联邦学习训练方法,其特征在于,在所述t时刻局部模型的参数包括权重参数和偏置参数。