利索能及
我要发布
收藏
专利号: 2024103711954
申请人: 山东省计算中心(国家超级计算济南中心)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于数据增强与隐私增强的组联邦元学习方法,其特征在于,包括:S1、对每个本地客户端的图像数据进行数据增强处理,并将本地客户端的数据分布表示和本地元模型发送至服务器;

S2、服务器端根据本地客户端的数据分布表示对本地客户端进行初始分组,再将收到的本地元模型进行平均聚合生成组元模型并发送至不同分组中的本地客户端;

S3、各本地客户端随机选取自端客户端数据更新数据分布表示,同时,根据得到的组元模型和随机选取的自端客户端数据更新自端的本地元模型,将更新的数据分布表示和更新的本地元模型发送至服务器;

S4、服务器根据更新的数据分布表示使用K‑means聚类算法结合欧氏距离公式更新分组,然后将更新的本地元模型进行更新后的组内聚合,生成新的组元模型;

S5、重复S3‑S4直至达到设置的更新迭代阈值;

S6、本地客户端使用自端数据库中测试任务数据集进行模型个性化。

2.根据权利要求1所述的一种基于数据增强与隐私增强的组联邦元学习方法,其特征在于,所述S1具体包括:S11、此对本地客户端的图像数据进行数据增强,所述数据增强包括:翻转,抖动,旋转,剪切;

S12、构建基于自注意力机制的卷积神经网络提取各本地客户端的数据特征和相对应的权重值,得到各本地客户端的数据分布表示;

S13、定义自适应差分项协同损失函数;

引入的自适应差分项是跟随本地客户端本地训练模型的损失函数进行训练,因此先定义自适应差分项 ;

(1);

公式(1)中, 值随着迭代的次数而收敛, 作为常量;

含有自适应差分项 的自适应损失函数F如下:(2);

S14、每个本地客户端根据模型损失函数收敛确定自适应差分项 ,对本地元模型进行噪声干扰,生成具有隐私保护的本地元模型 ;

S15、将每个本地客户端的本地元模型 和数据分布表示 发送至服务器。

3.根据权利要求2所述的一种基于数据增强与隐私增强的组联邦元学习方法,其特征在于,所述基于自注意力机制的卷积神经网络包括:在训练基于自注意力机制的卷积神经网络中,通过计算每个图像像素位置的查询(Q)、关键向量(K)、值(v),并计算位置之间的关联度,从而使模型能够动态调整对图像中不同位置的关注程度;

首先通过查询Query(Q)和关键向量(K)之间的点积,再除以一个缩放因子 计算得到注意力分数 ,公式如下:(3);

然后通过注意力分数进行Softmax操作得到注意力权重 ,公式如下:(4);

最后,通过将注意力权重应用于CNN卷积神经网络提取的原始特征 ,通过加权求和的方式得到了新的特征表示 ,公式如下:(5);

因此,每个本地客户端都依据本地基于自注意力机制的卷积神经网络提取数据特征,获得本地数据分布表示,共有N个本地客户端,因此有N个数据分布表示 。

4.根据权利要求1所述的一种基于数据增强与隐私增强的组联邦元学习方法,其特征在于,所述S2具体包括以下步骤:S21、服务器根据收到的本地客户端数据分布表示 ,利用K‑means++算法,得到K个初始簇中心 ;

S22、得到K个初始簇类中心 后,结合各个本地客户端的数据分布表示,使用欧氏距离进行初始化分组;

(6);

(7);

代表 到 的距离,距离越小,说明相似度越高,因此 代表本地客户端i的分组标识,通过分组标识能够将本地客户端分成K个分组 ;

S23、服务器将收到的各本地客户端的本地元模型进行平均聚合生成初始化全局元模型 作为组元模型,并发送至不同分组中每个本地客户端;

(8);

其中N为本地客户端的总数量, 是本地客户端本身所对应的模型权重,其中 。

5.根据权利要求1所述的一种基于数据增强与隐私增强的组联邦元学习方法,其特征在于,所述S3具体包括以下步骤:S31、本地客户端随机选取自端客户端数据并进行数据增强得到随机数据集,然后输入基于自注意力机制的卷积神经网络,更新数据分布表示;

S32、本地客户端接收到对应组的组元模型,利用随机数据集进行本地迭代更新得到更新后的本地元模型;

S33、所有本地客户端将更新后的模型和数据分布表示上传给服务器。

6.根据权利要求1所述的一种基于数据增强与隐私增强的组联邦元学习方法,其特征在于,所述本地客户端本地迭代更新分为元训练阶段和元测试阶段;

元训练阶段:本地客户端将自端训练任务数据集 ,作为模型的输入数据,进行模型训练从而使模型梯度下降,得到更新后的客户端本地元模型和自适应差分项:(9);

公式(9)中,代表元训练阶段的学习率, 代表在 轮中本地客户端i选取的训练任务数据集 中m个任务的损失表示, 代表服务器下发的组元模型;

元测试阶段:本地客户端通过利用自端测试任务数据集 ,对模型和自适应差分项进行微调;

(10);

公式(10)中,代表元测试阶段的学习率, 代表本地客户端i在第 次元训练阶段后的本地元模型;

通过元训练和元测试阶段得到了本地客户端i的本地元模型 和自适应差分项,在上传服务器之前,对元模型梯度进行噪声干扰,最终生成更新后的本地元模型:(11)。