利索能及
我要发布
收藏
专利号: 2020106136778
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种联邦学习方法,其特征在于,所述方法包括:

获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;

根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;

基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;

将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理;

所述方法还包括:

接收至少两个所述客户端各自发送的样本分布差异信息;所述样本分布差异信息为对应的所述客户端在接收到新增数据样本集合时,根据历史数据样本集合和新增数据样本集合之间的分布差异得到的;

基于所述样本分布差异信息,确定各个客户端内部的样本稳定程度值,基于所述样本分布差异信息以及全局的数据信息判定整体受影响的因子个数以及整体受影响的因子占比;根据所述样本稳定程度值、所述整体受影响的因子个数以及所述整体受影响的因子占比进行加权求和或者加权平均,确定针对所述目标联邦学习任务的整体样本变动值;

当所述整体样本变动值大于预设的变动阈值时,重新生成所述目标联邦学习任务中的联邦学习模型;

基于所述新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,得到所述训练后的联邦学习模型。

2.根据权利要求1所述的方法,其特征在于,所述获取参与目标联邦学习任务的至少两个客户端的任务配置信息,包括:接收至少两个所述客户端发送的任务配置解析结果;所述任务配置解析结果为所述客户端对所述用户录入的任务配置数据进行解析得到的结果;

汇总多个所述任务配置解析结果,得到所述任务配置信息。

3.根据权利要求1所述的方法,其特征在于,所述基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作,包括:在所述初始化后的模型训练配置信息中,确定针对所述模型训练操作的特征工程信息;

根据所述特征工程信息,对储存于各个所述客户端本地的用户数据样本进行特征处理,得到模型训练数据样本;

基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作。

4.根据权利要求3所述的方法,其特征在于,在所述根据所述初始化后的模型训练配置信息,确定针对所述模型训练操作的特征工程信息的步骤之前,还包括:在所述初始化后的模型训练配置信息中,确定针对所述模型训练操作的数据预处理配置信息;

根据所述数据预处理配置信息,对储存于各个所述客户端本地的原始用户数据进行数据预处理,得到所述用户数据样本。

5.根据权利要求1所述的方法,其特征在于,所述目标联邦学习任务具有多个子模型训练任务,所述基于所述模型训练数据样本,执行所述目标联邦学习任务的模型训练操作,包括:获取任务处理队列;所述任务处理队列用于表征多个所述子模型训练任务的执行顺序;

根据所述任务处理队列,执行多个所述子模型训练任务,以基于所述模型训练数据样本,对所述目标联邦学习任务中的联邦学习模型进行联邦学习训练,得到各个所述客户端对应的模型更新参数;其中,所述联邦学习模型为基于所述初始化后的模型训练配置信息选择得到的。

6.根据权利要求5所述的方法,其特征在于,所述根据所述任务处理队列,执行多个所述子模型训练任务,包括:当完成执行各个所述子模型训练任务后,组合多个所述子模型训练任务返回的处理结果,得到所述目标联邦学习任务对应的任务处理结果;

根据所述任务处理结果,判断所述训练后的联邦学习模型是否满足预设的训练终止条件;

若否,则基于所述训练后的联邦学习模型的模型性能测试结果,调整所述初始化后的模型训练配置信息;

基于调整后的模型训练配置信息,执行所述目标联邦学习任务的下一轮模型训练操作。

7.根据权利要求2所述的方法,其特征在于,所述任务配置信息还包括:任务类型、引擎框架、自动调参算法、提前终止算法以及数据预处理方法中至少一项;

所述客户端对所述用户录入的任务配置数据进行的解析包括:启动任务的类型、使用的引擎框架、使用的自动调参算法、使用的提前终止算法以及是否需要进行特征工程的解析。

8.一种联邦学习装置,其特征在于,所述装置包括:

获取模块,用于获取参与目标联邦学习任务的至少两个客户端的任务配置信息;所述任务配置信息为基于所述客户端接收到的任务配置数据进行汇总得到的;所述任务配置数据为用户针对所述目标联邦学习任务录入的数据;

初始化模块,用于根据所述任务配置信息,对所述目标联邦学习任务中的模型训练配置信息进行初始化;

执行模块,用于基于初始化后的模型训练配置信息,执行所述目标联邦学习任务的模型训练操作;

更新模块,用于将执行所述模型训练操作时生成的模型更新参数发送至对应的所述客户端,以使所述客户端更新本地的联邦学习模型,得到各个所述客户端对应的训练后的联邦学习模型;所述训练后的联邦学习模型用于供对应的所述客户端对接收到的用户数据进行业务处理;

所述装置还包括:

接收模块,用于接收至少两个所述客户端各自发送的样本分布差异信息;所述样本分布差异信息为对应的所述客户端在接收到新增数据样本集合时,根据历史数据样本集合和新增数据样本集合之间的分布差异得到的;

监控模块,用于基于所述样本分布差异信息,确定各个客户端内部的样本稳定程度值,基于所述样本分布差异信息以及全局的数据信息判定整体受影响的因子个数以及整体受影响的因子占比;根据所述样本稳定程度值、所述整体受影响的因子个数以及所述整体受影响的因子占比进行加权求和或者加权平均,确定针对所述目标联邦学习任务的整体样本变动值;

生成模块,用于当所述整体样本变动值大于预设的变动阈值时,重新生成所述目标联邦学习任务中的联邦学习模型;

更新模块,用于基于所述新增数据样本集合,对重新生成的联邦学习模型进行联邦学习训练,得到所述训练后的联邦学习模型。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。