1.协同学习框架下基于知识迁移的隐私保护方法,其特征是,包括:
将本地隐私数据集分割成互不相交的若干份隐私子集,基于每一个隐私子集,训练对应的一个隐私模型;
协同学习:将公共数据提交给隐私模型,隐私模型使用聚合机制,利用知识迁移给公共数据集标注标签;
在获得足够的标注后的数据后,训练本地交互模型,在每一轮的训练中上传部分参数至服务器,服务器更新维护全局参数并提供最新的参数供各方下载,参与方下载最新参数优化本地交互模型。
2.如权利要求1所述的协同学习框架下基于知识迁移的隐私保护方法,其特征是,在获得足够的标注后的数据后,对数据进行清洗,剔除没有被聚合机制标注标签的数据,清洗完成后的数据集作为交互模型的训练数据。
3.如权利要求1所述的协同学习框架下基于知识迁移的隐私保护方法,其特征是,模型训练时,初始化本地交互模型参数,同时服务器初始化全局参数和计数器值;
从服务器下载参数,替换本地相关参数,运行SGD算法,优化本地交互模型,产生新一轮的参数;
计算两次权重更新的梯度差,并将其排序,选择更新值较大的参数上传至服务器;
服务器接收上传的参数,并更新全局参数和计算器值,根据计数器值将参数排序供参与方下载;
不断进行模型参数优化直至本地交互模型收敛到预定目标,结束训练。
4.如权利要求1所述的协同学习框架下基于知识迁移的隐私保护方法,其特征是,基于每一个隐私子集,训练对应的一个隐私模型,隐私子集的训练方式根据训练目标和数据集类型而定。
5.如权利要求1所述的协同学习框架下基于知识迁移的隐私保护方法,其特征是,隐私模型使用聚合机制,利用知识迁移给公共数据集标注标签,具体为:在聚合机制中会提前设定一个阈值和噪音参数;
在输入一个数据后,每个隐私模型会对该数据预测一个标签,聚合机制首先会统计所有预测结果投票数,若大部分隐私模型的预测都同意某一结果,则加入高斯噪声后输出该标签,若隐私模型对预测结果有分歧,无法达成一致,则丢弃该数据,将标签标记为空。
6.如权利要求5所述的协同学习框架下基于知识迁移的隐私保护方法,其特征是,在获取到带噪音标签的数据文件后,需要进行数据清洗,去除没有被聚合机制打上标签的数据,即标签显示为空的数据,形成一个新的数据集,作为本地交互模型的训练集。
7.如权利要求1所述的协同学习框架下基于知识迁移的隐私保护方法,其特征是,服务器接收上传的参数,并更新全局参数和计算器值,之后,设置一个衰减参数,获得衰减后的计算器值,服务器对衰减后计数器值进行排序,各参与方会优先下载具有较大计数器值的参数。
8.协同学习框架下基于知识迁移的隐私保护系统,其特征是,包括:本地端和服务端;
所述本地端将本地隐私数据集分割成互不相交的若干份隐私子集,基于每一个隐私子集,训练对应的一个隐私模型;
协同学习时,将公共数据提交给隐私模型,隐私模型使用聚合机制,利用知识迁移给公共数据集标注标签;
在获得足够的标注后的数据后,训练本地交互模型,在每一轮的训练中上传部分参数至服务器;
所述服务器更新维护全局参数并提供最新的参数供各方下载,参与方下载最新参数优化本地交互模型。
9.一种计算机设备,其特征是,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-7任一所述的协同学习框架下基于知识迁移的隐私保护方法的步骤。
10.一种计算机可读存储介质,其特征是,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-7任一所述的协同学习框架下基于知识迁移的隐私保护方法的步骤。