1.一种基于风格变换的高迁移性对抗文本生成方法,其特征在于,包括如下步骤:org
S1、构建预训练模型,包括构建原始替代模型F 、构建释义生成器P、构建特征提取器E和特征解码器D;
S2、构建测试文本的向量表示集和替代模型集 所述测试文本的向量表示集包括语义p s特征向量集V、缩放因子集 和风格特征向量集V ;
sr
S3、构建任务集,包括构建总任务集Task,划分查询任务集Taskqr和支持任务集Task ;
*
S4、利用元学习优化策略获取风格特征噪声向量δ;
*
S5、生成对抗文本x。
2.根据权利要求1所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:在org步骤S1中,所述构建原始替代模型F 具体包括:tr tr
设训练文本集为 将X 输入到目标模型中,从而获得目标模型对X 的预测tr tr标签集 将X 和Y 配对,形成原始训练数据集tr org
将W 作为训练数据,训练后得到目标模型的原始替代模型F ;
所述构建释义生成器P具体包括:设文本释义数据集为 将W作为训练数据,训练得到释义生成器P;
所述的构建特征提取器E和特征解码器D具体包括:先搭建初始特征提取器和初始特征解码器的联合网络模型,初始特征提取器由预训练模型BERT和池化层Pooling组成,初始特征解码器由预训练模型BERT和全连接层Linear组成;
tr
将原始文本集X 中的文本进行向量化,得到原始文本向量集tr
将原始文本向量集V 作为输入,输入到联合模型中,得到输出向量计算损失值,根据该损失值利用梯度反向传播策略更新一次联合模型的参数;
重复执行ψ次上述步骤,训练得到特征提取器E和特征解码器D。
3.根据权利要求1所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:所述步骤S2中构建测试文本的向量表示集的具体步骤包括:S21、构建释义文本集;
ts ts ts ts tsS21‑1、设测试数据为data =(x ,y ),y 是测试文本x 的真实标签;
ts ts
S21‑2、将x 输入到释义生成器P中,获得x 的一个释义文本;
ts
S21‑3、重复执行G次步骤S21‑2,得到x 的释义文本集S22、获取文本特征向量、语义特征向量集;
ts ts A
将x 作为输入,输入到特征提取器E中,得到x 的文本特征向量v ;依次将Xp中的每一个释义文本 作为输入,输入到特征提取器E中,得到Xp的语义特征向量集是 的语义特征向量;
S23、获取缩放因子集、风格特征向量集;
A
S23‑1、对一个语义特征向量 和文本特征向量v ,求解得到 对应的缩放因子βg和风格特征向量p
S23‑2、对V中的每一个 执行步骤S23‑1,得到 和风格特征向量集
4.根据权利要求1所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:所ts述步骤S2中构建替代模型集 具体包括:首先初始化衰减因子集为γ,然后将测试文本x* *输入到原始替代模型中,通过正态分布采样得到优化后的衰减因子集γ ,最后将γ应用于原始替代模型中,得到替代模型集
5.根据权利要求1所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:所述步骤S3中构建任务集的具体步骤包括:S31、构建总任务集Task:对语义特征向量集 缩放因子集 风格特征向量集 替代模型集 中的元素进行匹配;
得到总任务集
sr
S32、划分查询任务集Taskqr和支持任务集Task :sr qr
将总任务集Task划分为查询任务集Taskqr和支持任务集Task ,满足Task=Task ∪srTask 和
其中,查询任务集 是查询任务集中的第m个查询任务;
支持任务集 是支持任务集中的第n个支持任务。
6.根据权利要求1所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:所*述步骤S4利用元学习优化策略获取风格特征噪声向量δ的具体步骤包括:S41、在支持任务集上获取风格特征噪声:sr
S41‑1、在支持任务集Task 中随机选取B个任务,得到支持任务子集其中, 是支持任务子集中的第b个支持任务;
S41‑2、对支持任务 计算特征向量 将 输入到解码器D中,得到文本向量
S41‑3、将 输入到支持任务子集的Fb中,得到Fb对 的预测标签y′b和损失值利用反向传播,得到 关于 的梯度向量S41‑4、对支持任务集中的每一个任务执行S41‑1~S41‑3步骤,得到支持梯度向量集sub subg ,计算g 中所有梯度向量的平均值,得到第c次元学习优化中的平均支持梯度向量S41‑5、计算噪声向量S42、在查询任务集上扰动风格特征向量:sub
S42‑1、在查询任务集Taskqr的查询任务 中,将δ添加到 中,得到扰动后的风格特征向量 再将 投影到 方向上,得到投影后的风格特征向量
S42‑2、计算特征向量 将 输入到解码器D中,得到文本向量S42‑3、将 输入到查询任务集的Fm中,得到Fm对 的预测标签y″m和损失值 利用反向传播,得到 关于 的梯度向量S42‑4、对查询任务集中的每一个任务执行S42‑1~S42‑3步骤,得到查询梯度向量集qr qrg ,计算g 中所有梯度向量的平均值,得到第c次元学习优化中的平均查询梯度向量S43、通过迭代多次元学习优化获取噪声向量:sr
重复执行 次步骤S41~S42,得到平均支持梯度向量的集合G 和平均查询梯度向量的qr集合G ;
sr qr
计算G 中所有元素的平均值 计算G 中所有元素的平均值计算噪声向量
7.根据权利要求1所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:所*述步骤S5中生成对抗文本x的具体步骤包括:S51、分离语义特征与风格特征:ts ts p
将测试文本x 输入到释义生成器P中,获得x 的一个释义文本x;
ts ts A
将x 作为输入数据,输入到特征提取器E中,得到x 的文本特征向量v;
p p p
将x作为输入数据,输入到特征提取器E中,得到x的语义特征向量v;
p s
利用求解公式,求解得到v对应的缩放因子β和风格特征向量v;
S52、生成对抗样本:
* s s′ s * s′ s将δ添加到v 中,得到扰动的风格特征向量v =v+δ,再将v 投影到v方向上,得到投影后的风格特征向量* p s*
计算特征向量v=βv+v ;
* * ts *
将v输入到解码器D中,得到对抗文本x,令x =x;
*
重复执行τ次上述步骤,得到最终的对抗文本x。
8.根据权利要求7所述的基于风格变换的高迁移性对抗文本生成方法,其特征在于:所述步骤S51中的求解公式具体为