利索能及
我要发布
收藏
专利号: 202210327799X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-12-31
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种中文文本中基于词性融合的对抗训练的防御方法,其特征在于,所述方法包括采集原始中文文本数据集,采用多种词级的对抗攻击对所述中文文本数据集进行处理,并形成对抗样本数据集;将中文文本数据集与对抗样本数据集进行混合并构成训练集;采用中文分词工具从所述训练集中提取出中文文本词语的语义信息和词性信息,以不同的词嵌入方式分别将其编码成语义特征和词性特征,并将所述语义特征和所述词性特征拼接组成高级联合特征,将所述高级联合特征作为神经网络模型的输入数据,进行对抗训练,以最小化对抗损失为目标,训练得到可防御词级攻击的强化模型;

语义信息的词嵌入方式包括在所述训练集上去除停用词后,使用分词器在指定数据集上生成编码字典,并统计出数据集语料库中词频相关信息,形成语义信息和向量的对应关系,从而将文本转换成向量表示,并采用补零法将句子设置为固定长度的语义特征;

词性信息的词嵌入方式包括构建词性与数字一一对应的词性编码转换表,将每个词性信息都按照词性编码转换表转换成数值作为词性特征,运用补零法将词性特征表示成语义特征的长度;

将所述语义特征和所述词性特征拼接组成高级联合特征包括将一维语义特征和一维词性特征分别以横向融合和纵向融合的方式对齐拼接形成高级联合特征,其中所述横向融合表示为将一维语义特征和一维词性特征进行横向拼接,形成一维高级联合特征;所述纵向融合表示为将一维语义特征和一维词性特征进行纵向拼接,形成二维高级联合特征;

对抗训练的过程包括对抗样本生成和模型训练两个步骤:在样本生成阶段,采用多种词级攻击策略攻击原始神经网络模型,并生成混合的对抗样本数据集;在模型训练阶段,采用自适应方法迭代抽取部分对抗样本数据集替换原始训练集中对应中文文本数据集,并训练神经网络模型;

所述进行对抗训练的过程包括:

利用当前抽取出的原始样本和对抗样本,以最大化分类损失为目标,即尽可能让当前参数的神经网络模型对原始样本和对抗样本的分类预测结果出错;以最小化分布损失为目标,即尽可能让当前参数的神经网络模型对原始样本和对抗样本的分类预测结果一致;通过对抗训练的方式来更新神经网络模型的参数θ;按自适应方式更新对抗样本的抽取比例,更新对抗样本利用更新后的原始样本和对抗样本,优化神经网络模型的参数,在不同抽取过程中,以最大化神经网络模型对对抗样本识别的准确率为目标,通过反向传播更新抽取比例,并输出最优抽取比例所对应的最优神经网络模型;

最优神经网络模型的目标函数表示为:

其中, 表示采用对抗训练集 中对抗样本x对应的识别准确率, 表示原始中文文本训练集, 表示对抗样本训练集,θ表示神经网络模型参数,L(x+Δx,y;θ)表示原始样本x经过对抗扰动Δx生成对抗样本并经过预测得到分类结果y所对应的损失值,表示通过模型最小化损失值来更新模型参数θ,Ω表示扰动空间,x表示原始样本,′Δx表示对抗扰动,x表示对抗样本。

2.根据权利要求1所述的一种中文文本中基于词性融合的对抗训练的防御方法,其特征在于,所述提取出中文文本的语义信息和词性信息包括使用训练完成的中文分词工具包对中文文本句子进行分词处理,将句子分割成若干个神经网络模型可以直接处理的词语,并将词语作为语义信息,对词语进行词性标注,并将词性标注信息作为词性信息。

3.根据权利要求1所述的一种中文文本中基于词性融合的对抗训练的防御方法,其特征在于,所述通过反向传播更新抽取比例包括以当前抽取比例所对应的对抗损失进行梯度运算,结合梯度运算的结果对神经网络模型的模型参数进行反向传播,直至神经网络模型收敛,输出当前最优抽取比例下的模型参数。