利索能及
我要发布
收藏
专利号: 2025109136467
申请人: 中国民航大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于自然语言处理模型后门攻击防御的处理方法,其特征在于,所述方法包括如下步骤:S100,将获取的原始文本数据集划分为第一数据集和第二数据集;

S200,对第一数据集进行数据增强处理,得到第一数据集的增强数据集,并将第一数据集和对应的增强数据集合并,作为第一训练数据集;

S300,利用第一训练数据集对初始的自然语言处理模型进行第一阶段训练,并将进行第一阶段训练后的自然语言处理模型作为中间模型;自然语言处理模型包括数据处理模型和预测模块,其中,数据处理模型包括初始特征获取模块、特征加权模块、分类标记特征获取模块、卷积特征提取模块、特征融合模块和特征映射模块,其中,初始特征获取模块分别与特征加权模块、分类标记特征获取模块和卷积特征提取模块连接,特征加权模块、分类标记特征获取模块和卷积特征提取模块还分别与特征融合模块连接,所述特征融合模块、所述特征映射模块和所述预测模块依次连接;

S400,利用第二数据集对中间模型进行第二阶段训练,将进行第二阶段训练后的中间模型作为最终的自然语言处理模型。

2.根据权利要求1所述的方法,其特征在于,所述初始特征获取模块包括预训练编码器和初始特征融合模块,所述初始特征融合模块用于将所述预训练编码器得到的多个初始特征进行融合,得到融合初始特征并分别发送给所述特征加权模块和所述卷积特征提取模块;所述分类标记特征获取模块用于获取所述预训练编码器的最后一层输出的初始特征中的分类标记特征。

3.根据权利要求2所述的方法,其特征在于,所述特征加权模块用于对接收到的融合初始特征进行加权处理,得到对应的加权特征。

4.根据权利要求3所述的方法,其特征在于,所述特征加权模块具体用于执行如下步骤:S10,对接收到的融合初始特征进行第一线性变换处理,得到第一特征;

S11,利用第一激活函数对第一特征进行激活处理,以及对激活处理后的结果进行第二线性变换处理,得到第二特征;

S13,对第二特征进行注意力掩码操作,得到对应的掩码操作结果,作为第三特征;

S14,将第三特征和所述融合初始特征进行加权求和,得到所述加权特征。

5.根据权利要求4所述的方法,其特征在于,所述加权特征满足如下条件:n

Fa=∑j=1(FLj⊙H)j ;

其中,Fa为加权特征,FLj为对第三特征进行归一化处理后得到的特征向量中的第j个特征的特征值,j的取值为1到n,n为对第三特征进行归一化处理后得到的特征向量的特征维度,Hj为融合初始特征中的第j个特征的特征值,⊙表示点乘。

6.根据权利要求2所述的方法,其特征在于,卷积特征提取模块包括m个卷积单元,任意两个卷积单元的卷积核大小不相同;其中,卷积特征提取模块的输出特征通过如下步骤获取:S20,利用第r个卷积单元对接收到的融合初始特征进行卷积操作,得到第r个卷积单元的卷积结果,作为第r个卷积结果;r的取值为1到m,并且初始值为1;

S21,对第r个卷积结果依次进行激活和池化处理,得到对应的处理结果,作为第r个卷积处理特征;

S22,将m个卷积处理特征进行拼接,作为卷积特征提取模块的输出特征。

7.根据权利要求1所述的方法,其特征在于,特征映射模块的输出特征通过如下步骤获取:S30,对接收到的输入特征进行第一映射处理,得到第一映射特征;

S31,对第一映射特征进行第二映射处理,得到第二映射特征;

S32,对第二映射特征进行第三映射处理,得到第三映射特征;

S33,对第三映射特征进行L2归一化操作,得到特征映射模块的输出特征。

8.根据权利要求1所述的方法,其特征在于,在第一阶段训练中,基于对比损失值对数据处理模型的参数进行更新;

其中,每个批次的训练数据的对比损失值满足如下条件:

其中,Lcontra为每个批次的训练数据的对比损失值,Iuv为每个批次的训练数据中互为正样本的第u个训练数据和第v个训练数据对应的特征的对比损失值,u和v的取值均为1到N,N为每个批次的训练数据的数量, ,其中,sim(zu,zu)表示第u个训练数据和第v个训练数据对应的特征之间的相似度,sim(zu,zd)表示第u个训练数据对应的特征和第d个训练数据对应的特征之间的相似度,d的取值为1到N;τ为温度系数,X为指示函数,如果d≠u,X=1,否则,X=0,exp()为指数函数。

9.一种用于自然语言处理模型后门攻击防御的处理装置,其特征在于,所述装置包括:数据获取模块,用于获取的原始文本数据集,并将获取的原始文本数据集划分为第一数据集和第二数据集;

数据增强模块,对第一数据集进行数据增强处理,得到第一数据集的增强数据集,并将第一数据集和对应的增强数据集合并,作为第一训练数据集;第一训练模块,用于利用第一训练数据集对初始的自然语言处理模型进行第一阶段训练,并将进行第一阶段训练后的自然语言处理模型作为中间模型;自然语言处理模型包括数据处理模型和预测模块,其中,数据处理模型包括初始特征获取模块、特征加权模块、分类标记特征获取模块、卷积特征提取模块、特征融合模块、特征映射模块和归一化处理模块,其中,初始特征获取模块分别与特征加权模块、分类标记特征获取模块和卷积特征提取模块连接,特征加权模块、分类标记特征获取模块和卷积特征提取模块还分别与特征融合模块连接,所述特征融合模块、所述特征映射模块和所述归一化处理模块依次连接;

第二训练模块,用于利用第二数据集对中间模型进行第二阶段训练,将进行第二阶段训练后的中间模型作为最终的自然语言处理模型。