1.一种基于知识注入和知识编码的语言隐写分析方法,其特征在于,具体步骤如下:步骤一,构建一个基于知识注入和知识编码的语言隐写分析系统模型;
所述的系统模型命名为KIKE,包括基于知识注入的语义编码和基于知识提取的知识编码;
步骤二,语言隐写分析系统模型借助知识图对输入句子进行预处理,以适应现有的顺序语言模型框架,完成知识注入;
预处理过程具体为:
步骤201,输入句子S是由一系列标记组成的集合,表示为S={w1,w2,...,wn},其中n是句子的长度,wi是句子的第i个标记;知识图K是由实体和实体之间关系的三元组组成的图结构,表示为K(V,E),K包含多个三元组(vi,ek,vj),其中vi和vj是实体,ek表示实体之间的关系;
步骤202,利用知识图将输入句子从原始形式S转换为句子树S'为:其中,(wi,...,wi+l‑1)代表由l个词组成的实体Ei, 表示连接到Ei的多个分支;
步骤203,对句子树S'中的标记重新编号,使用软位置索引和硬位置索引的组合进行语言模型的位置嵌入;
步骤204,使用硬位置索引构建可见矩阵M,指导知识分支的可视范围;
可见矩阵M表示如下:
其中, 表示两个标记在同一分支, 表示两个标记不在同一分支,i和j是硬位置索引;
步骤三,对句子树和可见矩阵采用BERT,完成语义特征的提取,并进行知识注入语义编码;
具体过程为:
步骤301,BERT的嵌入层包括词嵌入、位置嵌入和段嵌入,在位置嵌入部分使用软位置索引,以表示句子中标记的相对位置,词嵌入和段嵌入部分保留原始的映射方法;
步骤302,将这三部分信息嵌入到高维特征空间并相加,以获得隐藏层变量H0={h1,n′×dh2,...,hn′}∈R ,其中n'是经过压缩句子树后展平序列的长度,d是特征的数量;
步骤303,将H0传递给Mask‑Transformer模块,该模块由L个堆叠的Mask‑Transformer子层组成,每一层的输入向量集是前一层的输出向量集,如下所示:l l‑1
H=Mask‑Transformerl(H ),1≤l≤L步骤304,经过L层语义特征的细化,使用sigmoid函数得到知识注入语义编码的表示向量:L
其中,H0表示第L层Mask‑Transformer子层输出的隐藏层变量;
步骤四,在预处理的同时,使用图结构建模的KE模块对输入句子和知识图进行知识提取,得到迷你图;
首先从输入句子中提取已识别的实体,并逐一连接,然后将它们连接到知识图中相应的对象分支,形成一个迷你图G(γ ,E),其中γ={v1,…,vm},m是句子树中实体的数量,E={εab=(va,vb)1≤a,b≤m}是边集;
C
通过最大池化函数将H中的实体向量作为图节点的初始向量,并采用一个邻接矩阵A∈m×mR 来表示实体之间的连接关系;
步骤五,通过一个两层的GAT对迷你图进行知识编码,然后将捕获的实体节点特征和从知识注入模块获得的表示向量串联并加入到一个全连接层中,系统模型通过全连接层的输出预测输入文本是正常载体还是隐写载体;
步骤六,对系统模型的预测准确性进行训练,在训练阶段,使用交叉熵损失函数更新系统模型参数,当损失函数最小化时,训练完成。
2.根据权利要求1所述的一种基于知识注入和知识编码的语言隐写分析方法,其特征在于,对句子树S'中的标记重新编号的具体实现过程为:首先,原句子每个标记的软位置索引为1~n,若知识图注入的内容与原句子软位置i的距离为x,则知识图注入内容的软位置索引为i+x,并在位置嵌入过程中映射到相同的位置向量;
然后,硬位置索引用于重新排序句子树中的标记,并将句子树展平为线性序列,以进行编码阶段;
最后,通过以上软硬位置索引的组合,得到句子树中各标记的索引。
3.根据权利要求1所述的一种基于知识注入和知识编码的语言隐写分析方法,其特征在于,所述每一层Mask‑Transformer子层包括一个多头注意力层、一个全连接层和两个残差连接标准化层。
4.根据权利要求3所述的一种基于知识注入和知识编码的语言隐写分析方法,其特征在于,所述Mask‑Transformer子层使用可见矩阵来控制在注意力计算过程中标记之间的相l l l关性计算;每个隐藏向量组(Q ,K ,V)的计算如下:l l
其中,Wq、Wk和Wv是可训练的参数矩阵,h 是第l层中所有隐藏向量的组合;S 是第l层的l l l l注意力得分;如果向量hi对hj是可见的,那么相关计算与BERT中的相同;如果h i和hj是不可见的,由于Mij=‑∞,注意力得分 将被设置为0。
5.根据权利要求1所述的一种基于知识注入和知识编码的语言隐写分析方法,其特征在于,GAT对迷你图进行知识编码的过程为:首先,第一层采用多头图注意力层,提取节点之间的关联信息;对于每个多头图注意力层,使用一个全局共享的权重矩阵W对初始向量进行线性变换;
然后,使用Softmax方法计算每个节点与其连接节点之间的图注意力系数αij,具体表达式如下:d×d' 2d'
其中,Ni表示与节点ei相连接的所有邻居节点的集合,W∈R 和a∈R 是模型参数,LeakyReLU是一个非线性激活函数;
最后,利用αij,通过自适应聚合来自邻居节点的信息对节点i的特征表示进行更新,如下所示:其中,σ是sigmoid激活函数;将多个GALs的输出向量串联起来,馈送到下一个单独的2
GAL中,得到m个节点的向量集合e。
6.根据权利要求1所述的一种基于知识注入和知识编码的语言隐写分析方法,其特征在于,交叉熵损失函数为:其中,y是正常载体的标签,是模型输出的预测标签,N是输入样本的数量。