1.一种基于图神经网络的多视角文本分类方法,包含以下步骤:步骤1:对输入的文本进行预处理;
步骤2:基于固定大小的滑动窗口将文本构建成一个文本图,其中每个节点表示一个单词,边表示它们之间的语义关系;
步骤3:使用Glove词嵌入模型将文本转化为低维向量表示,这种向量保留了单词之间的语义和语法关系;
步骤4:将初始文本向量矩阵输入门控图神经网络GGNN(Gated Graph Neural Network)中,对文本数据中的语义关系和单词依赖关系建模和学习;
步骤5:为了增强文本特征的表示,将GGNN的输出分别输入到BiLSTM和TextCNN,增强文本的序列上下文特征和N‑grams局部特征表示;
步骤6:考虑到不同节点对文本的重要性不同,使用节点级注意力机制对单词节点表示进行聚合;
步骤7:将图结构特征、BiLSTM顺序特征、N‑grams局部特征输入多视角特征提取器,融合多视角文本特征表示;
步骤8:将初始文本向量矩阵输入远距离特征提取器,使用自注意力机制计算并替换图的邻接矩阵,自适应地调节单词节点的感受野;
步骤9:使用KL散度衡量多视角融合特征及远距离节点特征之间的概率分布;
步骤10:使用交叉熵损失函数与KL散度正则化项计算模型损失,联合优化模型。
2.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
2具体包括:若两个单词在大小为k的滑动窗口中同时出现,则在它们之间添加一条无向边;
无向边的权重由两个单词在滑动窗口中共现的次数决定;
形式上,文本图表示为G=(V,E),其中V={v1,v2,…,vn}表示不同单词的集合,E={e1,e2,…,en}表示单词之间形成的边的集合。
3.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
4具体包括:节点可以从相邻节点接收信息,然后与其在前一个时间步的表示合并,以更新每个节点的隐藏状态;具体传播过程如下:t t t‑1
z=σ(Wza+Uzh +vz) (2)t t t‑1
r=σ(Wra+Urh +br) (3)其中,表示图的归一化对称邻接矩阵,D表示度矩阵,⊙表示元素点乘;W、U和b都是可训练的权值和偏差,门控图卷积后得到的特征矩阵表示为Hg。
4.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
5具体包括:
Hl=BiLSTM(Hg) (6)Hc=TextCNN(Hg) (7)
5.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
6具体包括:只对图卷积后的特征表示Hg和序列增强后的特征表示Hl执行节点级注意力聚合操作;通过计算节点的度中心性和节点注意力权重,进一步提取文本的语义特征;对于词节点v,其度中心性记为 词节点的度中心性越高,说明它对整个句子越重要;
具体公式如下:
αv=dv⊙σ(f1(hv)) (8)hv=αv⊙tanh(f2(hv)) (9)f1和f2是两个多层感知机,Maxpooling表示最大池化。
6.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
7具体包括:在特征融合过程中,每个视角的语义特征被视为一个新的节点,另外两个视角的语义特征被视为它的邻居节点;语义特征矩阵定义为Hm=Hg⊕Hl⊕Hc,邻接矩阵Am定义如下:W是一个可学习的权矩阵,⊕表示拼接操作;eij表示节点j对节点i的重要性,为了保证其他视图节点的权重不大于当前节点的权重,设σ为sigmoid激活函数;最后,只需进行简单的矩阵变换就可以得到多视角特征提取器的输出结果:
7.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
8具体包括:
首先,将初始文本向量矩阵输入到BiLSTM中得到远距离语义特征Hr,然后使用点积自注意力机制学习文本中不同单词的重要性;
对于Ar中小于0的元素被认为是负相关,因此,Ar中小于0的元素全部被置为0;最后,将Hr和Ar输入门控神经网络GGNN并采用节点级注意力聚合文本特征得到远距离语义特征
8.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
9具体包括:两个概率分布之间的差异越大,KL散度计算的值越大;对多视角融合特征 和远程节点特征 进行非线性变换,计算过程如下:
9.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤
10所述的模型损失是:
10.如权利要求1所述的一种基于图神经网络的多视角文本分类方法,其特征在于:步骤4所述的GGNN包括多层GGNN网络的堆叠,每一层用于学习高阶邻居节点的信息。