利索能及
我要发布
收藏
专利号: 2019107877981
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于跨网络特征映射的节点信息获取方法,其特征在于,若源网络中的节点的结构信息和文本信息均完备,而目标网络中节点的文本信息有部分缺失,利用迁移学习的方法利用训练好的源网络去学习目标网络中节点的表示,从而获得文本信息完整的目标节点中的节点描述,其中所述节点为网络中的用户、文章、设备或者服务器,获取节点描述的具体过程包括:

S1、获取源网络和目标网络的文本数据信息以及结构数据信息;

S2、利用实体链接工具获得源网络和目标网络文本中的实体以及实体对应的数据链接;

S3、将数据链接对应的文本数据加入到源网络和目标网络的文本数据中,形成新的源网络和目标网络文本数据;

S4、利用网络结构特征提取工具将源网络和目标网络的信息结构分别表示为V1,V2,其中,V1和V2的维度数均为1×dr;dr为结构向量维度;

S5、对源网络和目标网络的文本数据进行嵌入操作,得到源网络和目标网络的第一文本矩阵S1,S2,并将V1和V2向量分别加入到源网络和目标网络的第一文本矩阵中,得到源网络和目标网络的第二文本矩阵S1',S2';

S6、将源网络的第二文本矩阵S1'矩阵输入到源网络的神经网络中进行训练;

S7、训练源网络的过程中,源网络的第二文本矩阵S1'通过多头注意力机制层得到注意力加权,获得源网络的第三文本矩阵S1”;

S8、对源网络的第三文本矩阵S1”进行归一化处理,并将结果输入到神经网络的全连接层;

S9、将全连接层更新的向量作为softmax层的输入,并最大化softmax函数,完成训练;

S10、利用训练好的源网络的神经网络迁移到目标网络的神经网络,获得目标网络中节点的向量表示。

2.根据权利要求1所述的一种基于跨网络特征映射的节点信息获取方法,其特征在于,对源网络的文本数据进行嵌入包括:源网络的文本矩阵的列对应句子中的每个单词、行对应每个单词的向量表示;

单词的向量表示为随机初始的值或者预先训练好的词向量;若一个词没有预先训练好的词向量,则该词可被随机量化;

通过填充操作将长短不一的句子填充为统一长度;

若一个文本中句子的最大长度为n,si表示源网络中长度为n的句子中第i个单词的向量表示为si=(e1,e2,...,er),er表示构成si中的第r个元素;

源网络文本矩阵表示为S=(s1,s2,s3,...sn),将源网络结构向量V1加入到对应的文本矩阵中,最终输入到源网络的第一文本矩阵为S1=(s1,s2,s3,…sn,v1);其中v1表示源网络的结构信息。

3.根据权利要求1所述的一种基于跨网络特征映射的节点信息获取方法,其特征在于,对目标网络的文本数据进行嵌入包括:对于包含文本的节点,文本矩阵的列对应句子中的每个单词、行对应每个单词的向量表示;

单词的向量表示为随机初始的值或者预先训练好的词向量;若一个词没有预先训练好的词向量,则该词可被随机量化;

通过填充操作将长短不一的句子填充为统一长度;

设一个文本中句子的最大长度为n,si'表示目标网络中长度为n的句子中第i个单词的向量表示为si'=(e1',e2',...,er'),er'表示构成si'中的第r个元素;

目标网络中带有文本的节点,其文本矩阵可表示为:S'=(s1',s2',s3',...sn');

对于没有文本的节点,其文本矩阵为S'=(s1',s2',s3',...sn'),其中s1',s2',s3',...sn' = 0 ;

将结构向量V2加入到对应的文本矩阵中,最终目标网络的输入矩阵为S2=(s1',s2',s3',…sn',v2);其中v2表示目标网络的结构信息。

4.根据权利要求1所述的一种基于跨网络特征映射的节点信息获取方法,其特征在于,通过多头注意力机制层得到注意力加权的过程包括:对输入的源网络的第二文本矩阵S1'进行归一化处理;

多头注意力机制层由h个缩放点积注意力单元堆叠构成,在每个缩放点积注意力单元中的查询值Q、关键值K以及所有词的嵌入表示向量V做线性变换之后计算查询值Q、关键值K以及所有词的嵌入表示向量V的注意力,将h个缩放点积注意力单元计算得到的查询值Q、关键值K以及所有词的嵌入表示向量V的注意力拼接起来,对拼接的注意力再进行一次线性变换,输出得到多头注意力机制层得到注意力加权,多头注意力机制层得到注意力加权表示为:

Muti_head_attention(Q,K,V)=concat(head1,head2,...,headi,...,headh);

其中,Muti_head_attention(Q,K,V)为多头注意力机制层输出的注意力加权;concat(·)表示拼接操作;headi表示前i个缩放点积注意力单元堆叠获得的加权注意力; 表示在第i个缩放点积注意力单元中查询值Q的权值; 表示在第i个缩放点积注意力单元中关键值K的权值; 表示在第i个缩放点积注意力单元中所有词的嵌入表示向量V的权值。

5.根据权利要求4所述的一种基于跨网络特征映射的节点信息获取方法,其特征在于,归一化处理包括:

*

其中,x 表示归一化处理后的数据;x表示归一化处理前的数据;max表示进行归一化处理的数据中的最大值;min表示进行归一化处理的数据中的最小值。

6.根据权利要求1所述的一种基于跨网络特征映射的节点信息获取方法,其特征在于,最大化softmax函数表示为:其中,p(zi)表示第i个节点Zi在全连接层的输出; 表示第第i个节点Zi单词向量中元素。

7.根据权利要求6所述的一种基于跨网络特征映射的节点信息获取方法,其特征在于,步骤S9还包括利用交叉熵损失作为损失函数来优化源网络的网络参数,交叉熵损失表示为: 其中n表示在网络中句子的最大长度。

8.一种基于跨网络特征映射的节点信息获取装置,其特征在于,所述装置包括数据获取模块、数据迁移模块以及微调单元,所述数据获取模块包括网络文本抓取单元、实体链接抓取单元、实体链接数据获取单元;所述数据迁移模块包括网络结构特征提取单元、嵌入单元以及基于多头注意力机制的数据迁移单元;其中:所述网络文本抓取单元用于抓取源网络和目标网络的文本数据信息以及结构数据信息;

所述实体链接抓取单元用于抓取源网络和目标网络的文本数据信息中的实体以及实体对应的数据链接;

所述实体链接数据获取单元用于抓取实体对应的数据链接对应的文本数据;

所述网络结构特征提取单元用于将源网络和目标网络的信息结构表示为向量形式;

所述嵌入单元用于对源网络和目标网络的数据文本执行嵌入操作;

所述基于多头注意力机制的数据迁移单元包括源网络的神经网络、目标网络的神经网络,将源网络的数据输入源网络的神经网络进行训练,当完成训练之后,将源网络的网络参数迁移到目标网络;

所述微调单元用于根据对应的不同的任务接口对目标网络的神经网络进行微调,利用微调后目标网络的神经网络获得节点在目标网络中的节点描述,该节点描述中包括完整的文本特征和结构特征。

9.根据权利要求8所述的一种基于跨网络特征映射的节点信息获取装置,其特征在于,所述源网络的神经网络包括多头注意力机制子单元单元,该子单元包括h个缩放点积注意力单元、拼接器以及线性变换器,其中:所述h个缩放点积注意力单元之间通过堆叠构成,每个缩放点积注意力子单元计算输入的文本矩阵的注意力;

所述拼接器用于将h个缩放点积注意力单元计算获得注意力进行拼接获得多头注意力机制的最终权重值;

所述线性变换器用于对数据进行线性变换。