利索能及
我要发布
收藏
专利号: 2022100592013
申请人: 重庆大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于线索的离散推理方法,其特征在于,包括如下步骤:获取文本,输入预训练模型,进行编码,提取文章和问题的词向量;

利用命名实体识别工具确定问题和文章中包括的各实体和各数字节点,以及各数字分别对应的类型;

根据词向量确定问题的特征向量,以及关系网络图中各节点的初始特征向量,问题对应词向量进行平均池化获得问题特征向量,节点对应词向量进行平均池化获得节点初始特征向量;

将节点初始特征向量和问题特征向量输入线索节点预测器,预测节点是否为线索节点,以实体和数字为节点的异构关系图为基础,在线索节点之间添加边,获取新的异构关系图;

基于节点特征向量,计算问题相关性得分,构建所有节点间的相关性矩阵,度量节点间的相关性;

利用相关性矩阵,计算注意力权重系数,调整注意力分布;

根据节点的邻居节点的注意力权重系数,对各邻接节点的特征向量进行加权求和,基于求和结果更新特征向量;

预设迭代次数,根据预设数迭代后该节点的更新特征向量,更新问题和文章对应的词向量特征;

将更新后的问题和文章对应的词向量输入分类模型中,得到预测答案类型和答案;

预测线索节点的方法如下:

利用图节点对应的词向量的池化特征作为节点的初始化特征向量,问题对应的词向量的池化特征作为问题的特征向量;

利用远程监督方法训练一个线索节点预测器,在线索节点之间添加边,增加线索节点之间的邻接关系;

将包含问题相关实体的句子中所有实体和数字对应节点作为线索节点;包含答案的句子中所有实体和数字对应节点作为线索节点;以及能计算得到答案的至多3个数字对应的节点作为线索节点;

使用线索节点预测器预测线索节点,在线索节点之间添加边,同时将线索分布特征融入节点特征向量:Pi=Softmax(MLP(q;hi))hi=LN(hi+pihi)

其中,q是问题特征向量,hi是节点特征向量,MLP()是一个全连接网络,Pi是节点i是否为线索节点的概率分布,pi为该节点是线索节点的概率,LN()是一个层标准化;

利用图信息帮助词向量进行答案预测,将图信息和词向量信息进行融合:其中,Mi表示每个语义单元的词特征向量,J(i)表示第i个语义单元对应图节点的索引,U用于预测模块预测答案类型和答案, 是节点特征向量;

预测模块包含五种不同答案的答案预测器和一个答案类型预测器:Q P

H ,H=U

Q P

其中,H和H是融合后的问题和文章中每个词的特征向量联合;

计算答案类型的概率分布:

p P

α=softmax(WpH)

p p P

h=∑αH

q Q

α=softmax(WqH)

q q Q

h=∑αH

type q p

P =softmax(FFN([h;h]))p q Q P

α,α是文章和问题的每个词的权值分布,h ,h是问题和文章的词向量加权求和得到的综合特征向量,FFN()表示前馈神经网络,Softmax()表示一个激活函数;

文章片段:从文章中抽取一个片段作为答案,计算答案在文章中的开始位置和结束位置的概率如下:其中, 是文章中每个词的答案起始位置和答案终止位置的概率,m表示文章长度,f表示线性变换;

问题片段:从问题中抽取一个片段作为答案,计算答案在问题中的开始位置和结束位置的概率如下:多片段:从问题和文章中抽取多个片段作为答案,用BIO标记法对问题和文章的每个词进行标记,其中,B表示某个片段的开始,I表示某个片段的中间,O表示不在片段中,最终答案是标记为BI的片段集合;计算问题和文章中每个词为BIO标记的概率分布如下:Q P

其中, 表示第i个词的BIO标记的概率分布,hi表示问题和文章联合表示H ,H中第i个词的特征向量,f表示输出三分类的线性变换;

计数:输出一个0至9的数字作为答案,该任务常常作为十分类任务进行处理,计算数字的概率分布如下:count p q

P =softmax(FFN(h;h))计算表达式:从文章中抽取的数字组成一个表达式,表达式计算结果作为答案,表达式中第i个数字的符号‑1,0,+1的概率分布如下:P

其中, 表示第i个数字在文章表示H中的词向量;

使用多任务联合训练一个线索预测器和阅读模型,对应线索预测任务,使用交叉熵损失进行训练:pk是第k个节点作为线索节点的概率,yk是第k个节点的标签;

对于阅读模型,答案的概率由下述计算:

Τ表示答案类型;采用边缘似然目标函数训练阅读模型,表示为Lans,最终的损失为:L=Lans+λLevi。

2.如权利要求1所述的基于线索的离散推理方法,其特征在于,异构关系图构建中,所述图包括实体,数字节点,以及各数字分别对应的类型,数字对应的类型包括日期、时间、百分比、金额、数量、序数和基数。

3.如权利要求1所述的基于线索的离散推理方法,其特征在于,构建基础异构关系图的方法为:同一句子中的实体和数字节点之间添加边;同类型的数字节点之间添加边。

4.如权利要求1所述的基于线索的离散推理方法,其特征在于,计算问题相关性得分的方法如下:利用打分函数计算相关性得分,相关性得分越高意味着与问题越相关,计算问题相关性得分公式为:其中,si为相关性得分,hi是节点特征向量,Ws为可训练的线性变换矩阵, 表示问题特征向量;

两个节点之间的相似性用节点与问题的相似性进行度量,与问题相似度高的两节点之间相似度也高,计算两节点之间的相似性得分,计算公式为:mi,j=sigmoid(si+sj)利用节点间的相似性得分,构建成一个相关性矩阵,对重要节点的关系进行了建模,mi,j是节点i与节点j的相似性得分,sigmoid()是一个激活函数。

5.如权利要求4所述的基于线索的离散推理方法,其特征在于,计算注意力权重的方法如下:不同的邻接节点以及不同类型的边对当前节点的重要性不同,因此采用注意力机制来进行节点之间的信息传播及节点特征表示的更新;计算节点注意力权重系数,用于聚集邻接节点信息更新节点特征,相关性矩阵根据每层特征信息对其动态调整;

对于任意节点i,其相邻节点为Ni,则节点i的注意力权重的计算公式为:其中,ei,j表示两个节点之间的相关度分数,Ri,j表示两个节点之间的边关系类型,W、Wr为两个可训练的线性变换矩阵,αi,j表示节点i相对其相邻节点的注意力权重系数;LeakyReLU()是一个激活函数,r是节点间的边类型,dh是特征维度,k是节点i的邻接节点。

6.如权利要求5所述的基于线索的离散推理方法,其特征在于,利用注意力权重系数将节点特征向量进行融合的方法如下:为了使模型更加稳定,通过多头注意力机制聚合节点i的所有邻接节点的特征向量:其中,“||”表示拼接运算,将K组相互独立的注意力机制输出结果拼接在一起。

7.如权利要求6所述的基于线索的离散推理方法,其特征在于,为缓解节点特征过平滑问题,利用门控机制得到节点i最终的特征表示h″:g=sigmoid(Wg[h,h′])h″=g⊙tanh(h′)+(1‑g)⊙h其中,g表示更新门,决定信息流动程度,tanh()一个是激活函数,⊙为元素级相乘。

8.一种利用权利要求1‑7之一所述方法的离散推理系统,其特征在于,包括编码模块、线索节点预测模块、推理模块和预测模块;

所述编码模块,用于提取文章和问题的词向量;

所述线索节点预测模块,用于预测已构建图中节点是否是线索节点,并在线索节点之间添加边,获取节点特征向量;

所述推理模块,用于计算问题相关性得分和注意力权重系数;根据节点的邻居节点的注意力权重系数,更新特征向量;

所述预测模块,用于预测答案类型和答案。