利索能及
我要发布
收藏
专利号: 2024102494122
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多跳时序知识图谱问答方法,其特征在于,包括:获取时序知识图谱问答数据集,对时序知识图谱问答数据集中的问题隐含的时间信息进行显示表示,并获取问题所涉及的开始时间和截止时间,对问题进行改写;

将改写后的问题输入到预设的预训练预言模型获取问题的语义表示 ;

对语义表示 不同的部分进行加权,经过注意力池化后的注意力感知的问题表示为 ;

对问题表示 进行重新建模,将问题表示 中的实体和时间戳表示替换成TKG嵌入式表示,替换实体表示后问题表示为 ,替换时间戳表示后问题表示为,其中实体和时间戳TKG表示分别为 和 ;改善语义表示, ,其中 表示替换时间戳表示后的

问题表示,T表示时间戳TKG表示,Transformer(.)表示可学习编码器,问题表示为 ;

将 输入到Max pooling中获得问题的上下文表示 ;

将问题中多实体的TKG表示与问题的上下文表示 进行Pearson相关性计算,选取得分最高的实体作为问句的主题实体 , 根据得到的主题实体对TKG进行子图提取,生成策略网络的候选动作空间;

对推理路径上的实体表示进行动态编码,将实体和关系分为静态 和 ,和动态表示两部分,采用相对时间表示 ,将静态和动态两部分进行拼接来实时更新推理路径上的实体表示 ,关系 表示 ;

将问题的上下文表示 和实体表示 以及关系嵌入 进行融合获得当前推理步的匹配向量 ;

将历史路径 和匹配向量 作为双向LSTM的输入,编码历史路径信息 ;

将历史路径信息 与匹配向量 以及当前实体动态嵌入 和关系嵌入表示 ,经过MLP进行时空关系建模,通过层归一化和sigmoid激活函数为每个候选动作分配权重;

匹配向量 和候选动作的嵌入表示经过评分机制候选动作进行评分,并使用加权动作评分机制与候选动作分配权重进行计算,获取候选操作的目标节点分数和传出边分数,并将两个分数加权求和,代理获得最终操作分数  。

2.根据权利要求1所述的一种多跳时序知识图谱问答方法,其特征在于:对语义表示不同的部分进行加权,经过注意力池化后的注意力感知的问题表示为 ,具体过程如下:计算注意力分数: ,其中, 是输入序列

中的第i个元素;

应用注意力掩码: ;

归一化注意力权重: ;

计算Attention加权平均:  ,其中, 是经过 softmax 处理后的注意力分数;

经过注意力池化后的问题表示为 。

3.根据权利要求1所述的一种多跳时序知识图谱问答方法,其特征在于:对问题表示进行重新建模,具体过程如下:利用TKG嵌入的TComplEx嵌入方法使用存储在时序知识图谱中的背景知识对问题进行重新建模,利用数据集预处理阶段获得的mask,将注意力感知的问题表示为中的实体和时间戳表示替换成TKG嵌入表示,先替换实体表示后问题表示为,其中实体嵌入为:, 分别表示当token 与实体 相连,当token 与实体相连,以及其他情况,其中实体和时间戳TKG表示分别为 和 ;时间戳TKG嵌入表示为:

分别表示当token 不是实体时, 表示当token 是实体时;

选取可学习编码器Transformer(.)作为信息融合层,将已经部分被TKG嵌入表示替换后的语义矩阵 重新输入到信息融合层后重新整合信息进行编码,并通过多层自注意力机制和前馈神经网络来对其进行二次编码,具体公式如下所示,。

4.根据权利要求3所述的一种多跳时序知识图谱问答方法,其特征在于:将 输入到Max pooling中获得问题的上下文表示 ,具体过程如下:捕捉广泛的问题上下文信息,将输入到Max pooling中获得问题的上下文表示;使用最大池化层得到问题上下文向量,其公式如下所示:。

5.根据权利要求4所述的一种多跳时序知识图谱问答方法,其特征在于:将问题中多实体的TKG表示与问题的上下文表示 进行Pearson相关性计算,具体公式如下:;

选取得分最高的实体作为问句的主题实体 ,具体公式如下:;

根据得到的主题实体对TKG进行子图提取,生成策略网络的候选动作空间。

6.根据权利要求5所述的一种多跳时序知识图谱问答方法,其特征在于:在推理阶段的策略网络中,对推理路径上的实体表示进行动态编码,将实体分为静态和动态表示两部分,并使用 , 来表示关系的静态不变特征,并使用定义相对时间编码函数:更新实体表示,将静态和动态两部分进行拼接来实时更新推理路径上的实体和关系表示,最终处理过后的实体 表示为 ,关系 表示;

将上下文表示 和推理步上的当前实体动态表示 以及关系嵌入 进行融合获得当前推理步的匹配向量 ,具体公式如下:,其中j为推理路径长度;

用于评估当前路径与问题的匹配度,用于增强推理路径信息,作为信息指导器。

7.根据权利要求6所述的一种多跳时序知识图谱问答方法,其特征在于:将历史路径和匹配向量 作为双向LSTM的输入,编码历史路径信息 ,具体公式如下:其中, 为推理路径总长度。

8.根据权利要求6所述的一种多跳时序知识图谱问答方法,其特征在于:将历史路径信息 与匹配向量 以及当前实体动态嵌入 和关系嵌入表示 ,经过MLP进行时空关系建模,通过层归一化和sigmoid激活函数为每个候选动作分配权重,具体公式如下:其中, ,且 为问题中时间戳的TKG嵌入融合后的最终表示。

9.根据权利要求8所述的一种多跳时序知识图谱问答方法,其特征在于:匹配向量和候选动作的嵌入表示经过评分机制候选动作进行评分,并使用加权动作评分机制与候选动作分配权重进行计算,获取候选操作的目标节点分数和传出边分数,并将两个分数加权求和,代理获得最终操作分数  ,具体过程如下在第 步的可选动作表示为 ,采用多层感知器对状态信息进行编码,输出期望目标动作实体分数 ,关系分数 ,以及时间分数 ,具体公式如下所示:

通过两个分数的加权和,智能体在第j个推理步得到最终的候选动作分数 ,具体公式如下所示:,

其中 、 及 是控制因子权重的超参数,最终的策略网络通过 得到, ;

对奖励进行塑造 ,引入先验知识到奖励函数  引导智能体学习,即:时间感知奖励可以让智能体知道哪个时间范围内更容易找到答案,改善其在已知路径探索特性的同时扩大路径探索范围;其中  为最终状态,为基本真值事实,奖励函数公式如下:

对符合描述的先验分布,引入狄利克雷分布并对其改造,为其引入时间范围;在训练集的基础上,为每个关系估计了一个时间范围引入的狄利克雷分布;利用所述时间范围引入的狄利克雷分布来塑造原始奖励,其具体公式表示如下:,

其中, 是关系 的狄利克雷分布的参数向量,用于平滑性计算;可以从训练集中估计;

在公式中, 表示时间的索引变量,用于对所有可能的时刻进行求和;是在指定时间范围  内的单一时刻;

 是对所有可能的时刻进行求和的变量,表示涵盖整个时间范围的所有时刻;

表示对所有可能的时刻 进行求和,确保奖励值在整个时间范围内的关系r出现的次数的比例是合理的;

设关系 在时间对  内的出现次数的统计,对关系 的狄利克雷分布的参数估计过程如下:其中, 是训练集中包含 的TKG数据的数量, 表示第i条TKG数据中关系 的时间戳对;

具体地, 可以通过以下公式计算得到:

其中,狄利克雷分布分布是一种多维概率分布,而伽玛函数 在其中起到了归一化的作用;在计算关系 在时间对 内的整体概率时,使用关于时间的连乘项,通过 体现;表示对给定时间对内的每个离散时间点t考虑关系 的出现概率;

是关系  在时间t下的出现概率,通过统计训练集中关系  在时间对下的出现次数归一化得到;这两个方面共同确保了在时间对  内计算关系  整体概率时,考虑了时间范围内的每个离散时间点的影响;

估计过程使用优化算法来实现,以最大化似然函数;改进的参数估计过程考虑了关系在时间对内的出现次数,更适用于时间对的场景;

最终奖励函数公式,如下所示: 

其中,当  时,R为1,为了一定程度上缓解奖励稀疏现象,当最终答案不为目标答案时,也给予一定的奖励,将奖励塑造部分作为激励奖励值给予agent,鼓励agent进行积极的路径探索。

10.一种基于实体相似度解析和时空特征融合多跳时序知识图谱问答系统,其特征在于,包括以下模块:获取模块,用于获取时序知识图谱问答数据集,对时序知识图谱问答数据集中的问题隐含的时间信息进行显示表示,并获取问题所涉及的开始时间和截止时间,对问题进行改写;

提取模块,用于将改写后的问题输入到预设的预训练预言模型获取问题的语义表示 ;

第一处理模块,用于对语义表示 不同的部分进行加权,经过注意力池化后的注意力感知的问题表示为 ;

替换模块,用于对问题表示 进行重新建模,将问题表示 中的实体和时间戳表示替换成TKG嵌入式表示,替换实体表示后问题表示为 ,替换时间戳表示后问题表示为 ,其中实体和时间戳TKG表示分别为 和 ;改善语义表示, ,其中 表示替换时间戳表示

后的问题表示,T表示时间戳TKG表示,Transformer(.)表示可学习编码器,问题表示为;

第二处理模块将 输入到Max pooling中获得问题的上下文表示 ;

生成模块,用于将问题中多实体的TKG表示与问题的上下文表示 进行Pearson相关性计算,选取得分最高的实体作为问句的主题实体 , 根据得到的主题实体对TKG进行子图提取,生成策略网络的候选动作空间;

第一编码模块,用于对推理路径上的实体表示进行动态编码,将实体和关系分为静态和静态 ,和动态 表示两部分,采用相对时间表示 ,将静态和动态两部分进行拼接来实时更新推理路径上的实体表示 ,关系 表示;

融合模块,用于将问题的上下文表示 和实体表示 ,关系 表示进行融合获得当前推理步的匹配向量 ;

第二编码模块,将历史路径 和匹配向量 作为双向LSTM的输入,编码历史路径信息;

建模模块,用于将历史路径信息 与匹配向量 以及当前实体动态嵌入 和关系嵌入表示 ,经过MLP进行时空关系建模,通过层归一化和sigmoid激活函数为每个候选动作分配权重;

计算模块,用于匹配向量 和候选动作的嵌入表示经过评分机制候选动作进行评分,并使用加权动作评分机制与候选动作分配权重进行计算,获取候选操作的目标节点分数和传出边分数,并将两个分数加权求和,代理获得最终操作分数  ;

奖励模块,用于时间感知的奖励塑造将狄利克雷分布进行改造,将其适用于时间范围,用来对奖励塑造改善奖励稀疏的问题。