利索能及
我要发布
收藏
专利号: 2023117557810
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:包括以下步骤:将自然语言问题通过预训练语言模型获取自然语言问题的语义表示;

将自然语言问题的语义表示进行TKG嵌入表示的替换,得到替换后的自然语言问题语义表示;

将替换后的自然语言问题语义表示输入信息融合层,信息融合层输出最终问题表示;

将最终问题表示输入神经状态机,当损失函数收敛后,神经状态机输出实体分布概率列表;

将实体分布概率进行加权平均作为额外状态信息,将额外状态信息加入策略网络中状态信息形成新的策略网络;

将最终问题表示输入新的策略网络,输出最终答案。

2.根据权利要求1所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:还包括:根据最终答案与真实答案计算奖励函数,根据奖励函数对新的策略网络进行学习,得到更新后的策略网络;将最终问题表示输入更新后的策略网络,输出最终答案。

3.根据权利要求1或2所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述自然语言问题的语义表示计算公式如下:;

其中, 表示自然语言问题的语义表示, 表示D× 的可学习矩阵,其中,D是TKG嵌入的维度, 是DistillBert的嵌入维度; 是NLP处理模块;

是自然语言问题的文本信息。

4.根据权利要求3所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述将自然语言问题的语义表示进行TKG嵌入表示的替换,得到替换后的自然语言问题语义表示,具体包括:将自然语言问题的语义表示中的实体部分替换TKG实体嵌入表示,得到 ;

再 中的时间戳部分替换TKG时间戳表示,得到替换后的自然语言问题语义表示 ;

其中, 中第i个元素 计算公式如下:;

其中,表示实体 或者 ,表示时间戳, 表示替换过实体表示后问题表示的D×D维可学习矩阵, 表示 中第i元素, 表示头实体,表示尾实体;

其中, 中第i个元素 计算公式如下:;

其中,T1,T2分别表示将问句中所有实体查询时序知识图谱后得到的所有时间进行排序后的最大时间和最小时间。

5.根据权利要求1或2所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述将替换后的自然语言问题语义表示输入信息融合层,信息融合层输出最终问题表示,具体包括:替换后的自然语言问题语义表示通过多层自注意力机制和前馈神经网络进行处理和整合,得到矩阵 ,将矩阵 中的元素 作为最终问题表示 ;其中, 表示自然语言问题的标志位。

6.根据权利要求5所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述将最终问题表示输入神经状态机,当损失函数收敛后,神经状态机输出实体分布概率列表,具体包括:根据最终问题表示 ,计算当前第k个推理步对应的指令向量 ;

根据当前第k个推理步实体 ,计算实体的动态特征 ,获得当前第k推理步实体, , , 表示推理步骤中实体集合;

根据实体 ,获取实体 在第k‑1个推理步的实体分布概率 ;

根据指令向量 ,计算匹配向量 ;

根据实体分布概率 和匹配向量 ,计算当前第k个推理步的实体集合 ;

根据实体 ,计算当前第k个推理步实体分布概率 ;

重复以上步骤,当每个推理步骤损失函数收敛后,神经状态机输出实体分布概率,经过n个推理步骤,获得实体分布概率列表 。

7.根据权利要求6所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述指令向量 计算公式如下:;

其中, 表示当前第k个推理步注意力权重, 代表编码器的隐藏状态信息;j表示隐藏状态序列的长度,表示隐藏状态序列总长度;

所述 计算公式如下:

其中, 表示当前第k个推理步最终问题表示, 表示 的D×D维可学习矩阵, 表示 的D×D维可学习偏置矩阵;Softmax表示激活函数;

所述实体的动态特征 计算公式如下:

其中, 表示当前推理步中实体所在时间戳与问题中时间戳的时间之差, 是一个实体的动态特征的D×D维可学习矩阵, 是一个实体的动态特征的D×D维可学习偏置矩阵;

表示激活函数;

所述匹配向量 计算公式如下:

其中, 表示匹配向量的D×D维可学习矩阵, 表示激活函数, 表示Kronecker积,表示第i个实体的关系;

所述 计算公式如下:

其中,u表示当前推理步所关联的实体的总数;

所述 计算公式如下:

其中, 是推导实体分布的参数, 表示激活函数。

8.根据权利要求6所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述将实体分布概率进行加权平均作为额外状态信息,将额外状态信息加入策略网络中状态信息形成新的策略网络,具体包括:从实体分布概率列表 中获取每个实体n个推理步中对应的实体分布概率,将n个推理步中对应的实体分布概率进行加权平均,获得每个实体的加权平均分布概率;

将加权平均分布概率作为额外状态信息加入策略网络中状态信息形成新的策略网络;

所述新的策略网络为 ,其中,状态信息为 ,动作信息为 ;

其中, , ;

其中,表示当前实体,表示当前时间戳, 表示问题中实体, 表示问题中的时间戳,表示额外状态信息, 表示当前所选的动作实体, 表示当前所选的动作关系,表示当前所选的动作时间戳。

9.根据权利要求8所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述将最终问题表示输入新的策略网络,输出最终答案,具体包括:将最终问题表示 输入最大池化层得到问题上下文向量 ;

获取历史搜索路径 ;

根据历史搜索路径 ,问题上下文向量 计算期望目标节点 和边 ;

根据期望目标节点 和边 ,计算第 步可选动作的候选动作分数 , ;

将候选动作分数 最大值对应的动作作为下一步智能体的输入,当迭代至第L步时,智能体输出动作作为最终答案;

所述历史搜索路径 计算公式如下:

其中, , 分别代表推理第步过程中当前节点所在关系、实体、时间;

所述期望目标节点 和边 计算公式如下:;

其中, 是D×D维的目标节点 可学习矩阵, 是D×D维的目标边 可学习矩阵, 表示输出期望目标的可学习矩阵, 为激活函数;

所述候选动作分数 计算公式如下:

其中, , 是 的可学习矩阵; 为激活函数,表示当前实体,表示当前时间戳; 表示第 步的可选动作, 表示第 步的可选动作中的实体,表示第 步的可选动作中的关系。

10.根据权利要求2所述的一种基于辅助监督信号改进时序知识图谱的问答方法,其特征在于:所述根据最终答案与真实答案计算奖励函数,根据奖励函数对新的策略网络进行学习,得到更新后的策略网络;将最终问题表示输入更新后的策略网络,输出最终答案,具体包括:根据最终答案 和真实答案 ,获得奖励值 , 表示最终状态;

根据奖励值 ,计算奖励函数 ;

根据奖励函数 对新的策略网络进行学习,得到更新后的策略网络;将最终问题表示输入更新后的策略网络,输出最终答案;

其中,所述奖励值 计算公式如下:

表示指示函数,当指示函数内等式为真输出1,为假输出0;

所述奖励函数 计算公式如下:

其中, , 表示狄利克雷分布, 是问题关系 的Dirirchlet分布的参数向量。