利索能及
我要发布
收藏
专利号: 2023109588817
申请人: 南京晓庄学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,包括:根据预先获取的自然语言问题和三元组,将其分别输入到对应的编码层中,得到自然语言问题和三元组的向量表示;

根据得到的向量表示,基于预先设计的解码器,通过复制的方式得到问题的语义单元集合和三元组的实体集合;

根据预先获取的词汇表,基于预测机制,生成自然语言答案序列中的常用词语,常用词语至少包括动词、介词、定冠词和不定冠词;

基于得到的语义单元集合、实体集合以及常用词语,生成完整的自然语言答案序列;

根据获得的自然语言答案序列,基于答案感知损失,对自然语言答案序列的生成进行优化,生成符合语法的自然语言答案序列;

根据获得的符合语法的自然语言答案序列,基于问题感知损失,生成符合语境、与问题相匹配的目标答案序列;

其中,所述预先设计的解码器,包括问题复制机制模块、三元组复制机制模块和预测机制模块。

2.根据权利要求1所述的基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,所述语义单元集合的获得方法,包括:根据获得的自然语言问题的向量表示,基于预先设计的解码器中的问题复制机制,从源问题中复制相关语义单元;

基于复制的相关语义单元,将其作为语义单元集合。

3.根据权利要求1所述的基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,所述实体集合的获得方法,包括:根据获得的三元组的向量表示,基于预先设计的解码器中的三元组复制机制,从三元组中复制相关实体;

基于复制的相关实体,将其作为实体集合。

4.根据权利要求1所述的基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,所述自然语言答案序列中的常用词语的生成方法包括:基于解码器的预测机制模块,由预先获取的词汇表预测常用词语,判断预测的常用词语的得分是否满足预设阈值,选择得分满足预设阈值的常用词语作为自然语言答案序列中的常用词语,其中,解码器基于预测机制从词汇表中预测常用词语的得分函数为:

φpredict(wt=vi)=viWpredict[dt,cQt,cTt]其中,所述预先获取的词汇表包括V∪VQ∪VT,V={v1,v2,...,vn‑1,vn}∪{OOVW},OOVW表示任何词库外词,VQ表示问题的语义单元集合,VT表示三元组的实体集合,φpredict(wt=vi)表示预测机制从词汇表中预测常用词语的得分函数,predict表示常用词语的预测机制,wt表示在t时刻生成的自然语言答案序列,vi表示输出层的单词向量,Wpredict表示预测机制的权重矩阵,cQt和cTt分别表示在时间步长t时有选择性地从问题hQ和三元组事实hT的短期记忆中读取的上下文向量。

5.根据权利要求1所述的基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,所生成的完整的自然答案序列的概率需满足预设阈值,其中,生成的完整的自然答案序列的概率语言模型表示为:

式中,wt‑1表示在t‑1时刻生成的自然语言答案序列,P(wt|dt,wt‑1,hQ,hT)为生成任意自然语言答案序列的概率语言模型,wt为生成的完整的自然语言答案序列,copyQ、copyT和predict分别表示问题的复制机制、三元组的复制机制和常用词语的预测机制,dt为解码器的隐藏状态,hQ为整个自然语言问题的向量表示,hT为事实三元组的向量表示,t为时间步,Pd(·|·)表示选择不同机制的概率语言模型,ct表示上下文向量。

6.根据权利要求5所述的基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,所述符合语法的自然语言答案序列的生成方法,包括:根据给定的自然问题Q、事实三元组T和目标答案序列W=(w1,w2,...,wt,...,w|W|),训练自然答案序列概率语言模型;

对自然答案序列概率语言模型生成的自然语言答案序列,通过答案感知函数优化负对数似然,生成符合语法的自然语言答案序列,其中,答案感知损失函数为下式:

式中,ψA_loss为答案感知损失函数,L2为正则化因子,κ是L2的超参数,W为目标答案序列,hQ为整个自然语言问题的向量表示,hT为事实三元组的向量表示,t为时间步。

7.根据权利要求1所述的基于多层次复制和感知损失的自然语言答案生成方法,其特征在于,所述符合语境、与问题相匹配的目标答案序列的生成方法,包括:基于生成的符合语法的自然语言答案序列,根据输入问题生成与问题类型词相对应的目标答案子序列;

通过问题感知损失函数生成与问题类型词相匹配的答案词,其中,问题类型词与答案词的交叉熵需满足最小;

基于答案词对自然语言答案序列的生成进行优化,生成符合语境、与问题相匹配的目标答案序列,其中,所述问题感知损失函数由下式表示:

式中,ψQ_loss为问题感知损失, 是一组问题类型词,Y是生成的一组答案词,表示问题类型词qn与生成的答案词wt之间的交叉熵。

8.一种基于多层次复制和感知损失的自然语言答案生成装置,其特征在于,所述装置包括:第一数据处理模块:用于根据预先获取的自然语言问题和三元组,将其分别输入到对应的编码层中,得到自然语言问题和三元组的向量表示;

第二数据处理模块:用于根据得到的向量表示,基于预先设计的解码器,通过复制的方式得到问题的语义单元集合和三元组的实体集合;

第三数据处理模块:用于根据预先获取的词汇表,基于预测机制,生成自然语言答案序列中的常用词语,常用词语至少包括动词、介词、定冠词和不定冠词;

第四数据处理模块:用于基于得到的语义单元集合、实体集合以及常用词语,生成完整的自然语言答案序列;

第五数据处理模块:用于根据获得的自然语言答案序列,基于答案感知损失,对自然语言答案序列的生成进行优化,生成符合语法的自然语言答案序列;

目标答案序列生成模块:用于根据获得的符合语法的自然语言答案序列,基于问题感知损失,生成符合语境、与问题相匹配的目标答案序列。

9.一种基于多层次复制和感知损失的自然语言答案生成设备,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1~7任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。