1.一种基于混合提示调优的文档级关系抽取方法,其特征在于,包括以下步骤:步骤1,利用图神经网络GNNs从可观测文档数据中构建文档级知识图谱DocKG,包括:学习文档中实体和关系的表示,建模实体与关系之间的交互,构建反映文档结构信息的知识图谱;然后,基于相似度计算从文档级知识图谱DocKG中检索相关子图,并将检索到的子图转化为结构化的提示内容;
步骤2,设计句子级语义检索增强生成SetRAG机制,包括:将文档分割为两个以上独立句子,利用预训练语言模型PLM为每个句子生成语义嵌入向量,构建句子级知识库SetKB;然后,基于余弦相似度计算查询与句子之间的语义关联度,检索与查询最相关的句子集合;最后,利用检索到的相关句子和句子的上下文信息生成语义丰富的提示内容,得到句子级语义检索结果,用于增强大语言模型LLM对跨句关系的理解;
步骤3,融合步骤1得到的提示内容和步骤2得到的句子级语义检索结果,增强生成SetRAG提示内容,形成混合提示;然后,利用所述混合提示通过参数高效微调PEFT方法对大语言模型LLM进行优化,使优化后的大语言模型LLM能够更准确地识别和提取文档中实体间的关系,完成文档级关系抽取任务。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:定义图结构 ,其中为文档中识别出的所有实体构成的集合; 为预定义的关系类型集合;每个实体 初始化为特征向量 ;每个关系 初始化为关系向量 ;其中 表示d维实数向量空间;
然后,通过图神经网络GNNs进行消息传递,采用如下公式更新第i层的实体e的表示 : (1),
其中, 表示表示实体e的邻居实体; 表示与实体e直接相连的邻居实体集合;W为可学习的参数矩阵,用于转换实体表示;c为偏置向量;σ为非线性激活函数; 为上一层邻居实体的表示;通过L层迭代,其中L≥2,得到实体在不同层次的表示 ,形成实体的L层表示,以捕获不同抽象级别的结构化信息,i取值为1 L, 表示第L层的实体e的表~示。
3.根据权利要求2所述的方法,其特征在于,步骤1中,在获得实体的L层表示后,通过以下公式(2)计算实体对之间的交互得分: (2) ,
其中,待判断关系的第m个实体 与待判断关系的第n个实体 组成实体对 ;
为实体对 之间的交互得分; 为实体 在最后一层即第L层的表示向量; 为实体 在最后一层的表示向量; 为实体对 之间关系的表示向量;其中,m∈[1,|E|],n∈[1,|E|],且m≠n,|E|为文档中所识别出的所有实体的数量;表示向量点积运算。
4.根据权利要求3所述的方法,其特征在于,步骤1还包括:基于交互得分进行关系类型预测,对实体与关系之间的交互进行建模,并且根据阈值判断来构建文档级知识图谱:首先,通过归一化指数函数Softmax计算关系概率: (3) ,
然后,根据概率阈值构建文档级知识图谱 ,即当关系 的预测概率超过阈值时,将对应的三元组 添加到文档级知识图谱 中: (4) ,
其中,表示第 种关系类型,j∈[1,U],表示第p种关系类型,p∈[1,U],U为关系类型总数; 表示实体对 之间存在第j种关系类型 的概率;
表示实体对 与第j种关系类型 的匹配得分;为预设的概率阈值,exp是自然指数函数。
5.根据权利要求4所述的方法,其特征在于,步骤1还包括:从文档级知识图谱 中检索信息:首先,通过预训练语言模型 将给定的查询 转换为向量表示 ,公式为: (5),
其中, 为预训练语言模型PLM的嵌入层函数;
然后,对于每个实体e,利用余弦相似度计算其通过图神经网络GNNs建模在第L层得到的向量表示 与 之间的相似度 : (6),
其中, 和 分别表示 的范数和 的范数;
接着,基于计算得到的相似度,选择文档级知识图谱 中相关的实体并构建候选子图 ,即当且仅当实体 与查询 的相似度 大于预设阈值时,该实体 被判定是与查询语义相关的实体并被选入候选子图 ,其表达式为: (7),
其中, 为文档级知识图谱 中所有实体的集合; 为用于筛选相关实体的相似度阈值;
然后,通过候选子图 生成大语言模型 的提示,将图中实体之间的关系组合起来创建信息丰富的提示,表达式为: (8),
其中, 为生成的提示内容; 为生成函数; 为用于文档级知识图谱 的生成器函数; 为候选子图 中的所有实体和关系对。
6.根据权利要求5所述的方法,其特征在于,步骤2包括:将文档 分割为句子集合 :
(9) ,
其中, 为句子分割函数; 为句子总数;
然后,对每个句子通过预训练语言模型 编码后获取向量表示,组合构建句子级知识库 : (10) ,
其中, 表示预训练语言模型 编码函数; 为第 个句子 的语义向量表示,。
7.根据权利要求6所述的方法,其特征在于,步骤2中,对于查询 ,通过以下方式进行语义相似度计算和检索:计算查询 与知识库中句子的语义相似度 :
(11) ,
其中, 表示将查询 通过预训练语言模型 编码后得到的向量表示; 为句子级知识库SetKB中的第 个句子 的语义向量表示, ;
然后,从句子级知识库SetKB中检索出与查询 最相关的 个句子: (12) ,
其中, 表示从知识库中检索出的相似度最高的 个句子构成的集合; 为获取相似度最高的 个句子的函数; 为句子级知识库 中的第 个句子 的语义向量表示, ;
最后,生成大语言模型 的信息化提示 :
(13),
其中, 为通过信息抽取算法从集合 中自动识别的实体、关系、实体三元组集合;
为从集合 中自动识别出的第 个三元组, ; 为将三元组集合转换为自然语言描述的函数 为用于句子级语义检索增强生成 的生成器函数;
为集合表达式,表示 中的所有三元组。
8.根据权利要求7所述的方法,其特征在于,步骤3包括:采用如下公式生成包含结构化知识和语义信息的混合提示 : (14) ,
其中, 表示从文档级知识图谱 中检索获取的结构化信息; 表示从句子级知识库 中检索获取的语义信息。
9.根据权利要求8所述的方法,其特征在于,步骤3中,采用如下公式进行参数高效微调: (15) ,
其中, 表示大语言模型 编码函数;为大语言模型 的原始参数;为引入的适配器模块参数,包括文档知识路径适配器参数 和语义检索路径适配器参数 ,分别用于处理文档级知识图谱 提取的结构化信息和句子级语义检索得到的上下文信息; 为大语言模型 最终输出。
10.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。