利索能及
我要发布
收藏
专利号: 2024117111429
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,包括以下步骤:步骤S1:构建数据集,数据集包括若干知识链,知识链包括文本知识点对、跨度信息文本和标注的真实关系;

步骤S2:形式化关系预测任务并构建关系预测模型,关系预测模型包括习题解析模块、嵌入模块、图注意力网络、融合模块和关系预测模块,导入步骤S1中的文本知识点对至习题解析模块,获取知识点节点和邻接矩阵;在此过程中,将知识点组合成三元组;使用图形数据库处理三元组来构建习题解析树;

习题解析树形式化为:

其中, 表示习题解析树,V为知识点的集合,包含N个知识点, ,也即知识点节点;E为边的集合,表示知识点之间的连接关系;

步骤S3:导入步骤S1中的文本知识点对和跨度信息文本,以及步骤S2中的知识点节点至嵌入模块,分别获取知识点对特征表示、跨度特征表示和知识点节点特征矩阵;获取知识点特征矩阵的过程具体为:对于习题解析树 中的第q个知识点 ,使用ALBERT预训练模型提取到对应的知识点表示 ;将所有的知识点表示 进行组合得到知识点节点特征矩阵 ,表示为:;

步骤S4:导入步骤S2中邻接矩阵和步骤S3中的知识点节点特征矩阵至图注意力网络,获取习题解析树表示;

步骤S5:导入步骤S3中的知识点对特征表示和跨度特征表示至融合模块中,获取知识点跨度融合表示;导入步骤S4中的习题解析树表示至融合模块中与知识点跨度融合表示进入进一步融合,获取融合特征表示;

步骤S6:导入步骤S5中的融合特征表示至关系预测模块中,获取分类概率,并根据分类概率获得预测结果;

步骤S7:构建交叉熵损失函数,通过步骤S1中标注的真实关系最小化损失函数以优化模型的参数。

2.如权利要求1所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S2中的形式化关系预测任务具体为:在给定任意知识链对应的融合特征表示作为输入,构建一个二分类函数来预测文本知识点对之间的依赖关系,输出预测的依赖关系标签,也即预测结果,形式化表示如下:;

其中,表示融合特征表示, 表示二分类函数, 表示预测结果。

3.如权利要求1所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S2中的导入步骤S1中的文本知识点对至习题解析模块,获取知识点节点和邻接矩阵,具体为:步骤S21:输入文本知识点对,在外部习题解析知识库中去检索获取对应的习题解析文本;

步骤S22:通过基于GLM架构的ChatGLM对话语言模型来自动抽取习题解析文本中的知识点,基于解题逻辑,将知识点组合成三元组;使用图形数据库处理三元组来构建习题解析树;

习题解析树形式化为:

其中, 表示习题解析树,V为知识点的集合,包含N个知识点, ,也即知识点节点;E为边的集合,表示知识点之间的连接关系;

每条边(p, q)∈E表示知识点节点Vq与知识点节点Vp之间存在连接关系,由此生成习题解析树 的邻接矩阵 。

4.如权利要求3所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S3具体为:步骤S31:嵌入模块通过预训练语言模型获取知识点对特征表示和跨度特征表示,表示为:;

其中, 为文本知识点对 的第i个字经过ALBERT预训练语言模型得到的向量表示, 为文本知识点对 的第n个字经过ALBERT预训练语言模型得到的向量表示, 为跨度信息文本 的第m个字经过ALBERT预训练语言模型得到的向量表示;

为跨度信息文本 的第i个字经过ALBERT预训练语言模型得到的向量表示;n和m分别表示文本知识点对 、跨度信息文本 中字的总数量; 为知识点对特征表示, 为跨度特征表示, 表示预训练语言模型;

步骤S32:对于步骤S22中的习题解析树 中的第q个知识点 ,使用ALBERT预训练模型提取到对应的知识点表示 ;将所有的知识点表示 进行组合得到知识点节点特征矩阵 ,表示为:。

5.如权利要求4所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S4具体为:步骤S41:将习题解析树Gtree的知识点节点特征矩阵 输入到图注意力网络中,以获得更新后的知识点节点特征矩阵;

具体为:对知识点节点特征矩阵 进行线性变换,通过权重矩阵W,将习题解析树中第q个知识点的知识点表示 转换到新的特征空间;也即特征映射操作,表示为:;

其中, 表示更新后的知识点表示;

通过重复特征映射操作获取更新后的知识点节点特征矩阵 ,表示为:;

步骤S42:计算每个知识点节点与其邻居知识点节点之间的注意力分数,通过导入步骤S22的邻接矩阵Mtree来判断二者是否相连;具体为:若知识点节点Vq和邻居知识点节点Vp相连,则Mtree=1,若不相连,则Mtree=0;

步骤S42具体为:

将知识点节点Vq对应的更新后的知识点表示 和邻居知识点Vp对应的更新后的知识点表示 通过拼接操作后输入注意力机制中以计算二者之间的注意力分数,表示为:;

其中, 表示非线性激活的激活函数,a表示可学习的权重参数,T为矩阵转置,||表示拼接操作, 表示知识点节点Vq和邻居知识点节点Vp之间的注意力分数;

对比不同知识点节点间的注意力权重,使用Softmax函数对注意力分数进行归一化处理,即根据邻接矩阵Mtree来确定邻居节点,表示为:;

其中, 表示知识点节点Vq和邻居知识点节点Vp之间的注意力系数;N(q) 表示知识点节点Vq所有的直接邻居知识点节点;k表示遍历 N(q) 中的所有邻居知识点节点的索引;

表示知识点节点Vq和全部邻居知识点节点 之间的注意力分数, 表示指数函数;

步骤S43:对知识点节点Vq自身以及全部邻居知识点 的特征进行加权求和,获得习题解析树 中的第q个知识点 最终的知识点表示 ,表示为:;

其中, 表示非线性激活函数, 表示知识点节点Vq和全部邻居知识点节点 之间的注意力系数;

对习题解析树 中的每个知识点对应的最终的知识点表示进行拼接操作,以得到更新后的知识点表示 ,表示为:;

步骤S44;对更新后的知识点表示 进行加权聚合,然后对加权聚合结果进行平均池化以得到最终的习题解析树特征表示htree,表示为:;

其中, 是知识点节点 的权重,i表示最终更新后的知识点表示的索引,表示平均池化操作。

6.如权利要求5所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S5具体为:步骤S51:利用交叉注意力机制对步骤S31的知识点对特征表示 和跨度特征表示进行融合,并将融合结果作为具有知识点对语义特征联系的跨度信息表示,即知识点跨度融合表示;具体为:首先计算知识点对特征表示 和跨度特征表示 之间的注意力分数,接着通过激活函数转换成对应的注意力权重,通过获取的注意力权重进行加权求和,将求和的结果进一步平均池化以得到知识点跨度融合表示:表示为:;

其中, 表示知识点跨度融合表示; 、 、 是三个可学习的权重矩阵;

表示缩放因子, 表示激活函数, 表示平均池化操作;

步骤S52:通过拼接步骤S44的习题解析树特征表示htree和步骤S51中的知识点跨度融合表示,获取融合特征表示,表示为:;

其中, 表示拼接操作,表示融合特征。

7.如权利要求6所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S6具体为:步骤S61:输入融合特征表示u至预测层,生成最终的分类概率,表示为:;

其中, 和 为可学习的矩阵与偏置向量, 为激活函数,表示的分类概率;

步骤S62:将分类概率 转换为具体的预测类别;具体为:引入分类阈值 ,当分类概率 超过分类阈值 时,用预测结果 表示当前知识点对之间存在的依赖关系,表示为:。

8.如权利要求7所述的一种基于跨度和习题解析的数学知识点关系预测方法,其特征在于,步骤S7具体为:构建交叉熵损失函数 ,最小化交叉熵损失函数 以对模型进行优化;表示为:

其中, 表示标注的真实关系。