利索能及
我要发布
收藏
专利号: 202410913874X
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种应用于智慧教育的提示学习知识追踪方法,其特征在于,该方法包括:S1,基于BERT的框架设计适用于学生练习序列语义理解的预训练任务,得到学生学习行为的丰富语义表示;

S2,设计提示模板,将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述;

S3,在预训练模型的基础上进行提示调优,执行相同的掩码任务,在小样本数据量的场景下,实现知识追踪;

在步骤S2中,设计提示模板,将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述,包括:首先,引入伪词元,不使用具体意义的词元表示模板,用抽象的虚拟词元;构造能够引导模型完成下游任务的输入形式;

随后,这些伪词元被新的编码器编码,完成与原始输入的融合;

最后,融合后的提示编码被输入到预训练好的LKM中,得到相应的输出;

在步骤S2中,设计提示模板还包括:

针对用于自然语义表述的硬提示模板,构造提示序列,表述为一个映射ph,表达式为:式中, 为对学生的学习序列 使用硬模板构造提示序列的过程,[CLS]为序列整体的语义表示, 为学生的学习序列,eT为该学生在未来T时刻要做的练习,[MASK]为掩码词元;

为避免编码不一致,直接用于知识追踪任务引入伪词元,得到伪序列:式中, 为伪词元构成的伪序列,pt1为第1个伪词元,pt2为第2个伪词元,ptl为第l个伪词元;

每个位置ptj表示第j个词元,提示序列重新用映射ps表述为:得到由知识引导的提示序列:

式中, 为对学生的学习序列 使用软模板构造提示序列的过程;

针对练习词元设计用于辅助模型训练;对待预测练习词元进行掩码,而不对回答词元掩码;得到辅助提示序列表示为:式中,c(eT)为练习eT所涉及到的知识概念,rT为练习eT的回答标签;

在步骤S3中,在预训练模型的基础上进行提示调优,包括:

首先,引入提示编码器PE模型对提示序列进行编码;提示编码器PE模型由4层Transformer Encoder构建而成;首先为每个伪词元pti构造初始嵌入表示ptj,然后输送到PE模型,得到其隐藏层输出hj,作为该词元的特征表示;对于原始学生序列,则使用预训练后的LKM中的嵌入层按照之前的方法获取对应的复合嵌入表示;对于提示模板中的关键词元,包括eT,c(eT),rT,得到相应的嵌入表示et,ct,rt,之后,按照与目前NLP任务中类似的提示输入构建方法,将以上嵌入拼接,得到最终的提示输入表示:ps=[xcls,x1…xT‑1,eT,cT,xmask,h1…hl]式中,ps为提示序列对应的嵌入表示,xcls为[CLS]词元的嵌入表示,x1为学生在第1时刻的交互嵌入,xT‑1为学生在第T‑1时刻的交互嵌入,eT为练习eT的嵌入表示,cT为c(eT)的嵌入表示,xmask为[MASK]词元的嵌入表示,h1为伪词元pt1的嵌入表示,hl为伪词元ptl的嵌入表示;

将以上嵌入表示输入到预训练后的LKM隐藏层,并得到最后的隐藏层输出;与预训练阶段掩码任务RTM相同,分别取出标识练习位和回答位的[MASK]表示,计算交叉熵损失函数,完成多提示模型调优。

2.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法,其特征在于,在步骤S1前,还需进行数据构建,具体包括:在预训练阶段,LKM模型以学生复合学习序列为输入;学生复合学习序列由四种数据构成:练习序列、概念序列、回答序列和练习难度序列;

LKM模块模型接受嵌入输入,先将序列转化为嵌入表示,对于第t个元素xt,复合嵌入表示为练习嵌入et、概念嵌入ct、回答嵌入rt、难度嵌入dt以及位置嵌入pt的向量和;概念嵌入ct为练习嵌入et涉及到的所有概念的平均嵌入,令d表示模型维度,则pt按照Transformer中正余弦位置编码的计算公式得到,表达式为:式中,pt(i)为时刻t对应的位置嵌入pt的第i个元素,t为当前时刻,i为用于索引嵌入向量的元素,d为模型维度;

LKM模型则输出位于[CLS]和所有[MASK]位的隐藏层向量,用于计算损失函数优化预训练;

在提示调优阶段,LKM模型预训练后,用于处理学生序列;PE模型用于对提示序列进行编码,与提示模板的嵌入表示拼接后,输入到LKM模型中的隐藏层,仅输出所有[MASK]位置的隐藏层向量,完成KT预测以及提示调优。

3.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法,其特征在于,在步骤S1中,基于BERT的框架设计适用于学生练习序列语义理解的预训练任务,包括:首先构建一个由8层Transformer Encoder构成的大知识模型LKM,根据学生序列的时序性特点和依赖关系,设计前后顺序预测FBO和随机词元掩码RTM两个训练任务;在多任务联合训练下,LKM充分学习到学生学习序列的语义表示,同时在粗粒度和细粒度两个层面挖掘学生练习行为的内在模式和特征;

随机词元掩码RTM用于结合学生前后交互行为,判断出某个时刻学生的交互行为,即细粒度特征;对于FBO任务,将每个原始学习序列从中间划分为两个段,称作segment‑a和segment‑b;对所有的段重新组合成新的序列,若重组后的序列能还原到某个原始序列,则标记这个新序列为正样本;否则,标记为负样本;

对于FBO任务,引入BERT中给出的[CLS]和[SEP]特殊词元,其中,[CLS]符位于整个序列最前方,用于序列语义表征和用于FBO顺序预测,后面跟segment‑a和segment‑b,并在两段中间插入一个[SEP]符用于段之间的划分;

对于RTM任务,引入BERT的掩码思想;选中样本序列中15%的词元作为候选集,掩码

15%的词元的思想适用于练习词元和回答词元;

对样本序列构造嵌入后,输入到LKM模型中,经过8层Transformer注意力计算后,得到:(a)[CLS]位置的隐藏层向量表示;

(b)所有15%的掩码位对应的向量表示。

4.根据权利要求3所述的应用于智慧教育的提示学习知识追踪方法,其特征在于,所述

15%的词元,包括:

①80%的词元使用[MASK]特殊词元替换;

②10%的词元随机替换为任意一个词元,且不包含[CLS]、[SEP]和[MASK]特殊词元;

③剩下的10%词元保持不动,能够识别出原始的信息。

5.根据权利要求3所述的应用于智慧教育的提示学习知识追踪方法,其特征在于,步骤(a)用于FBO任务,判断所代表的序列是正样本还是负样本,计算FBO损失,即二元交叉熵损失,表达式为:式中,LF为FBO Loss的简写,N为总样本个数,yi为第i个样本实际的标签,pi为第i个样本被预测为正样本的概率;

步骤(b)用于RTM任务,能否恢复出掩码位置原本的内容;对于练习词元掩码,计算多元交叉熵损失,表达式为:式中,Lmulti为多元交叉熵损失函数,t为在求和公式中索引掩码词元,M为总掩码词元的个数,c为在求和公式中索引练习,m为总练习个数,yt,c为练习et被分类到第c个类别的概率,pt,c为练习et被分类到第c个类别的标签;如果et是第c个类别,则pt,c=1否则pt,c=0;

对于回答词元掩码,计算二元交叉熵损失,表达式为:

式中,Lbinary为二元交叉熵损失函数,rt为t时刻学生的回答标签,pt为t时刻预测学生回答正确的概率;

相应地,得到RTM损失,表达式为:

LR=Lmulti+Lbinary

式中,LR为RTM Loss的简写;

最小化两损失,完成LKM的训练任务,表达式为:

L=LR+LF

式中,L为损失函数。

6.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法,其特征在于,在步骤S3后,进行参数配置完成知识追踪目标,平衡预测性能和训练代价。

7.一种应用于智慧教育的提示学习知识追踪系统,其特征在于,该系统实施如权利要求1‑6任意一项所述应用于智慧教育的提示学习知识追踪方法,该系统包括:预训练模块,用于基于BERT的框架设计适用于学生练习序列语义理解的预训练任务,得到学生学习行为的丰富语义表示;

提示模板设计模块,用于设计提示模板,将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述;

提示调优模块,用于在预训练模型的基础上进行提示调优,执行相同的掩码任务,在小样本数据量的场景下,实现知识追踪。