利索能及
我要发布
收藏
专利号: 2022100278308
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合深度知识追踪的动态感知试题推荐方法,其特征在于:该方法包括知识提取和知识演化;

知识提取是从显式学生试题交互序列中提取潜在的知识掌握情况,知识演化是对知识演化过程建模;

在知识提取中,引入辅助损失函数来为当前时刻的试题交互施加额外的监督,表示学生各个时刻的知识状态;该辅助损失函数使用下一个试题交互来监督当前隐藏状态的学习,结合门控循环单元GRU从而获得相应的知识状态序列;

在知识演化中,设计带有自注意更新门的门控循环单元SAGRU的顺序学习结构;SAGRU通过在更新门中引入自注意机制,增强相关知识对知识演化的影响,引导不同目标试题特定的知识演化过程。

2.根据权利要求1所述的一种融合深度知识追踪的动态感知试题推荐方法,其特征在于:所述门控循环单元GRU对行为之间的依赖关系进行建模,其中GRU的输入是按发生时间排序的学生试题交互数据;GRU的公式如下:u u u

ut=σ(Wvt+Uht‑1+b)r r r

rt=σ(Wvt+Uht‑1+b)其中σ是sigmoid激活函数,是元素乘积,W,U和b是模型的参数,vt是GRU的输入,表示学生的第t个试题交互,ht是第t个隐藏状态;

原始的DKT中损失函数L定义为:其中原始损失函数L是学生试题序列t≤T的负对数似然函数,pt+1是模型t+1时刻输出的预测概率,at+1表示t+1时刻试题的真实标签;该损失函数通过最小化目标试题预测概率和实际标签之间的标准交叉熵来训练模型;

在学生试题交互序列的T时刻,由于目标试题qT+1的做题情况是由试题交互序列T时刻的知识状态hT决定,在损失函数L中仅用目标试题的二进制成绩标签aT+1监督了T时刻的知识状态,而t<T的知识状态没得到实时的监督;

引入辅助损失函数来为原始损失函数中t<T时刻试题交互序列施加监督,从而有效挖掘学生的潜在知识掌握情况;辅助损失函数将原始的损失函数L分为两部分:t<T时刻的历史辅助损失函数Lhistory和T时刻的目标辅助损失函数Ltarget;在t<T时刻,使用下一时刻的试题交互vt+1来监督当前知识状态ht;历史辅助损失函数Lhistory的公式为:其中历史辅助损失函数Lhistory表示t<T时刻带监督的学生试题序列的负对数似然函数,S表示学生的数量, 是sigmoid激活函数, 表示学生i的第t个GRU隐藏状态, 表示学生i回答正确的第t+1个交互的嵌入向量, 表示学生i错误回答的第t+1个试题的嵌入向量,G是整个问题集, T时刻的知识状态由目标试题二进制成绩标签aT+1监督,目标辅助损失函数Ltarget公式为:其中,目标辅助损失函数Ltarget表示T时刻带监督的学生试题序列的负对数似然函数;

模型中总体的损失函数为:

Lglobal=Ltarget+α*Lhistory其中Lglobal表示全部时刻的带监督的学生试题序列的负对数似然函数,α是在知识表示和成绩预测之间取得平衡的超参数。

3.根据权利要求2所述的一种融合深度知识追踪的动态感知试题推荐方法,其特征在于:所述学生各个时刻的知识状态是通过多头自注意力来获取的;

多头自注意力:用i′t表示知识演化层的输入,其值为知识提取层上相应的知识状态i′t=ht,将h′t表示知识演化层的隐藏状态,用h′DK表示动态知识状态,将目标题目作为查询Q,将学生的历史交互序列作为键K和值V;使用下列公式获得查询和键值对:Q K V

Q=vtargetW ,K=htW ,V=htWQ K V

其中,W ,W ,W是查询、键和值的线性矩阵,负责将各自的向量线性投影到不同的空间;

然后使用注意力权重来确定每个先前的交互与目标试题的相关性,使用标度点积Attention(Q,K,V)为注意力函数:为共同关注来自不同空间的向量信息,使用不同的线性矩阵对查询、键和值进行线性投射获得多头MultiHead(Q,K,V):O

MultiHead(Q,K,V)=Concat(head1,...,headh)WQ K V O

其中每个头为 Wi ,Wi ,Wi ,W 是线性矩阵;之后将不同的头向量连接起来,被送入前馈网络中;

O

It=FNN(Concat(head1,...,headh)W)O

其中,It表示不同子空间的相关知识信息,FNN(·)是前馈网络,W 是线性矩阵;最后将It通过残差连接和层标准化,残差连接用于将较低层特征传播到较高层;如果低层特征对于模型很重要,残差连接将有助于将这些特征传播到执行预测的最终层,使模型更容易利用低层特征的信息;层标准化的作用是标准化跨特征的输入,从而有助于稳定和加速神经网络的训练;

由于每个多头自注意力模块的输出是一个包含目标试题相关信息的向量,为在知识演化过程中激活相关的知识状态;设计带有更新门的SAGRU来将自注意力机制和GRU结合,其公式如下:

其中 是元素乘积,u′t是SAGRU原始的更新门, 是为SAGRU设计的注意力更新门,h′t,h′t‑1, 是SAGRU的隐藏状态。

4.一种融合深度知识追踪的动态感知试题推荐系统,其特征在于:包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1~3任一项所述的方法。

5.一种计算机可读存储介质,其上储存有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1~3任一项所述的方法。