利索能及
我要发布
收藏
专利号: 2022100967423
申请人: 山东建筑大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.知识追踪方法,其特征是,包括:

获取待知识追踪学生的若干个已做试题、每个已做试题对应的知识点及每个已做试题的得分;

将获取待知识追踪学生的若干个已做试题、每个已做试题对应的知识点及每个已做试题的得分,输入到训练后的知识追踪模型中,得到学生对不同知识点的掌握度;

其中,训练后的知识追踪模型;工作原理包括:

对所有已做试题进行编码得到试题初始表征,对每个试题初始表征进行特征提取,得到每个试题的第一试题嵌入表征;

对所有已做试题对应的知识点进行编码得到每个试题对应的知识点初始表征,对每个试题对应的知识点初始表征进行特征提取,得到每个试题对应的知识点嵌入表征;

对每个试题的第一试题嵌入表征和每个试题对应的知识点嵌入表征进行关联,得到每个试题的第二试题嵌入表征;

根据每个试题的第二试题嵌入表征和每个已做试题得分,确定学生对不同知识点的掌握度;

所述对所有已做试题进行编码得到试题初始表征,具体包括:从学生答题轨迹数据 中提取出试题编号序列

,以及考核知识点序列 ,并利用“独热编码”进行表示;利用 和 分别表示试题 和知识点 的独热编码向量,作为初始表征输入到预训练网络;

所述知识追踪模型,包括:

相互连接的预训练网络和深度知识追踪网络DKVMN;

所述预训练网络,包括:依次连接的第一深度神经网络Bert、第二深度神经网络Bert、第三深度神经网络Bert;

其中,第一深度神经网络Bert的输入端用于输入试题初始表征,第一深度神经网络Bert的输出端与第三深度神经网络Bert的输入端连接;第一深度神经网络Bert用于预测试题所包含的知识点,从而建立试题与知识点之间的关系;

其中,第二深度神经网络Bert的输入端用于每个试题对应的知识点初始表征,第二深度神经网络Bert的输出端与第三深度神经网络Bert的输入端连接;第二深度神经网络Bert用于建模知识点之间的关系;

所述第二深度神经网络Bert用于建模知识点之间的关系;具体包括:利用第二深度神经网络Bert,构建知识点的第二嵌入表征 ;把“独热编码”后的知识点的原始表征 输入第二深度神经网络Bert,然后通过预训练得到上下文感知的知识点的嵌入表征向量 ;

第二深度神经网络Bert,利用Bert网络Mask 机制来学习 ,具体实施为:随机地选择一定比例的知识点进行掩盖Mask,然后利用该知识点的上下文信息对其进行预测;令 表示预测结果, 表示被Mask的知识点,利用最小化交叉熵损失学习到知识点的嵌入表征,损失函数如公式(3)所示;

第三深度神经网络Bert的输出端用于输出每个试题的第二试题嵌入表征;第三深度神经网络Bert用于预测试题的难易程度,从而建立试题之间的相似性关系;

第三深度神经网络Bert的输出端,与深度知识追踪网络DKVMN的输入端连接;深度知识追踪网络DKVMN的输出端用于输出学生对各个知识点掌握情况;

所述训练后的知识追踪模型,训练过程包括:

首先,对预训练网络进行训练,得到训练后的预训练网络;

然后,将训练后的预训练网络的输出作为深度知识追踪网络DKVMN的输入,对DKVMN网络进行训练,得到训练后的知识跟踪模型;

所述对预训练网络进行训练,得到训练后的预训练网络;具体包括:构建第一训练集;所述第一训练集为已知试题所包含知识点标签、已知知识点前后位置关系标签以及已知试题难易程度标签的学生已做试题;

将第一训练集输入到预训练网络中,对预训练网络进行训练,设定第一深度神经网络Bert对应第一损失函数;第二深度神经网络Bert对应第二损失函数;第三深度神经网络Bert对应第三损失函数;将第一、第二和第三损失函数进行加权求和,得到总损失函数;

当总损失函数值不再降低时,停止训练,得到训练后的预训练网络;

将训练后的预训练网络的输出作为深度知识追踪网络DKVMN的输入,对DKVMN网络进行训练,得到训练后的知识跟踪模型,具体包括:将训练后的预训练网络与深度知识追踪网络DKVMN进行连接,得到连接后的网络;

构建第二训练集;其中,所述第二训练集为已知得分信息的学生已做试题;

将第二训练集输入到连接后的网络中,对网络进行训练,得到训练后的知识跟踪模型;

对所有已做试题进行编码得到试题初始表征,具体包括:采用独热编码的形式,对所有已做试题进行编码得到试题初始表征;

对每个试题初始表征进行特征提取,得到每个试题的第一试题嵌入表征;具体包括:采用训练后的知识追踪模型的第一深度神经网络Bert,对每个试题初始表征进行特征提取,得到每个试题的第一试题嵌入表征;

对所有已做试题对应的知识点进行编码得到每个试题对应的知识点初始表征,具体包括:采用独热编码的形式,对所有已做试题对应的知识点进行编码得到每个试题对应的知识点初始表征;

对每个试题对应的知识点初始表征进行特征提取,得到每个试题对应的知识点嵌入表征;具体包括:采用训练后的知识追踪模型的第二深度神经网络Bert,对每个试题对应的知识点初始表征进行特征提取,得到每个试题对应的知识点嵌入表征;

对每个试题的第一试题嵌入表征和每个试题对应的知识点嵌入表征进行关联,得到每个试题的第二试题嵌入表征;具体包括:采用训练后的知识追踪模型的第三深度神经网络Bert,对每个试题的第一试题嵌入表征和每个试题对应的知识点嵌入表征进行关联,得到每个试题的第二试题嵌入表征;

所述第一深度神经网络Bert、第二深度神经网络Bert和第三深度神经网络Bert,内部结构是一样的;

所述第一深度神经网络Bert,包括:

依次连接的多头注意力机制层、第一归一化层、前馈神经网络和第二归一化层;

其中,所述第一归一化层的输入端与多头注意力机制层的输入端进行残差连接;

其中,所述第二归一化层的输入端与前馈神经网络的输入端进行残差连接;

多头注意力机制层的输入端为第一深度神经网络Bert的输入端;

第二归一化层的输出端为第一深度神经网络Bert的输出端;

所述多头注意力机制层,用于针对当前输出信息,获取输入信息中不同位置数据的权重,权重大的数据在预测输出时相应的会占较大的比重;

所述第一归一化层,用于将输入数据归一化成均值为0,标准差为1的数据,以消除数据不同尺度的影响;

所述前馈神经网络,用于通过使用非线性激活函数让模型具有非线性能力;

所述第二归一化层,用于将输入数据归一化成均值为0,标准差为1的数据,以消除数据不同尺度的影响;

所述总损失函数,是指:

;公式(1)

其中, 为超参数,表示多任务学习中的每一个任务的权重系数; 表示总损失函数;

;公式(2)

其中, 和 分别表示试题数量和知识点的数量; 为模型所预测的试题 包含第 个知识点的概率,而 为真实值,值为1表示试题 包含第 个知识点,否则为0;

表示二值交叉熵损失函数, 为第一损失函数;

;公式(3)

其中, 表示预测结果, 表示被Mask的知识点, 表示交叉熵损失函数; 为第二损失函数;

;公式(4)

其中, 为试题 的实际难度值,该值通过计算正确作答试题 的学生人数在学生总人数中所占的比例得到; 表示所预测的试题 的难度, 表示均方差损失函数, 为第三损失函数。

2.采用如权利要求1所述的知识追踪方法的知识追踪系统,其特征是,包括:获取模块,其被配置为:获取待知识追踪学生的若干个已做试题、每个已做试题对应的知识点及每个已做试题的得分;

知识追踪模块,其被配置为:将获取待知识追踪学生的若干个已做试题、每个已做试题对应的知识点及每个已做试题的得分,输入到训练后的知识追踪模型中,得到学生对不同知识点的掌握度;

其中,训练后的知识追踪模型;工作原理包括:

对所有已做试题进行编码得到试题初始表征,对每个试题初始表征进行特征提取,得到每个试题的第一试题嵌入表征;

对所有已做试题对应的知识点进行编码得到每个试题对应的知识点初始表征,对每个试题对应的知识点初始表征进行特征提取,得到每个试题对应的知识点嵌入表征;

对每个试题的第一试题嵌入表征和每个试题对应的知识点嵌入表征进行关联,得到每个试题的第二试题嵌入表征;

根据每个试题的第二试题嵌入表征和每个已做试题得分,确定学生对不同知识点的掌握度。