1.一种联合试题分类与评分学习的主观题自动评阅深度学习方法,其特征在于包括以下步骤:S1.通过一个带有残差连接的CNN试题分类子模型对待评阅的主观题进行试题分类,得到待评阅的主观题试题类型;
S2.将待评阅的主观题的试题类型嵌入和学生答案输入序列及标准答案输入序列的每一个字嵌入相连接,得到试题类型感知的学生答案感知输入和标准答案感知输入,然后将它们送入一个由CNN和Bi‑LSTM组成的主观题试卷评分子模型进行评分,得到学生答案的评分等级;
S3.通过联合计算步骤S1和步骤S2的损失函数,训练一个联合试题分类与评分学习的主观题自动评阅神经网络模型;
S4.使用步骤S3训练成型的主观题自动评阅神经网络模型,对任意的学生答案进行评阅;
所述主观题试题类型包括“定义类主观题试题”、“顺序类主观题试题”和“一般类主观题试题”,所述“定义类主观题试题”是指要求学生对某个概念的定义作出解释的主观题,“顺序类主观题试题”是指答案包括多个按顺序依次给出的要点的主观题,所述“一般类主观题试题”是指除定义类和顺序类之外的其他主观题;
所述步骤S1具体包括:
S1.1将待分类试题的字序列 通过查表操作转换为待分类试题的字嵌入序列Te,计算过程如下所示:其中,n表示待分类的试题的句子长度,OneHot(T)表示将试题字序列T转换为独热矩阵,To为试题字序列T的独热矩阵,|V|表示字典V的大小,所述字典V为模型建立的包含所有字的字典, 为与字典V对应的预训练的字嵌入矩阵, 表示试题字序列T中第i个字所对应的字嵌入向量,h表示字字嵌入向量的维度;
S1.2将待分类试题的字嵌入序列Te输入到一个采取零填充的卷积神经网络,获得待分类试题的浅层语义表示Tc,计算过程如下所示:其中,PCNN(·)表示一个采取零填充的卷积神经网络,(Tc)ij表示Tc的第i行第j列元素,k为卷积核尺寸,dc为卷积核的个数, 表示待分类试题的字嵌入序列Te进行零p填充之后的结果,(Te)j:j+(k‑1)表示 的第j列到第j+(k‑1)列所组成的子矩阵, 表示第i个卷积核的权重, 表示第i个卷积核的偏置,表示卷积运算;
S1.3待分类试题的浅层语义表示Tc送入一个由两个全连接层组成的前馈神经网络进行增强,得到待分类试题的增强语义表示 计算过程如下所示:其中, 分别为两个全连接层的权重矩阵, 分别为两个全连接层的偏置向量,ReLU是英文“Rectified Linear Unit”的缩写,ReLU()表示采取修正线性单元运算的激活函数;
S1.4将待分类试题的浅层语义表示Tc与其增强语义表示Tf进行残差连接,得到待分类试题的深层语义表示Tu,计算过程如下所示:其中,LayerNorm(·)表示层归一化处理;
S1.5对待分类试题的深层语义表示Tu进行最大池化处理,得到待分类试题的分类向量cZ,计算过程如下所示:
其中,maxPooling(·)表示最大池化操作;
c
S1.6对待分类试题的分类向量Z 执行softmax的线性变,进行试题类型的概率计算,并得出最终的试题类型,计算过程如下:c c o
o=MZ+b (8)其中, 是试题类型表示矩阵, 是一个偏置向量,dy是试题类型的类c c
别个数, 表示Z 在所有试题类型上的置信分数向量,y为一个试题类型,oy表示Z 标c c注为试题类型y的置信分数,oi表示Z在第i个试题类型上的置信分数,Ρ(y|Z)表示待分类c试题的分类向量Z在试题类型y上的预测概率,Y是所有试题类型的集合,c *表示返回使得Ρ(y|Z)为最大值的试题类型,y 为待分类试题的最终分类的试题类型,exp(·)表示以自然常数e为底的指数函数;
所述步骤S2具体包括:
S2.1将学生答案字序列、标准答案字序列按照步骤S1.1进行查表操作,分别得到学生答案字嵌入序列 标准答案字嵌入序列然后将试题字嵌入序列Te分别与学生答案字嵌入序列 标准答案字嵌入序列 进行首尾拼接,得到学生答案输入序列Ae和标准答案输入序列Se,计算过程如下所示:其中,“:”表示序列的首尾拼接运算,n1为学生答案的句子长度,n2为标准答案的句子长度,m1为学生答案输入序列Ae的长度且m1=n+n1,m2为标准答案输入序列Se的长度且m2=n+n2;
*
S2.2将步骤S1所获得的试题类型y 通过查表操作转换为所对应的试题类型嵌入然后将vt分别与学生答案输入序列Ae和标准答案输入序列Se中的每一个字嵌入相连接,得到学生答案感知输入At和标准答案感知输入St,计算过程如下所示:其中, 分别是学生答案输入序列Ae和学生答案感知输入At中第i列的字嵌入向量,dt是试题类型嵌入的维度, 分别是标准答案输入序列Se和标准答案感知输入St中第j列的字嵌入向量,“;”表示向量的连接运算;
S2.3将学生答案感知输入At和标准答案感知输入St分别送入到两个采取零填充且共享参数的卷积神经网络,获得学生答案浅层语义表示Ac和标准答案浅层语义表示Sc,计算过程如下所示:其中,sharedPCNN1(·)、sharedPCNN2表示两个采取零填充且共享参数的卷积神经网络,dc为卷积核的个数;
S2.4将学生答案浅层语义表示Ac和标准答案浅层语义表示Sc送入一个由Bi‑LSTM组成g的交互网络,得到学生答案的评分向量Z,如下所示:
其中,Interactive(·)表示一个由Bi‑LSTM组成的交互网络,dL为交互网络中Bi‑LSTM的隐藏状态的维度;
g
S2.5对学生答案的评分向量Z 执行softmax的线性变换,进行评分等级的概率计算,并得出最终的评分等级,计算过程如下:g g g
x=MZ+b (18)其中, 是评分等级表示矩阵, 是一个偏置向量,dg是评分等级的g g
个数, 是表示Z所有评分等级置信分数的向量,g为一个评分等级,xg表示Z标注为g g g评分等级g的置信分数,xi表示Z 在第i个评分等级上的置信分数,Ρ(g|Z)表示评分向量Z*在评分等级g上的预测概率,G是所有评分等级的集合,g为最终评定的评分等级,g表示返回使得Ρ(g|Z)为最大值的评分等级;
所述步骤S2.4具体包括:
S2.4.1分别使用两个共享参数的Bi‑LSTM对学生答案浅层语义表示Ac和标准答案浅层语义表示Sc进行编码,得到学生答案上下文表示Ar和标准答案上下文表示Sr,计算过程如下:其中,sharedBiLSTM1(·)、sharedBiLSTM2(·)表示两个共享参数的Bi‑LSTM,分别表示Ac与Sc在Bi‑LSTM中的第i个时间步所对应的双向隐藏状态的连接结果;
S2.4.2通过注意力机制对学生答案上下文表示Ar和标准答案上下文表示Sr进行交互,得到相互关注的Ar和Sr,计算过程如下;
其中, 为Ar中的第i个元素, 为Sr中的第j个元素, 分别表示对 和 进行转置运算, 为表示“所有”的全称逻辑量词, 分别表示隐藏状态元组 和 的注意力权重;
S2.4.3分别将Ar和Sr与学生答案上下文表示Ar和标准答案上下文表示Sr进行融合,得到学生答案融合表示Af和标准答案融合表示Sf,计算过程如下所示:其中, 为Af中的第i个元素, 为Sf中的第i个元素,Fusion()表示融合运算,⊙表示矩阵逐元素相乘运算;
S2.4.4分别使用两个共享参数的Bi‑LSTM对学生答案融合表示Af和标准答案融合表示Sf进行增强处理,得到学生答案深层语义表示Au和标准答案深层语义表示Su,计算过程如下:其中, 分别表示Af与Sf在Bi‑LSTM中的第i个和第j个时间步所对应的双向隐藏状态的连接结果;
S2.4.5分别对学生答案深层语义表示Au和标准答案深层语义表示Su进行平均池化和最g大池化,并将池化后的所有池化向量全部连接起来,得到学生答案的评分向量Z,计算过程如下:其中,maxPooling(·)表示最大池化操作,avePooling(·)表示平均池化操作, 是Au的最大池化向量, 是Au的平均池化向量, 是Su的最大池化向量, 是Su的平均池化向量,“;”表示向量的连接运算。
2.根据权利要求1所述的一种联合试题分类与评分学习的主观题自动评阅深度学习方法,其特征在于:所述步骤S3具体包括:
S3.1分别使用交叉熵损失误差计算试题分类子模型的损失函数和主观题自动评分子模型的损失函数,计算过程如下:其中,Ω是联合试题分类与评分学习的主观题自动评阅任务的训练集,|Ω|表示训练集Ω的大小, 是Ω中第i个训练样本的真实试题分类,gi是Ω中第i个训练样本的真实评分等级, 是Ω中第i个训练样本的试题的分类向量, 是Ω中第i个训练样本的学生答案的评分向量,Υ1是进行试题分类子模型训练时使用的损失函数,Υ2是进行主观题自动评分子模型训练时使用的损失函数;
S3.2使用如下的公式计算联合试题分类与评分学习的主观题自动评阅神经网络模型的联合损失函数其中,λ和β是两个权重参数;
S3.3联合试题分类与评分学习的主观题自动评阅神经网络模型的训练目标是最小化公式(40)的联合损失误差。