1.一种融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：训练及监控过程包括如下步骤：S01、采集考生的线上考试视频，使用正常行为、可疑行为或危险行为三种行为状态类别对每一视频帧进行行为状态标注，将标注后的视频帧作为训练样本，所有训练样本组成训练样本集；

S02、对训练样本进行预处理，首先灰度化，再进行人脸识别与对齐，最后调整亮度并去除噪声完成预处理；利用开源模型Dlib库对预处理后的训练样本进行人脸检测，定位出人脸的68个关键特征点；

S03、采用开源模型OpenFace对预处理后的训练样本进行面部情绪特征提取，识别面部的17个AU强度，AU表示微表情动作单元；

S04、采用多标签学习的方法构建面部微表情识别神经网络auCNN，以步骤S03中识别出的17个AU强度作为真实值，输入预处理后的训练样本，输出各个AU及各个AU强度的预测值，实现对面部微表情的识别；

S05、根据相机参数矩阵，将人脸的68个关键特征点从二维的像素坐标系转换到三维的世界坐标系，并通过旋转矩阵R计算三个欧拉角，即俯仰角αE、偏航角βE和翻滚角γE；

S06、采用有监督学习的方法构建头部姿态跟踪神经网络headCNN，以步骤S05中计算出的三个欧拉角作为真实值，输入预处理后的训练样本，输出三个欧拉角的预测值，实现对头部姿态的跟踪；

S07、根据人脸的68个关键特征点和预处理后的训练样本计算出人眼中心位置及瞳孔位置，计算眼部特征的垂直方向角eyepitch和眼部特征的水平方向角eyeyaw；

S08、采用有监督学习的方法构建眼神追踪神经网络eyeCNN，以步骤S07中的两个方向角作为真实值，输入预处理后的训练样本的眼部区域，输出两个方向角的预测值，实现对眼神的追踪；

S09、采用联合学习的方法构建防作弊神经网络TestCNN，融合面部微表情识别神经网络auCNN、头部姿态跟踪神经网络headCNN和眼神追踪神经网络eyeCNN中包含的特征，将融合后的特征输入到防作弊神经网络TestCNN，分别输出正常行为、可疑行为和危险行为的概率，概率最大的即为所预测的行为状态类别；

从面部微表情识别神经网络auCNN输出的17个AU强度的预测值中提取最基本的12个AU强度的预测值，将该12个AU强度的预测值、头部姿态跟踪神经网络headCNN输出的三个欧拉角的预测值、眼神追踪神经网络eyeCNN输出的两个方向角的预测值，总计17个特征，组成一个大小为(1,17)的融合向量InPut，将融合向量InPut作为防作弊神经网络TestCNN的输入；

所述防作弊神经网络TestCNN包括依次连接的输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、扁平化层、全连接层、Dropout层和输出层，Dropout层即随机失活层；

所述输入层的输入为InPut；

所述卷积层1用于提取InPut的特征，卷积层1包括64个卷积核，每个卷积核大小为3×

3，步长为1，填充模式为same，激活函数为线性整流函数ReLU；

所述池化层1连接在卷积层1之后，对卷积层1的输出进行下采样；池化层1采用最大池化，池化窗口大小为2×2，步长为2；

所述卷积层2用于提取池化层1下采样后的结果所包含的特征，卷积层2包括128个卷积核，每个卷积核大小为3×3，步长为1，填充模式为same，激活函数为线性整流函数ReLU；

所述池化层2连接在卷积层2之后，对卷积层2的输出进行下采样；池化层2采用最大池化，池化窗口大小为2×2，步长为2；

所述卷积层3用于提取池化层2下采样后的结果所包含的特征，卷积层3包括256个卷积核，每个卷积核大小为3×3，步长为1，填充模式为same，激活函数为线性整流函数ReLU；

所述池化层3连接在卷积层3之后，对卷积层3的输出进行下采样；池化层3采用最大池化，池化窗口大小为2×2，步长为2；

所述扁平化层将池化层3输出的特征图扁平化为一维向量，并传输给全连接层；

所述全连接层用于进一步压缩扁平化层得到的一维特征向量，保留最主要特征，全连接层包括512个神经元，激活函数为线性整流函数ReLU；

所述Dropout层连接在全连接层之后，用于规避过度拟合问题；

所述输出层对Dropout层的输出进行归一化处理，分别输出正常行为、可疑行为和危险行为的概率，概率最大的即为所预测的行为状态类别；

所述线性整流函数ReLU表示为f(x)＝max(0,x)；其中x表示输入，f(x)表示输出；

S10、使用训练好的防作弊神经网络TestCNN，输入考场实时视频帧，分别输出正常行为、可疑行为和危险行为的概率，概率最大的即为所预测的行为状态类别。

2.根据权利要求1所述的融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：所述步骤S05中，先通过如下方式将人脸的68个关键特征点从二维的像素坐标系转换到三维的世界坐标系：P′＝K×[R|t]×P

其中：P′表示关键特征点在像素坐标系中的坐标，P表示关键特征点在世界空间坐标系中的坐标，K为相机的内参矩阵，[R|t]表示相机的外参矩阵，[R|t]表示将R和t按水平方向拼接成的一个矩阵，R为旋转矩阵，t为平移向量；

然后，使用旋转矩阵R描述头部的旋转姿态，该旋转矩阵R同时表示将人脸从三维的世界坐标系转换到相机坐标系，旋转矩阵R为一个3×3的矩阵，旋转矩阵R的三行分别表示三维的世界坐标系中X轴、Y轴和Z轴的方向向量；将旋转矩阵R分解为绕X轴、Y轴和Z轴的三个旋转角度，根据欧拉角的定义，将旋转矩阵R表示为：R＝Rz(γ)×Ry(β)×Rx(α)

其中：Rx(α)、Ry(β)和Rz(γ)分别表示围绕X轴、Y轴和Z轴的旋转分量，α、β和γ分别表示围绕X轴、Y轴和Z轴的旋转角度；

将旋转矩阵R分解为三个旋转角度后，根据下式计算三个欧拉角，即俯仰角αE、偏航角βE和翻滚角γE：αE＝atan2(R(2，1)，R(1，1))

γE＝atan2(R(3，2)，R(3，3))

其中：atan2(x1，x2)表示反正切函数，计算从原点(0，0)到点(x1，x2)的线段与X正方向之间的平面角度；R(x1，x2)表示旋转矩阵R中的第x1行、第x2列元素。

3.根据权利要求1所述的融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：所述步骤S08中，眼部追踪神经网络eyeCNN先采用多个卷积层和池化层来提取眼部区域图像的眼部特征，再将提取的眼部特征输入到全连接层，输出一个2维向量，通过该2维向量表示眼部特征的垂直方向角eye_pitch和眼部特征的水平方向角eye_yaw的预测值；同时，为了提高眼神追踪神经网络eyeCNN的准确性和鲁棒性，采用平均绝对误差作为损失函数，用于衡量预测值与真实值之间的误差。

4.根据权利要求1所述的融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：所述步骤S04中，采用多标签学习的方法构建面部微表情识别神经网络auCNN，先采用多个卷积层和池化层来提取图像所包含的微表情动作单元的特征，再将提取的将特征输入到全连接层，输出一个17维向量，通过该17维向量表示17个AU及各个AU强度的预测值。

5.根据权利要求1所述的融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：所述步骤S06中，头部姿态跟踪神经网络headCNN，先采用多个卷积层和池化层来提取图像所包含的头部姿态的特征，再将提取的特征输入到全连接层，输出一个3维向量，通过该3维向量表示俯仰角αE、偏航角βE和翻滚角γE的预测值。

6.根据权利要求1所述的融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：所述步骤S04中，面部微表情识别神经网络auCNN为一个端到端的完整神经网络，包括依次连接的标准卷积层滤波conv1、区域层region2、池化层pool3、卷积层conv4、卷积层conv5、卷积层conv6、卷积层conv7、全连接层fc8、全连接层fc9和多标签交叉熵损失层Aus；

其中，标准卷积层滤波conv1用于提取面部图像的低级特征，区域层region2基于低级特征自适应选择面部图像中最具有区分性的区域并提取区别特征，池化层pool3用于对区别特征进行降维，卷积层conv4、卷积层conv5、卷积层conv6和卷积层conv7基于降维后的区别特征提取面部图像的高级特征，全连接层fc8和全连接层fc9将高级特征映射到微表情类别上并预测面部图像的微表情类别，多标签交叉熵损失层Aus用于计算微表情类别的预测结果与真实值之间的误差。

7.根据权利要求1所述的融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：包括图像预处理单元、头部姿态跟踪单元、眼部区域提取单元、眼神追踪单元、面部微表情识别单元、行为状态预测单元、参数优化单元和报警显示单元；

所述图像预处理单元，用于对RGB视频帧进行预处；

所述头部姿态跟踪单元，采用头部姿态跟踪神经网络headCNN预测预处理后的RGB视频帧的、表征头部姿态的三个欧拉角，对头部姿态的跟踪；

所述眼部区域提取单元，用于截取出预处理后的RGB视频帧的眼部区域；

所述眼神追踪单元，采用眼神追踪神经网络eyeCNN，对眼部区域的静态空间特征和动态时序特征进行融合，预测眼部特征的垂直方向角eyepitch和眼部特征的水平方向角eyeyaw，实现对眼神的追踪；

所述面部微表情识别单元，采用面部微表情识别神经网络auCNN预测预处理后的RGB视频帧的17个AU及各个AU强度，实现对面部微表情的识别；

所述行为状态预测单元，采用防作弊神经网络TestCNN，融合头部姿态跟踪单元、眼神追踪单元和面部微表情识别单元的输出，预测行为状态类别；

所述参数优化单元，计算图像预处理单元、头部姿态跟踪单元、眼部区域提取单元、眼神追踪单元、面部微表情识别单元和行为状态预测单元涉及的参数和损失函数值，并采用基于梯度的优化方法对所得参数进行优化；

所述报警显示单元，在为状态预测单元的预测结果为危险行为时，显示报警提示。