利索能及
我要发布
收藏
专利号: 2020109480122
申请人: 广州大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种远程教育注意力检测方法,其特征在于,包括下述步骤;

采集面部图像;

对采集到的面部图像进行图像预处理,进行高斯滤波后将图像从RGB图像转换为灰度图;

框选面部特征,得到人脸的高度和宽度,通过人脸识别算法识别到人脸特征值,并与数据库中预先存入的特征值进行比较,进行特征值匹配验证;

构建人脸实时情绪分类系统,在设定的时间间隔内定时检测学生的情绪,并得出检测人脸与系统训练样本的相似度;

标注人脸特征点,根据特征点之间的几何距离,计算嘴巴张开程度、眼睛张开程度;

所述计算嘴巴张开程度、眼睛张开程度,具体步骤为:

所述标注人脸特征点采用Dlib训练好的模型进行特征点68点标定;

通过上、下嘴唇中点特征点的纵轴差值与脸部高度之比计算得到嘴巴的张开程度;

通过上、下眼睛重点特征点的纵轴差值与脸部高度之比计算得到眼睛的张开程度;

预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开第二阈值,结合学生情绪分类结果,判定注意力状态处于专注或者分心;

所述预设眼睛张开程度阈值、嘴巴张开程度第一阈值和嘴巴张开程度第二阈值,判定注意力状态处于专注或者分心,具体步骤为:若嘴巴张开程度小于嘴巴张开程度第二阈值,眼睛张开程度大于眼睛张开程度阈值,则判定注意力状态为专注;

若嘴巴张开程度大于嘴巴张开程度第二阈值,眼睛张开程度大于眼睛张开程度阈值,则判定注意力状态为惊讶专注;

若嘴巴张开程度小于嘴巴张开程度第一阈值,眼睛张开程度小于眼睛张开程度阈值,判断出现次数超过预设阈值,则判定注意力状态为分心打瞌睡;

若嘴巴张开程度大于嘴巴张开程度第二阈值,眼睛张开程度小于眼睛张开程度阈值,判断出现次数超过预设阈值,则判定注意力状态为分心打哈欠;

若嘴巴张开程度大于嘴巴张开程度第一阈值,小于嘴巴张开程度第二阈值,眼睛张开程度小于眼睛张开程度阈值,则判定注意力状态为平静;

设置间隔时间采集面部图像,注意力状态判定为分心时反馈提示。

2.根据权利要求1所述的远程教育注意力检测方法,其特征在于,所述框选面部特征,具体步骤为:将采集到的面部图像采用Opencv中的haarcascade_frontalface_default.xml分类器和face_cascade.detectMultiScale()函数进行框选;

所述进行特征值匹配验证,具体步骤为:

采用Haar获得人脸特征值,与数据库中预先存入的特征值进行比较验证。

3.根据权利要求1所述的远程教育注意力检测方法,其特征在于,所述注意力状态判定为分心时反馈提示,具体步骤为:判定注意力状态为分心时,设置弹窗提示窗口,并执行成绩扣分操作。

4.一种远程教育注意力检测系统,其特征在于,用于实现权利要求1‑3任一项所述的远程教育注意力检测方法,该系统包括:图像采集模块、实时人脸识别模块和注意力检测分类模块;

所述图像采集模块用于采集学习用户的面部图像;所述实时人脸识别模块用于对采集的面部图像进行图像预处理、人脸框选和人脸特征识别,注意力检测分类模块用于接收实时人脸识别模块数据,根据人脸特征值的几何距离进行注意力状态的检测和分类。

5.根据权利要求4所述的远程教育注意力检测系统,其特征在于,还设置有用户端,所述用户端设置有摄像头,所述用户端界面用于进行教学显示和注意力弹窗提醒。

6.根据权利要求5所述的远程教育注意力检测系统,其特征在于,所述用户端采用电脑、手机或者平板中的任意一种。