利索能及
我要发布
收藏
专利号: 202210061929X
申请人: 成都节节高教育科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于AI教育系统的专注度识别方法,其特征在于,包括:

通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧;

采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的区域,并检测所述多个输入视频帧中的听课用户的人脸区域;

自动校正人脸几何形状,以从检测到的人脸图像生成校正的人脸,将人脸特征放置在裁剪的人脸图像窗口中的标准位置,每次将人脸添加到用户路径中,都会通过计算路径中整个人脸图像窗口的像素平均图像来构建用户的外观模型;

通过生成多个输入视频帧中的听课用户的路径,单独跟踪所检测到的人脸并保持分配给所述听课用户的身份,其中当检测到该听课用户的人脸时,生成该听课用户的路径,将检测到的人脸分配给所生成的路径,具体包括,构建人脸和路径的映射表,计算每个人脸和路径对的几何匹配分值;所述几何匹配分值基于位置、大小以及校正的人脸和路径中最后一个人脸之间的时间差,以及存储在路径中的平均人脸外观和校正人脸之间的差异;重复该过程,直到所有的人脸都被分配相匹配的路径;

通过计算听课用户关注显示内容的时间占总用户的人脸的总持续时间的比例来估计检测到的人脸方向以计算专注度;

所述在多个输入视频帧中分割得到具有肤色像素值的区域,包括:

在人脸检测过程中,首先处理肤色分割;在肤色分割步骤中,首先使用颜色信息分割出视频帧中可能存在人脸的区域,即检测到的皮肤区域;利用颜色空间变换,使得肤色在变换后的空间中形成紧凑区域,输出视频帧中的掩模区域的集合;

对所提取的人脸图像进行归一化;所述归一化包括根据伪极坐标系或直角坐标系将所述人脸图像数据重新映射,并且根据预定义尺寸对编码后的人脸模板进行缩放;将Gabor滤波器应用于人脸图像以识别人脸特征;根据所识别的人脸特征生成所述人脸模板;

基于广义高斯分布算法来过滤归一化后的人脸图像以选择人脸图像的子集,所述子集是基于归一化后的每个人脸图像的相似性测量来选择的;

将归一化人脸图像的子集中的每个图像划分为多个子图像,为多个子图像中的每个子图像分配子图像序列指示所述子图像的排序位置;通过融合所选择的所述子图像来生成合成人脸图像。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

通过跟踪显示内容周围的多个用户的多个行为来确定所述显示内容的潜在听课用户。

3.根据权利要求1所述的方法,所述检测所述多个输入视频帧中的听课用户的人脸区域,包括:将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域;应用基于可变形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域;提取ROI区域中的特征;将所述特征与情绪类型相关联;并使用关联结果训练分类器。

4.根据权利要求3所述的方法,包括:

从所提取的特征生成特征直方图;在多个视频帧中对所述ROI区域执行坐标变换;

将所提取的特征进行串联以生成特征描述符;

使用最终特征描述符和所述特征直方图来训练所述分类器。