利索能及
我要发布
收藏
专利号: 2023101457865
申请人: 山东工程职业技术大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,包括以下过程:获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理;

依次进行去噪后的各学生连续视频帧图像的特征提取,得到初始学生动作特征序列;

其中,初始学生动作特征序列包括角度特征和能量特征;

根据角度特征和能量特征进行核心动作视频帧图像筛选,得到筛选后的学生动作特征序列;

根据筛选后的学生动作特征序列以及预设的深度学习分类模型,得到学生连续动作识别结果;

根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差,得到第一外部评估结果;

获取虚拟仿真实训课程结束后给出的内部评估结果,以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果;

能量特征的获取,包括:

根据学生所在空间的三维模型,依次获取左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节坐标;

根据获取的坐标值计算各关节的当前帧图像与上一帧图像之间的能量差,得到第一能量差、第二能量差、第三能量差、第四能量差、第五能量差和第六能量差,以第一能量差、第二能量差、第三能量差、第四能量差、第五能量差和第六能量差构成相邻视频帧的能量特征向量;

假定视频帧图像为N帧,则得到N‑1帧视频帧的能量特征向量,将N‑1帧视频帧的能量特征向量组合后,得到N‑1维的能量特征;

右肩部(x4,y4,z4)的能量差F差4,包括:

其中,△k为两帧之间的时间差,s为常数,其中,x4,t+k、y4,t+k和z4,t+k为当前视频帧图像的右肩部坐标,x4,t、y4,t和z4,t为上一帧视频帧图像的右肩部坐标;

按上述计算右肩部能量差的方式依次计算当前帧图像的F差1、F差2、F差3、F差4、F差5、F差6,则构建当前帧的能量特征向量qi=(F差1,F差2,F差3,F差4,F差5,F差6)。

2.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,角度特征的获取,包括:依次获取锁骨、左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节向量,各相邻的关节向量之间的夹角分别作为第一夹角、第二夹角、第三夹角、第四夹角、第五夹角和第六夹角,以第一夹角、第二夹角、第三夹角、第四夹角、第五夹角和第六夹角构成某一视频帧的角度特征向量;

假定视频帧图像为N帧,去除第一帧视频帧图像,将N‑1帧视频帧的角度特征向量组合后,得到N‑1维的角度特征。

3.如权利要求2所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,根据角度特征和能量特征进行核心动作视频帧图像筛选,包括:计算N‑1维度的角度特征中当前帧图像与下一帧图像的角度向量的欧氏距离,根据各个关节的权重,得到当前帧图像的角度欧式距离,依次计算,得到N‑2个角度欧式距离值;

计算N‑1维度的能量特征中当前帧图像与下一帧图像的能量向量的欧氏距离,根据各个关节的权重,得到当前帧图像的能量欧式距离,依次计算,得到N‑2个能量欧式距离值;

将各帧的角度欧式距离和能量欧式距离相加,得到N‑2个欧氏距离计算值;

去除N‑2个欧氏距离计算值中最小的10%对应的视频帧图像,得到核心动作视频帧图像筛选结果。

4.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,获取筛选后的学生动作特征序列中各视频帧对应时刻的学生脑电信号,根据获取的脑电信号计算各视频帧图像对应的专注度,得到第二外部评估结果;以学生课堂评估结果和第二外部评估结果的加权值,为最终的学生课堂评估结果;其中,获取教师规范操作时的学生课堂评估结果等级分以及第二外部评估结果的等级分,生成第二外部评估结果和学生课堂评估结果的权重,根据权重计算最终的学生课堂评估结果。

5.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差,得到第一外部评估结果,包括:假定学生连续动作识别结果为依次执行了N个动作;

当预设虚拟仿真实训课堂的标准动作为N个动作,且学生的动作顺序和动作内容与标准动作的动作顺序和动作内容相同时,则第一外部评估结果为第一等级分;

当预设虚拟仿真实训课堂的标准动作为N个动作,但学生的动作顺序和动作内容与标准动作的动作顺序和动作内容存在差异时,如果差异小于第一设定阈值,则第一外部评估结果为第二等级分;否则,第一外部评估结果为第三等级分。

6.如权利要求5所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,当学生实际动作为M个动作,且M与N的差异大于第二设定阈值时,第一外部评估结果为第三等级分;M与N的差异大于1且小于第二设定数量范围时,第一外部评估结果为第二等级分。

7.如权利要求5所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果,包括:获取教师规范操作时的内部评估结果等级分以及第一外部评估结果的等级分,生成第一外部评估结果和内部评估结果的权重,根据权重计算学生课堂评估结果。

8.如权利要求1所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理,包括:对任一视频帧图像,将此视频帧图像的各个像素均添加像素增量,得到像素增强后的视频帧图像;其中,像素增量为:优质像素值设定值与此视频帧图像的像素平均值的差值。

9.如权利要求8所述的基于图像的虚拟仿真实训课堂教学管理方法,其特征在于,进行预处理,还包括:采用卷积神经网络模型对像素增强后的视频帧图像进行图像增强,其中,

卷积神经网络模型包括依次连接的第一卷积层、第二卷积层、第三卷积层、池化层和全连接层,第一卷积层的输入与第一卷积层的输出级联后作为第二卷积层的输入,第二卷积层的输出、第一卷积层的输入与第一卷积层的输出级联后作为第三卷积层的输入;

卷积神经网络模型的损失函数为: 其中,S(i,j)与T

(i,j)为预处理后的图像和标准图像在(i,j)位置的像素值,P为i的最大值,Q为j的最大值。

10.一种基于图像的虚拟仿真实训课堂教学管理系统,其特征在于,包括:图像预处理模块,被配置为:获取虚拟仿真实训课堂的学生连续视频帧图像并进行预处理;

特征提取模块,被配置为:依次进行去噪后的各学生连续视频帧图像的特征提取,得到初始学生动作特征序列;其中,初始学生动作特征序列包括角度特征和能量特征;

图像筛选模块,被配置为:根据角度特征和能量特征进行核心动作视频帧图像筛选,得到筛选后的学生动作特征序列;

动作识别模块,被配置为:根据筛选后的学生动作特征序列以及预设的深度学习分类模型,得到学生连续动作识别结果;

外部评估模块,被配置为:根据学生连续动作识别结果与预设虚拟仿真实训课堂的标准动作的偏差,得到第一外部评估结果;

综合评估模块,被配置为:获取虚拟仿真实训课程结束后给出的内部评估结果,以第一外部评估结果和内部评估结果的加权和为学生课堂评估结果;

能量特征的获取,包括:

根据学生所在空间的三维模型,依次获取左肩部、左手肘部、左手腕部、右肩部、右手肘部和右手腕部的关节坐标;

根据获取的坐标值计算各关节的当前帧图像与上一帧图像之间的能量差,得到第一能量差、第二能量差、第三能量差、第四能量差、第五能量差和第六能量差,以第一能量差、第二能量差、第三能量差、第四能量差、第五能量差和第六能量差构成相邻视频帧的能量特征向量;

假定视频帧图像为N帧,则得到N‑1帧视频帧的能量特征向量,将N‑1帧视频帧的能量特征向量组合后,得到N‑1维的能量特征;

右肩部(x4,y4,z4)的能量差F差4,包括:

其中,△k为两帧之间的时间差,s为常数,其中,x4,t+k、y4,t+k和z4,t+k为当前视频帧图像的右肩部坐标,x4,t、y4,t和z4,t为上一帧视频帧图像的右肩部坐标;

按上述计算右肩部能量差的方式依次计算当前帧图像的F差1、F差2、F差3、F差4、F差5、F差6,则构建当前帧的能量特征向量qi=(F差1,F差2,F差3,F差4,F差5,F差6)。