利索能及
我要发布
收藏
专利号: 2020109916095
申请人: 首都师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种学习参与度识别网络模型的建立方法,其特征在于,包括:对获取的多个视频样本进行预处理,得到所述视频样本的融合特征;

根据所述视频样本的融合特征,构建学习参与度识别网络模型训练用的最小批;

依据所述最小批中视频样本对的嵌入向量距离与所述最小批中视频样本对的参与度标签距离一致性有序的原则,构造有序度量损失函数,其中,所述嵌入向量由所述学习参与度识别网络模型根据视频样本的融合特征计算得到;

根据所述有序度量损失函数,优化所述学习参与度识别网络模型中的参数。

2.如权利要求1所述的方法,其特征在于,对获取的多个视频样本进行预处理,得到所述视频样本的融合特征,包括:从每一视频样本中抽取k组子图像数据;

确定各组子图像数据的多模态特征;

融合每一视频样本中k组子图像数据的多模态特征,得到各视频样本的融合特征。

3.如权利要求2所述的方法,其特征在于,确定各组子图像数据的多模态特征,包括:提取各组子图像数据的面部特征、身体姿态特征、动作特征;

串连各组子图像数据中提取出的面部特征、身体姿态特征、动作特征,得到各组子图像数据的多模态特征。

4.如权利要求2所述的方法,其特征在于,融合每一视频样本中k组子图像数据的多模态特征,得到各视频样本的融合特征,包括对每一视频样本的k组子图像数据执行如下操作:对该k组子图像数据的多模态特征进行过滤,得到该k组子图像数据的显著值;

根据该k组子图像数据的显著值,确定该k组子图像数据的权重;

利用该k组子图像数据的权重,对该k组子图像数据的多模态特征进行加权融合,得到该视频样本的融合特征。

5.如权利要求1所述的方法,其特征在于,依据所述最小批中视频样本对的嵌入向量距离与所述最小批中视频样本对的参与度标签距离一致性有序的原则,构造有序度量损失函数,包括:在有序度量损失函数中约束所述最小批中视频样本对的嵌入向量距离比值及所述最小批中视频样本对的参与度标签距离比值。

6.如权利要求5所述的方法,其特征在于,构造的有序度量函数公式利用如下公式表示:其中,sim(va,vi)为视频样本对的嵌入向量va,vi距离,sim’(ya,yi)为视频样本对参与度标签ya,yi距离,a为从最小批视频样本中选择的锚点,i为锚点k’近邻的视频样本中选择的点,j为从剩余近邻的视频样本中随机选择的点,(a,i,j)为由锚点a及其相邻的两个点i和j组成的三元组,v为嵌入向量,y为参与度标签。

7.如权利要求1所述的方法,其特征在于,还包括:根据对象的学习参与度类别,构造Focal损失函数;

根据所述有序度量损失函数,优化所述学习参与度识别网络模型中的参数进一步为:根据所述有序度量损失函数及所述Focal损失函数,构造如下联合优化目标函数:L=λ1*Lmetric +λ2*FL,

其中,λ1、λ2为超参数,Lmetric为有序度量损失函数,FL为Focal损失函数;

根据所述联合优化目标函数,优化所述学习参与度识别网络模型中的参数。

8.一种学习参与度识别方法,其特征在于,包括:实时获取受教育者学习时采集的图像信息;

对实时获取的图像信息做预处理,得到融合特征;

将所述融合特征输入至权利要求1至7中任一项所述的学习参与度识别网络模型的建立方法得到的学习参与度识别网络模型中,得到受教育者的学习参与度。

9.一种学习参与度识别网络模型的建立装置,其特征在于,包括:预处理模块,用于对获取的多个视频样本进行预处理,得到所述视频样本的融合特征;

采样模块,用于根据所述视频样本的融合特征,构建所述参与度识别网络模型训练时的最小批;

学习参与度识别网络训练模块,用于依据所述最小批中视频样本对的嵌入向量距离与所述最小批中视频样本对的参与度标签距离一致性有序的原则,构造有序度量损失函数,其中,所述嵌入向量由所述学习参与度识别网络模型根据视频样本的融合特征计算得到;

根据所述有序度量损失函数,优化所述学习参与度识别网络模型中的参数。

10.一种学习参与度识别装置,其特征在于,包括:图像采集模块,用于实时获取受教育者学习时采集的图像信息;

预处理模块,用于对实时获取的图像信息做预处理,得到融合特征;

参与度识别模块,用于将所述融合特征输入至利用权利要求9所述的学习参与度识别网络模型的建立装置得到的学习参与度识别网络模型中,得到受教育者的学习参与度。