利索能及
我要发布
收藏
专利号: 2019106503416
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于微表情的视频推荐方法,所述方法包括:

接收终端发送的人脸图像以及当前播放视频标识,所述人脸图像是与所述当前播放视频标识对应的当前播放视频播放过程中所采集到的、且与所述当前播放视频中插入的第一问题相对应,所述第一问题是预先插入的;

基于微表情识别模型对所述人脸图像进行处理得到微表情指标,所述微表情指标是作为用户是否掌握当前播放视频中的知识点的参考指标;

当所述微表情指标大于第一预设值时,则获取与所述当前播放视频标识对应的视频类别;

获取与所述视频类别对应的初始视频,并从所述当前播放视频标识对应的当前播放视频中提取与所述人脸图像对应的所述第一问题,包括:获取到人脸图像的采集时间,获取问题设置时间与采集时间间隔最短的问题作为所接收的人脸图像对应的第一问题;

根据所述第一问题从所述初始视频中选取目标视频,并将所述目标视频推送至所述终端。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述微表情指标小于等于第一预设值,判断所述微表情指标是否小于第二预设值,当所述微表情指标小于第二预设值时,则获取与所述当前播放视频标识对应的视频类别,其中所述第二预设值小于所述第一预设值;

获取与所述视频类别对应的初始视频,并从所述当前播放视频标识对应的当前播放视频中提取与所述人脸图像对应的第一问题;

从所述初始视频中选取与所述第一问题对应的目标视频,并减少所述目标视频的推送。

3.根据权利要求1所述的方法,其特征在于,所述视频类别的识别方式包括:将视频转化为预设类型的初始特征图,并从所述视频中提取音频特征;

对每一所述预设类型的所述初始特征图进行采样得到采样特征图;

对所述采样特征图进行卷积计算,得到每一所述预设类型中的每一所述采样特征图对应的视频类别的第一概率分数;

获取每一所述采样特征图对应的第一权重,根据所述第一概率分数以及对应的所述第一权重计算,得到每一所述预设类型对应的视频类别的第二概率分数;

将所述音频特征输入至预设的分类器得到所述音频特征对应的不同视频分类的第三概率分数;

根据所述第二概率分数以及第三概率分数计算得到所述视频对应的视频类别的第四概率分数;

选取所述第四概率分数最大的视频类别作为所述视频的视频类别。

4.根据权利要求1至3任意一项所述的方法,其特征在于,所述方法还包括:接收所述终端发送的当前播放视频标识对应的当前播放视频的播放次数;

判断所述播放次数是否大于阈值;

当所述播放次数大于阈值时,则获取播放次数大于阈值的当前播放视频对应的片段,从所述当前播放视频中提取与所述片段对应的第二问题;

从所述初始视频中提取与所述第二问题对应的待推送视频,并将所述待推送视频推送至所述终端。

5.根据权利要求1至3任意一项所述的方法,其特征在于,所述基于微表情识别模型对所述人脸图像进行处理得到微表情指标,包括:识别所述人脸图像中的人脸,并得到所述人脸对应的各类用户微表情的可能性;

将可能性进行归一化;

获取所述各类用户微表情的预设指标;

将归一化后的所述可能性与对应的预设指标的乘积作为微表情指标。

6.一种基于微表情的视频推荐装置,其特征在于,所述装置包括:接收模块,用于接收终端发送的人脸图像以及当前播放视频标识,所述人脸图像是与所述当前播放视频标识对应的当前播放视频播放过程中所采集到的、且与所述当前播放视频中插入的第一问题相对应,所述第一问题是预先插入的;

图像处理模块,用于基于微表情识别模型对所述人脸图像进行处理得到微表情指标,所述微表情指标是作为用户是否掌握当前播放视频中的知识点的参考指标;

第一类别识别模块,用于当所述微表情指标大于第一预设值时,则获取与所述当前播放视频标识对应的视频类别;

第一问题采集模块,用于获取与所述视频类别对应的初始视频,并从所述当前播放视频标识对应的当前播放视频中提取与所述人脸图像对应的所述第一问题,包括:获取到人脸图像的采集时间,获取问题设置时间与采集时间间隔最短的问题作为所接收的人脸图像对应的第一问题;

第一推送模块,用于根据所述第一问题从所述初始视频中选取目标视频,并将所述目标视频推送至所述终端。

7.根据权利要求6所述的装置,其特征在于,所述装置还包括:第二类别识别模块,用于当所述微表情指标小于第二预设值时,则获取与所述当前播放视频标识对应的视频类别,其中所述第二预设值小于所述第一预设值;

第二问题采集模块,用于获取与所述视频类别对应的初始视频,并从所述当前播放视频标识对应的当前播放视频中提取与所述人脸图像对应的第一问题;

第二推送模块,用于从所述初始视频中选取与所述第一问题对应的目标视频,并减少所述目标视频的推送。

8.根据权利要求6所述的装置,其特征在于,所述装置还包括:提取模块,用于将视频转化为预设类型的初始特征图,并从所述视频中提取音频特征;

采样模块,用于对每一所述预设类型的所述初始特征图进行采样得到采样特征图;

第一概率分数计算模块,用于对所述采样特征图进行卷积计算,得到每一所述预设类型中的每一所述采样特征图对应的视频类别的第一概率分数;

第二概率分数计算模块,用于获取每一所述采样特征图对应的第一权重,根据所述第一概率分数以及对应的所述第一权重计算得到每一所述预设类型对应的视频类别的第二概率分数;

第三概率分数计算模块,用于将所述音频特征输入至预设的分类器得到所述音频特征对应的不同视频分类的第三概率分数;

第四概率分数计算模块,用于根据所述第二概率分数以及第三概率分数计算得到所述视频对应的视频类别的第四概率分数;

输出模块,用于选取所述第四概率分数最大的视频类别作为所述视频的视频类别。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。