利索能及
我要发布
收藏
专利号: 2020115917540
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种讲解同步的视频高光处理方法,其特征在于,所述方法包括:根据教学视频的属性提取教学视频中的图片帧序列及语音文本序列;

根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧,并根据所述多个关键图片帧对所述语音文本序列进行切分,得到多个语音文本片段;

识别每个关键图片帧中每条图片文本,并确定每条图片文本在对应的关键图片帧出现的位置;

根据每个关键图片帧中每条图片文本,从对应的语音文本片段中匹配出目标语音文本;

根据每个关键图片帧中每条图片文本出现的位置及对应的目标语音文本的时间生成高光位置时间序列表;

基于所述高光位置时间序列表对所述教学视频中的文件进行高光渲染。

2.如权利要求1所述的讲解同步的视频高光处理方法,其特征在于,所述根据教学视频的属性提取教学视频中的图片帧序列及语音文本序列包括:提取所述教学视频中的视频数据及音频数据;

获取所述教学视频的总时长及所述教学视频中的文件的总页数;

根据所述总时长及所述总页数计算采样帧率;

采用所述采样帧率对所述视频数据进行采样,得到图片帧序列;

对所述音频数据进行语音识别,得到语音文本序列。

3.如权利要求1所述的讲解同步的视频高光处理方法,其特征在于,所述根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧包括:将所述图片帧序列中的每前后两个图片帧进行组合,得到多个图片帧对;

计算每个图片帧对的相似度;

计算每个图片帧对中的预设标记的数量,并根据所述数量更新预设相似度阈值,得到目标相似度阈值;

从所述多个图片帧对中获取相似度小于对应的目标相似度阈值的多个目标图片帧对;

将每个目标图片帧对中的后一个目标图片帧确定为关键图片帧,得到多个关键图片帧。

4.如权利要求1所述的讲解同步的视频高光处理方法,其特征在于,所述根据所述多个关键图片帧对所述语音文本序列进行切分,得到多个语音文本片段包括:确定每个关键图片帧在所述教学视频中的第一关键时间点;

匹配所述语音文本序列中与每个第一关键时间点对应的第二关键时间点;

以每个第二关键时间点为文本切分点,对所述语音文本序列进行切分,得到多个语音文本片段。

5.如权利要求1所述的讲解同步的视频高光处理方法,其特征在于,所述根据每个关键图片帧中每条图片文本,从对应的语音文本片段中匹配出目标语音文本包括:提取每个关键图片帧中每条图片文本的第一词向量;

提取每个语音文本片段中每条语音文本的第二词向量;

计算每个关键图片帧中的每个第一词向量与对应的语音文本片段中的每个第二词向量之间的相似度;

将每个语音文本片段中相似度最大的第二词向量对应的语音文本确定为所述语音文本片段对应的关键图片帧中对应的图片文本的目标语音文本。

6.如权利要求1至5中任意一项所述的讲解同步的视频高光处理方法,其特征在于,所述基于所述高光位置时间序列表对所述教学视频中的文件进行高光渲染包括:对于所述高光位置时间序列表中的上一时间点,在所述教学视频中与所述上一时间点对应的位置处添加第一高光图层;

维持所述第一高光图层不变,直到所述高光位置时间序列表中的下一时间点;

在所述教学视频中与所述下一时间点对应的位置处添加第二高光图层。

7.如权利要求1至5中任意一项所述的讲解同步的视频高光处理方法,其特征在于,所述方法还包括:

接收用户的输入文本;

计算所述输入文本与所述语音文本片段中每条语音文本之间的相似度;

确定与相似度最大的语音文本对应的目标图片文本;

根据所述高光位置时间序列表跳转到所述教学视频中所述目标图片文本所在的目标关键图片帧,并在所述目标关键图片帧中高光显示所述目标图片文本。

8.一种讲解同步的视频高光处理装置,其特征在于,所述装置包括:提取模块,用于根据教学视频的属性提取教学视频中的图片帧序列及语音文本序列;

切分模块,用于根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧,并根据所述多个关键图片帧对所述语音文本序列进行切分,得到多个语音文本片段;

识别模块,用于识别每个关键图片帧中每条图片文本,并确定每条图片文本在对应的关键图片帧出现的位置;

匹配模块,用于根据每个关键图片帧中每条图片文本,从对应的语音文本片段中匹配出目标语音文本;

生成模块,用于根据每个关键图片帧中每条图片文本出现的位置及对应的目标语音文本的时间生成高光位置时间序列表;

渲染模块,用于基于所述高光位置时间序列表对所述教学视频中的文件进行高光渲染。

9.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的讲解同步的视频高光处理方法。

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的讲解同步的视频高光处理方法。