利索能及
我要发布
收藏
专利号: 2021102041275
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频插帧方法,包括:

分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征,其中,t为正整数;

基于所述第t帧图像和所述第t+1帧图像的深层特征,计算所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征;

基于所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征,计算插帧数;

分别抽取所述第t帧图像和所述第t+1帧图像的深层插帧特征;

基于所述第t帧图像和所述第t+1帧图像的深层插帧特征,以及所述插帧数,生成所述第t帧图像和所述第t+1帧图像之间的插帧,并插入所述第t帧图像和所述第t+1帧图像之间。

2.根据权利要求1所述的方法,其中,所述基于所述第t帧图像和所述第t+1帧图像的深层特征,计算所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征,包括:将所述第t帧图像和所述第t+1帧图像的深层特征输入到预先训练的运动差异特征提取模型,得到所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征。

3.根据权利要求2所述的方法,其中,所述运动差异特征提取模型包括第一网络、第二网络和第三网络;以及

所述将所述第t帧图像和所述第t+1帧图像的深层特征输入到预先训练的运动差异特征提取模型,得到所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征,包括:将所述第t帧图像和所述第t+1帧图像的深层特征分别输入到所述第一网络,得到所述第t帧图像和所述第t+1帧图像的中间特征;

对所述第t帧图像和所述第t+1帧图像的中间特征进行处理,得到第一处理结果和第二处理结果,其中,所述第一处理结果和所述第二处理结果的方向相反;

将所述第一处理结果输入至所述第二网络,得到从所述第t帧图像到所述第t+1帧图像的运动差异深层特征,以及将所述第二处理结果输入至所述第三网络,得到从所述第t+1帧图像到所述第t帧图像的运动差异深层特征。

4.根据权利要求3所述的方法,其中,所述对所述第t帧图像和所述第t+1帧图像的中间特征进行处理,得到第一处理结果和第二处理结果,包括:将所述第t帧图像和所述第t+1帧图像的中间特征前后拼接,得到所述第一处理结果,以及将所述第t+1帧图像和所述第t帧图像的中间特征前后拼接,得到所述第二处理结果;

或者

将所述第t帧图像和所述第t+1帧图像的中间特征相减,得到所述第一处理结果,以及将所述第t+1帧图像和所述第t帧图像的中间特征相减,得到所述第二处理结果。

5.根据权利要求1所述的方法,其中,所述基于所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征,计算插帧数,包括:将所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征输入至预先训练的运动差异‑插帧率转换模型,得到所述插帧数。

6.根据权利要求1所述的方法,其中,所述基于所述第t帧图像和所述第t+1帧图像的深层插帧特征,以及所述插帧数,生成所述第t帧图像和所述第t+1帧图像之间的插帧,包括:将所述第t帧图像和所述第t+1帧图像的深层插帧特征,以及所述插帧数输入至预先训练的自适应插帧模型,生成所述第t帧图像和所述第t+1帧图像之间的插帧。

7.一种视频插帧装置,包括:

第一抽取模块,被配置成分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征,其中,t为正整数;

第一计算模块,被配置成基于所述第t帧图像和所述第t+1帧图像的深层特征,计算所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征;

第二计算模块,被配置成基于所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征,计算插帧数;

第二抽取模块,被配置成分别抽取所述第t帧图像和所述第t+1帧图像的深层插帧特征;

插帧模块,被配置成基于所述第t帧图像和所述第t+1帧图像的深层插帧特征,以及所述插帧数,生成所述第t帧图像和所述第t+1帧图像之间的插帧,并插入所述第t帧图像和所述第t+1帧图像之间。

8.根据权利要求7所述的装置,其中,所述第一计算模块包括:提取子模块,被配置成将所述第t帧图像和所述第t+1帧图像的深层特征输入到预先训练的运动差异特征提取模型,得到所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征。

9.根据权利要求8所述的装置,其中,所述运动差异特征提取模型包括第一网络、第二网络和第三网络;以及

所述提取子模块包括:

第一提取单元,被配置成将所述第t帧图像和所述第t+1帧图像的深层特征分别输入到所述第一网络,得到所述第t帧图像和所述第t+1帧图像的中间特征;

处理单元,被配置成对所述第t帧图像和所述第t+1帧图像的中间特征进行处理,得到第一处理结果和第二处理结果,其中,所述第一处理结果和所述第二处理结果的方向相反;

第二提取单元,被配置成将所述第一处理结果输入至所述第二网络,得到从所述第t帧图像到所述第t+1帧图像的运动差异深层特征,以及将所述第二处理结果输入至所述第三网络,得到从所述第t+1帧图像到所述第t帧图像的运动差异深层特征。

10.根据权利要求9所述的装置,其中,所述处理单元进一步被配置成:将所述第t帧图像和所述第t+1帧图像的中间特征前后拼接,得到所述第一处理结果,以及将所述第t+1帧图像和所述第t帧图像的中间特征前后拼接,得到所述第二处理结果;

或者

将所述第t帧图像和所述第t+1帧图像的中间特征相减,得到所述第一处理结果,以及将所述第t+1帧图像和所述第t帧图像的中间特征相减,得到所述第二处理结果。

11.根据权利要求7所述的装置,其中,所述第二计算模块进一步被配置成:将所述第t帧图像和所述第t+1帧图像之间的运动差异深层特征输入至预先训练的运动差异‑插帧率转换模型,得到所述插帧数。

12.根据权利要求7所述的装置,其中,所述插帧模块进一步被配置成:将所述第t帧图像和所述第t+1帧图像的深层插帧特征,以及所述插帧数输入至预先训练的自适应插帧模型,生成所述第t帧图像和所述第t+1帧图像之间的插帧。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑6中任一项所述的方法。