利索能及
我要发布
收藏
专利号: 2021102040605
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频插帧方法,包括:

获取目标视频及获取所述目标视频中的第t‑1帧图像和第t帧图像,其中,t为正整数;

获取所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息;

分别获取所述第t‑1帧图像和所述第t帧图像的深层插帧特征;

基于所述第t‑1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息,分层进行插帧操作,生成所述第t‑1帧图像和所述第t帧图像之间的插帧,并插入所述第t‑1帧图像和所述第t帧图像之间。

2.根据权利要求1所述的方法,其中,所述获取所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息,包括:分别获取所述第t‑1帧图像和所述第t帧图像的运动层次深层特征;

基于所述第t‑1帧图像和所述第t帧图像的运动层次深层特征得到所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息。

3.根据权利要求2所述的方法,其中,所述基于所述第t‑1帧图像和所述第t帧图像的运动层次深层特征得到所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息,包括:

基于所述第t‑1帧图像和所述第t帧图像的运动层次深层特征,将运动层次相同的像素或运动层次相同的物体或运动层次相同的区域标记为同一个层次,得到所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息。

4.根据权利要求3所述的方法,其中,所述运动层次包括运动层和静止层。

5.根据权利要求1所述的方法,其中,所述基于所述第t‑1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息,分层进行插帧操作,生成所述第t‑1帧图像和所述第t帧图像之间的插帧,并插入所述第t‑1帧图像和所述第t帧图像之间,包括:将所述第t‑1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息输入至预先训练好的插帧模型,所述插帧模型基于所述运动层次信息分层进行插帧操作,得到各个层的插帧;

合并所述各个层的插帧,得到所述第t‑1帧图像和所述第t帧图像之间的插帧,并插入所述第t‑1帧图像和所述第t帧图像之间。

6.根据权利要求5所述的方法,其中,各个层的所述插帧操作是相同的。

7.一种视频插帧装置,包括:

第一获取模块,被配置成获取目标视频及获取所述目标视频中的第t‑1帧图像和第t帧图像,其中,t为正整数;

第二获取模块,被配置成获取所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息;

第三获取模块,被配置成分别获取所述第t‑1帧图像和所述第t帧图像的深层插帧特征;

插帧模块,被配置成基于所述第t‑1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息,分层进行插帧操作,生成所述第t‑1帧图像和所述第t帧图像之间的插帧,并插入所述第t‑1帧图像和所述第t帧图像之间。

8.根据权利要求7所述的装置,其中,所述第二获取模块进一步配置成:获取子模块,被配置成分别获取所述第t‑1帧图像和所述第t帧图像的运动层次深层特征;

运动层次子模块,被配置成基于所述第t‑1帧图像和所述第t帧图像的运动层次深层特征得到所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息。

9.根据权利要求8所述的装置,其中,所述运动层次子模块进一步配置成:基于所述第t‑1帧图像和所述第t帧图像的运动层次深层特征,将运动层次相同的像素或运动层次相同的物体或运动层次相同的区域标记为同一个层次,得到所述第t‑1帧图像和所述第t帧图像的各个像素点的运动层次信息。

10.根据权利要求9所述的装置,其中,所述运动层次包括运动层和静止层。

11.根据权利要求7所述的装置,其中,所述插帧模块进一步配置成:将所述第t‑1帧图像和所述第t帧图像的深层插帧特征及所述运动层次信息输入至预先训练好的插帧模型,所述插帧模型基于所述运动层次信息分层进行插帧操作,得到各个层的插帧;

合并所述各个层的插帧,得到所述第t‑1帧图像和所述第t帧图像之间的插帧,并插入所述第t‑1帧图像和所述第t帧图像之间。

12.根据权利要求11所述的装置,其中,各个层的所述插帧操作是相同的。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑6中任一项所述的方法。