利索能及
我要发布
收藏
专利号: 2021102041294
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频插帧方法,包括:

获取目标视频中的第t‑1帧图像和第t+1帧图像,其中,t为正整数;

分别抽取所述第t‑1帧图像和所述第t+1帧图像的深层特征;

基于所述第t‑1帧图像和所述第t+1帧图像的深层特征,估计从t‑1时刻到t时刻的正向光流信息和从t+1时刻到t时刻的反向光流信息;

基于所述正向光流信息和所述反向光流信息,将所述第t‑1帧图像和所述第t+1帧图像的深层特征映射得到t时刻的深层特征;

基于所述t时刻的深层特征,生成第t帧图像,并插入所述第t‑1帧图像和所述第t+1帧图像之间。

2.根据权利要求1所述的方法,其中,在所述分别抽取所述第t‑1帧图像和所述第t+1帧图像的深层特征之后,还包括:

对所述第t‑1帧图像和所述第t+1帧图像的深层特征进行空间下采样。

3.根据权利要求1所述的方法,其中,所述基于所述第t‑1帧图像和所述第t+1帧图像的深层特征,估计从t‑1时刻到t时刻的正向光流信息和从t+1时刻到t时刻的反向光流信息,包括:

将所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的目标时刻光流网络,得到所述正向光流信息和所述反向光流信息。

4.根据权利要求3所述的方法,其中,所述将所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的目标时刻光流网络,得到所述正向光流信息和所述反向光流信息,包括:

基于所述第t‑1帧图像和所述第t+1帧图像的深层特征进行目标时刻光流估计,得到所述正向光流信息;

根据所述正向光流信息进行线性运动假设,得到所述反向光流信息。

5.根据权利要求1所述的方法,其中,所述基于所述正向光流信息和所述反向光流信息,将所述第t‑1帧图像和所述第t+1帧图像的深层特征映射得到t时刻的深层特征,包括:将所述正向光流信息、所述反向光流信息,以及所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的光流映射网络,得到所述t时刻的深层特征。

6.根据权利要求1所述的方法,其中,所述基于所述t时刻的深层特征,生成第t帧图像,包括:

将所述t时刻的深层特征输入至预先训练的帧生成网络,得到第t帧图像。

7.根据权利要求3所述的方法,其中,所述方法还包括:将所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的目标时刻光流‑教练网络,得到从t‑1时刻到t时刻的光流蒸馏监督信息;

利用所述光流蒸馏监督信息对所述目标时刻光流网络进行蒸馏学习。

8.一种视频插帧装置,包括:

获取模块,被配置成获取目标视频中的第t‑1帧图像和第t+1帧图像,其中,t为正整数;

抽取模块,被配置成分别抽取所述第t‑1帧图像和所述第t+1帧图像的深层特征;

估计模块,被配置成基于所述第t‑1帧图像和所述第t+1帧图像的深层特征,估计从t‑1时刻到t时刻的正向光流信息和从t+1时刻到t时刻的反向光流信息;

映射模块,被配置成基于所述正向光流信息和所述反向光流信息,将所述第t‑1帧图像和所述第t+1帧图像的深层特征映射得到t时刻的深层特征;

插帧模块,被配置成基于所述t时刻的深层特征,生成第t帧图像,并插入所述第t‑1帧图像和所述第t+1帧图像之间。

9.根据权利要求8所述的装置,其中,所述装置还包括:采样模块,被配置成对所述第t‑1帧图像和所述第t+1帧图像的深层特征进行空间下采样。

10.根据权利要求8所述的装置,其中,所述估计模块包括:估计子模块,被配置成将所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的目标时刻光流网络,得到所述正向光流信息和所述反向光流信息。

11.根据权利要求10所述的装置,其中,所述估计子模块进一步被配置成:基于所述第t‑1帧图像和所述第t+1帧图像的深层特征进行目标时刻光流估计,得到所述正向光流信息;

根据所述正向光流信息进行线性运动假设,得到所述反向光流信息。

12.根据权利要求8所述的装置,其中,所述映射模块进一步被配置成:将所述正向光流信息、所述反向光流信息,以及所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的光流映射网络,得到所述t时刻的深层特征。

13.根据权利要求8所述的装置,其中,所述插帧模块进一步被配置成:将所述t时刻的深层特征输入至预先训练的帧生成网络,得到第t帧图像。

14.根据权利要求10所述的装置,其中,所述装置还包括:教练模块,被配置成将所述第t‑1帧图像和所述第t+1帧图像的深层特征输入至预先训练的目标时刻光流‑教练网络,得到从t‑1时刻到t时刻的光流蒸馏监督信息;

蒸馏模块,被配置成利用所述光流蒸馏监督信息对所述目标时刻光流网络进行蒸馏学习。

15.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑7中任一项所述的方法。

17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑7中任一项所述的方法。