利索能及
我要发布
收藏
专利号: 2020106135417
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频填充方法,包括:

获取视频中的待填充图像帧、所述待填充图像帧的多个相邻图像帧和至少一个循环反馈帧,其中,所述多个相邻图像帧包括所述待填充图像帧之前的多个图像帧和所述待填充图像帧之后的多个图像帧,所述待填充图像帧和所述多个相邻图像帧中包括缺失区域,所述循环反馈帧中不存在缺失区域;

分别抽取所述待填充图像帧、所述多个相邻图像帧和所述循环反馈帧的特征;

将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐,并将对齐后的特征融合,得到融合特征;

将所述待填充图像帧的特征与所述融合特征进行组合处理,得到组合特征;

基于所述组合特征重建图像帧,重建的图像帧中不存在缺失区域;其中以本次重建的图像帧作为下一个待填充图像帧的填充过程中的循环反馈帧;

所述将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐,并将对齐后的特征融合,包括:基于各个图像帧中物体的光流特征,将各个图像帧中的相同物体特征的空间位置对齐;

将对齐后的各个图像帧的特征在通道维度上进行拼接,得到拼接特征,对所述拼接特征进行特征变换,得到所述融合特征,其中经过特征变换的所述融合特征在通道维度上的数目为预设数目。

2.根据权利要求1所述的方法,其中,所述将所述待填充图像帧的特征与所述融合特征进行组合处理,包括:根据所述待填充图像帧的特征与所述融合特征之差的绝对值,计算得到组合掩码;

根据下式计算所述组合特征:

组合特征f_c=(1‑m)×f_r+m×f_s’

其中,f_c表示组合特征,f_r表示所述待填充图像帧的特征,f_s’表示所述融合特征,m表示组合掩码。

3.根据权利要求1所述的方法,还包括:

将所述视频中的目标图像帧中的目标区域去除,得到所述待填充图像帧,所述待填充图像帧中的缺失区域为待填充区域。

4.根据权利要求1‑3中任一项所述的方法,其中,

所述获取视频中的待填充图像帧、所述待填充图像帧的多个相邻图像帧和至少一个循环反馈帧、所述分别抽取所述待填充图像帧、所述多个相邻图像帧和所述循环反馈帧的特征、所述将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐并将对齐后的特征融合、所述将所述待填充图像帧的特征与所述融合特征进行组合处理以及所述基于所述组合特征重建图像帧,分别由特征抽取模块、特征对齐融合模块、特征组合模块以及图像帧重建模块执行,其中,所述特征抽取模块、所述特征对齐融合模块、所述特征组合模块和所述图像帧重建模块是分别利用训练数据对神经网络进行训练而生成的,训练数据均包括:真实视频和将所述真实视频中的图像帧中物体擦除后得到的视频。

5.一种视频填充装置,包括:

图像帧获取模块,用于获取视频中的待填充图像帧、所述待填充图像帧的多个相邻图像帧和至少一个循环反馈帧,其中,所述多个相邻图像帧包括所述待填充图像帧之前的多个图像帧和所述待填充图像帧之后的多个图像帧,所述待填充图像帧和所述多个相邻图像帧中包括缺失区域,所述循环反馈帧中不存在缺失区域;

特征抽取模块,用于分别抽取所述待填充图像帧、所述多个相邻图像帧和所述循环反馈帧的特征;

特征对齐融合模块,用于将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐,并将对齐后的特征融合,得到融合特征;

特征组合模块,用于将所述待填充图像帧的特征与所述融合特征进行组合处理,得到组合特征;

图像帧重建模块,用于基于所述组合特征重建图像帧,重建的图像帧中不存在缺失区域;其中以本次重建的图像帧作为下一个待填充图像帧的填充过程中的循环反馈帧;

所述特征对齐融合模块包括:

对齐子模块,用于基于各个图像帧中物体的光流特征,将各个图像帧中的相同物体特征的空间位置对齐;

拼接模块,用于将对齐后的各个图像帧的特征在通道维度上进行拼接,得到拼接特征,特征变换子模块,用于对所述拼接特征进行特征变换,得到所述融合特征,其中经过特征变换的所述融合特征在通道维度上的数目为预设数目。

6.根据权利要求5所述的装置,其中,所述特征组合模块包括:第一计算子模块,用于根据所述待填充图像帧的特征与所述融合特征之差的绝对值,计算得到组合掩码;

第二计算子模块,用于根据下式计算所述组合特征:

组合特征f_c=(1‑m)×f_r+m×f_s’

其中,f_c表示组合特征,f_r表示所述待填充图像帧的特征,f_s’表示所述融合特征,m表示组合掩码。

7.根据权利要求5中任一项所述的装置,还包括:

预处理模块,用于将所述视频中的目标图像帧中的目标区域去除,得到所述待填充图像帧,所述待填充图像帧中的缺失区域为待填充区域。

8.根据权利要求5‑7中任一项所述的装置,其中,

所述特征抽取模块、所述特征对齐融合模块、所述特征组合模块和所述图像帧重建模块是分别利用训练数据对神经网络进行训练而生成的,训练数据均包括:真实视频和将所述真实视频中的图像帧中物体擦除后得到的视频。

9.一种电子设备,其特征在于,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的方法。