利索能及
我要发布
收藏
专利号: 2021107948876
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模型训练方法,包括:

确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合;

分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络,得到第一光流集合和第二光流集合;

基于所述第一光流集合和所述第二光流集合,确定目标损失函数;

根据所述目标损失函数,训练所述初始光流估计网络;

其中,所述基于所述第一光流集合和所述第二光流集合,确定目标损失函数,包括:基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流,确定目标损失函数;

其中,所述基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流,确定目标损失函数,包括:分别计算第一光流集合中任意两个第一光流的差值,记为第一差值,将所有的第一差值相加,得到第一和值;

分别计算第二光流集合中任意两个第二光流的差值,记为第二差值,将所有的第二差值相加,得到第二和值;

对所述第一和值以及第二和值进行加权,得到目标损失函数。

2.根据权利要求1所述的方法,其中,所述根据所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流,确定目标损失函数,包括:根据所述初始光流估计网络,从所述不同分辨率中确定出目标分辨率;

根据所述目标分辨率对应的目标第一光流和所述第一光流集合中除所述目标第一光流之外的其它第一光流,确定第一损失函数;

根据所述目标分辨率对应的目标第二光流和所述第二光流集合中除所述目标第二光流之外的其它第二光流,确定第二损失函数;

基于所述第一损失函数和所述第二损失函数,确定所述目标损失函数。

3.根据权利要求2所述的方法,其中,所述根据所述初始光流估计网络,从所述不同分辨率中确定出目标分辨率,包括:获取所述初始光流估计网络的训练图像集;

确定所述第一图像帧集合或所述第二图像帧集合中的各图像帧与所述训练图像集之间的分辨率相似度;

根据各分辨率相似度,从所述不同分辨率中确定出所述目标分辨率。

4.根据权利要求1~3任一项所述的方法,其中,所述基于所述第一光流集合和所述第二光流集合,确定目标损失函数,包括:根据所述第一光流集合和所述第二光流集合中相同分辨率的第一光流和第二光流,生成与各分辨率对应的合成帧;

根据各合成帧与所述插帧位置对应的真值帧,确定第三损失函数;

基于所述第三损失函数,确定所述目标损失函数。

5.根据权利要求1~4任一项所述的方法,其中,所述确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合,包括:对所述第一参考帧和所述第二参考帧进行至少一次下采样,得到所述第一参考帧对应的扩展帧和所述第二参考帧对应的扩展帧;

根据所述第一参考帧和对应的扩展帧,确定第一图像帧集合;

根据所述第二参考帧和对应的扩展帧,确定第二图像帧集合。

6.根据权利要求1~5任一项所述的方法,其中,所述第一图像帧集合各图像帧与所述第二图像帧集合中的各第二图像帧一一对应,对应的两个图像帧的分辨率相同;以及所述分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络,得到第一光流集合和第二光流集合,包括:将分辨率相同的第一图像帧与第二图像帧输入所述初始光流估计网络,得到所述第一图像帧与所述第二图像帧之间的第一光流和所述第二图像帧与所述第一图像帧之间的第二光流;

根据各第一光流,得到所述第一光流集合;

根据各第二光流,得到所述第二光流集合。

7.一种视频插帧方法,包括:

获取目标视频;

根据所述目标视频中前后相邻的两个视频帧以及通过权利要求1‑6任一项所描述的方法训练得到的光流估计网络,确定相邻的两个视频帧之间的第一光流和第二光流;

根据所述第一光流和所述第二光流,合成所述相邻的两个视频帧的中间视频帧。

8.一种模型训练装置,包括:

分辨率扩展单元,被配置成确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合;

第一光流计算单元,被配置成分别将所述第一图像帧集合和所述第二图像帧集合中的图像帧输入初始光流估计网络,得到第一光流集合和第二光流集合;

损失函数确定单元,被配置成基于所述第一光流集合和所述第二光流集合,确定目标损失函数;

模型训练单元,被配置成根据所述目标损失函数,训练所述初始光流估计网络;

其中,第一光流计算单元进一步被配置成:基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流,确定目标损失函数;

其中,所述基于所述第一光流集合中的任意两个第一光流和所述第二光流集合中的任意两个第二光流,确定目标损失函数,包括:分别计算第一光流集合中任意两个第一光流的差值,记为第一差值,将所有的第一差值相加,得到第一和值;

分别计算第二光流集合中任意两个第二光流的差值,记为第二差值,将所有的第二差值相加,得到第二和值;

对所述第一和值以及第二和值进行加权,得到目标损失函数。

9.根据权利要求8所述的装置,其中,所述损失函数确定单元进一步被配置成:根据所述初始光流估计网络,从所述不同分辨率中确定出目标分辨率;

根据所述目标分辨率对应的目标第一光流和所述第一光流集合中除所述目标第一光流之外的其它第一光流,确定第一损失函数;

根据所述目标分辨率对应的目标第二光流和所述第二光流集合中除所述目标第二光流之外的其它第二光流,确定第二损失函数;

基于所述第一损失函数和所述第二损失函数,确定所述目标损失函数。

10.根据权利要求9所述的装置,其中,所述损失函数确定单元进一步被配置成:获取所述初始光流估计网络的训练图像集;

确定所述第一图像帧集合或所述第二图像帧集合中的各图像帧与所述训练图像集之间的分辨率相似度;

根据各分辨率相似度,从所述不同分辨率中确定出所述目标分辨率。

11.根据权利要求8~10任一项所述的装置,其中,所述损失函数确定单元进一步被配置成:根据所述第一光流集合和所述第二光流集合中相同分辨率的第一光流和第二光流,生成与各分辨率对应的合成帧;

根据各合成帧与所述插帧位置对应的真值帧,确定第三损失函数;

基于所述第三损失函数,确定所述目标损失函数。

12.根据权利要求9~11任一项所述的装置,其中,所述分辨率扩展单元进一步被配置成:对所述第一参考帧和所述第二参考帧进行至少一次下采样,得到所述第一参考帧对应的扩展帧和所述第二参考帧对应的扩展帧;

根据所述第一参考帧和对应的扩展帧,确定第一图像帧集合;

根据所述第二参考帧和对应的扩展帧,确定第二图像帧集合。

13.根据权利要求8~12任一项所述的装置,其中,所述第一图像帧集合各图像帧与所述第二图像帧集合中的各第二图像帧一一对应,对应的两个图像帧的分辨率相同;以及所述第一光流计算单元进一步被配置成:将分辨率相同的第一图像帧与第二图像帧输入所述初始光流估计网络,得到所述第一图像帧与所述第二图像帧之间的第一光流和所述第二图像帧与所述第一图像帧之间的第二光流;

根据各第一光流,得到所述第一光流集合;

根据各第二光流,得到所述第二光流集合。

14.一种视频插帧装置,包括:

视频获取单元,被配置成获取目标视频;

第二光流计算单元,被配置成根据所述目标视频中前后相邻的两个视频帧以及通过权利要求1‑6任一项所描述的方法训练得到的光流估计网络,确定相邻的两个视频帧之间的第一光流和第二光流;

视频插帧单元,被配置成根据所述第一光流和所述第二光流,合成所述相邻的两个视频帧的中间视频帧。

15.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法或执行权利要求7所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的方法或执行权利要求7所述的方法。