利索能及
我要发布
收藏
专利号: 202111394443X
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的双向编码视频插帧方法,其特征在于,包括以下步骤:获取目标视频中的两个相邻帧,使用第一编码器对所述两个相邻帧进行前向编码,获得第一编码特征,使用第二编码器对所述两个相邻帧进行后向编码,获得第二编码特征,将所述第一编码特征和所述第二编码特征进行融合,获得融合编码特征;

使用解码器对所述融合编码特征进行解码,获得解码特征;

对所述解码特征进行卷积获得卷积参数;

基于所述卷积参数和所述两个相邻帧,计算获得目标合成帧。

2.根据权利要求1所述的基于深度学习的双向编码视频插帧方法,其特征在于,所述使用第一编码器对所述两个相邻帧进行前向编码,获得第一编码特征,使用第二编码器对所述两个相邻帧进行后向编码,获得第二编码特征,包括:使用第一编码器中的低维特征层的标准卷积和高维特征层的深度可分离卷积,对所述两个相邻帧从前一帧到后一帧的运动信息进行所述前向编码,获得所述第一编码特征;

使用第二编码器中的低维特征层的标准卷积和高维特征层的深度可分离卷积,对所述两个相邻帧从后一帧到前一帧的运动信息进行所述后向编码,获得所述第二编码特征。

3.根据权利要求2所述的基于深度学习的双向编码视频插帧方法,其特征在于,所述使用解码器对所述融合编码特征进行解码,获得解码特征,包括:使用所述解码器中的低维特征层的标准卷积和高维特征层的深度可分离卷积,对所述融合编码特征进行解码,获得所述解码特征。

4.根据权利要求1所述的基于深度学习的双向编码视频插帧方法,其特征在于,还包括:

在所述第一编码器和所述解码器之间以及所述第二编码器和所述解码器之间,加入通道注意力级联模块。

5.根据权利要求1所述的基于深度学习的双向编码视频插帧方法,其特征在于,所述对所述解码特征进行卷积获得卷积参数,包括:使用多组标准卷积对所述解码特征进行卷积操作,获得所述卷积参数。

6.根据权利要求1所述的基于深度学习的双向编码视频插帧方法,其特征在于,所述基于所述卷积参数和所述两个相邻帧,计算获得目标合成帧,包括:基于所述卷积参数和所述两个相邻帧,通过如下计算公式计算获得目标合成帧,所述计算公式为:

It(i,j)=V⊙In(i,j)+(1‑V)⊙In+1(i,j)    (2)式(1)中,所述I(i,j)表示输入帧通过AdaCoF计算后获得的像素点的值,所述K表示核的大小,所述i表示像素点x轴的坐标,所述j表示像素点y轴的坐标,所述αk,l表示输入帧的像素点的竖直方向的偏移量,所述βk,l表示输入帧的像素点的水平方向的偏移量,所述Wk,l表示所述核的权重,所述I(i+dk+αk,l,j±dl+βk,l)代表输入帧的像素点的值,所述dk表示输入帧的像素点的竖直方向的膨胀度,所述dl表示输入帧的像素点的水平方向的膨胀度;

式(2)中,所述V表示一组卷积获得的权重,所述V的取值范围为0至1,所述⊙表示逐像素相乘,所述In(i,j)表示两个相邻帧中的前一帧通过式(1)计算后获得的像素点的值,所述In+1(i,j)表示两个相邻帧中的后一帧通过式(1)计算后获得的像素点的值,所述It(i,j)表示目标合成帧的像素点的值。

7.一种基于深度学习的双向编码视频插帧系统,其特征在于,包括:融合编码特征获取单元,用于获取目标视频中的两个相邻帧,使用第一编码器对所述两个相邻帧进行前向编码,获得第一编码特征,使用第二编码器对所述两个相邻帧进行后向编码,获得第二编码特征,将所述第一编码特征和所述第二编码特征进行融合,获得融合编码特征;

解码特征获取单元,用于使用解码器对所述融合编码特征进行解码,获得解码特征;

参数获取单元,用于对所述解码特征进行卷积获得卷积参数;

目标合成帧获取单元,用于基于所述卷积参数和所述两个相邻帧,计算获得目标合成帧。

8.一种基于深度学习的双向编码视频插帧设备,其特征在于,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1至6任一项所述的基于深度学习的双向编码视频插帧方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的基于深度学习的双向编码视频插帧方法。