1.一种面向高帧率视频的可回溯帧率转换模型构建方法,其特征在于,包括以下步骤:S1、对高帧率视频与低帧率视频之间的帧率转换关系进行建模;
S2、从包含视频信息特征的两个基本维度空间维度和时间维度提取时空特征,并进行多元时空特征的融合;
S3、从时间以及空间两个层面设计目标损失函数;
S4、构建面向高帧率视频的可回溯帧率转换模型;
所述步骤S1包括以下步骤:
S11 、对高帧率视频到低帧率视频的降帧过程进行建模,其公式为其中,S表示降帧映射函数, 是原高帧率视频, 是降帧后的低帧率视频,α表示降帧过程中的参数;
S12、对低帧率视频到高帧率视频的升帧过程进行建模,其公式为其中,U表示升帧映射函数, 是升帧后的重建高帧率视频,β表示升帧过程中的参数;
所述步骤S2包括以下步骤:
S21、从视频帧中提取局部空间特征和时间特征,并将局部空间特征送入空域LSTM网络,学习局部空间特征之间的空间相关性;
S22、将空域LSTM网络输出的特征送入时域LSTM网络,学习局部空间特征之间的时间相关性;
S23、将时域LSTM网络输出的特征送入全连接层,得到与视频帧的时间特征同一维度下的全局空间特征;
S24、将视频帧的时间特征和全局空间特征进行横向级联,得到融合时空特征信息的特征图NC,H,W,并对其进行特征压缩,得到包含时空特征信息的压缩特征图NC,1,1;
S25、对压缩特征图NC,1,1进行激励学习,得到激励学习后的特征图MC,1,1,然后利用Sigmoid激活函数将其作为权重与NC,H,W逐通道相乘,得到融合后的多元时空特征图MC,H,W;
所述步骤S3包括以下步骤:
S31、利用L2范数从时间层面计算降帧和升帧过程中所获时间特征的差异,时间特征损失函数为 其中 为降帧过程中的时间特征,其公式为t t+1
其中f(·)表示双线性插值操作,I和I 表示降帧t t+1
过程中的邻近帧,Ft→t+1和Ft+1→t表示I 和I 之间的双向光流, 为升帧过程中的时间特征,其公式为 其中f(·)表示双线性插值操作, 和表示升帧过程中的邻近帧, 和 表示 和 之间的双向光流;
S32、利用KL散度和L1范数从空间层面计算降帧和升帧过程中所获空间特征的差异,空t间特征损失函数为 其中p 和 分别表示降帧和升帧过t
程中的纹理特征的像素分布,I和 分别表示降帧和升帧过程中的纹理特征;
所述步骤S4包括以下步骤:
S41、从时、空两个维度提取原始高帧率视频的时间特征和空间特征,并对其进行时空融合;
S42、利用融合后的多元时空特征生成满足码率约束条件的低帧率视频;
S43、利用时空特征恢复模块恢复出隐匿于低帧率视频中的必要视频信息的时空特征,并对其进行时空融合;
S44、利用融合后的多元时空特征指导回溯原始高帧率视频;
S45、在模型的训练过程中,利用降帧过程中提取的多元时空特征从时间和空间两个维度监督升帧过程。