利索能及
我要发布
收藏
专利号: 2021115362698
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向云端融合的视频超分辨率系统,其特征在于,包括:还原效果预测模块,用于在移动端抽取采集到的低分辨率视频帧特征,并将低分辨率视频帧特征输入到训练好的深度神经网络模型中进行超分辨率还原效果预测,通过深度神经网络模型预测出该帧视频在双立方插值和基于增强可变卷积网络的视频恢复两种方式下每一帧的峰值信噪比和视频多方法评估融合参数指标;

任务动态调度模块,为所述峰值信噪比和视频多方法评估融合参数指标设置相应的权重系数,计算得到双立方插值和基于增强可变卷积网络的视频恢复方式下的参数差异,将性能差异大于10%的帧卸载至云端进行基于增强可变卷积网络的视频恢复EDVR处理,否则在移动端本地进行视频帧处理;

移动端处理模块,基于双立方插值实现视频超分后采用高效率视频编码方法压缩视频;

云端处理模块,用于采用EDVR方法在云服务器上进行超分辨率处理;

帧融合模块,用云端处理完毕的帧替换移动端处理后的高效视频压缩标准HEVC中的关键帧,利用HECV的帧间预测技术,实现后续帧的高清便可得到完整的高分辨率视频。

2.根据权利要求1所述的面向云端融合的视频超分辨率系统,其特征在于,所述还原效果预测模块的具体操作步骤包括:采集当前时刻视频帧特征;

将该视频帧的特征输入至预测模型中,分别预测出双立方插值方法和EDVR方法进行超分辨率还原下该帧的峰值信噪比PSNR和视频多方法评估融合VMAF参数。

3.根据权利要求2所述的面向云端融合的视频超分辨率系统,其特征在于,所述移动端处理模块的核心为采用双立方插值方法对视频帧进行超分辨率处理,具体处理步骤为:获得视频帧超分后图像像素在原图像中的位置,并找到距该像素点最近的16个像素点的位置;

利用选择的基函数求出对应每个像素的权值;

利用求和公式得到该帧目标图片的像素值;

通过此步骤顺序处理每一个视频帧,直至得到全部插值后的连续视频帧;最后,将双立方插值得到的较高分辨率的视频采用HEVC方法进行压缩存储,并将上传至云端的帧设为关键帧。

4.根据权利要求3所述的面向云端融合的视频超分辨率系统,其特征在于,所述云端处理模块采用EDVR方法对视频帧进行超分辨率处理,具体处理步骤为:对视频帧进行特征提取;

采用金字塔级联变形对齐模块处理大的运动,使用形变卷积以由粗到细的方式在特征级别进行帧对齐;

在融合模块引入时空注意力机制,以强调后续重建的重要特征;

在重建模块中进行帧重建,得到高分辨率的视频帧。

5.一种根据权利要求1至4任一项所述的面向云端融合的视频超分辨率系统的还原方法,其特征在于,包括以下步骤:采集视频帧的信息,分别预测双立方插值方法和EDVR方法进行超分辨率还原下视频帧的PSNR和VMAF参数;

根据PSNR和VMAF参数,采用相应的权重计算公式得到双立方插值和EDVR两种方法下该视频帧的性能差异,动态地决定是否将该帧卸载至云端进行处理;

采用双立方插值的方法,对视频帧进行超分辨率还原处理,处理完成后使用HEVC方法进行高效视频压缩;

采用可变卷积方法的EDVR方法对视频帧进行超分辨率还原处理,并将得到的高分辨率帧存储在输出帧数组的相应位置中;

用高分辨率帧直接替换HEVC压缩后相应位置的帧。

6.根据权利要求5所述的面向云端融合的视频超分辨率方法,其特征在于,所述分别预测双立方插值方法和EDVR方法进行超分辨率还原下视频帧的PSNR和VMAF参数,具体包括:获取视频特征,进行视频分帧,建立输入视频帧数组,将视频的每一帧顺序存储在该结构体数组中,并建立索引;

遍历视频帧,采集视频帧的特征,并将每一帧的特征输入至预测模型中;

预测出双立方插值和EDVR两种超分方法下该帧视频的PSNR和VMAF参数。

7.根据权利要求6所述的面向云端融合的视频超分辨率方法,其特征在于,所述根据PSNR和VMAF参数,采用相应的权重计算公式得到双立方插值和EDVR两种方法下该视频帧的性能差异,动态地决定是否将该帧卸载至云端进行处理,具体包括:采用公式(1)对PSNR和VMAF参数进行计算得到双立方插值和EDVR两种超分辨率方法下该视频帧的性能参数;

Ut=α1PSNR+α2VMAF  (1)

其中,Ut表示为该帧视频的性能,α1为PSNR的权重系数取0.8,α2为VMAF参数的权重系数取0.2;

采用公式(2)对公式(1)得到的性能参数进行绝对值求差,得到两方法下该帧视频的性能参数差异;

ΔUt=|Ut1‑Ut2|   (2)

其中ΔUt为视频帧性能参数差异,Ut1表示为双立方插值方法下视频帧的性能,Ut2表示为EDVR方法下视频帧的性能;

对比公式(2)得到的ΔUt的大小,若ΔUt大于10%,则标记该帧并卸载至云服务器上进行处理。

8.根据权利要求7所述的面向云端融合的视频超分辨率方法,其特征在于,所述采用双立方插值的方法,对视频帧进行超分辨率还原处理,处理完成后使用HEVC方法进行高效视频压缩,具体包括:将视频所有帧采用双立方插值的方法进行超分辨率还原;

将超分放大后的视频帧采用HEVC方法进行压缩;

将压缩后的视频存贮在结构体数组中。

9.根据权利要求8所述的面向云端融合的视频超分辨率方法,其特征在于,所述采用可变卷积方法的EDVR方法对视频帧进行超分辨率还原处理,并将得到的高分辨率帧存储在输出帧数组的相应位置中,具体包括:特征提取,每层通过若干个残差块提取特征;

进行帧对齐,用金字塔级联变形对齐模块处理大的运动,使用形变卷积以由粗到细的方式在特征级别进行帧对齐;

引入时空注意力机制进行帧融合;

通过若干个残差块对融合后的特征进一步进行重建,得到超分视频帧后将其存储在输出帧数组的相应位置上。