利索能及
我要发布
收藏
专利号: 2021101698928
申请人: 信阳师范学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于像素语义匹配的视频帧率上转换方法,其特征在于,包括以下步骤:(1)、将视频序列中第t帧Ft作为待插帧、视频序列中第t‑1帧Ft‑1作为待插帧Ft的前向的参考帧、视频序列中第t+1帧Ft+1作为待插帧Ft的后向的参考帧,待插帧Ft是位于前向的参考帧Ft‑1、后向的参考帧Ft+1之间的中间帧,针对前向的参考帧Ft‑1、后向的参考帧Ft+1,逐像素提取语义特征,生成前向的参考帧Ft‑1的前语义层Lt‑1、后向的参考帧Ft+1的后语义层Lt+1;具体是:步骤a1、分别以尺寸为M×N的前向的参考帧Ft‑1、后向的参考帧Ft+1的第m行、第n列像素位置为中心,提取尺寸为p×p的图像参考帧前子块 参考帧后子块步骤a2、分别以Ft‑1、Ft+1的第m行、第n列像素位置为中心,建立尺寸为h×h的前邻域后邻域 再以前邻域 后邻域 内第x行、第y列像素位置为中心,提取尺寸为p×p的图像前邻域子块 后邻域子块

步骤a3、计算图像参考帧前子块 与图像前邻域子块 参考帧后子块 与后邻域子块 之间的相关系数,公式如下:

式中 分别代表 的第i行、第

j列像素的取值,σ为尺度因子;

步骤a4、遍历前邻域 后邻域 内所有像素,即x、y分别由1取至h,按式(1)、(2)计算相应相关系数,将所有相关系数组成尺寸为h×h的二维相关前平面 二维相关后平面步骤a5、将二维相关前平面 二维相关后平面 的取值范围[0,1]等间隔划分为bin份,分别统计二维相关前平面 二维相关后平面 的取值在各等间隔上的出现次2

数,并除以相关平面取值总数h,生成相应的归一化的前直方图 后直方图步骤a6、计算前直方图 后直方图 的偏度如下:

其中 分别为前直方图 后直方图 的第k个取值;

步骤a7、遍历前向的参考帧Ft‑1、后向的参考帧Ft+1的所有像素,即m由1取至M,n由1取至N,按式(3)、式(4)计算各像素对应的偏度,将所有偏度组成尺寸为M×N的前语义层Lt‑1、后语义层Lt+1,公式为:(2)、将前语义层Lt‑1、后语义层Lt+1分别作为前向的参考帧Ft‑1、后向的参考帧Ft+1的新通道,合并计为Xt‑1、Xt+1,以待插帧Ft为中心,根据前向的参考帧Ft‑1新通道Xt‑1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配,生成待插帧Ft的运动向量场Vt;

(3)、根据相邻前向的参考帧Ft‑1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插,获取待插帧Ft,实现基于像素语义匹配的视频帧率上转换。

2.根据权利要求1所述的基于像素语义匹配的视频帧率上转换方法,其特征在于,包括以下步骤:将前语义层Lt‑1、后语义层Lt+1分别作为前向的参考帧Ft‑1、后向的参考帧Ft+1的新通道,合并计为Xt‑1、Xt+1,以待插帧Ft为中心,根据前向的参考帧Ft‑1新通道Xt‑1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配,生成待插帧Ft的运动向量场Vt;具体包括以下步骤:步骤b1、前向的参考帧Ft‑1与前语义层Lt‑1合并成尺寸为M×N×2的Xt‑1,后向的参考帧Ft+1与后语义层Lt+1合并成尺寸为M×N×2的Xt+1,即:步骤b2、将待插帧Ft划分为尺寸为b×b的互不重叠块,针对待插帧Ft内第r行、第c列的块 通过其中心像素沿时间轴在Ft‑1内确定参考像素 以 位置为中心在Ft‑1内设立尺寸为w×w的搜索窗口步骤b3、遍历 内所有像素,逐一计算与块 中心像素的相对位置偏移,组成块的候选运动向量集合

步骤b4、对于任一候选运动向量 计算其双向匹配误差值如下:

式中(m,n)为块 内任一像素在Ft内的坐标位置,Xt‑1(m+vx,n+vy,1)、Xt‑1(m+vx,n+vy,

2)分别为在Xt‑1内坐标位置(m+vx,n+vy,1)、(m+vx,n+vy,2)的取值,Xt+1(m‑vx,n‑vy,1)、Xt+1(m‑vx,n‑vy,2)分别为在Xt+1内坐标位置(m‑vx,n‑vy,1)、(m‑vx,n‑vy,2)的取值,α为正则化因子;

步骤b5、计算 内所有候选运动向量的双向匹配误差值,取其中具有最小双向匹配误差值的候选运动向量作为 的最终运动向量步骤b6、遍历Ft内所有非重叠块,即r由1取至M/b,c由1取至N/b,按式(9)生成所有块的运动向量,组成Ft的运动向量场Vt;

根据相邻前向的参考帧Ft‑1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插,获取待插帧Ft,实现重叠块运动补偿内插,方法是:根据待插帧Ft的运动向量场Vt,利用参考帧Ft‑1、Ft+1,实施重叠块运动补偿生成待插帧Ft,对于Ft中任一块B4,其与左上角3个相邻块B1、B2、B3重叠,而B1、B2、B3、B4各自具有运动向量v1、v2、v3、v4;对于O1区域,B1、B2、B3、B4四个块在此重叠,则该区域执行内插公式:对于O2区域,B3、B4两个块在此重叠,则该区域执行内插公式:

对于O3区域,其完全包含在B4块内,则执行内插公式:

其中,式(10)‑(12)中s为像素坐标,Ft(s)、Ft‑1(s)、Ft+1(s)分别代表Ft、Ft‑1、Ft+1位于像素坐标s处的亮度值;对于B4与右上角、左下角、右下角相邻块的四块重叠区域按式(10)计算,而两块重叠区域按式(11)计算,实现基于像素语义匹配的视频帧率上转换。