1.一种窗口六自由度合成视频的客观质量评价方法,其特征在于,包括以下步骤:S1:获取待评价的窗口六自由度合成视频作为目标合成视频;
S2:将目标合成视频分解成若干个时空域;
步骤S2中,首先将目标合成视频转换为由宽度W、高度H和帧数T组成的三维阵列V,宽度W、高度H和帧数T的索引分别为x、y、t;然后基于x、y、t的不同组合形成对应的三个时空域:XY‑T域、XT‑Y域和TY‑X域;
其中,XY‑T域中的三维阵列VT包括T张大小为W×H的图像;XT‑Y域中的三维阵列VY包括H张尺寸为W×T的图像;TY‑X域中的三维阵列VX包括W张尺寸为T×H的图像;
S3:分别在对应的时空域中评估目标合成视频的绘制失真、视点路径不适性和压缩失真;
S4:对目标合成视频的绘制失真、视点路径不适性和压缩失真进行加权计算,得到对应的客观质量评价分数;
步骤S4中,通过如下公式计算客观质量评价分数:
Qw‑6DoF=ω1R(Scom_dis)+ω2R(Sren_dis)+ω3R(Svp_dis);
式中:Qw‑6DoF表示客观质量评价分数;Scom_dis表示压缩失真;Sren_dis表示绘制失真;Svp_dis表示视点路径不适性;ω1、ω2、和ω3分别表示压缩失真、绘制失真和视点路径不适性的权值;R(·)表示回归函数。
2.如权利要求1所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,在XT‑Y域和TY‑X域进行高频信息评估、边缘清晰度评估、亮度变化特征评估和语义完整性评估,并根据评估结果计算目标合成视频的绘制失真。
3.如权利要求2所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,计算绘制失真之前,首先通过两帧光流方法估计间隔帧的深度图E;然后计算深度图E在x方向和y方向的最大强度值,并分别作为TY‑X域和XT‑Y域中的分解固定点;最后分解得到TY‑X域中的图像集Ω1和XT‑Y域中的图像集Ω2;图像集Ω1的图像个数为Wk,图像集Ω2的图像个数为Hk;
式中:I1(·)和Ik(·)表示XY‑T域的第1张图像和第k张图像;h(·)和l(·)表示光流场的水平分量和垂直分量;x=0,1,...W,y=0,1,...H;η=5表示正则化参数;ρD和ρS表示惩罚函数;Nx,y表示(x,y)周围的5×5个相邻像素;ηN=1表示权重参数。
4.如权利要求2所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,具体包括以下步骤:S301:首先将TY‑X域中的三维阵列VX转换为灰度视频X,对X中的每张图像进行二维离散傅里叶变换,并计算图像各个坐标的振幅谱;然后基于图像各个坐标的振幅谱计算对应图像的振幅谱平均值;最后基于每张图像的振幅谱平均值计算TY‑X域中的高频信息;
A(u,v;x)=α×ln|F(u,v;x)|;
式中:A(u,v;x)表示TY‑X域中第x张图像在(u,v)坐标处的振幅谱;F(u,v;x)表示TY‑X域中第x张图像在(u,v)坐标处的傅里叶变换值;α=20;
式中: 表示TY‑X域中第x张图像的振幅谱平均值;
式中: 表示TY‑X域中的高频信息;Ω1和Wk表示TY‑X域中的图像集和图像个数;
S302:首先计算TY‑X域中每张图像的(n+m)阶Zernike矩;然后通过图像的Zernike矩逆变换得到对应的重建图像;再计算原始的灰度图像与其重建图像之间的结构相似性,得到对应图像的边缘清晰度;最后基于每张图像的边缘清晰度计算TY‑X域中的边缘清晰度;
式中:Zn,m(x)表示TY‑X域中第x张图像第(n+m)阶的Zernike矩;X′(t,y;x)表示TY‑X域中第x张图像的像素值,t和y为像素索引,t=0,1,...T,y=0,1,...H;Vn,m(ρ,φ;x)表示Vn,m(t,y;x)映射到单位圆中的Zernike多项式;λN表示归一化因子映射到单位圆的像素数;s表示阶数的索引;n‑|m|为偶数,n≥m;
式中:X″(x)表示TY‑X域中第x张图像的重建图像;nmax表示最大Zernike阶数;
式中: 表示TY‑X域中第x张图像的边缘清晰度;ε表示常数;N设置为256;
式中: 表示TY‑X域中的边缘清晰度;
S303:首先计算TY‑X域中每张图像的亮度变化特征;然后基于每张图像的亮度变化特征评估TY‑X域中的亮度变化特征;
式中: 表示TY‑X域中第x张图像的亮度变化特征;μy;x表示TY‑X域中第x张图像第y行的平均值;
式中: 表示TY‑X域中的亮度变化特征;
S304:首先计算TY‑X域中每张图像的语义完整性;然后基于每张图像的语义完整性计算TY‑X域中的语义完整性;
式中: 表示TY‑X域中第x张图像的语义完整性;hole(x)表示TY‑X域中第x张图像RGB通道像素值均为0时的像素个数;
式中: 表示TY‑X域中的语义完整性;
S305:在XT‑Y域中对应的执行步骤S301至S304,计算得到XT‑Y域中的高频信息、边缘清晰度、亮度变化特征和语义完整性;
S306:基于TY‑X域和XT‑Y域中的高频信息、边缘清晰度、亮度变化特征和语义完整性计算目标合成视频的绘制失真;
式中:Sren_dis表示目标合成视频的绘制失真。
5.如权利要求1所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,首先在XT‑Y域中分析图像的特征点分布,用以反映不同视点切换产生的路径趋势;然后评估不同视点切换路径下的视点路径不适性作为目标合成视频的视点路径不适性。
6.如权利要求5所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,具体包括以下步骤:S311:将XT‑Y域中的VY转换为二进制后的视频B;
S312:定义一个Hessian矩阵;并将每个像素的Hessian矩阵转换为近似值det[Happrox(y)],用以找到特征点;
式中:c表示XT‑Y域中第y张图像中的像素点;σB表示图像尺度,取值为1.2;Lxx、Lxt和Ltt表示高斯二阶导数的卷积;
2
det[Happrox(y)]=Dxx(y)Dtt(y)‑[0.9Dxt(y)];
式中:二阶导数Dxx(y)=[g(x+1,t;y)‑g(x,t;y)]‑[g(x,t;y)‑g(x‑1,t;y)],二阶导数Dxt和Dtt(y)同理可得;g(x,t;y)表示XT‑Y域中第y个图像的高斯卷积图像;
S313:首先利用3×3×3邻域的非最大抑制和三维线性插值方法筛选出最稳定的特征点,并选择100个特征点作为最终的特征点集P;然后通过对特征点集P归一化坐标,并利用
2D高斯分布反映特征点的统计规律;
式中:μx,y、μt,y和σx,y、σt,y分别表示XT‑Y域中第y张图像x方向和t方向的均值和标准差;
r表示相关系数,取值0.5;
S314:计算每张图像视点路径切换导致的视点路径不适性;
式中: 表示XT‑Y域中第y张图像的视点路径不适性;
S315:基于各张图像的视点路径不适性计算XT‑Y域中的视点路径不适性作为目标合成视频的视点路径不适性;
式中:Svp_dis表示XT‑Y域中的视点路径不适性;Ω2和Hk表示XT‑Y域中的图像集和图像数量。
7.如权利要求1所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,在XY‑T域进行高频信息评估和边缘清晰度评估,并根据评估结果计算目标合成视频的压缩失真。
8.如权利要求7所述的窗口六自由度合成视频的客观质量评价方法,其特征在于:步骤S3中,具体包括以下步骤:S321:在XY‑T域计算每张图像的振幅谱平均值,基于每张图像的振幅谱平均值计算XY‑T域中的高频信息;
式中: 表示XY‑T域中第t张图像的振幅谱平均值; 表示XY‑T域中的高频信息;Ω3和T表示XY‑T域中的图像集和图像个数;
S322:在XY‑T域计算每张图像的边缘清晰度,基于每张图像的边缘清晰度计算XY‑T域中的边缘清晰度;
式中: 表示XY‑T域中第t张图像的边缘清晰度; 表示XY‑T域中的边缘清晰度;
S323:基于XY‑T域中的高频信息和边缘清晰度计算XY‑T域中的压缩失真;
其中,
式中:Scom_dis表示XY‑T域中的压缩失真; 表示XY‑T域中的高频信息; 表示XY‑T域中的边缘清晰度。