1.一种虚拟视点视频质量预测方法,其特征在于包括以下步骤:
①将原始彩色视频记为ICo,将与ICo对应的原始深度视频记为IVo;使用HTM平台,并采用设定的编码量化参数对IVo进行压缩,得到设定的编码量化参数下的失真深度视频,记为IVd;将ICo中的第m帧彩色图像记为 将IVo中的第m帧深度图像记为 将IVd中的第m帧失真深度图像记为 其中,设定的编码量化参数的取值范围为[0,51],ICo中的每帧彩色图像的宽度、IVo中的每帧深度图像的宽度、IVd中的每帧失真深度图像的宽度均为W,ICo中的每帧彩色图像的高度、IVo中的每帧深度图像的高度、IVd中的每帧失真深度图像的高度均为H,
1≤m≤M,M表示ICo中包含的彩色图像的总帧数,亦表示IVo中包含的深度图像的总帧数,亦表示IVd中包含的失真深度图像的总帧数;
②利用Sobel算子,获取ICo中的每帧彩色图像的梯度图像,将 的梯度图像记为 同样,利用Sobel算子,获取IVo中的每帧深度图像的梯度图像,将 的梯度图像记为 其中,和 的宽度均为W, 和 的高度均为H;
③计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像,将 与的深度差值图像记为 将 中坐标位置为(x,y)的像素点的像素值记为 其中,的宽度为W, 的高度为H,1≤x≤W,1≤y≤H;
④获取IVo中的每帧深度图像的视差图像,将 的视差图像记为 将 中坐标位置为(x,y)的像素点的像素值记为 然后对IVo中的每帧深度图像的视差图像中的所有像素点的像素值进行四舍五入运算,得到IVo中的每帧深度图像的整型视差图像,将 的整型视差图像记为 将 中坐标位置为(x,y)的像素点的像素值记为 其中,和 的宽度均为W, 和 的高度均为H;
同样,获取IVd中的每帧失真深度图像的视差图像,将 的视差图像记为 将 中坐标位置为(x,y)的像素点的像素值记为 然后对IVd中的每帧失真深度图像的视差图像中的所有像素点的像素值进行四舍五入运算,得到IVd中的每帧失真深度图像的整型视差图像,将 的整型视差图像记为 将 中坐标位置为(x,y)的像素点的像素值记为其中, 和 的宽度均为W, 和 的高度均为H;
⑤根据IVd中的每帧失真深度图像的整型视差图像,对ICo中的每帧彩色图像进行投影,获取IVd中的每帧失真深度图像对应的失真虚拟视点图像,令 表示 对应的失真虚拟视点图像,将 中的每个像素点的像素值初始化为0,将 中坐标位置为(x',y)的像素点的像素值记为 且满足1≤x'≤W时 其中,的宽度为W, 的高度为H, 表示 中坐标位置为(x,y)的像素点的像素值;
⑥获取IVd中的每帧失真深度图像对应的掩模图像,将 对应的掩模图像记为 将中坐标位置为(x,y)的像素点的像素值记为其中, 的
宽度为W, 的高度为H,符号 为向下取整运算符号,符号 为向上取整运算符号;
⑦根据IVd中的每帧失真深度图像对应的失真虚拟视点图像,及IVd中的每帧失真深度图像对应的掩模图像,获取IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小,将 中坐标位置为(x,y)的像素点的虚拟视点失真大小记为然后对IVd中的每帧失真深度图像对应的失真虚拟视点图像中的每个像素点的虚拟视点失真大小进行平方运算,得到IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像,将 的标签图像记为 将中坐标位置为(x,y)的像素点的像素值记为 其中, 的宽度为W, 的高度为H, 表示 中坐标位置为(x”,y)的像素点的像素值,且满足1≤x"≤W, 表示 中坐标位置为(x,y)的像素点的像素值;
⑧将ICo中的每帧彩色图像、IVo中的每帧深度图像、ICo中的每帧彩色图像的梯度图像、IVo中的每帧深度图像的梯度图像、IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像、IVd中的每帧失真深度图像对应的失真虚拟视点图像的标签图像分别划分为U×V个互不重叠的分割块;然后计算ICo中的每帧彩色图像中的每个分割块中的所有像素点的像素值的均值和方差,计算IVo中的每帧深度图像中的每个分割块中的所有像素点的像素值的均值和方差,计算ICo中的每帧彩色图像的梯度图像中的每个分割块中的所有像素点的像素值的均值,计算IVo中的每帧深度图像的梯度图像中的每个分割块中的所有像素点的像素值的均值,计算IVo中的每帧深度图像与IVd中对应的失真深度图像的深度差值图像中的每个分割块中的所有像素点的像素值的均值,计算IVd中的第1帧失真深度图像 对应的失真虚拟视点图像 的标签图像 中的每个分割块中的所有像素点的像素值的均值;其中,如果W能被n整除,则 如果W不能被n整除,则 如果H能被n整除,则 如果H不能被n整除,则 n的取值为8或16或32或64;
⑨将ICo中的第1帧彩色图像 中的各个分割块对应的均值和方差、IVo中的第1帧深度图像 中的各个分割块对应的均值和方差、ICo中的第1帧彩色图像 的梯度图像 中的各个分割块对应的均值、IVo中的第1帧深度图像 的梯度图像 中的各个分割块对应的均值、IVo中的第1帧深度图像 与IVd中对应的失真深度图像 的深度差值图像 中的各个分割块对应的均值作为训练特征,将IVd中的第1帧失真深度图像 对应的失真虚拟视点图像 的标签图像 中的各个分割块对应的均值作为训练标签,将训练特征和训练标签组合成训练样本;然后使用SVM对训练样本进行训练,得到SVM回归模型,描述为:其中,f()为函数表示形式,Ch为训练特征,f(Ch)为训练标签,W
为f()的权重矢量,WT为W的转置,b为偏置项, 为核函数;
⑩将ICo中的第m'帧彩色图像 中的各个分割块对应的均值和方差、IVo中的第m'帧深度图像 中的各个分割块对应的均值和方差、ICo中的第m'帧彩色图像 的梯度图像 中的各个分割块对应的均值、IVo中的第m'帧深度图像 的梯度图像 中的各个分割块对应的均值、IVo中的第m'帧深度图像 与IVd中对应的失真深度图像 的深度差值图像 中的各个分割块对应的均值作为测试特征;然后利用SVM回归模型对测试特征进行测试,得到U×V个输出值,U×V个输出值一一对应为IVd中的第m'帧失真深度图像 对应的失真虚拟视点图像 的标签图像 中的每个分割块对应的测试均值;接着计算IVd中的第m'帧失真深度图像 对应的失真虚拟视点图像 的PSNR值,记为最后计算由所有失真虚拟视点图像构成的失真虚拟视点视频的质量值,记为Q,其中,2≤m'≤M, 表示 中坐标位置为(u,v)的分割块对应的测试均值。
2.根据权利要求1所述的一种虚拟视点视频质量预测方法,其特征在于所述的步骤③中 其中, 表示 中坐标位置为(x,y)的像素点的像素值即深度值, 表示 中坐标位置为(x,y)的像素点的像素值即深度值,符号“| |”为取绝对值符号。
3.根据权利要求1或2所述的一种虚拟视点视频质量预测方法,其特征在于所述的步骤④中
其中,b表示相机间的基线距离,f表示相
机的焦距,Znear为最近实际景深,Zfar为最远实际景深, 表示 中坐标位置为(x,y)的像素点的像素值即深度值, 表示 中坐标位置为(x,y)的像素点的像素值即深度值。