欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2018110548059
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种自由视点视频质量评估方法,其特征在于包括以下步骤:

步骤一:将待评价的失真自由视点视频记为SQdis,并将SQdis对应的原始的自由视点视频记为SQorg;将SQdis的左视点视频和右视点视频对应记为SQdis,L和SQdis,R,将SQorg的左视点视频和右视点视频对应记为SQorg,L和SQorg,R;

步骤二:将SQdis,L中的每帧和SQdis,R中的每帧从YUV颜色空间转换到LAB颜色空间,得到SQdis,L中的每帧和SQdis,R中的每帧的L通道、A通道和B通道;同样,将SQorg,L中的每帧和SQorg,R中的每帧从YUV颜色空间转换到LAB颜色空间,得到SQorg,L中的每帧和SQorg,R中的每帧的L通道、A通道和B通道;

步骤三:计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的绝对差值图,将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的绝对差值图记为 然后对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道dis,L org,L的绝对差值图进行修正,得到SQ 中除第1帧外的每帧的各个通道与SQ 中的对应帧的对应通道的修正绝对差值图,将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个dis,L通道的修正绝对差值图记为 接着根据灰度共生矩阵及SQ 中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的修正绝对差值图,计算SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图,将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的空域差值图记为 再对SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的空域差值图进行修正,得到SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图,将SQdis,L中的第i帧的第j个通道与SQorg,L中的第i帧的第j个通道的时空域差值图记为 其中,i为正整数,

2≤i≤Nframe,Nframe表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中包含的帧的总帧数,j=1,2,

3,j=1时表示L通道,j=2时表示A通道,j=3时表示B通道;

按照获取SQdis,L中除第1帧外的每帧的各个通道与SQorg,L中的对应帧的对应通道的时空域差值图的过程,以相同的操作方式获取SQdis,R中除第1帧外的每帧的各个通道与SQorg,R中的对应帧的对应通道的时空域差值图,将SQdis,R中的第i帧的第j个通道与SQorg,R中的第i帧的第j个通道的时空域差值图记为步骤四:提取出SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域,SQdis,L中的第dis,Li帧的第j个通道中的失真关键区域的提取过程为:对于SQ 中的第i帧的第j个通道中坐标位置为(x,y)的像素点,判断 是否成立,如果成立,则确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于失真关键区域;否则,确定SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于非失真关键区域;其中,1≤x≤W,1≤y≤H,W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度,H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度, 表示 中坐标位置为(x,y)的像素点的像素值,ThL表示左失真关键区域判定阈值;

按照提取SQdis,L中除第1帧外的每帧的各个通道中的失真关键区域的过程,以相同的操作方式提取出SQdis,R中除第1帧外的每帧的各个通道中的失真关键区域;

步骤五:利用结构相似度算法,计算SQdis,L中除第1帧外的每帧的第1个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第1个通道中的对应像素点之间的结构相似度;然后计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数,将SQdis,L中的第i帧的第1个通道的质量分数记为 的值等于SQdis,L中的第i帧的第1个通道中的失真关键区域中的所有像素点对应的结构相似度的平均值;并利用对比度计算SQdis,L中除第1帧外的每帧的第2个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第2个通道中的对应像素点之间的对比度;然后计算SQdis,L中除第1帧外的每帧的第2个通道的质量分数,将SQdis,L中的第i帧的第2个通道的质量分数记为 的值等于SQdis,L中的第i帧的第2个通道中的失真关键区域中的所有像素点对应的对比度的平均值;同样,利用对比度计算SQdis,L中除第1帧外的每帧的第3个通道中的失真关键区域中的每个像素点与SQorg,L中的对应帧的第3个通道中的对应像素点之间的对比度;然后计算SQdis,L中除第1帧外的每帧的第3个通道的质量分数,将SQdis,L中的第i帧的第3个通道的质量分数记为 的值等于SQdis,L中的第i帧的第3个通道中的失真关键区域中的所有像素点对应的对比度的平均值;

按照计算SQdis,L中除第1帧外的每帧的第1个通道的质量分数、SQdis,L中除第1帧外的每帧的第2个通道的质量分数、SQdis,L中除第1帧外的每帧的第3个通道的质量分数的过程,以相同的操作方式计算SQdis,R中除第1帧外的每帧的第1个通道的质量分数、SQdis,R中除第1帧外的每帧的第2个通道的质量分数、SQdis,R中除第1帧外的每帧的第3个通道的质量分数,将SQdis,R中的第i帧的第1个通道的质量分数记为 将SQdis,R中的第i帧的第2个通道的质量分数记为 将SQdis,R中的第i帧的第3个通道的质量分数记为步骤六:对SQdis,L中除第1帧外的每帧的三个通道的质量分数进行融合,并设定第1个通道的融合参数为β、第2个通道的融合参数为γ、第3个通道的融合参数为η,融合得到SQdis,L中除第1帧外的每帧的质量分数,将SQdis,L中的第i帧的质量分数记为 同样,对SQdis,R中除第1帧外的每帧的三个通道的质量分数进行融合,并设定第1个通道的融合参数为β、第

2个通道的融合参数为γ、第3个通道的融合参数为η,融合得到SQdis,R中除第1帧外的每帧的质量分数,将SQdis,R中的第i帧的质量分数记为 然后计算SQdis,L中除第1帧外的每帧的dis,R质量分数与SQ 中的对应帧的质量分数的平均质量分数,将 与 的平均质量分数

记为 再将计算得到的Nframe-1个平均质量分数按从小到大的顺序

排列,取前35~55%的平均质量分数;最后将所取的平均质量分数的平均值作为SQdis的质量分数,记为qdis;其中,β+γ+η=1,β>γ,γ=η;

步骤七:构建一个自由视点视频库,自由视点视频库中包含有三种不同的自由视点视频,第一种自由视点视频的左视点视频由相机拍摄获得、右视点视频由虚拟视点绘制获得,第二种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由相机拍摄获得,第三种自由视点视频的左视点视频由虚拟视点绘制获得、右视点视频由虚拟视点绘制获得,三种不同的自由视点视频均至少有2个自由视点视频;然后按照获取 的过程,以相同的操作方式获取自由视点视频库中的每个自由视点视频的左视点视频中的第t帧的第1个通道与原始自由视点视频的左视点视频中的第t帧的第1个通道的绝对差值图、自由视点视频库中的每个自由视点视频的右视点视频中的第t帧的第1个通道与原始自由视点视频的右视点视频中的第t帧的第1个通道的绝对差值图;接着计算自由视点视频库中的每个自由视点视频对应的两幅绝对差值图中的所有像素点的像素值的和值;之后将计算得到的所有和值按从大到小的顺序排列,将前5%内的最大和值和最小和值对应记为Hmax和Hmin;再计算SQdis,L中的第t帧的第1个通道与SQorg,L中的第t帧的第1个通道的绝对差值图 和SQdis,R中的第t帧的第1个通道与SQorg,R中的第t帧的第1个通道的绝对差值图 中的所有像素点的像素值的和值,记为Ht,1;最后判断Ht,1∈[Hmin,Hmax]是否成立,如果成立,则将SQdis确定为第一种特殊自由视点视频;否则,执行步骤八;其中,第t帧为任意一帧,t∈[1,Nmin],Nmin的值为Nframe、自由视点视频库中的每个自由视点视频中包含的帧的数目、原始自由视点视频中包含的帧的数目中的最小值,原始自由视点视频是在构建自由视点视频库时获得,原始自由视点视频的左视点视频由相机拍摄获得、右视点视频由相机拍摄获得;

步骤八:当SQdis,L中的任意一帧的第1个通道中存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时,或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中存在空洞时,将SQdis确定为第二种特殊自由视点视频;当SQdis,L中的任意一帧的第1个通道中存在空洞且SQdis,R中的对应帧的第1个通道中存在空洞时,或当SQdis,L中的任意一帧的第1个通道中不存在空洞而SQdis,R中的对应帧的第1个通道中不存在空洞时,将SQdis确定为非特殊自由视点视频;

步骤九:根据SQdis的类型计算SQdis的最终质量分数,记为 若SQdis为非特殊自由视dis dis点视频,则令 若SQ 为第一种特殊自由视点视频,则令 若SQ

为第二种特殊自由视点视频,则令 其中,Δb表示修正量,Δb∈(0,1]。

2.根据权利要求1所述的一种自由视点视频质量评估方法,其特征在于所述的步骤三中, 的获取过程为:将 中坐标位置为(x,y)的像素点的像素值记为其中,1≤x≤W,1≤y≤H,W表示SQdis

,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度,H表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的高度,符号“| |”为取绝对值符号, 表示SQdis,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点的像素值, 表示SQorg,L中的第i帧的第j个通道 中坐标位置为(x,y)的像素点的像素值。

3.根据权利要求1或2所述的一种自由视点视频质量评估方法,其特征在于所述的步骤三中, 的获取过程为:将 中坐标位置为(x,y)的像素点的像素值记为其中, 表示 中坐标位置为(x,

dis,L org,L

y)的像素点的像素值, 表示SQ 中的第i帧或SQ 中的第i帧的深度图中坐标位

置为(x,y)的像素点的像素值。

4.根据权利要求3所述的一种自由视点视频质量评估方法,其特征在于所述的步骤三中, 的获取过程为:org,L

A1)将SQ 中的第i帧的第j个通道划分成Nblock个互不重叠的尺寸大小为Block×

org,L

Block的图像块,将SQ 中的第i帧的第j个通道中的第k个图像块记为 其中,Block=4,8,16,32,64, 符号 为向下取整运算符号,W表示SQdis,Ldis,R org,L org,R dis,L dis,R org,L org,R

和SQ 及SQ 和SQ 各自中的帧的宽度,H表示SQ 和SQ 及SQ 和SQ 各自中

的帧的高度,k为正整数,1≤k≤Nblock;

A2)利用灰度共生矩阵计算SQorg,L中的第i帧的第j个通道中的每个图像块的纹理复杂度,将 的纹理复杂度记为A3)计算SQorg,L中的第i帧的第j个通道的纹理复杂图,记为 将 中坐标位置

为(x,y)的像素点的像素值记为 若 中坐标位置为(x,y)的像素点所在的

图像块为第k个图像块,则 其中,1≤x≤W,1≤y≤H;

A4)计算 将 中坐标位置为(x,y)的像素点的像素值记为

其中, 表示 中坐标位置为(x,y)的像素

点的像素值。

5.根据权利要求4所述的一种自由视点视频质量评估方法,其特征在于所述的步骤三中, 的获取过程为:将 中坐标位置为(x,y)的像素点的像素值记为其中,1≤x

≤W,1≤y≤H,W表示SQdis,L和SQdis,R及SQorg,L和SQorg,R各自中的帧的宽度,H表示SQdis,L和dis,R org,L org,RSQ 及SQ 和SQ 各自中的帧的高度, 表示 中坐标位置为(x,y)的像

素点的像素值, 符号“|  |”为取绝对值符号,

表示 中坐标位置为(x,y)的像素点的像素值, 表示SQdis,L中的第i-

1帧的第j个通道与SQorg,L中的第i-1帧的第j个通道的绝对差值图 中坐标位置为(x,y)的像素点的像素值, 表示SQorg,L中的第i帧的第j个通道中的运动区域中的所有像素点的坐标位置的集合。

6.根据权利要求5所述的一种自由视点视频质量评估方法,其特征在于所述的SQorg,L中的第i帧的第j个通道中的运动区域的确定过程为:对于SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点,判断 是否成立,如果成立,则确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于运动区域;否则,确定SQorg,L中的第i帧的第j个通道中坐标位置为(x,y)的像素点属于静止区域;其中,thL表示左运动区域判定阈值。

7.根据权利要求6所述的一种自由视点视频质量评估方法,其特征在于所述的左运动区域判定阈值thL的获取过程为:计算SQorg,L中的第i帧的第j个通道中的每个像素点的像素值与SQorg,L中的第i-1帧的第j个通道中的对应像素点的像素值的差值的绝对值;然后将W×H个绝对值按从大到小的顺序排列后取第 个绝对值作为thL的值;其中,符号 为向上取整运算符号。

8.根据权利要求5所述的一种自由视点视频质量评估方法,其特征在于所述的步骤四中,ThL的值等于 中的所有像素点的像素值按从大到小的顺序排列后的前α个像素值的平均值,其中, 符号 为向上取整运算符号。