1.一种面向高动态范围立体全向视觉系统的质量评价方法,其特征在于,包括如下步骤:步骤1、建立源图像数据集,所述源图像数据集包括仅有编码失真的HDR图像序列和色调映射处理后的混合失真LDR图像序列;
步骤2、采用无参考质量评价方法对仅有编码失真的HDR图像序列的左、右视点图像分别进行本征图像分解得到照明分量和反射率分量;利用照明分量和反射率分量得到左、右视点图像上的块效应特征;利用反射率分量得到左、右视点图像上的自然度特征;
步骤3、采用半参考质量评价方法从仅有编码失真的HDR图像序列和色调映射后的混合失真LDR图像序列上进行色彩保真度特征提取、感知哈希特征提取、全局PCMF相似度特征提取、前n%显著位特征提取、全局相似度度量提取、直方图欧式距离特征,并对感知哈希特征、全局PCMF相似度特征、前n%显著位特征、全局相似度度量以及直方图欧式距离特征进行视口特征聚合得到感知哈希特征、视口图像的融合通道特征以及视口图像的竞争通道特征;
步骤4、将步骤2和步骤3得到的特征向量输入到随机森林作为可靠的机器学习回归模型完成由特征向量到MOS得分的映射,输出客观预测分数。
2.根据权利要求1所述的一种面向高动态范围立体全向视觉系统的质量评价方法,其特征在于,所述步骤1中,将HDR图像的左视点图像记为 将HDR图像的右视点图像记为L R将LDR图像的左视点图像记为Il ,将LDR图像的右视点图像记为Il。
3.根据权利要求2所述的一种面向高动态范围立体全向视觉系统的质量评价方法,其特征在于,所述步骤2具体包括:步骤201、采用无参考质量评价方法对仅有编码失真的HDR图像序列进行本征图像分解L R得到左视点图像的照明分量ζi 和反射率分量 以及右视点图像的照明分量ζi和反射率分量L R
步骤202、分别对照明分量ζi 、ζi 和反射率分量 进行纹理分割得到平坦区域L L R R L L R R
{ζi,f ,ζr,f}、{ζi,f ,ζr,f}和复杂区域{ζi,c ,ζr,c}、{ζi,c ,ζr,c};
步骤203、计算基于M×N的图像块P计算的契比雪夫分数矩阵Mc和图像块P的JND系数矩阵Mj;
L R
步骤204、分别计算照明分量ζi、ζi 和反射率分量 融合平坦区域和复杂区域的L R L块效应矩阵Mi、Mi、Mr和
L R
步骤205、分别将块效应矩阵Mi、Mi 、 和 进行降序排列,并采用前n%显著位特L R R征提取方法从降序后的块效应矩阵Mi 、Mi、 和Mr提取前n%的均值作为最终块效应特征Fir,步骤206、将反射率分量 由RGB空间转换到拮抗颜色通道rg‑by;求取每个拮抗颜色通道的均值μ和标准差σ;其中:
均值μ通过高斯函数 拟合得到;
标准差σ通过Beta函数 拟合得到;
并求取联合概率分布N:N=(1/K)PmPd,K=max(Pm,Pd);从两个拮抗颜色通道的函数拟合L R结果和N得到左、右视点图像上的自然度特征Fn={fn ,fn}。
4.根据权利要求3所述的一种面向高动态范围立体全向视觉系统的质量评价方法,其特征在于,所述步骤3具体包括:步骤301、色彩保真度特征提取,包括:L L L L
将Ih和Il从RGB空间转换到Lab空间,执行去均值归一化操作,并求取Ih和Il在对应像L L L L素点处的色差值组成矩阵ΔE00 ;求取ΔE00的二阶矩方差ρc 、三阶矩偏度sc 、四阶矩峰度Lkc作为左视点图像上的色彩保真度特征R R R R
将Ih和Il从RGB空间转换到Lab空间,执行去均值归一化操作,并求取Ih和Il在对应像R R R R素点处的色差值组成矩阵ΔE00 ;求取ΔE00的二阶矩方差ρc 、三阶矩偏度sc 、四阶矩峰度R Rkc作为右视点图像上的色彩保真度特征fc;
L R
色彩保真度特征Fc={fc ,fc};
步骤302、视口采样;
L L R R L L R R
分别对Ih和Il、Ih和Il进行视口采样,得到视口图像Vh、Vl、Vh和Vl ;视口采样的视口为I={IE,IB},其中IE表示赤道区域,IB表示两极区域,在IE中以等角度间隔均匀采样M个视LR口,角度设置为2π/M,IB包括南北两极,对于IB,选择其对应的双目乘积显著图S 中像素值最大的点作为视口中心点,总视口个数为M+2;
LR
所述双目乘积显著图S 的求取步骤包括:L R LR LR
计算Il和Il的左、右平面显著图S ,双目乘积显著图S 为经过视差匹配后的相关性度量:LR L R
S (i,j)=S(i,j)·S((i,j)+di,j)L R
式中,di,j表示在像素(i,j)处的S和S的水平视差,视差匹配采用光流法计算得到;
步骤303、感知哈希特征提取,包括:对视口图像进行基于5×5图像块的DCT变换,得到交流分量的低频子带LF、中频子带MF和高频子带HF,将低频子带LF、中频子带MF和高频子带HF中大于或等于频带均值εF的频带赋值为1,将低频子带LF、中频子带MF和高频子带HF中小于频带均值εF的频带赋值为0;
L L L,LF
以Bl表示Vl其中一个图像块,对应的低频子带LF的二进制指纹码表示为Hl ;中频子L,MF L,HF L L带MF的二进制指纹码表示为Hl ;高频子带HF的二进制指纹码表示为Hl ;以Bh 表示Vh其L,LF中一个图像块;对应的低频子带LF的二进制指纹码表示为Hh ;中频带MF的二进制指纹码L,MF L,HF R R表示为Hh ;高频子带HF的二进制指纹码表示为Hh ;以Bl 表示Vl其中一个图像块,对应R,LF R,MF的低频子带LF的二进制指纹码表示为Hl ;中频带MF的二进制指纹码表示为Hl ;高频子R,HF R R带HF的二进制指纹码表示为Hl ;以Bh表示Vh其中一个图像块;对应的低频子带LF的二进R,LF R,MF制指纹码表示为Hh ;中频带MF的二进制指纹码表示为Hh ;高频子带HF的二进制指纹码R,HF表示为Hh ;
L,LF L
计算RGB三个通道内低中高频子带上所有图像块的感知哈希差异:Hamming(Hl ,Hh,LF L,MF L,MF L,HF LHF R,LF R,LF R,MF)、Hamming(Hl ,Hh )、Hamming(Hl ,Hh , )、Hamming(Hl ,Hh )、Hamming(Hl ,R,MF R,HF R,HFHh )、Hamming(Hl ,Hh );
Hamming(·)是汉明距离函数;
L,LF L,LF L,MF L,MF L,HF L,HF将Hl 和Hh 、Hl 和Hh 、Hl 和Hh 输入到机器学习中获得左视点图像上的感L
知哈希特征fp;
R,LF R,LF R,MF R,MF R,HF R,HF将Hl 和Hh 、Hl 和Hh 、Hl 和Hh 输入到机器学习中获得右视点图像上的感R
知哈希特征fp;
L R
左、右视点图像上的感知哈希特征为fph={fp ,fp};
步骤304、全局PCMF相似度特征提取,包括:L R L R L
对Il 和Il进行视口采样,第m个视口对应的视口图像Vl,m 和Vl,m ;计算视口图像Vl,m 和RVl,m的独眼图Cl;
L R L R
对Ih和Ih进行视口采样,第m个视口对应的视口图像Vh,m和Vh,m;
L R
计算视口图像Vh,m和Vh,m的独眼图Ch;
采用PCMF映射图检测独眼图Cl的PCMF映射图Pcl和独眼图Ch的PCMF映射图Pch;
计算独眼图独眼图Cl和独眼图Ch相似度矩阵Mfc:τ为常数;
全局PCMF相似度特征fg为相似度矩阵Mfc中所有值的和;
步骤305、前n%显著位特征提取,包括:L R L R
通过对视口图像Vl,m 、Vl,m 、Vh,m 和Vh,m 对应的双目乘积显著图按照像素值进行降序排列,筛选前n%显著位特征对应的像素坐标{a,b};在相似度矩阵Mfc中筛选出与像素坐标{a,b}中所有对应的值的均值作为前n%显著位特征fs.;
步骤306、基于独眼图Cl和独眼图Ch进行依次进行t次下采样,每次下采样通过步骤303g g g s s得到ffc ,ffc={fg1、fg2、...fgt},用ffc表示,同时,每次下采样通过步骤304得到ffc ,ffc=g s{fs1、fs2、...fst},则视口图像融合通道特征ffc={ffc ,ffc};
步骤307、全局相似度度量提取,包括:L R L R
对视口图像Vl,m和Vl,m进行ADI表示为Al,m、对视口图像Vh,m和Vh,m进行ADI表示为Ah,m;
采用5系数导数图计算Al,m和Ah,m的相似度矩阵Mcc,5系数导数图为ψx、ψy、ψxx、ψyy和ψxy;x和y分别表示水平和垂直方向;
式中,ψυ,h为HDR图像中视口图像对应的5系数导数,ψυ,l为LDR中视口图像对应的5系数导数;τ为常数;
g
全局相似度度量fcc为相似度矩阵Mcc中所有值的和;
步骤308、直方图欧式距离特征提取,包括:ed
将ψυ,h和ψυ,l量化为10‑bins,并计算量化后的欧式距离作为直方图欧式距离特征fcc ;
g ed
则视口图像竞争通道特征fcc为fcc={fcc ,fcc };
步骤309、特征聚合,包括:
LR
对双目乘积显著图S 进行视口采样,得到一系列显著视口图计算显著视口图的归一化显著值WS={W1,W2,...,WM+2}作为显著性权重以表示受试者对不同视口图像的偏好:式中,p表示第n(n=1,2,…,M+2)个视口图像的一个像素位置, 表示位置p处的显著值;
通过显著性权重对基于视口图像得到的感知哈希特征fph、视口图像融合通道特征ffc以及视口图像竞争通道特征fcc进行视口特征聚合,得到感知哈希特征Fph、融合通道特征Ffc以及竞争通道特征Fcc。
5.根据权利要求4所述的一种面向高动态范围立体全向视觉系统的质量评价方法,其特征在于,所述步骤4具体:将步骤2和步骤3得到的特征向量组成特征集FHSOI,FHSOI={Fir,Fn,Fc,Fph,Ffc,Fcc};并将特征集FHSOI输入到随机森林作为可靠的机器学习回归模型完成由特征向量到MOS得分的映射,输出客观预测分数Q。