1.一种结合感知深度质量的立体图像视觉舒适度提升方法,其特征在于包括基于观看距离非线性平移的立体图像重绘、立体图像视觉满意度客观评价模型的建模、立体图像的视觉满意度和视觉舒适度的客观评价、最优立体图像判别四个过程;
所述的基于观看距离非线性平移的立体图像重绘部分的具体步骤为:
步骤1_1:将宽度为Wimage且高度为Himage的待视觉舒适度提升的立体图像记为S0,将S0的左视点图像和右视点图像对应记为SL0和SR0;然后获取SR0的视差图像,记为DR0;接着计算DR0中的每个像素点的屏幕视差值,将DR0中坐标位置为(x,y)的像素点的屏幕视差值记为DRS0(x,y);再根据DR0中的每个像素点的屏幕视差值,计算S0所形成的虚拟场景中的每个点与人眼之间的距离,即计算S0所形成的虚拟场景中的每个点的观看距离,将S0所形成的虚拟场景中坐标位置为(x,y)的点的观看距离记为VD0(x,y), 最后将S0所形成的虚拟场景中的所有点的观看距离构成的矩阵记为VD0;其中,x表示像素点的列坐标,y表示像素点的行坐标,0≤x<Wimage,0≤y<Himage,p表示人眼的双目瞳距,T表示人眼平视下到用于显示立体图像的3D显示器的距离;
步骤1_2:令j表示平移的步数,j的取值范围为0≤j≤N;当j=0时S0所形成的虚拟场景中的所有点在深度方向上不进行平移;当1≤j≤N时使S0所形成的虚拟场景中观看距离最小的点在深度方向上平移j×ΔZ的距离;然后使S0所形成的虚拟场景中除观看距离最小的点外的所有点在深度方向上各进行非线性平移,得到新虚拟场景,进而得到新虚拟场景中的所有点的观看距离构成的矩阵,记为VDj,将VDj中下标位置为(x,y)的元素的值即新虚拟场景中坐标位置为(x,y)的点的观看距离记为VDj(x,y),其中,j为正整数,N为正整数,N∈[10,20],ΔZ表示平移的步长, 表示
VD0中的最小值;
步骤1_3:当1≤j≤N时根据VDj计算新虚拟场景对应的新立体图像的右视点图像的视差图像中的每个像素点的屏幕视差值,将新立体图像的右视点图像的视差图像中坐标位置为(x,y)的像素点的屏幕视差值记为DRSj(x,y), 然后计算新立体图像的右视点图像的视差图像,记为DRj,将DRj中坐标位置为(x,y)的像素点的像素值记为DRj(x,y), DRj(x,y)也即为新立体图像的右视点图像中坐标位置为(x,y)的像素点的视差值,用于显示立体图像的3D显示器的屏幕宽度为W3D,用于显示立体图像的3D显示器的屏幕高度为H3D;
步骤1_4:当1≤j≤N时计算新立体图像的左视点图像中的每个像素点与SL0中对应像素点之间在列坐标上的关系,将新立体图像的左视点图像中坐标位置为(x,y)的像素点与SL0中坐标位置为(x,y)的像素点之间在列坐标上的关系记为ΔL(x,y),ΔL(x,y)=(DR0(x,y)-DRj(x,y))/2;同样,计算新立体图像的右视点图像中的每个像素点与SR0中对应像素点之间在列坐标上的关系,将新立体图像的右视点图像中坐标位置为(x,y)的像素点与SR0中坐标位置为(x,y)的像素点之间在列坐标上的关系记为ΔR(x,y),ΔR(x,y)=-(DR0(x,y)-DRj(x,y))/2;其中,DR0(x,y)表示DR0中坐标位置为(x,y)的像素点的像素值,DR0(x,y)也即为SR0中坐标位置为(x,y)的像素点的视差值;
步骤1_5:当1≤j≤N时获取SL0重绘后得到的左视点图像,记为SLj;并获取SR0重绘后得到的右视点图像,记为SRj;然后由SLj和SRj组成重绘立体图像,记为Sj;其中,SLj和SRj的获取过程为:步骤1_5a:令SR'j表示SR0第一次重绘后得到的右视点图像,若0≤x+ΔR(x,y)<Wimage,则计算SR'j中坐标位置为(x,y)的像素点的像素值,记为SR'j(x,y),SR'j(x,y)=SR0(x+ΔR(x,y),y);若x+ΔR(x,y)<0或x+ΔR(x,y)≥Wimage,则将SR'j中坐标位置为(x,y)的像素点确定为空洞像素点;其中,SR0(x+ΔR(x,y),y)表示SR0中坐标位置为(x+ΔR(x,y),y)的像素点的像素值;
步骤1_5b:判断SR'j中是否存在空洞像素点,如果不存在,则将SR'j重新记为SR”j,然后执行步骤1_5c;如果存在,则对每个空洞像素点进行处理,设SR'j中坐标位置为(x,y)的像素点为空洞像素点,则当0≤x+DR0(x,y)+ΔR(x,y)<Wimage时计算该空洞像素点重绘后的像素值,等于SL0(x+DR0(x,y)+ΔR(x,y),y),当x+DR0(x,y)+ΔR(x,y)<0或x+DR0(x,y)+ΔR(x,y)≥Wimage时对该空洞像素点不重绘,在所有空洞像素点处理后得到SR0第二次重绘后得到的右视点图像,记为SR”j,然后执行步骤1_5c;其中,SL0(x+DR0(x,y)+ΔR(x,y),y)表示SL0中坐标位置为(x+DR0(x,y)+ΔR(x,y),y)的像素点的像素值;
步骤1_5c:令SL'j表示SL0第一次重绘后得到的左视点图像,若0≤x-DRj(x,y)<Wimage,则计算SL'j中坐标位置为(x,y)的像素点的像素值,记为SL'j(x,y),SL'j(x,y)=SR”j(x-DRj(x,y),y);若x-DRj(x,y)<0或x-DRj(x,y)≥Wimage,则将SL'j中坐标位置为(x,y)的像素点确定为空洞像素点;其中,SR”j(x-DRj(x,y),y)表示SR”j中坐标位置为(x-DRj(x,y),y)的像素点的像素值;
步骤1_5d:判断SL'j中是否存在空洞像素点,如果不存在,则将SL'j重新记为SL”j,然后执行步骤1_5e;如果存在,则对每个空洞像素点进行处理,设SL'j中坐标位置为(x,y)的像素点为空洞像素点,则当0≤x+ΔL(x,y)<Wimage时计算该空洞像素点重绘后的像素值,等于SL0(x+ΔL(x,y),y),当x+ΔL(x,y)<0或x+ΔL(x,y)≥Wimage时对该空洞像素点不重绘,在所有空洞像素点处理后得到SL0第二次重绘后得到的左视点图像,记为SL”j,然后执行步骤
1_5e;其中,SL0(x+ΔL(x,y),y)表示SL0中坐标位置为(x+ΔL(x,y),y)的像素点的像素值;
步骤1_5e:若SL”j中不存在空洞像素点,则将SL”j作为SLj;若SR”j中不存在空洞像素点,则将SR”j作为SRj;若SL”j和SR”j中仍有空洞像素点存在,则使用图像修补技术对每个空洞像素点进行修补,将SL”j经修补后得到的左视点图像作为SLj,将SR”j经修补后得到的右视点图像作为SRj;
所述的立体图像视觉满意度客观评价模型的建模部分的具体步骤为:
步骤2_1:选取M幅宽度为Wimage且高度为Himage的立体图像构成立体图像集;其中,M为正整数,M≥20;
步骤2_2:将立体图像集中当前待处理的第i幅立体图像定义为当前立体图像;其中,i为正整数,1≤i≤M;
步骤2_3:将当前立体图像记为Φi,0;然后使j的取值从1变化到N,针对j的每个取值按照步骤1_1至步骤1_5的过程以相同的方式重复执行1次,j的取值从1变化到N共重复执行N次,获得Φi,0对应的N幅重绘立体图像,将平移的步数为j时获得的Φi,0对应的重绘立体图像记为Φi,j,同时获得Φi,0所形成的虚拟场景中的所有点的观看距离构成的矩阵VDi,0和每幅重绘立体图像对应的新虚拟场景中的所有点的观看距离构成的矩阵,将Φi,j对应的新虚拟场景中的所有点的观看距离构成的矩阵记为VDi,j;
步骤2_4:令i=i+1,将立体图像集中下一幅待处理的立体图像作为当前立体图像;然后返回步骤2_3继续执行,直至得到立体图像集中的每幅立体图像对应的N幅重绘立体图像,将立体图像集中的所有立体图像和共得到的M×N幅重绘立体图像构成训练集;其中,i=i+1中的“=”为赋值符号;
步骤2_5:获取训练集中的每幅立体图像的3D视觉满意度的平均主观评价均值;然后将训练集中的所有立体图像的3D视觉满意度的平均主观评价均值构成的集合记为{VSMOSi,j|
1≤i≤M,0≤j≤N};其中,j=0时VSMOSi,0表示Φi,0的3D视觉满意度的平均主观评价均值,1≤j≤N时VSMOSi,j表示平移的步数为j时获得的Φi,0对应的重绘立体图像Φi,j的3D视觉满意度的平均主观评价均值,3D视觉满意度的平均主观评价均值包含了视觉舒适度和感知深度的综合效果;
步骤2_6:根据视觉舒适度客观评价模型,计算训练集中的每幅立体图像的视觉舒适度客观评价值;然后将训练集中的所有立体图像的视觉舒适度客观评价值构成的集合记为{VCAi,j|1≤i≤M,0≤j≤N};其中,j=0时VCAi,0表示Φi,0的视觉舒适度客观评价值,1≤j≤N时VCAi,j表示平移的步数为j时获得的Φi,0对应的重绘立体图像Φi,j的视觉舒适度客观评价值;
步骤2_7:根据集合{VDi,j|1≤i≤M,0≤j≤N},计算训练集中的每幅立体图像的感知绝对距离客观评价值;然后将训练集中的所有立体图像的感知绝对距离客观评价值构成的集合记为{APDAi,j|1≤i≤M,0≤j≤N};其中,1≤j≤N时VDi,j表示平移的步数为j时获得的Φi,0对应的重绘立体图像Φi,j对应的新虚拟场景中的所有点的观看距离构成的矩阵,j=0时APDAi,0表示Φi,0的感知绝对距离客观评价值,1≤j≤N时APDAi,j表示平移的步数为j时获得的Φi,0对应的重绘立体图像Φi,j的感知绝对距离客观评价值;
步骤2_8:根据集合{VDi,j|1≤i≤M,0≤j≤N},计算训练集中的每幅立体图像的感知相对距离客观评价值;然后将训练集中的所有立体图像的感知相对距离客观评价值构成的集合记为{RPDAi,j|1≤i≤M,0≤j≤N};其中,j=0时RPDAi,0表示Φi,0的感知相对距离客观评价值,1≤j≤N时RPDAi,j表示平移的步数为j时获得的Φi,0对应的重绘立体图像Φi,j的感知相对距离客观评价值;
步骤2_9:采用训练模型ε-SVR在{VSMOSi,j|1≤i≤M,0≤j≤N}与{VCAi,j|1≤i≤M,0≤j≤N}、{APDAi,j|1≤i≤M,0≤j≤N}、{RPDAi,j|1≤i≤M,0≤j≤N}之间进行拟合,得到立体图像视觉满意度客观评价模型,描述为:STFA(VCA,APDA,RPDA);其中,训练模型ε-SVR的核函数使用histogram intersection类型、宽度系数γ=1/256、惩罚系数C=4、不敏感损失系数ε=0.1,STFA()为立体图像视觉满意度客观评价模型的函数表示形式,VCA、APDA、RPDA均为立体图像视觉满意度客观评价模型的输入,VCA用于代表立体图像的视觉舒适度客观评价值,APDA用于代表立体图像的感知绝对距离客观评价值,RPDA用于代表立体图像的感知相对距离客观评价值;
所述的立体图像的视觉满意度和视觉舒适度的客观评价部分的具体步骤为:
步骤3_1:按照步骤2_6的过程以相同的方式获得Sj的视觉舒适度客观评价值,记为VCAj;并按照步骤2_7的过程以相同的方式获得Sj的感知绝对距离客观评价值,记为APDAj;
按照步骤2_8的过程以相同的方式获得Sj的感知相对距离客观评价值,记为RPDAj;然后将VCAj、APDAj、RPDAj输入到步骤2_9得到的立体图像视觉满意度客观评价模型中,得到Sj的视觉满意度值,记为STFAj,STFAj=STFA(VCAj,APDAj,RPDAj);其中,0≤j≤N;
所述的最优立体图像判别部分的具体步骤为:
步骤4_1:当j=0或j=1时直接执行步骤4_2;当2≤j≤N时针对Sj-1,判断STFAj-1>STFAj-2、STFAj-1>STFAj、VCAj-1>VCA0是否同时满足,如果同时满足,则将Sj-1确定为S0提升视觉舒适度后的最优立体图像;否则,直接执行步骤4_2;其中,STFAj-1表示平移的步数为j-
1时获得的S0对应的重绘立体图像Sj-1的视觉满意度值,j=2时STFAj-2即为STFA0,2<j≤N时STFAj-2表示平移的步数为j-2时获得的S0对应的重绘立体图像Sj-2的视觉满意度值;
步骤4_2:令j=j+1,然后重复执行步骤1_2至步骤1_5及步骤3_2和步骤4_1;其中,j=j+1中的“=”为赋值符号。
2.根据权利要求1所述的一种结合感知深度质量的立体图像视觉舒适度提升方法,其特征在于所述的步骤1_1中, 其中,DR0(x,y)表示DR0中坐标位置为(x,y)的像素点的像素值,DR0(x,y)也即为SR0中坐标位置为(x,y)的像素点的视差值,用于显示立体图像的3D显示器的屏幕宽度为W3D,用于显示立体图像的3D显示器的屏幕高度为H3D。
3.根据权利要求1或2所述的一种结合感知深度质量的立体图像视觉舒适度提升方法,其特征在于所述的步骤2_5中,获取训练集中的每幅立体图像的3D视觉满意度的平均主观评价均值的具体过程为:步骤2_5a:挑选包含男女性别的10位以上的受试者参与主观实验,每位受试者的视觉系统满足立体视小于60弧秒并已通过色彩测试;
步骤2_5b:使每位受试者与用于显示立体图像的3D显示器之间的距离为3D显示器的屏幕高度的3倍,并使每位受试者能够平视观看3D显示器上显示的立体图像;告知每位受试者评分标准,评分标准为综合立体图像的视觉舒适度和感知深度两种主观视觉感知,从整体上进行评分;
步骤2_5c:使3D显示器依次显示训练集中的每幅立体图像,且共循环显示2~3遍,使每幅立体图像在3D显示器上的显示时间为5~10秒,使3D显示器在受试者休息3~10秒后显示下一幅立体图像,且使3D显示器在受试者休息期间显示中灰色图像;每位受试者平视观看
3D显示器上显示的立体图像,在最后一遍依次显示训练集中的每幅立体图像时,每位受试者根据国际标准ITU-T P.910和ITU-T P.911中的绝对类别评级在休息期间对3D显示器上刚显示过的立体图像的3D视觉满意度等级进行打分,5分表示“非常满意”,4分表示“满意”,
3分表示“普通”,2分表示“不满意”,1分表示“非常不满意”;
步骤2_5d:在每位受试者对训练集中的每幅立体图像的3D视觉满意度等级打分后,根据国际标准ITU-R BT.500-11中公开的筛选方法,除去异常的评分,保留正常的评分;
步骤2_5e:针对训练集中的每幅立体图像,取针对该立体图像的所有正常的评分的平均值作为该立体图像的3D视觉满意度的平均主观评分均值。
4.根据权利要求3所述的一种结合感知深度质量的立体图像视觉舒适度提升方法,其特征在于所述的步骤2_7中,APDAi,j的获取过程为:步骤2_7a:对VDi,j中的所有元素的值按从大到小或从小到大的顺序进行排序;然后从排序后的所有元素的值中去掉最小的前1%个值;再从留下的所有元素的值中找出最小值,记为步骤2_7b:计算
5.根据权利要求3所述的一种结合感知深度质量的立体图像视觉舒适度提升方法,其特征在于所述的步骤2_8中,RPDAi,j的获取过程为:步骤2_8a:对VDi,j中的所有元素的值按从大到小或从小到大的顺序进行排序;然后从排序后的所有元素的值中去掉最小的前1%个值和最大的前1%个值;再从留下的所有元素的值中找出最小值和最大值,对应记为 和步骤2_8b:计算 其中,e表示自然基数,Gi,j表示感知相对增强系
数, 表示 转换得到的感知距离,
表示 转换得到的感知距离, 表示j=0时 转换
得到的感知距离, 表示j=0时 转换得到的感知距离,