1.一种立体图像重定位方法,其特征在于包括以下步骤:
①将待处理的立体图像的左视点图像记为{Li(x,y)},将待处理的立体图像的右视点图像记为{Ri(x,y)},将待处理的立体图像的左视差图记为{dL(x,y)},其中,i=1,2,3,1≤x≤W,1≤y≤H,W表示待处理的立体图像的宽度,H表示待处理的立体图像的高度,Li(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值,Ri(x,y)表示{Ri(x,y)}中坐标位置为(x,y)的像素点的第i个分量的颜色值,第1个分量为R分量、第2个分量为G分量、第
3个分量为B分量,dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值;
②采用超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域;然后将{Li(x,y)}重新表示为M个区域的集合,记为{SPh};接着通过计算{SPh}中的每个区域的颜色对比度、空间紧密度和深度显著值,获取{SPh}中的每个区域的显著值;再将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值,从而得到{Li(x,y)}的立体显著图,记为{Sstereo(x,y)};其中,M≥1,SPh表示{SPh}中的第h个区域,1≤h≤M,Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值,亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著值;
③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应,提取出{Li(x,y)}的双目最小可察觉变化图像,记为{JL(x,y)},其中,JL(x,y)表示{JL(x,y)}中坐标位置为(x,y)的像素点的像素值,亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的双目最小可察觉变化值;
④根据{dL(x,y)}获取{Li(x,y)}中的每个像素点的深度能量值,并根据{JL(x,y)}获取{Li(x,y)}中的每个像素点的掩蔽能量值和一致性能量值,然后根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值,得到{Li(x,y)}的显著能量图,记为{Estereo(x,y,x*)},其中,Estereo(x,y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值,亦表示{Li(x,y)}中坐标位置为(x,y)的像素点的显著能量值,x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置,x*∈{x-1,x,x+1};
⑤将重定位后的立体图像的宽度记为W',将{Li(x,y)}和{Ri(x,y)}各自的垂直缝隙的条数记为Ns,Ns=W-W',其中,W'
⑥根据{Sstereo(x,y)}和{Estereo(x,y,x*)},通过动态规划方法找出{Li(x,y)}的Ns条垂直缝隙;然后获取{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值;再根据{Li(x,y)}中的每个属于遮挡区域的像素点的水平偏移值和每个属于匹配区域的像素点的水平偏移值,对{Li(x,y)}的Ns条垂直缝隙进行调整,得到{Li(x,y)}的Ns条最优垂直缝隙,将{Li(x,y)}的第i'条最优垂直缝隙记为其中,1≤i'≤Ns, 表示 在纵坐标位置为y时的横坐标位置;
⑦根据{Li(x,y)}的Ns条最优垂直缝隙和{dL(x,y)},找出{Ri(x,y)}的Ns条最优垂直缝隙,将{Ri(x,y)}的第i'条最优垂直缝隙记为其中,1≤i'≤Ns, 表示 在纵坐标位置为y时的横坐标位置,
表示{dL(x,y)}中坐标位置为 的像素点的像素值;
⑧将{Li(x,y)}中所有落在{Li(x,y)}的Ns条最优垂直缝隙内的像素点删除,得到重定位后的左视点图像 并将{Ri(x,y)}中所有落在{Ri(x,y)}的Ns条最优垂直缝隙内的像素点删除,得到重定位后的右视点图像 根据重定位后的左视点图像和重定位后的右视点图像 得到重定位后的立体图像,其中,1≤x1≤W',
表示 中坐标位置为(x1,y)的像素点的第i个分量的颜色值, 表示
中坐标位置为(x1,y)的像素点的第i个分量的颜色值。
2.根据权利要求1所述的一种立体图像重定位方法,其特征在于所述的步骤②的具体过程为:
②-1、采用超像素分割技术将{Li(x,y)}分割成M个互不重叠的区域,然后将{Li(x,y)}重新表示为M个区域的集合,记为{SPh},其中,M≥1,SPh表示{SPh}中的第h个区域,1≤h≤M;
②-2、对{SPh}中的每个区域中的每个像素点的各个分量的颜色值分别进行量化,得到{SPh}中的每个区域的量化区域,将SPh的量化区域记为{Ph,i(xh,yh)},将{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点的第i个分量的颜色值记为Ph,i(xh,yh),假设{Ph,i(xh,yh)}中坐标位置为(xh,yh)的像素点在{Li(x,y)}中的坐标位置为(x,y),则其中,1≤xh≤Wh,1≤yh≤Hh,Wh表示SPh的宽度,Hh表示SPh的高度,符号 为向下取整符号;
②-3、计算{SPh}中的每个区域的量化区域的颜色直方图,将{Ph,i(xh,yh)}的颜色直方图记为 其中, 表示{Ph,i(xh,yh)}中属于第k种颜色的所有像素点的个数;
②-4、对{SPh}中的每个区域的量化区域的颜色直方图进行归一化操作,得到对应的归一化后的颜色直方图,将对 进行归一化操作后得到的归一化后的颜色直方图记为 然后将
以向量形式表示为 其中, 表示 中属于第k种颜色的像素点的出现概
率, 表示{SPh}中的第h'个区域SPh'的量化区域{Ph',i(xh',yh')}中属于第k种颜色的所有像素点的个数,1≤xh'≤Wh',1≤yh'≤Hh',Wh'表示{SPh}中的第h'个区域SPh'的宽度,Hh'表示{SPh}中的第h'个区域SPh'的高度,Ph',i(xh',yh')表示{Ph',i(xh',yh')}中坐标位置为(xh',yh')的像素点的第i个分量的颜色值, 的维数为4096;
②-5、计算{SPh}中的每个区域的颜色对比度,将SPh的颜色对比度记为
其中,exp()表示以自然基数e为底
的指数函数,符号“|| ||”为求欧式距离符号, 表示SPh中的中心像素点的坐标位置,表示{SPh}中的第q个区域中的中心像素点的坐标位置, 表示{SPh}中的第q个区域的量化区域的颜色直方图经归一化操作后得到的归一化后的颜色直方图的向量形式,σp表示高斯函数的标准差;
②-6、计算{SPh}中的每个区域的空间紧密度,将SPh的空间紧密度记为
其中,符号“|| ||”为求欧式距离符号,exp()表示以自然基数e为底的指数函数,σc表示高斯函数的标准差;
②-7、计算{SPh}中的每个区域的深度显著值,将SPh的深度显著值记为
其中,exp
()表示以自然基数e为底的指数函数,符号“|| ||”为求欧式距离符号, 表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值均值, 表示{dL(x,y)}中与{SPh}中的第q个区域对应的区域中的所有像素点的像素值均值,dh,max表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后,前1%的像素值对应的所有像素点的像素值均值;dh,min表示{dL(x,y)}中与SPh对应的区域中的所有像素点的像素值按从大到小的顺序排序后,后1%的像素值对应的所有像素点的像素值均值,α为加权参数;
②-8、计算{SPh}中的每个区域的显著值,将SPh的显著值记为
②-9、将{SPh}中的每个区域的显著值作为该区域中的所有像素点的显著值,从而得到{Li(x,y)}的立体显著图,记为{Sstereo(x,y)},其中,Sstereo(x,y)表示{Sstereo(x,y)}中坐标位置为(x,y)的像素点的像素值。
3.根据权利要求1或2所述的一种立体图像重定位方法,其特征在于所述的步骤③的具体过程为:
③-1、计算{Li(x,y)}的亮度掩蔽效应的可视化阈值集合,记为{Tl(x,y)},将{Li(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值记为Tl(x,y),其中,bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值;
③-2、计算{Li(x,y)}的对比度掩蔽效应的可视化阈值集合,记为{Tc(x,y)},将{Li(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值记为Tc(x,y),Tc(x,y)=K(bgl(x,y))+ehl(x,y),其中,ehl(x,y)表示对{Li(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值,K(bgl(x,y))=-10-6×(0.7×(bgl(x,y))2+32×bgl(x,y))+0.07;
③-3、对{Tl(x,y)}和{Tc(x,y)}进行融合,得到{Li(x,y)}的双目最小可察觉变化图像,记为{JL(x,y)},将{JL(x,y)}中坐标位置为(x,y)的像素点的像素值记为JL(x,y),JL(x,y)=Tl(x,y)+Tc(x,y)。
4.根据权利要求3所述的一种立体图像重定位方法,其特征在于所述的步骤④的具体过程为:
④-1、计算{Li(x,y)}中的每个像素点的深度能量值,将{Li(x,y)}中坐标位置为(x,y)的像素点的深度能量值记为Edg(x,y,x*),Edg(x,y,x*)=Ehor(x,y)+Ever(x,y,x*),其中,x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置,x*∈{x-1,x,x+1},Ehor(x,y)=|dL(x-1,y)-dL(x+1,y)|,如果x-1<1,则dL(x-1,y)=dL(1,y),如果x+1>W,则dL(x+1,y)=dL(W,y),如果y-1<1,则dL(k,y-1)=dL(k,1),dL(k-1,y-1)=dL(k-1,1),如果k+1>W,则dL(k+1,y)=dL(W,y),如果k-1>W,则dL(k-1,y-1)=dL(W,y-1),dL(x-1,y)、dL(1,y)、dL(x+1,y)、dL(W,y)、dL(k,y-1)、dL(k,1)、dL(k-1,y-1)、dL(k-1,1)、dL(k+1,y)、dL(W,y-1)对应表示{dL(x,y)}中坐标位置为(x-1,y)、(1,y)、(x+1,y)、(W,y)、(k,y-1)、(k,1)、(k-1,y-1)、(k-1,1)、(k+1,y)、(W,y-1)的像素点的像素值,符号“| |”为取绝对值符号;
④-2、计算{Li(x,y)}中的每个像素点的掩蔽能量值,将{Li(x,y)}中坐标位置为(x,y)的像素点的掩蔽能量值记为Eig(x,y),其中,max()为取最大值函数,Il(x,y)表示{Li(x,y)}中坐标位置为(x,y)的像素点的亮度值,bgl(x,y)表示{Li(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值,符号“| |”为取绝对值符号,cJ为调节参数;
④-3、计算{Li(x,y)}中的每个像素点的一致性能量值,将{Li(x,y)}中坐标位置为(x,y)的像素点的一致性能量值记为Ecg(x,y),其中,E(x,y)=|Il(x,y)-Ir(x+dL(x,y),y)|,符号“| |”为取绝对值符号,Ir(x+dL(x,y),y)表示{Ri(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的亮度值;
④-4、根据{Li(x,y)}中的每个像素点的深度能量值、掩蔽能量值和一致性能量值,得到{Li(x,y)}的显著能量图,记为{Estereo(x,y,x*)},将{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值记为Estereo(x,y,x*),Estereo(x,y,x*)=Edg(x,y,x*)+Eig(x,y)+Ecg(x,y)。
5.根据权利要求4所述的一种立体图像重定位方法,其特征在于所述的步骤⑥的具体过程为:
⑥-1、根据{Sstereo(x,y)}和{Estereo(x,y,x*)},计算{Li(x,y)}中的每个像素点的累计能量值,将{Li(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为M(x,y),其中,min()为取最小值函数,Estereo(x,
y,x*)表示{Estereo(x,y,x*)}中坐标位置为(x,y)的像素点的像素值,β为控制参数;
⑥-2、根据{Li(x,y)}中的每个像素点的累计能量值,采用动态规划方法找出{Li(x,y)}中从y=1到y=H的Ns条成本最小的路径,将每条成本最小的路径作为{Li(x,y)}的一条垂直缝隙,将{Li(x,y)}的第i'条垂直缝隙记为 其中,1≤i'≤Ns, 表示在纵坐标位置为y时的横坐标位置;
⑥-3、根据{dL(x,y)}中的每个像素点的像素值,判定{Li(x,y)}中的每个像素点属于遮挡区域还是属于匹配区域;对于{Li(x,y)}中坐标位置为(x,y)的像素点,如果dL(x,y)=
255,则判定该像素点属于遮挡区域,如果dL(x,y)≠255,则判定该像素点属于匹配区域;
⑥-4、计算{Li(x,y)}中的每个像素点的水平偏移值,将{Li(x,y)}中坐标位置为(x,y)的像素点的水平偏移值记为P(x,y),其中,如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在,及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在,则令 如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在,而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点存在,则令a=xR-x;如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点存在,而{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在,则令a=xL-x;如果{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的左侧且属于匹配区域的像素点不存在,及{Li(x,y)}中与坐标位置为(x,y)的像素点在同一水平位置、位于坐标位置为(x,y)的像素点的右侧且属于匹配区域的像素点不存在,则令a=0,xL
⑥-5、根据{Li(x,y)}中的每个像素点的水平偏移值,对{Li(x,y)}的Ns条垂直缝隙进行调整,得到{Li(x,y)}的Ns条最优垂直缝隙,将{Li(x,y)}的第i'条最优垂直缝隙记为其中, 表示 在纵坐标位置为y时的横坐标位置, 表示{Li(x,y)}中坐标位置为 的像素点的
水平偏移值。