1.一种立体图像内容重组方法,其特征在于包括以下步骤:
步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)};其中,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值;
步骤二:采用基于图论的视觉显著模型提取出{L(x,y)}的显著图,记为{SML(x,y)};然后根据{SML(x,y)}和{dL(x,y)},获取{L(x,y)}的视觉显著图,记为{SL(x,y)};接着根据{SL(x,y)}和{dL(x,y)},获取{R(x,y)}的视觉显著图,记为{SR(x,y)};其中,SML(x,y)表示{SML(x,y)}中坐标位置为(x,y)的像素点的像素值,SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值,SR(x,y)表示{SR(x,y)}中坐标位置为(x,y)的像素点的像素值;
步骤三:将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格,将{L(x,y)}中的第k个Delaunay网格记为UL,k,UL,k以其3个网格顶点构成的集合来描述,然后根据{L(x,y)}中的所有Delaunay网格和{dL(x,y)},获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格,将{R(x,y)}中的第k个Delaunay网格记为UR,k,UR,k以其3个网格顶点构成的集合来描述, 其中,k为正整数,1≤k≤M,M表示{L(x,y)}中包含的Delaunay网格的总个数,M>1, 对应表示UL,k的第
1个网格顶点、第2个网格顶点、第3个网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述,
对应表示UR,k的第1个网格顶点、第2个网格顶点、第3个网格
顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示{dL
(x,y)}中坐标位置为 的像素点的像素值, 以 的水平坐标位置 和垂直
坐标位置 来描述,
表示{dL
(x,y)}中坐标位置为 的像素点的像素值, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示{dL
(x,y)}中坐标位置为 的像素点的像素值;
步骤四:采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割,得到{L(x,y)}中的所有聚类对象,进而得到{L(x,y)}中的每个聚类对象的对象掩膜,将{L(x,y)}中的第n个聚类对象的对象掩膜记为On;设定用户选择了{L(x,y)}中的第n个聚类对象,则根据{L(x,y)}中的所有Delaunay网格,将Qn中的第k”个Delaunay网格记为 以其3个网格顶点构成的集合来描述, 其中,n为正整数,1≤n≤N,N表示{L(x,y)}中的聚类对象的总个数,N>1,k”为正整数,1≤k”≤M”,M”表示Qn中包含的Delaunay网格的总个数,M”>1, 对应表示 的第1个网格顶点、第2个网格顶点、第3个网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
以 的水平坐标位置 和垂直坐标位置 来描述,
步骤五:将用户提供的参考对象掩膜记为P;然后将P分割成多个互不重叠的不规则的Delaunay网格,将P中的第k'个Delaunay网格记为UP,k',UP,k'以其3个网格顶点构成的集合来描述, 其中,k'为正整数,1≤k'≤M',M'表示P中包含的Delaunay网格的总个数,M'>1, 对应表示UP,k'的第1个网格顶点、第2个网格顶点、第3个网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位置 来描述, 以
的水平坐标位置 和垂直坐标位置 来描述,
步骤六:在用户选择了{L(x,y)}中的第n个聚类对象的基础上,计算On与P的对象水平偏移量、对象垂直偏移量和对象缩放因子,对应记为 和ρ,其中,表示水平方向,
表示垂直方向, 表示On中的所有Delaunay网格的所有网格顶点中的第t个网格顶点,表示 的水平坐标位置, 表示 的垂直坐标位置, 表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点, 表示 的水平坐标位置, 表示 的垂直坐标位置, 表示On中的所有Delaunay网格构成的集合,也表示On中的所有Delaunay网格的所有网格顶点构成的集合,VP表示P中的所有Delaunay网格构成的集合,也表示P中的所有Delaunay网格的所有网格顶点构成的集合, 1≤t'≤NP, 表示On中的所有Delaunay网格的网格顶点的总个数,NP表示P中的所有Delaunay网格的网格顶点的总个数,符号“| |”为取绝对值符号;
步骤七:{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将UL,k对应的目标Delaunay网格记为 以其3个网格顶点构成的集合来描述, 然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{L(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将 的相似变换矩阵记为其中, 对应表示 的第1个网格顶点、第2个
网格顶点、第3个网格顶点, 表示 的第i个网格顶点,i=1 ,2 ,3,
和 对应表示 的水平坐标位置和垂直坐
标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示 的
水平坐标位置和垂直坐标位置,(AL,k)T为AL,k的转置,((AL,k)TAL,k)-1为(AL,k)TAL,k的逆;
同样,{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格,将UR,k对应的目标Delaunay网格记为 以其3个网格顶点构成的集合来描述,然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格,对{R(x,y)}中的每个Delaunay网格进行相似变换,使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小,得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,将 的相似变换矩阵记为其中, 对应表示 的第1个网格顶点、第2个
网格顶点、第3个网格顶点, 表示 的第i个网格顶点,i=1 ,2,3,
和 对应表示 的水平坐标位置和垂直
坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示
的水平坐标位置和垂直坐标位置,(AR,k)T为AR,k的转置,((AR,k)TAR,k)-1为(AR,k)TAR,k的逆;
步骤八:根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵,并结合{SL(x,y)}和{SR(x,y)},计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量,记为EIQ;
根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,记为ESO;
根据 和 计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量,记为EAO;
根据ρ,计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量,记为EDS;
步骤九:根据EIQ、ESO、EAO和EDS,计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量,记为Etotal,Etotal=EIQ+λSO×ESO+λAO×EAO+λDS×EDS;然后通过最小二乘优化求解 得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格,将UL,k对应的最佳目标Delaunay网格记为 将UR,k对应的最佳目标Delaunay网格记为 接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将 的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,将 的最佳相似变换矩阵记为
其中,λSO为ESO的加权参数,λAO为EAO的加权参数,λDS为EDS
的加权参数,min()为取最小值函数, 表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合, 表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合, 对应表示 的第1个网格顶点、第2个网格顶点、第3个网格顶点, 对应表示 的第1个网格顶点、第2个网格顶点、第3个网格顶
点, 和 对应表示 的水平坐标位置和垂直坐标位置, 和
对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐
标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直
坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应
表示 的水平坐标位置和垂直坐标位置;
步骤十:根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将UL,k中水平坐标位置为x'L,k和垂直坐标位置y'L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的左视点图像,记为 其中,1≤x'L,k≤W,1≤y'L,k≤H, 1≤x'≤W,1≤y'≤H, 表示 中坐标位置为(x',y')的像素点的像素值;
同样,根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵,计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将UR,k中水平坐标位置为x'R,k和垂直坐标位置y'R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取内容重组后的右视点图像,记为其中,1≤x'R,k≤W,1≤y'R,k≤H, 表示中坐标位置为(x',y')的像素点的像素值。
2.根据权利要求1所述的一种立体图像内容重组方法,其特征在于所述的步骤二中,SR(x,y)=SL(x+dL(x,y),y);其中, 表示SML(x,y)的权重, 表示dL(x,y)的权重, SL(x+dL(x,y),y)表示{SL(x,y)}中坐标位置为(x+dL(x,y),y)的像素点的像素值。
3.根据权利要求1或2所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的EIQ的计算过程为:A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为 其中,SL(k)表示UL,k中的所有像素点的视觉显著值的均值,也即表示{SL(x,y)}中与UL,k对应的区域中的所有像素点的像素值的均值,符号“|| ||”为求欧氏距离符号;
同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量,记为 其中,SR(k)表示UR,k中的所有像素点的视觉显著值的均值,也即表示{SR(x,y)}中与UR,k对应的区域中的所有像素点的像素值的均值;
B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为 其中,eL,k表示UL,k的所有网格顶点的边缘组成的矩阵, (eL,k)T为eL,k的转置,((eL,k)TeL,k)-1为(eL,k)TeL,k的逆, 表示 的所有网格顶点的边缘组成的矩阵,
同样,计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量,记为 其中,eR,k表示UR,k的所有网格顶点的边缘组成的矩阵, (eR,k)T为eR,k的转置,((eR,k)TeR,k)-1为T
(eR ,k) eR ,k的逆 , 表示 的所有网格顶点的边缘组成的 矩阵 ,C、根据 和 计算EIQ, 其中,λLB为
加权参数。
4.根据权利要求3所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的ESO的计算过程为: 其中, 表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量,
表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量, 符号“|| ||”为求欧氏距离符号,eL,k”表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示 的所有网格顶点的边缘组成的矩阵, 表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示 对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,eR,k”表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与 相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵, 表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵,亦表示{R(x,y)}中与 相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵。
5.根据权利要求4所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的EAO的计算过程为: 其中, 表示所属的Delaunay网格对应的目标Delaunay网格中与 相对应的网格顶点 的水平坐标位置, 表示 所属的Delaunay网格对应的目标Delaunay网格中与 相对应的网格顶点 的垂直坐标位置。
6.根据权利要求5所述的一种立体图像内容重组方法,其特征在于所述的步骤八中的EDS的计算过程为: ,其中, 表示 的视差值, 表示 所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点 的水平坐标位置, 表示 所属的Delaunay网格对应的目标Delaunay网格中与 相对应的网格顶点 的垂直坐标位置, 表示{R(x,y)}中与 所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与 相对应的网格顶点的水平坐标位置, 表示{R(x,y)}中与 所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与 相对应的网格顶点的垂直坐标位置, 表示除On外的其他所有对象掩膜构成的集合, 表示 中的所有Delaunay网格的网格顶点的总个数, 表示 中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点,表示 的视差值, 表示 所属的Delaunay网格对应的目标Delaunay网格中与 相对应的网格顶点 的水平坐标位置, 表示 所属的Delaunay网格对应的目标Delaunay网格中与 相对应的网格顶点 的垂直坐标位置, 表示{R(x,y)}中与 所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与 相对应的网格顶点的水平坐标位置, 表示{R(x,y)}中与 所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与 相对应的网格顶点的垂直坐标位置, 表示 中的所有Delaunay网格的所有网格顶点构成的集合。