1.一种立体图像变焦方法,其特征在于包括以下步骤:步骤一:将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)};其中,W和H均能够被2整除,1≤x≤W,1≤y≤H,L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值,{R(x,y)}表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值,dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值;
步骤二:采用SIFT‑Flow方法建立{L(x,y)}与{R(x,y)}之间的匹配关系,得到{L(x,y)}中的每个像素点的SIFT‑Flow向量,将{L(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vL(x,y), 其中,用于表示水平方向,用于表示垂直方向, 表示vL(x,y)的水平偏移量, 表示vL(x,y)的垂直偏移量;
步骤三:将{L(x,y)}的图像主点的坐标位置记为 将{R(x,y)}的图像主点的坐标位置记为 然后根据{L(x,y)}中坐标位置为的像素点即{L(x,y)}的图像主点的SIFT‑Flow向量,确定{L(x,y)}中坐标位置为 的像素点即{L(x,y)}的图像主点在{R(x,y)}中匹配的像素点,将该匹配的像素点的坐标位置记为 并计算{L(x,y)}和{R(x,y)}的垂直偏差,记为b, 其中, 表示{L(x,y)}中坐标位置为 的像素点即{L(x,y)}的图像主点的SIFT‑Flow向量 的水平偏移量, 表示{L(x,y)}中坐标位置为 的像素点即{L(x,y)}的图像主点的SIFT‑Flow向量 的垂直偏移量;
步骤四:将{L(x,y)}和{R(x,y)}的焦距记为f0,将{L(x,y)}和{R(x,y)}的物距记为然后根据用户指定的焦距f,计算{L(x,y)}和{R(x,y)}的放大倍数,记为a, 其中,θ为由用户指定的焦距f及{L(x,y)}和{R(x,y)}的物距 确定的像距, θ0为由{L(x,y)}和{R(x,y)}的焦距f0及{L(x,y)}和{R(x,y)}的物距 确定的像距,步骤五:将{L(x,y)}分割成M个互不重叠的尺寸大小为22×22的四边形网格,将{L(x,y)}中的第k个四边形网格记为UL,k;然后根据{L(x,y)}中的所有四边形网格和{dL(x,y)},获取{R(x,y)}中的所有互不重叠的尺寸大小为22×22的四边形网格,将{R(x,y)}中的第k个四边形网格记为UR,k;其中, 符号 为向下取整运算符号,k为正整数,1≤k≤M,UL,k通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示UL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位置 来描述,UR,k通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示UR,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第
4个网格顶点的右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,表示{dL(x,y)}中坐标
位置为 的像素点的像素值, 以 的水平坐标位置 和垂直坐标位置 来描述, 表示{dL(x,y)}中
坐标位置为 的像素点的像素值, 以 的水平坐标位置 和垂直坐标位置来描述, 表示{dL(x,
y)}中坐标位置为 的像素点的像素值, 以 的水平坐标位置 和垂直坐标位置 来描述, 表示
{dL(x,y)}中坐标位置为 的像素点的像素值;
步骤六:根据{L(x,y)}和{R(x,y)}的放大倍数a及{L(x,y)}和{R(x,y)}的垂直偏差b,计算{L(x,y)}中的每个四边形网格的期望网格,将UL,k的期望网格记为 同样,根据{L(x,y)}和{R(x,y)}的放大倍数a及{L(x,y)}和{R(x,y)}的垂直偏差b,计算{R(x,y)}中的每个四边形网格的期望网格,将UR,k的期望网格记为 其中, 通过其左上、左下、右上和右下4个网格顶点的集合来描述, 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示各自的期望网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位
置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示 各自的期望网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以的 水 平坐 标 位置 和 垂 直坐 标位 置 来描 述 ,以 的水平坐标位置 和垂直坐标位置 来描述,步骤七:{L(x,y)}中的每个四边形网格对应有目标四边形网格,将UL,k对应的目标四边形网格记为 同样,{R(x,y)}中的每个四边形网格对应有目标四边形网格,将UR,k对应的目标四边形网格记为 其中, 通过其左上、左下、右上和右下4个网格顶点的集合来描述, 对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示 各自的目标网格顶点,以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 通过其左上、左下、右上和右下4个网格顶点的集合来描述, 对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点,也对应表示 各自对应的目标网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述,
步骤八:用户通过编辑操作在待处理的立体图像中手工选择对象;然后根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格的期望网格,计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量,记为Eobject, 其中,符号“||||”为求欧氏距离符号,t为正整数,t=1,2,3,4, 表示 的第t个网格顶点, 表示{L(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合,表示 的第t个网格顶点, 表示 的第t个网格顶点, 表示{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合, 表示 的第t个网格顶点;
步骤九:根据{L(x,y)}和{R(x,y)}中落于用户选择的对象边界的所有四边形网格的期望网格,计算{L(x,y)}和{R(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的坐标偏移能量,记为Eedge,其中, 表示{L(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的网格顶点构成的集合, 表示{R(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的网格顶点构成的集合;
步骤十:根据{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格的期望网格,计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量,记为Eback, 其中,背景区域为待处理的立体图像中除用户选择的对象所在的区域外的区域, 表示{L(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合, 表示{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合;
步骤十一:计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的尺寸控制能量,记为Eimport,其中,
表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点, 表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点, 表示 对应的目标网格顶点, 表示 对应的目标网格顶点, 表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点, 表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点, 表示 对应的目标网格顶点,表示 对应的目标网格顶点,s表示用户指定的缩放因子;
步骤十二:计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的左右一致性能量,记为Edepth,其中, 表示 的水平坐标位
置, 表示 的水平坐标位置, 表示 的垂直坐标位置, 表示 的垂直坐标位置, 表示{dL(x,y)}中坐标位置为 的像素点的像素值, 表示UR,k的第t个网格顶点 的水平坐标位置, 表示UR,k的第t个网格顶点 的垂直坐标位置,e表示待处理的立体图像的左视点与右视点之间的水平基线距离;
步骤十三:根据Eobject、Eedge、Eback、Eimport和Edepth,计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量,记为Etotal,Etotal=λ1Eobject+λ2Eedge+λ3Eback+λ
4Eimport+λ5Edepth;然后通过最小二乘优化求解 得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合,对应记为 及接着计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,将UL,k对应的最佳目标四边形网格 的仿射变换矩阵记为
并计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,将UR,k对应的最佳目标四边形网格 的仿射变换矩阵记为
其中,λ1、λ2、λ3、λ4、λ5均为加权参数,min()为取最小值函数, 表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合, 表示{R(x ,y)}中的所有四边形网格对应的目标四边形网格构成的集合,表示UL,k对应的最佳目标四边形网格, 表示UR,k对应的最佳目标四边形网格, 通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示 的第1个网格顶点、第2
个网格顶点、第3个网格顶点、第4个网格顶点, 通过其左上、左下、右上和右下4个网格顶点的集合来描述, 对应表示 的
T
第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点,(AL,k) 为AL,k的转置,T ‑1 T
((AL,k) AL,k) 为(AL,k) AL,k的逆, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直T T ‑1 T
坐标位置,(AR,k) 为AR,k的转置,((AR,k)AR,k) 为(AR,k) AR,k的逆, 和 对应表示的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示的水平坐标位置和垂直坐标位置;
步骤十四:根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,计算{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置,将UL,k中水平坐标位置为x'L,k和垂直坐标位置为y'L,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置,获取变焦后的左视点图像,记为 其中,1≤x'L,k≤W,1≤y'L,k≤H, 1≤x'≤W',1≤y'≤H,W'表示变焦后的立体图像的宽度,H亦为变焦后的立体图像的高度, 表示 中坐标位置为(x',y')的像素点的像素值;
同样,根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵,计算{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置,将UR,k中水平坐标位置为x'R,k和垂直坐标位置为y'R,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置,获取变焦后的右视点图像,记为 其中,1≤x'R,k≤W,1≤y'R,k≤H, 1≤x'≤W',1≤y'≤H, 表示 中坐标位置为(x',y')的像素点的像素值;
由变焦后的左视点图像和变焦后的右视点图像构成变焦后的立体图像。