1.一种立体视频重定位方法,其特征在于包括以下步骤:步骤一:将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应定义为当前左视点视频图像和当前右视点视频图像;其中,t为正整数,t的初始值为1,1≤t≤T-1,T表示待处理的原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数和包含的宽度为W且高度为H的右视点视频图像的总帧数,T为正整数,T>1,W和H均能被8整除;
步骤二:将当前左视点视频图像和当前右视点视频图像对应记为 和然后采用基于光流的视差估计方法,计算 与 的左视差图像,记为 其中,1≤x≤W,1≤y≤H, 表示 中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值, 表示中坐标位置为(x,y)的像素点的像素值;
步骤三:将 分割成 个互不重叠的尺寸大小为8×8的四边形网格,将中的第k个四边形网格记为 并将 中的所有四边形网格构成的集合记为 然后根据 中的所有四边形网格和 获取 中的所有互不重叠的尺寸大小为8×8的四边形网格,将 中的第k个四边形网格记为 并将 中的所有四边形网格构成的集合记为其中,k为正整数,k的初始值为1,1≤k≤M,M表示 中包含的四边形网格的总个数和 中包含的四边形网格的总个数, 通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 通过其左上、左下、右上和右下4个网格顶点的集合来描述, 对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 以 的水平坐标位置 和垂直坐标位置来描述, 表示中坐标位置为 的像素点的像素值, 以 的水平坐标位置 和垂直坐 标位 置 来 描述 ,
表示 中坐标位置为 的像素点的像素值, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示 中坐标位置为 的像素点的像素值, 以的 水平 坐 标位 置 和 垂直 坐 标位 置 来 描 述 ,表 示 中 坐 标 位 置 为
的像素点的像素值;
步骤四:采用基于图论的视觉显著模型提取出 的显著图,记为 然后根据 和 获取 的三维显著图,记为 再根据和 获取 的三维显著图,记为 其中, 表示中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值;
所述的步骤四中, 其
中,λ1表示 的权重,λ2表示 的权重,λ1+λ2=1, 表示中坐标位置为 的像素点的像素值;
步骤五:采用基于光流的估计方法,计算 与 的运动矢量,记为将 中坐标位置为(x,y)的像素点的运动矢量记为同样,采用基于光流的估计方法,计算 与的运动矢量,记为 将 中坐标位置为(x,y)的像素点的运动矢量记为其中,用于表示水平方向, 用于表示垂直方向,表示 的水平偏移量, 表示 的垂直偏移量, 表示的水平偏移量, 表示 的垂直偏移量, 表示待处理的原始立体视频序列中的第t+1帧左视点视频图像, 表示 中坐标位置为(x,y)的像素点的像素值, 表示待处理的原始立体视频序列中的第t+1帧右视点视频图像, 表示 中坐标位置为(x,y)的像素点的像素值;
步骤六:根据 中的所有四边形网格和 获取 中的所有互不重叠的尺寸大小为8×8的四边形网格,将 中的第k个四边形网格记为 并将中的所有四边形网格构成的集合记为 同样,根据中的所有四边形网格和 获取 中的所有互不重叠的尺寸大小为8×8的四边形网格,将 中的第k个四边形网格记为 并将 中的所有四边形网格构成的集合记为 其中, 通过其左上、左下、右上和右下4个网格顶点的 集合来描述,对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,表
示 中坐标位置为 的像素点的运动矢量的水平偏移量, 表示中坐标位置为 的像素点的运动矢量的垂直偏移量, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示 中坐标位置为 的像素点的运动矢量的水平偏移量,表示 中坐标位置为 的像素点的运动矢量的垂直偏移量,以 的水平坐标位置 和垂直坐标位置 来描述,表示 中坐标位置为 的像素点的运动矢量的水平偏移量, 表示 中坐标位置为 的像素点的运动矢量的垂直偏移量, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示 中坐
标位置为 的像素点的运动矢量的水平偏移量, 表示 中坐标位置为 的像素点的运动矢量的垂直偏移量; 通过其左上、左下、右上和右下4个网格顶点的集合来描述, 对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,表
示 中坐标位置为 的像素点的运动矢量的水平偏移量, 表示中坐标位置为 的像素点的运动矢量的垂直偏移量, 以 的水平坐标位置 和垂直坐标位置 来描述,
表示 中坐
标位置为 的像素点的运动矢量的水平偏移量, 表示 中坐标位置为 的像素点的运动矢量的垂直偏移量, 以 的水平坐标位置和垂直坐标位置 来描述,
表示 中坐标位置为 的像素点的
运动矢量的水平偏移量, 表示 中坐标位置为 的像素点的运动矢量的垂直偏移量, 以 的水平坐标位置 和垂直坐标位置 来描述,表示 中坐标位置为 的像素点的运动矢量的水平偏移量,表示 中坐标位置为 的像素点的运动矢量的垂直偏移量;
步骤七:计算 和 中的所有四边形网格对应的目标四边形网格的深度运动能量,记为 计算 和 中的所有四边形网格对应的目标四边形网格的形状保持能量,记为 计算 和 中的所有四边形网格对应的目标四边形网格的时域一致能量,记为 计算 和 中的所有四边形网格对应的目标四边形网格的空间一致能量,记为 计算 和 中的所有四边形网格对应的目标四边形网格的视差保持能量,记为步骤八:根据 和 计算 和 中的所有四边形网格对应的目标四边形网格的总能量,记为Etotal,然后通过最小二乘优化求解
得到 中的所有四边形网格对应的最佳目标四边形网格构成的集合及中的所有四边形网格对应的最佳目标四边形网格构成的集合,对应记为 及接着根据 计算中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵,将 对应的最佳目标四边形网格 的最佳相似变换矩阵记为并根据 计算 中的每个四边形网格对应
的最佳目标四边形网格的最佳相似变换矩阵,将 对应的最佳目标四边形网格 的最佳相似变换矩阵记为 其中, 为 的加权参数, 为 的加权参数, 为 的加权参数, 为 的加权参数,min()为取最小值函数, 表示 中的所有四边形网格对应的目标四边形网格构成的集合, 表示中的所有四边形网格对应的目标四边形网格构成的集合, 表示 对应的最佳目标四边形网格, 通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示 的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 表示 对应的最佳目标四边形网格, 通过其左上、左下、右上和右下4个网格顶点的集合来描述,对应表示 的作为
第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 为的转置, 为 的逆, 和 对应表示
的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和对应表示 的水平坐标位置和垂直坐标位置,为 的转置, 为 的逆, 和 对应表示的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置, 和 对应表示 的水平坐标位置和垂直坐标位置,和 对应表示 的水平坐标位置和垂直坐标位置;
步骤九:根据 中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵,计算 中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将 中水平坐标位置为 和垂直坐标位置 的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据 中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取 经重定位后的重定位左视点视频图像,记为 其中, 重定位左视点视频图像的宽度为W',重定位左视点视频图像的高度为H, 1≤x'≤W',1≤y'≤H, 表示 中坐标位置为(x',y')的像素点的像素值;
同样,根据 中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵,计算 中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,将 中水平坐标位置为 和垂直坐标位置 的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为 和然后根据 中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置,获取 经重定位后的重定位右视点视频图像,记为 其中, 重定位右视点视频图像的宽度为W',重定位右视点视频图像的高度为H, 1≤x'≤W',1≤y'≤H, 表示 中坐标位置为(x',y')的像素点的像素值;
步骤十:令t=t+1;然后将待处理的原始立体视频序列中当前待处理的第t帧左视点视频图像和第t帧右视点视频图像对应作为当前左视点视频图像和当前右视点视频图像;再返回步骤二继续执行,直至获得待处理的原始立体视频序列中的前T-1帧左视点视频图像对应的重定位左视点视频图像和前T-1帧右视点视频图像对应的重定位右视点视频图像,进而得到包含T-1帧重定位左视点视频图像和T-1帧重定位右视点视频图像的重定位立体视频序列;其中,t=t+1中的“=”为赋值符号。
2.根据权利要求1所述的一种立体视频重定位方法,其特征在于所述的步骤七中,的获取过程为:A1、计算 的直方图分布,记为{PtL[b]|1≤b≤B};然后将{PtL[b]|1≤b≤B}以向量形式表示为 同样,计算 的直方图分布,记为 然后将以向量形式表示为 其中,b为正整数,b的初始值为1,B为正整数,和 中所包含的视差等级的总数目均为B,PtL[b]表示 中视差等级为b的像素点在 中出现的概率, 表示 与 的左视差图像, 表示 中坐标位置为(x,y)的像素点的像素值, 表示中视差等级为b的像素点在 中出现的概率;
A2、计算
;其中,
表示 的宽度, 表示 的目标四边形网格 的宽度, 表示 的宽度,表示 的目标四边形网格 的宽度, 表示 的宽度, 表示 的目标四边形网格 的宽度, 表示 的宽度, 表示 的目标四边形网格 的宽度, 符号“|| ||”为求欧氏距离符号, T0为阈值,
3.根据权利要求2所述的一种立体视频重定位方法,其特征在于所述的步骤七中,的获取过程为: 其中, 表示 的宽度, 表示 的目标四边形网格 的宽度, 表示 的宽度,表示的目标四边形网格 的宽度, 表示 的高度, 表示 的目标四边形网格 的高度, 表示 的高度, 表示 的目标四边形网格 的高度, 表示中的所有像素点的三维显著值的均值, 表示 中的所有像素点的三维显著值的均值。
4.根据权利要求3所述的一种立体视频重定位方法,其特征在于所述的步骤七中,的获取过程为:其中, 表示 的目标四边形网格 的宽度, 表示 的目标四边形网格的宽度, 表示 的目标四边形网格 的高度, 表示 的目标四边形网格的高度, 表示 的目标四边形网格 的宽度, 表示 的目标四边形网格 的宽度, 表示 的目标四边形网格 的高度, 表示 的目标四边形网格 的高度。
5.根据权利要求4所述的一种立体视频重定位方法,其特征在于所述的步骤七中,的获取过程为:B1、采用尺度不变特征转换提取出 中的所有特征点,将 中的第q个特征点记为 接着根据 中的每个特征点和 获取中与 中的每个特征点匹配的特征点,将 中与 匹配的特征点记为 其中,q为正整数,q的初始值为1,1≤q≤Q,和 各自中的特征点的总个数均为Q, 表示 的横坐标位置, 表示的纵坐标位置, 表示 的横坐标位置, 表示中坐标位置为 的像素点的像素值, 表示 的纵坐标位置,B2、计算
其中, 表示 中的所有特征点包含的四边形网格构成的集合, 表示 中的第k'个四边形网格,为 中的第q个特征点包含的四边形网格,k'为正整数,k'的初始值为1,1≤k'≤Q, 表示 中所有特征点包含的四边形网格构成的集合, 表示中的第k'个四边形网格,为 中的第q个特征点包含的四边形网格, 表示的宽度, 表示 的目标四边形网格的宽度, 表示 的宽度, 表示的目标四边形网格的宽度。
6.根据权利要求5所述的一种立体视频重定位方法,其特征在于所述的步骤七中,的获取过程为: 其中, 表示 的宽度, 表示 的目标四边形网格 的宽度, 表示 的宽度, 表示的目标四边形网格的宽度。