利索能及
我要发布
收藏
专利号: 2017101554395
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维视频图像重定位方法,其特征在于包括以下步骤:

①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{IL(x,y)}、{IR(x,y)}、{DL(x,y)}及{DR(x,y)},其中,(x,y)表示待处理的三维视频图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示待处理的三维视频图像的宽度,H表示待处理的三维视频图像的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,DL(x,y)表示{DL(x,y)}中坐标位置为(x,y)的像素点的像素值,DR(x,y)表示{DR(x,y)}中坐标位置为(x,y)的像素点的像素值;

②将{IL(x,y)}和{DL(x,y)}分割成 个互不重叠的尺寸大小为40×40的四边形网格;然后以{IL(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{IL(x,y)}中的每个四边形网格,将{IL(x,y)}中的第k个四边形网格记为UL,k,其中,1≤k≤M, 对应表示UL,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描

述, 以 的水平坐标位置 和垂直坐标位置 来描述,

③计算{DL(x,y)}中的每个像素点的场景深度值,将{DL(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为zL(x,y), 然后计算{IL(x,y)}中的每个像素点在{IR(x,y)}中的对应坐标位置,将{IL(x,y)}中坐标位置为(x,y)的像素点在{IR(x,y)}中的对应坐标位置记为(xR,yR),xR=x'/w',yR=y'/w',接着计算{IL(x,y)}中的每个像素点的水

平视差值,将{IL(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为dL(x,y),dL(x,y)=xR-x;其中,znear表示最小的场景深度值,zfar表示最大的场景深度值,R1为左视点相机的旋转矩阵,A1为左视点相机的内参矩阵,T1为左视点相机的平移矩阵,R2为右视点相机的旋转矩阵,A2为右视点相机的内参矩阵,T2为右视点相机的平移矩阵,A1-1为A1的逆矩阵,R2-1为R2的逆矩阵;

④根据{IL(x,y)}中的每个四边形网格,获取对应的三维曲面网格,以{IL(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{IL(x,y)}中的每个三维曲面网格,将根据UL,k获取的对应的三维曲面网格记为VL,k,其中, 对应表示VL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点, 以 在三维显示空间的水平坐标位置 垂直坐标位置 和深度坐标位置 来描述,

以 在三维显示空间的水平坐标位置 垂直

坐标位置 和深度坐标位置 来描述,

以 在三维显示空间的水平坐标位置 垂直

坐标位置 和深度坐标位置 来描述,

以 在三维显示空间的水平坐标位置 垂直

坐标位置 和深度坐标位置 来描述,

de表示待处理的三

维视频图像的左视点与右视点之间的水平基线距离,LD表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离,Wd表示显示器的水平宽度,R表示显示器的水平分辨率, 表示{IL(x,y)}中坐标位置为 的像素点的水平视差值,表示{IL(x,y)}中坐标位置为 的像素点的水平视差值, 表

示{IL(x,y)}中坐标位置为 的像素点的水平视差值, 表示{IL(x,y)}中坐标位置为 的像素点的水平视差值;

⑤根据{IL(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格,对{IL(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换,使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小,得到{IL(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵,将VL,k对应的第p个候选目标三维曲面网格 的相似变换矩阵记为其中, 1≤p≤P, 表示VL,k对应的第p个候选目标三维曲面网格,

对应表示 的作为第1个网格顶点的左上网

格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第

4个网格顶点的右下网格顶点, 表示 的第i个网格顶点,i=1,2,3,4,和 对应表示 的水平

坐标位置、垂直坐标位置和深度坐标位置, 和 对应表示 的水平坐标位置、

垂直坐标位置和深度坐标位置, 和 对应表示 的水平坐标位置、垂直坐标

位置和深度坐标位置, 和 对应表示 的水平坐标位置、垂直坐标位置和深

度坐标位置,(AL,k)T为AL,k的转置,((AL,k)TAL,k)-1为(AL,k)TAL,k的逆;

⑥获取{DL(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值;然后根据{DL(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值,提取出{DL(x,y)}的最大可容忍失真分布图像,记为{SL(x,y)};其中,SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值,亦表示{DL(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值;

所述的步骤⑥的具体过程为:

⑥_1、将{DL(x,y)}中当前待处理的像素点定义为当前像素点;

⑥_2、将当前像素点的坐标位置记为(x1,y1),如果1≤x1≤W且y1=1,则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1);如果1≤x1≤W且1

⑥_3、根据δl(x1,y1)和δr(x1,y1),确定当前像素点的最大可容忍失真值,记为SL(x1,y1),SL(x1,y1)=min(|δl(x1,y1)|,|δr(x1,y1)|),其中,min( )为取最小值函数,符号“| |”为取绝对值符号;

⑥_4、将{DL(x,y)}中下一个待处理的像素点作为当前像素点,然后返回步骤⑥_2继续执行,直至{DL(x,y)}中的所有像素点处理完毕,得到{DL(x,y)}中的每个像素点的最大可容忍失真值,再由{DL(x,y)}中的所有像素点的最大可容忍失真值得到{DL(x,y)}的最大可容忍失真分布图像{SL(x,y)};

⑦采用基于图论的视觉显著模型提取出{IL(x,y)}的显著图,记为{ML(x,y)};然后根据{ML(x,y)}和{SL(x,y)},获取{IL(x,y)}的视觉显著图,记为 将 中坐标位置为(x,y)的像素点的像素值记为 其

中,ML(x,y)表示{ML(x,y)}中坐标位置为(x,y)的像素点的像素值,λ1表示ML(x,y)的权重,λ2表示SL(x,y)的权重,λ1+λ2=1;

⑧根据{IL(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵,并结合 计算在{IL(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的形状保护能量项,将在{IL(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的形状保护能量项记为 其中, 表示VL,k中的所有像素点的视觉显著值的均值,也即表示 中与VL,k对应的区域中的所有像素点的像素值的均值,符号“|| ||”为求欧氏距离符号;

⑨根据{IL(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{IL(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘,计算在{IL(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的边界弯曲度能量项,将在{IL(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的边界弯曲度能量项记为其中,符号“|| ||”为求欧氏距离符号,eL,k表

示VL,k的所有网格顶点的边缘组成的矩阵, (eL,k)

T为eL,k的转置,((eL,k)TeL,k)-1为(eL,k)TeL,k的逆, 表示 的所有网格顶点的边缘组成的矩阵,⑩根据{IL(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{IL(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值,计算在{IL(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的舒适度保持能量项,将在{IL(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的舒适度保持能量项记为其中, 表示VL,k的第i个网格顶点 的深度坐标位置, exp( )表示以自然基数e为底的指数函数,符号“| |”

为取绝对值符号,Zmax表示{IL(x,y)}在显示空间的最大深度值,Zmin表示{IL(x,y)}在显示空间的最小深度值, CVZmin表示最小舒适观看区域范围, η1表示最小舒适观看视角,CVZmax表示最大舒适观看区域范围, η2表示最大舒适观看视角, 表示 的第i个网格顶

点 的深度坐标位置;

计算在{IL(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的总能量,将在{IL(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{IL(x,y)}的总能量记为然后令 表示在{IL(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{IL(x,y)}的总能量,根据{IL(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵,通过最小二乘法求解得到 并将 相应的VL,k对应的最佳相似变换矩阵记为

根据{IL(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵,计算{IL(x,y)}中的每个三维曲面网格的各个网格顶点经最佳相似变换后的三维坐标值,将VL,k中三维坐标值为(X'L,k,Y'L,k,Z'L,k)的网格顶点经最佳相似变换后的三维坐标值记为和 通过求解 得

到,其中,X'L,k,Y'L,k,Z'L,k对应表示VL,k中的一个网格顶点的水平坐标位置、垂直坐标位置和深度坐标位置, 对应表示VL,k中三维坐标值为(X'L,k,Y'L,k,Z'L,k)的网格顶点经最佳相似变换后得到的水平坐标位置、垂直坐标位置和深度坐标位置,

(A'L,k)T为A'L,k的转置,((A'L,k)TA'L,k)-1为(A'L,k)TA'L,k的逆,

根据{IL(x,y)}中的所有三维曲面网格的网格顶点经最佳相似变换后的三维坐标值,获取{DL(x,y)}中的每个四边形网格的各个网格顶点到重定位后的左视点深度图像中的映射函数值,假设(x2,y2)为{DL(x,y)}中的一个四边形网格的其中一个网格顶点的坐标位置,则将{DL(x,y)}中坐标位置为(x2,y2)的网格顶点到重定位后的左视点深度图像中的映射函数值记为f(DL(x2,y2)),β1、β2、β3、β4和β5是通过求解 得到的,其

中,(x2,y2)∈Ω,Ω表示{IL(x,y)}中的所有三维曲面网格中的网格顶点的坐标位置构成的集合,β1、β2、β3、β4和β5均为系数,DL(x2,y2)表示{DL(x,y)}中坐标位置为(x2,y2)的网格顶点的像素值, 表示{DL(x,y)}中坐标位置为(x2,y2)的网格顶点经重定位后的深度值,表示{DL(x,y)}中坐标位置为(x2,y2)的网格顶点经重定位后的场景深度值, f表示水平相机阵列中各

相机的水平焦距, 表示{IL(x,y)}中坐标位置为(x2,y2)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置;

采用相同的最佳相似变换矩阵对{IL(x,y)}中的每个三维曲面网格中的所有像素点进行相似变换,得到{IL(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的三维坐标值,并进而获得重定位后的左视点彩色图像及左视点深度图像,对应记为和 将 中坐标位置为(x',y')的像素点的像素值记为将 中坐标位置为(x',y')的像素点的像素值记为

其中,1≤x'≤W',1≤y'≤H,W'表示重定位后的三维视频图像的宽度,H亦表示重定位后的三维视频图像的高度,f(DL(x,y))表示{DL(x,y)}中坐标位置为(x,y)的像素点到重定位后的左视点深度图像中的映射函数值, 表示{DL(x,y)}中坐标位置为(x,y)的像素点经重定位后的像素值, 表示{IL(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的水平坐标位置, 表示{IL(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的垂直坐标位置, 表示{IL(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置;

根据 和 获取重定位后的右视点彩色图像及右视点深度图像,

对应记为 和 将 中坐标位置为(x”,y”)的像素点的像素

值记为 将 中坐标位置为(x”,y”)的像素点的像素值记为

其中, 1

≤x”≤W',1≤y”≤H, 表示

中坐标位置为(x',y')的像素点的像素值,