1.一种基于深度图像的虚拟视点绘制方法,其特征在于,包括:S1、对左右参考视点分别所对应的深度图像进行局部预处理;
S2、对左右参考视点以及局部预处理后的左右参考视点分别所对应的深度图像,分别采用基于反向映射的3D Warping方法获得两幅虚拟视点图像;
S3、将所述两幅虚拟视点图像进行融合;
S4、并对融合后的视图进行深度图空洞填充及基于深度的图像修复处理,合成最终虚拟视点。
2.如权利要求1所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S1步骤包括:边缘提取、区域选择和滤波处理步骤;
S11、边缘提取步骤:利用形态学操作实现边缘检测,该操作定义为:式中, 代表图像腐蚀操作,I1代表初始深度图,s代表的是腐蚀结构元,定义如下:S12、区域选择步骤:对背景中的突变区域进行滤波,待滤波区域的大小与参考相机和虚拟相机之间的基线距离和景深的大小有关,具体定义如下:(3)式中,ΔD是水平方向上相邻像素之间的深度值差值,h是水平方向上空洞的尺寸,b和f分别表示基线距离和焦距;Zn和Zf表示场景中距离相机最近和最远的距离;
S13、滤波处理步骤:根据所述S12步骤,标记出深度值突变区域,采用高斯滤波器对所述区域进行滤波。
3.如权利要求1所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S2步骤包括:S201、将左参考视点的深度图像根据3DWarping方程映射到虚拟视点位置;
sVdV=KVRVKL-1ZLWdL+KVtV (4)(4)式中,dl和dv分别为左参考视点和目标虚拟视点深度图像素坐标位置,ZLw为由dL处的灰度值计算得到的深度;
S202、对dv中的每一个像素位置(u,v),根据由其灰度值定义的实际深度信息ZVw,将其反投影到三维空间中:式中,CV表示虚拟摄像机光心坐标,并满足:
S203、再将计算得到的三维坐标重投影到参考视点,即从而找到虚拟视点中每个像素mV在左参考视点中的对应像素点mL,然后利用mL的邻域像素进行插值,求得mV的色彩值;
对于右视点执行S201~S203相同的过程,获得两幅合成视图,分别用IL→V和IR→V表示。
4.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S2步骤还包括:S204、经过反向3D变换后,对得到的虚拟视点图像和深度图,采用中值滤波算法去除细小裂纹。
5.如权利要求4所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S2步骤还包括:S205、将经过3D变换后得到的虚拟视点中,空洞区域灰度值设为0,空洞边界设为1;通过设定深度图中的一个阈值M来限制空洞区域扩展的面积,计算空洞左右两侧边缘上的像素点的深度值之差,将深度值较小的一侧灰度值设为0,公式如下:上式中,D(iL,jL)表示空洞左侧边缘像素点的深度值,D(iR,jR)表示空洞右侧边缘像素点的深度值;
通过将深度值较小的像素点设为0,擦除部分前景边界;
对空洞剩余灰度值为1的边界区域,采用3×3的模板进行扩张,使得边缘上可能产生伪影的区域全部变为空洞。
6.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S3步骤包括:采用加权求和法对两幅虚拟视点图像IL→V和IR→V,进行融合;根据虚拟视点与参考视点之间的基线距离设定权重,输出即为对二者进行加权求和后的结果,具体如下:式中t表示视点位置的平移矢量;权值α∈[0,1];当虚拟视图中某个点在左视图中不可见时,表现为IL→V中的空洞区域,此时用由右视图产生的IR→V对其进行填充;
若某点在右视图中不可见时,IR→V中也相应出现空洞,则用IL→V对其进行填充;对左右视图中均可见的点,取其加权和值作为最终的色彩值。
7.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S4步骤包括:对虚拟视点深度图进行深度图空洞填充,再进行基于深度的图像修复;
对虚拟视点彩色图进行基于深度的图像修复;
将基于深度的图像修复后的虚拟视点彩色图和虚拟视点深度图,合成最终虚拟视点。