利索能及
我要发布
收藏
专利号: 2018114667771
申请人: 北京航空航天大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度图像的虚拟视点绘制方法,其特征在于,包括:S1、对左右参考视点分别所对应的深度图像进行局部预处理;

S2、对左右参考视点以及局部预处理后的左右参考视点分别所对应的深度图像,分别采用基于反向映射的3D Warping方法获得两幅虚拟视点图像;经过反向3D变换后,对得到的虚拟视点图像和深度图,采用中值滤波算法去除细小裂纹;

S3、将所述两幅虚拟视点图像进行融合;

S4、并对融合后的视图进行深度图空洞填充及基于深度的图像修复处理,合成最终虚拟视点;

所述S1步骤包括:边缘提取、区域选择和滤波处理步骤;

S11、边缘提取步骤:利用形态学操作实现边缘检测,该操作定义为:M=(I1⊙E)‑I1          (1)式中,⊙代表图像腐蚀操作,I1代表初始深度图,E代表的是腐蚀结构元,定义如下:S12、区域选择步骤:对背景中的突变区域进行滤波,待滤波区域的大小与参考相机和虚拟相机之间的基线距离和景深的大小有关,具体定义如下:(3)式中,ΔD是水平方向上相邻像素之间的深度值差值,h是水平方向上空洞的尺寸,b和f分别表示基线距离和焦距;Zn和Zf表示场景中距离相机最近和最远的距离;

S13、滤波处理步骤:根据所述S12步骤,标记出深度值突变区域,采用高斯滤波器对所述区域进行滤波;

所述S4步骤包括:

对虚拟视点深度图进行深度图空洞填充,再进行基于深度的图像修复;

对虚拟视点彩色图进行基于深度的图像修复;

将基于深度的图像修复后的虚拟视点彩色图和虚拟视点深度图,合成最终虚拟视点;

其中,合成最终虚拟视点包括:

计算出空洞边界上所有像素的优先级:设像素p∈δΩ,δΩ表示为空洞区域的边界;令Ψp表示以p为中心的目标匹配块,则p的优先级定义为:P(p)=C(p)D(p)                               (13)(13)(14)式中C(p)表示可信度项,D(p)表示数据项,|Ψp|表示Ψp的面积,np是在像素p处垂直于δΩ的单位向量, 表示等照度线方向算子,λ是归一化系数,对灰度图像可取典型值255;

在初始条件下有:

随着空洞的不断填充,新空洞边界上像素的优先级需要及时更新,C(p)被更新为P(p);

将式(13)修改为:

P(p)=α×C(p)+β×D(p)+γ×L(p)                    (16)式中,α,β和γ是默认权重系数,设为0.5,0.3,0.2;L(p)定义为对应的深度值的逆方差,定义为:

(17)式中,|Zp|是以像素p为中心的深度图中区域Zp的面积;Zp(q)是位于q点的像素的深度值, 是区域Zp内像素的均值;

置信度项被更新为如下公式:

式中,yi上一个待匹配块 中的已知像素点;xi最佳匹配块 中对应的像素点;N是待匹配块ψp中已知像素点的个数;MSE是待匹配块和最佳匹配块中像素点的均方差,均方差越大,置信度项的值越小;

选择拥有最高优先级的像素 对应的目标区域 作为第一个待填充的目标块,用块匹配算法在源区域Φ中寻找与 最相似的匹配块 对其进行填充;

在传统的度量函数中加入深度信息,从而找到最佳匹配块,匹配代价函数为:式中,平方差和(Sum of Squared Difference,SSD)作为度量函数,用以度量两个匹配块 和Ψq,以及深度图中对应的待填充块 和最佳匹配块Zq的相似程度。

2.如权利要求1所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S2步骤包括:

S201、将左参考视点的深度图像根据3D Warping方程映射到虚拟视点位置;

‑1

sVdV=KVRVKL ZLWdL+KVtV                             (4)(4)式中,dL和dv分别为左参考视点和目标虚拟视点深度图像素坐标位置,ZLW为由dL处的灰度值计算得到的深度;

S202、对dv中的每一个像素位置(u,v),根据由其灰度值定义的实际深度信息ZVw,将其反投影到三维空间中:

式中,CV表示虚拟摄像机光心坐标,并满足:S203、再将计算得到的三维坐标重投影到参考视点,即从而找到虚拟视点中每个像素mV在左参考视点中的对应像素点mL,然后利用mL的邻域像素进行插值,求得mV的色彩值;

对于右视点执行S201~S203相同的过程,获得两幅合成视图,分别用IL→V和IR→V表示。

3.如权利要求2所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S2步骤还包括:

S205、将经过3D变换后得到的虚拟视点中,空洞区域灰度值设为0,空洞边界设为1;通过设定深度图中的一个阈值M来限制空洞区域扩展的面积,计算空洞左右两侧边缘上的像素点的深度值之差,将深度值较小的一侧灰度值设为0,公式如下:上式中,D(iL,jL)表示空洞左侧边缘像素点的深度值,D(iR,jR)表示空洞右侧边缘像素点的深度值;

通过将深度值较小的像素点设为0,擦除部分前景边界;

对空洞剩余灰度值为1的边界区域,采用3×3的模板进行扩张,使得边缘上可能产生伪影的区域全部变为空洞。

4.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法,其特征在于,所述S3步骤包括:

采用加权求和法对两幅虚拟视点图像IL→V和IR→V,进行融合;根据虚拟视点与参考视点之间的基线距离设定权重,输出即为对二者进行加权求和后的结果,具体如下:式中t表示视点位置的平移矢量;权值w∈[0,1];当虚拟视图中某个点在左视图中不可见时,表现为IL→V中的空洞区域,此时用由右视图产生的IR→V对其进行填充;

若某点在右视图中不可见时,IR→V中也相应出现空洞,则用IL→V对其进行填充;对左右视图中均可见的点,取其加权和值作为最终的色彩值。