1.一种基于边界捕捉的深度图像高精度修复方法,其特征在于,包括以下步骤:步骤1、首先设计了一种并行的深度图像和彩色图像的配准方法,主要包括:
(1)首先将深度传感器进行联合标定,分别获取彩色相机内部参数矩阵Mint_C,深度相机内部参数矩阵Mint_D和他们之间的相对位置关系;
(2)然后对于深度图像中的每一个像素点,为了获得它在彩色图像中的对应点,采用图形处理器多线程对深度图像中的每一个像素点进行并行反投影,通过深度相机坐标系和彩色相机坐标系之间的关系,可以求得深度相机坐标空间点P3D_D在彩色相机坐标系空间中的位置P3D_C;
(3)最后利用彩色相机内部参数矩阵Mint_C将P3D_C投影到彩色图像平面;
从而快速完成彩色图像中每一个像素点深度值的获取;
步骤2、其次在联合双边滤波器的基础上引入噪声核函数和从属核函数对深度图像进行降噪;
步骤3、然后利用深度图像与彩色图像具有相似物体边界的特性,通过彩色图像物体边界对深度图像边界进行捕捉,获取深度图像物体边界处的“空洞”区域;
步骤4、最后通过改进的快速进行法对空洞区域进行填补,改进的快速进行法,主要改进在于在传统FMM方法的基础上进行改进,结合深度传感器彩色图像信息,对空洞区域边缘上的点p的从属关系进行判断,并重新设计了权值。
2.根据权利要求1所述的一种基于边界捕捉的深度图像高精度修复方法,其特征在于,所述步骤1设计了一种并行的深度图像和彩色图像的配准方法,具体包括:将深度图像与彩色图像建立映射关系,即是将空间某一点在深度图像坐标系中坐标uD=(xd,yd)与其在彩色图像坐标系中的坐标uC=(xC,yC)对应起来;
首先将深度传感器进行联合标定,分别获取彩色相机内部参数矩阵Mint_C,深度相机内部参数矩阵Mint_D和他们之间的相对位置关系 R为3×3的旋转矩阵,T为3×1的平移向量;
在时刻i,对于深度图像Di(u)中的每一个像素点u=(x,y),为了获得它在彩色图像中的对应点uC=(xC,yC),像素点u首先被反投影到深度相机坐标系空间,为了对此反投影过程进行加速,采用图形处理器多线程对深度图像中的每一个像素点u进行并行反投影,其在深度相机坐标空间点P3D_D表示为:P3D_D=Di(u)Mint_D-1[u,1] (1)然后通过深度相机坐标系和彩色相机坐标系之间的关系 求得P3D_D点在
彩色相机坐标系空间中的位置P3D_C:
P3D_C=RP3D_D+T (2)最后利用彩色相机内部参数矩阵Mint_C将P3D_C投影到彩色图像平面:s[xC,yC,1]T=Mint_CP3D_C,s表示缩放因子 (3)通过以上映射过程,就能获得彩色图像上每一个像素点对应的深度信息。
3.根据权利要求1所述的一种基于边界捕捉的深度图像高精度修复方法,其特征在于,所述步骤2在联合双边滤波器的基础上引入噪声核函数和从属核函数对深度图像进行降噪,具体表达式为;
式中:Dp(i,j)表示降噪后的深度图像,i、j分别为在图像点p的横坐标、纵坐标,k、l分别表示在图像点q的横、纵坐标。Dq(k,l)表示降噪前的的深度图像,p—当前待修复点图像坐标;Dp—滤除噪声之后的深度图像像素值;q—用于修复当前图像点p的支持像素;B(ε)—用于修复当前图像点p的邻域; —空间域核函数,空间距离越近,其权值越大; —颜色相似核函数,通过比较p
点对应彩色图像像素值Ip和q点对应彩色图像像素值Iq,在像素值变化较大时,其权值较小;
—从属核函数,如果支持像素q(k,l)位于背景上,从属核函数权
值设置为0,其他情况设置为1; —噪声核函数,红色区域
为噪声,给权重值0,q表示以像素p为中心的支持像素坐标。
4.根据权利要求1所述的一种基于边界捕捉的深度图像高精度修复方法,其特征在于,所述步骤3通过彩色图像物体边界对深度图像边界进行捕捉,具体包括:深度图像与彩色图像具有相似的物体边界,并且边界处具有较大的图像梯度,通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在彩色图像中的对应点,通过动态规划有效地进行能量函数最小化,以确定每个边缘点的最佳目标位置;最后,获取目标边界和实际边界形成的空洞区域,为此区域的空洞填补做准备。
5.根据权利要求4所述的一种基于边界捕捉的深度图像高精度修复方法,其特征在于,通过在深度图像边界获取边缘点并沿梯度方向搜索每个边缘点在彩色图像中的对应点,具体包括:首先在深度图像物体边界处提取局部邻域内具有较大深度值跳变的点,并且只考虑具有有效深度值的像素。对于每一个像素,在其3×3的邻域内,如果四个相邻像素中的任何一个具有无效的深度值或具有与中心像素不同的有效深度值,那么该中心像素被认为是一个边缘点,为了消除离群异常值的影响,在边缘点提取之前采用形态学掩模进行形态学开运算;
然后对提取的边缘点进行分组并排序,为了对边缘点进行分组,在图像网格上进行深度优先搜索,在搜寻的过程中,只有当前边缘点在另一个边缘点的3×3邻域内且两像素之间的深度差小于某一阈值τmax,那么认为这两个像素点为相邻边缘点,每一组边缘点都被重新排序,以便它们从边缘轮廓的一端向另一端移动,所有操作分别针对每一组的边缘点执行;最后计算这些边缘点的法线方向,使用低通滤波来平滑边缘点的位置,并利用两个相邻点计算每个边缘点的法线,沿法线方向搜索候选点。
6.根据权利要求4所述的一种基于边界捕捉的深度图像高精度修复方法,其特征在于,定义了一个平滑项来惩罚彩色图像中相邻边缘像素之间的较大偏差:式中:pi,pj——连续的两个边缘点;ci,k,cj,l——分别为pi和pj对应的彩色图像中的候选点;dmax——两个连续的边缘点允许的最大偏差;
因此,深度图像边缘点集对应的彩色图像中的最佳候选点集通过优化能量函数E获得:式中:λs——平滑约束权值;
式(12)属于离散最优化问题,可以通过动态规划有效解决,理解为解空间的最佳路径问题,首先构造一个N×(2rs+1)维的矩阵H,N为深度图像边缘点个数,用Ed(i,k)对H(i,k)进行初始化:Ed(i,k)表示平滑项,H(i,k)表示单应性矩阵;
H(i,k)=Ed(i,k) (13)
然后从第一个边缘点开始遍历,对矩阵H进行更新,从而得到最佳候选点i到i+1的最佳路径:最终,通过优化计算可以获得每一个边缘点的目标位置和最佳候选点i到i+1的最佳路径,从而获得最佳物体目标候选边界。
7.根据权利要求4所述的一种基于边界捕捉的深度图像高精度修复方法,其特征在于,所述步骤4通过改进的快速进行法对空洞区域进行填补,具体包括:结合彩色图像信息的改进FMM方法如下:式中:Dp——深度图中像素p点的深度值;q——待修复像素p点的支持像素,Dq表示像素q点的深度值;
对权值w(p,q)进行了修改,新的权值如下:
w(p,q)=dir(p,q)·clr(p,q)·lev(p,q)bel(p,q) (18)其中去掉了几何距离因子dst(p,q),添加了颜色相似权值函数clr(p,q),lev(p,q)表示水平集距离因子,它表示彩色图像中颜色的相似程度:式中:Ip——p点对应的彩色图像像素值;Iq——q点对应的彩色图像像素值;δ——高斯函数的标准差;同时添加了新的权值项,从属核函数bel(p,q)。