1.一种静态场景动态目标的三维重建方法,其特征在于,包括如下过程:
步骤一,读取视频,截取无动态物体的视频片段,生成背景模型;
步骤二,抽取动态物体出现后的视频帧,使用背景图像提取视频帧中的前景,组成前景集合;
步骤三,使用前景集合进行三维重建,具体如下:
(1)检测特征点,计算描述子,匹配特征点;
(2)计算特征点对应的空间点,BA优化稀疏点云;
(3)以稀疏点云为基础,生成稠密点云,并去除外点;
(4)在稠密点云的基础上,划分三角网格,截取图像集合中的图像,为三角网格贴上纹理。
2.根据权利要求1所述的一种静态场景动态目标的三维重建方法,其特征在于,步骤一具体方法如下:选取一定时间范围内无任何动态物体的视频片段,设置视频片段的第一帧图像为初始背景图像B0,依次融合视频片段中的每帧图像I更新背景:Bf=(1-α)×Bf-1+α×If
其中,f表示图像在视频片段中的帧数,α为学习速率,且0<α<1,If为视频片段中的第f帧图像,Bf-1和Bf分别为融合了f-1帧和f帧后的背景图像。
3.根据权利要求2所述的一种静态场景动态目标的三维重建方法,其特征在于,步骤二具体方法如下:在动态物体出现后的视频序列中每隔15帧抽取1帧图像放入图像集合K中,用于提取前景参与后续的三维重建,对图像集合K中的每一幅图像I作以下处理:(1)将带有动态目标的图像I与背景图像B相比较,得到图像I与背景图像B在像素层面上的差异值,将差异值少于th的像素设置为0,大于等于th的像素部设置为255,th为自定义阈值;此时获得提取出粗糙前景的二值图;
(2)对粗糙前景二值图做膨胀和腐蚀处理,生成膨胀二值图和腐蚀二值图;组合膨胀二值图和腐蚀二值图后生成一幅初步标记了前景、背景和不确定的区域的标记图;使用分水岭算法处理标记图生成仅标记了背景和前景的标记图,二值化分水岭算法生成的标记图,将前景设置为1,背景设置为0;
(3)在二值化标记图上提取轮廓并获取每个轮廓的重心,每一个轮廓圈出了提取出的前景区域,计算轮廓重心与相机拍摄图像的中心位置的距离D,使用矩形逼近生成每个轮廓对应的矩形,矩形的宽和高分别为wr和hr,计算轮廓矩形的面积S=wr×hr;
a,b∈[0,1]
其中,mba为轮廓的矩,m的下标b和a的取值为0或1,m00,m10,m01为b和a分别在不同取值情况下计算出的轮廓矩,x为图像中像素的横坐标,y为图像中像素的纵坐标,Pxy为轮廓上一点(x,y)的像素值,W为相机成像图像的宽,H为相机成像图像的高;
(4)遍历图像I的每一个前景轮廓,当轮廓的矩形面积S大于或小于设置的面积阈值时删除该轮廓,当轮廓重心与相机拍摄图像的中心位置的距离D大于设置的距离阈值时删除该轮廓;若执行完上述过滤操作后图像I无前景轮廓,则认为该图像为无用图像不参与后续的三维重建过程;若执行完上述过滤操作后图像I仍存在前景轮廓,则排序各个轮廓对应的矩形面积,保留面积最大的矩形Rect;
根据矩形Rect生成图像I对应的掩码二值图Mask,在掩码二值图Mask上将矩形Rect范围内的像素值设置为255,矩形范围以外的像素值标记为0;将图像I和掩码二值图Mask设置为图像-掩码对存入前景集合K'用于后续的三维重建过程。
4.根据权利要求3所述的一种静态场景动态目标的三维重建方法,其特征在于,步骤三中,在进行三维重建之前预先标定相机的内部参数,获得针孔相机模型内参矩阵C。
5.根据权利要求4所述的一种静态场景动态目标的三维重建方法,其特征在于,步骤(1)检测特征点,计算描述子,匹配特征点的具体方法如下:提取前景集合K'中的每一幅图像I,读取其对应的掩码二值图Mask,在图像I上检测特征点,仅检测对应在掩码二值图Mask上像素值大于零的像素;计算特征点对应的描述子,比较特征点的描述子,使用暴力匹配方法获取任意两幅图像上的特征点的匹配关系。
6.根据权利要求5所述的一种静态场景动态目标的三维重建方法,其特征在于,步骤(2)计算特征点对应的空间点,BA优化稀疏点云的具体方法如下:使用增量方法重建稀疏点云,计算前景集合K'中任意两幅图像的匹配得分MS:其中,N为两幅图像的匹配对数量,λ为自定义的权值系数,λ>1,用于提高匹配对数量对匹配得分的影响,σ1为自定义的匹配对数量阈值,σ2为自定义的时间间隔阈值,Δk为选定两幅图像在图像集合K中的索引之差;
设置MS得分高的两幅图像作为初始两视图,使用基于对极约束的八点法计算初始两视图的本质矩阵,使用SVD分解本质矩阵获得初始两视图之间的相对位姿T;
设置初始两视图中的一幅图像的相机坐标系为世界坐标系,计算出的相对位姿都转化为相对于世界坐标系的位姿,使用三角量测生成初始两视图对应的稀疏点云,构造BA代价函数g(δ),优化稀疏点云和相机的位姿,之后不断地添加新的图像生成新的空间点,并执行BA优化:其中,n为相机参与BA优化的图片数量,i为第i幅图像,w为空间点数量,j为第j个空间点,χij表示第j个空间点能否出现在第i幅图像对应的视野中,χij值为0表示不可见,χij值为
1表示可见;Ti为图像i对应的相机位姿,Xj为第j个空间点,uij()为将空间点j投影到图像i上的投影公式, 为第i幅图像观测第j个空间点生成像素坐标。
7.根据权利要求6所述的一种静态场景动态目标的三维重建方法,其特征在于,步骤(3)以稀疏点云为基础,生成稠密点云,并去除外点的具体方法如下:读取稀疏点云数据,获得优化后的前景集合中的图像的相机位姿;为前景集合中每一幅图像i创建一个相邻图像集,相邻图像集中的图像为图像i在前景集合序列中的前7幅和后7幅共14图像;
计算相邻图像集中的任意图像k与图像i之间的夹角θik,保留6°<θik<54°范围内的相邻图像,获取相应的图像的相机相对距离dik;计算相邻图像集中相对于图像i的平均相机相对距离移除相邻图像集中相对于图像i较远 或较近 的图像,设置图像i中
相邻图像集中θik和dik的乘积最小的图像作为图像i的参考图像;
对于前景图像集合中的每一幅图像i与它的参考图像构成了一对立体匹配对,使用基于双目视觉的立体匹配方法计算图像i的前景掩码区域的深度图,计算前景集合中的每幅图像的深度图;
对于前景图像集合中的每一幅图像i,使用该图像的深度图剔除其相邻图像集合中所有图像的被遮挡及深度相近的深度值;剔除掉这些冗余的深度值后,反投影图像前景掩码区域的像素到三维空间,生成稠密的点云。