1.基于环境感知的立体树木图像融合方法,包括如下步骤:步骤1.获取树木对象;
(11)获取三色图,具体如下;
自然图像的任意像素是对应前景和背景的线性组合:Iz=αzFz+(1‑αz)Bz (1)其中,z表示图像中任一像素点,Iz表示z的像素值,Fz表示z处的前景色,Bz表示z处的背景色,αz是z处前景色与背景色加权的比例,取值在[0,1]之间;αz为0时,z点为绝对背景,αz为1时,为绝对前景;三色图把图像分为绝对前景、绝对背景和未知区域三个区域;
(12)提取树木对象粗略的透明度,具体如下;
根据未知像素到已知前景和背景的距离动态变化采样范围,获取未知像素真实的前景、背景集;候选样本对表示为(Fj,Bj)即前景色、背景色对;然后,根据图像的色彩失真,空间和颜色统计选取最佳候选对Oz(Fj,Bj),即:Oz(Fj,Bj)=Kz(Fj,Bj)×Sz(Fj,Bj)×CZ(Fj,Bj) (2)其中,j为采样范围内任意像素点,Kz(Fj,Bj)颜色失真函数,Sz(Fj,Bj)图像空间统计函数,CZ(Fj,Bj)图像颜色统计函数;
任一样本对(Fj,Bj)与未知像素z之间的颜色差异Kz(Fj,Bj)为:Kz(Fj,Bj)=exp(‑||Iz‑(αFj+(1‑α)Bj)||) (3)其中,α是前景色与背景色的加权比例;
样本对(Fj,Bj)与未知像素z之间的空间距离Sz(Fj,Bj)为:其中, 分别为未知像素z的已知前景和背景样本的集合,k为前景样本集合中的任意像素点,Fk为k处的前景色;n为背景样本集合的任意像素点,Bn为n处的背景色;
分别为前景和背景集合的大小, 为j处前景Fj的空间坐标, 为j处背景Bj的空间坐标, 分别为z与Fj和Bj的欧式距离;
图像颜色统计函数CZ(Fj,Bj)为:其中,Mz为z处的尺度因子,d(Fj,Bj)表示Fj,Bj间的科恩颜色距离值;
根据最佳候选对(F,B),估计αz值:(13)输入原始树木图像与对应三色图结合,并根据前景色与背景色加权的比例α的值粗略地扣取树木,用K‑Means聚类算法进行再次过滤,得到优化后的树木对象;
步骤2.深度一致性视差融合;
为避免立体树木在3D场景中“纸片化”,采用基于深度模板的深度信息构建方法建立多层次结构树木结构,并采用基于融合点的深度一致性视差调整,使融合后树木对象的深度和融合场景保持一致;
首先实现实时的深度一致性融合;将泊松方程转换成拉普拉斯方程,再用加权MVC,即Mean‑Value coordinates,生成融合结果,在梯度域内重构2D树木对象的深度;
对于一个有m个顶点的闭合多边形区域,设定边界 其中p0到pm按逆时针方向为各个顶点命名;其内部的某点t坐标可以表示为:其中,i表示多边形的第i个顶点,λi第i个顶点的加权均值, pi表示第i个顶点的坐标;
目标是求解MVC的加权均值λ1,...,λm‑1,其定义如下:其中,βi是∠Pi,t,Pi+1,即以t为顶点的角,融合区域处的顶点均值坐标continuous代表融合边界和目标图像一致的区域,otherwise代表融合边界和目标图像不一致的区域;
定义在边界 上的函数为f,多边形内部点的值 可以通过边界平滑插值得到,即:其中,λi(t)为以t为中心的边界中第i个顶点的加权均值;
泊松融合的目的就是要寻找未知函数f,使融合区域在边界上和目标图像保持一致的同时,梯度场尽可能接近源图像g的梯度场,泊松融合进一步可以表示为:*
在融合边界 上设定平滑膜 f为作用在目标区域中融合区域之外的已知函数;以考虑边界 的点,则可以计算平滑膜 在多边形区域内部点t的加权均值r(t):
计算出平滑膜后,泊松融合的结果可以表示为:f=g+r(t) (12)对于不同融合位置点,树木成像大小和视差之间有一定的关系,为符合双目视觉成像原理,采用平行摄像机模型;图像视差为Q=ul‑uR,ul和uR分别为物体在左右视图的横坐标;
成像大小u与图像视差之间的关系为u=LQ/b,u为成像大小,b是两个摄像机的基线距离,L为场景物体的实际大小;即成像大小与图像视差以及基线有关;由此可知,物体距离镜头越远,其对应物体的视差范围也越小,因此,如果融合位置较近,树木的层次感强,如果树木距离屏幕较远,树木层次感弱,树木的深度范围应该随着融合位置的远近变化;
步骤3.改善图像失色,处理遮挡;
为使融合效果更加自然,采用透明度对立体图像的失色情况进行优化;同时,对融合后场景的前后景遮挡进行处理来避免视觉错误;具体步骤如下:(31)颜色调整,具体步骤如下;
S1.在融合区域中引入自适应权重w来控制颜色变化;融合区域公式为:Iz=wzqz+(1‑wz)ρz (13)z表示图像中的任意像素点,ρz表示像素点z处泊松融合结果,qz表示z处透明度融合结果,wz表示z处颜色自适应权值;
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据;亮度对比系数的计算流程如下:
对两幅图像,对树木透明度在0和1之间的对应区域,各自计算亮度之和G1和G2;然后计算融合区域的平均亮度对比系数
计算自适应权值:
d为内部融合区域的方差,a为融合区域的均值,ε为亮度阈值,χ为常数0.8;
(32)3D融合由于融合位置不同,不同物体间可能存在遮挡,需对融合树木前后遮挡问题进行处理;采用基于深度计算的遮挡方法,具体步骤如下;
首先,计算真实场景的深度信息,再根据树木对象的融合位置,判断树木对象与真实场景的空间位置关系;融合后的视差图计算公式为:(x,y)为像素点的坐标,Dfg表示前景中像素点的视差图,Dbg表示背景中像素点的视差图,blend是融合后的视差图;
基于融合后的视差图,判定树木遮挡,如果树木这一前景视差值大于等于背景视差值,说明树木更靠前;否则,树木在目标场景受到遮挡;重建3D树木的深度结构,将重建树木的深度与目标场景的深度信息进行比较,对未遮挡部分进行相应的渲染。