1.一种自主水下机器人回收对接前景视场三维重建立体匹配方法,其特征在于,前景视场分别在左右摄像机上成像,形成左图和右图,前景视场三维重建包括以下步骤:S1采集左右摄像机图像,对水下摄像机进行标定,得到摄像机内参数矩阵,畸变系数矩阵,本征矩阵,基础矩阵,旋转矩阵以及平移矩阵;
S2对得到的图像进行预处理,减小水对光成像的影响,消除水下折射对成像的影响,得到对应的空气中的图像;
S3对得到的空气中的图像,采用改进的基于最小生成树结构的立体匹配方法,首先采用CENSUS变换区分水下图像对应的空气中图像的弱纹理区域实现匹配代价计算,包括以下步骤:①将得到的空气中图像左图转换为对应的灰度图,在左灰度图中任取一点,以该点为中心取一个3×3个像素大小的窗口,将窗口中除中心点外的每一个点与窗口的中心点进行比较,灰度值大于中心点像素灰度值即记为0,否则为1,从而得到一个长度为8的二进制序列,称为CENSUS变换值,窗口内中心点像素的灰度值则被CENSUS变换值替换:CENSUS变换公式如下:
其中,p为3×3个像素大小窗口中的中心点,q为窗口内除中心点之外的其余点,Np为以p为中心的3×3个像素大小窗口,B(p)表示经CENSUS变换后得到的二进制序列,即为CENSUS变换值,ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接,I(p)表示中心点像素灰度值,I(q)表示窗口内除中心像素点外其余点像素灰度值;
②移动窗口,遍历整个得到的空气中图像左图所对应灰度图中的像素点,完成对左图的CENSUS变换;
③将得到的空气中图像右图转换为对应的灰度图,在右灰度图中任取一点,以该点为中心取一个3×3个像素大小的窗口,将窗口中除中心点外的每一个点与窗口的中心点进行比较,灰度值大于中心点像素灰度值即记为0,否则为1,从而得到一个长度为8的二进制序列,称为CENSUS变换值,窗口内中心点像素的灰度值则被CENSUS变换值替换:CENSUS变换公式如下:
其中,p为3×3个像素大小窗口中的中心点,q为窗口内除中心点之外的其余点,Np为以p为中心的3×3个像素大小窗口,B(p)表示经CENSUS变换后得到的二进制序列,即为CENSUS变换值,ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接,I(p)表示中心点像素灰度值,I(q)表示窗口内除中心像素点外其余点像素灰度值;
④移动窗口,遍历整个得到的空气中图像右图所对应灰度图中的像素点,完成对右图的CENSUS变换;
⑤经过CENSUS变换后的图像使用汉明距离计算得到的空气中左右两幅图像的相似度,当左右两幅图像中两点视差为d时计算两点的汉明距离:将此两点的CENSUS变换值逐位进行异或运算,然后计算结果为1的个数,即为此两点之间的汉明距离,汉明距离计算公式为:HH(p,d)=Hamming(CCTL(p),CCTR(p,d)) (5)其中,CCTL、CCTR分别左右灰度图像经CENSUS变换后的图像,CCTL(p)表示左灰度图中任意一点p,CCTR(p,d)表示右灰度图中与点p视差为d的点,Hamming(CCTL(p),CCTR(p,d))表示将点CCTL(p)与点CCTR(p,d)的CENSUS变换值逐位进行异或运算并计算结果为1的个数,HH(p,d)表示左右图中视差为d的两点之间的汉明距离;
所以CENSUS变换的匹配代价计算模型为:
Cd(p,d)=1‑exp(‑λHH(p,d)) (6)其中,Cd(p,d)为在视差为d时点p的匹配代价,HH(p,d)左右图中视差为d的两点之间的汉明距离,λ为归一化常数,取为0.1;
再采用基于最小生成树的立体匹配算法进行代价聚合,包括以下步骤:
①首先将得到的空气中图像的左图RGB图像表示成连通的无向图G(V,E),其中V表示图像中所有像素点,E表示连接相邻两像素点的边,边的权值即为相邻两像素点的相似度测度,连接相邻两像素点e和k的边的权值采用三通道颜色及梯度特征计算:其中k是e的相邻点,Ii(e),Ii(k)分别表示点e和点k的i通道值,i∈{R,G,B},R表示红颜色通道,G表示绿颜色通道,B表示蓝颜色通道, 分别表示图像在x和y方向上的梯度,rc,rg分别表示颜色信息以及梯度信息的权值,rc+rg=1,r(e,k)表示连接点e和点k的边的权值,即点e和点k的相似度,r(k,e)表示即点k与点e相似度,其值与r(e,k)相等;
②设得到的空气中图像的左图RGB图中有n个像素点,记为n个节点,最初先构造一个只有n个节点,没有边的非连通图T={V,空},图中每个节点自成一个连通分量,将连接相邻两节点的所有边按照权值的大小进行升序排序;
③按照权值从小到大的顺序每次选择一条边,若该边的两个节点落在不同的连通分量上,则将此边加入到最小生成树中;否则,则将此边舍去并且此后再也不选用这条边;
④重复步骤③,直到具有n个节点的连通图G(V,E)筛选出n‑1条边为止,筛选出来的边和所有的节点构成此RGB图的最小生成树;
⑤将最小生成树中点u和点v两个节点之间的连接边的最小权重之和记为D(u,v),则两点之间的相似度s(u,v)为:其中α为调节像素相似度的常数,设为0.1;
⑥根据最小生成树的树结构可得任意一点u在视差为d时的代价聚合值 为:
其中s(u,v)表示最小生成树中点u和点v的相似度,Cd(u,d)表示在视差为d时点u的匹配代价,v遍历图中除点u外的每个像素;
接着采用WTA算法计算得到代价最小的视差值,采用优胜者全选方式,选取对应匹配代价最小的视差作为最终的视差d(u),表达式如下:其中, 表示点u在视差为d时的代价聚合值,d(u)表示立体匹配的最终视差结果, 表示取当 取得最小值时视差d的值;
最后采用亚像素精化对视差进行平滑优化,实现最终视差图的输出;所述采用亚像素精化对视差进行平滑优化,采用基于二次多项式插值的亚像素估计算法:①任意选取WTA算法结果中的一个值,记为d0,选择d_=d0‑1,d+=d0+1,其对应的代价聚合值已知;
②选取二次多项式如式(11)所示,根据d0、d_、d+f(d0)、f(d_)和f(d+)计算出二次函数的参数a、b和c;
2
f(x)=ax+bx+c (11)③根据公式(12)计算出二次函数值最小时对应的xmin值,为二次函数f(x)的最小视差,即为亚像素值:S4根据步骤S1标定的参数进行三维重建。