1.一种特征点稀疏工件图像的快速拼接方法,包括S1图像采集、S2图像预处理、S3特征点检测匹配和S4图像拼接融合;
所述S1图像采集,包含如下步骤:各相机将拍摄获取两组图像,第一组为激光器打开时工件上包含有激光图案的图像,第二组为激光器关闭时不包含激光图案的工件图像;
所述S2图像预处理和S3特征点检测匹配步骤为:对S1图像采集中第一组图像的处理和计算,对步骤S4图像拼接融合采用S1图像采集中第二组图像进行拼接融合,以获得清晰无干扰的工件图像;
所述的S2图像预处理,包括如下步骤:
S21:划定ROI区域,所述ROI区域,是根据各相机的排布以及激光图案的投射位置,划定各图像重合区域内的激光图案区域;
S22:灰度化操作,将各相机拍摄获得的彩色图像转化为灰度图;
S23:对步骤S22得到的灰度图进行高斯滤波,消除高频噪声,得到边缘保留完整且清晰度较高的图像;
所述的S3特征点检测匹配,包括如下步骤:
S31:在各图像选定的ROI区域内采用特征点检测算法进行特征点检测,特征点检测算法可采用HARRIS、PCA‑SIFT、SURF或ORB检测算法中的一种;
S32:对特征点采用最邻近距离比值法进行粗匹配;
S33:粗匹配后获得的特征点对再进行RANSAC剔除误匹配对,求出变换矩阵H;
所述的S4图像拼接融合,包括如下步骤:
S41:使用S33中求出的变换矩阵H对待拼接的第二组图像进行仿射变换,从而获得基准图像对应的拼接图像;
S42:对拼接图像采用渐入渐出融合。
2.根据权利要求1所述的特征点稀疏工件图像的快速拼接方法,其特征在于:所述步骤S31中的HARRIS角点检测算法具体步骤有:步骤(a):构建协方差矩阵M;利用sobel算子计算出图像在水平方向和垂直方向的梯度
2 2
值Ix、Iy,再计算对应的梯度外积Ix、Iy和IxIy,构成协方差矩阵M;
2
步骤(b):获取准角点数据;根据角点响应公式R(i,j)=det(M)‑k(trace(M))来判断该点是否为角点;其中det(M)为协方差矩阵M的行列式的值,trace(M)是协方差矩阵M对角线上元素之和,k为HARRIS角点检测算法的一个经验值取值为0.04~0.06;步骤(c):得出最终角点;在每个准角点的八邻域范围内进行局部非极大值抑制,完成局部非极大值抑制后得到最终角点数据。
3.根据权利要求1所述的特征点稀疏工件图像的快速拼接方法,其特征在于:所述步骤S31中的PCA‑SIFT特征点检测算法具体步骤有:步骤(a):构建高斯尺度空间;对于二维图像I(x,y)在不同尺度下的尺度空间表示L(x,y,σ)由图像I(x,y)与尺度可变高斯函数G(x,y,σ)卷积得到,如下式所示:L(x,y,σ)=G(x,y,σ)*I(x,y);
步骤(b):特征点的检测及定位;在DOG尺度空间上的采样点将与同尺度八邻域点以及上下相邻尺度对应的2×9个点共26个点进行比较,采样点为最大值或最小值时则认为该点是图像在该尺度下的一个特征点;对于图像中的任何点,其DOG响应值能够拟合出轨迹图是图像的特征曲线,对于曲线上的极值点则表示为特征点的特征尺度,通过拟合三维二次函数可精确确定关键点的位置和尺度,尺度空间函数D(x,y,σ)在局部极值点D(x0,y0,σ)处的泰勒展开式如下式所示:T
其中x=(x,y,σ) ,对上式求导并让方程等于零,可得到极值点的偏移量为则对应的极值点的方程为 若 则保留该特征点;
步骤(c):除去不稳定点;由于DOG响应值对于边缘和噪声较为敏感,需要去掉对比度较低的特征点和不稳定的边缘响应点;获取特征点处的Hessian矩阵,主曲率通过一个2×2的Hessian矩阵H求出:在上述Hessian矩阵中有: 其中Tr(H)为矩阵H
的对角线元素之和,Det(H)为矩阵H的行列式的值,α和β为矩阵H的特征值,代表x和y方向的梯度,常数取值r=10;若 则保留该特征点;步骤(d):确定特征点的主方向,使用图像梯度的方法求取局部结构的稳定方向;对于在DOG金字塔中检测出的关键点,采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征;梯度的模值和方向如下:‑1
θ(x,y)=tan ((L(x,y+1)‑L(x,y‑1))/(L(x+1,y)‑L(x‑1,y)))在计算过程中,梯度模值按1.5σ_oct的高斯分布加成,并且使用梯度方向直方图来计算邻域像素的梯度方向,梯度直方图将0~360°的方向分为36个柱,梯度方向直方图的峰值即为特征点的主方向;
步骤(e):基于PCA降维的特征点描述;首先将坐标轴旋转为特征点的方向,然后以特征点为中心取41×41的窗口,计算39×39的窗口内每个像素对水平、垂直两个方向的偏导数,得到一个3042维的向量并归一化;假设有N个特征点,那么所有特征点描述子向量构成一个N×3042的矩阵A,计算矩阵A的协方差矩阵B,再计算协方差矩阵B的特征向量,根据特征根的大小排序,选择对应的前k个特征向量,将这k个向量组成一个3042×k的投影矩阵T,将N×3042的描述子矩阵与投影矩阵T相乘,得到k维的特征点的描述子向量。
4.根据权利要求1所述的特征点稀疏工件图像的快速拼接方法,其特征在于:所述步骤S32中的最邻近距离比值法具体步骤有:取基准图像中的一个特征点DA,并找出其与另一幅图像中欧式距离最近的前两个点DB、DC,并利用最近点的欧氏距离除以次近点的欧式距离,得到的比率少于阈值t则接受这一对最近匹配点,取t=0.6;最邻近距离比值法判别式如下:
5.根据权利要求1所述的特征点稀疏工件图像的快速拼接方法,其特征在于:所述步骤S33中RANSAC剔除误匹配,求出变换矩阵H的具体步骤有:步骤(a):从粗匹配后得到的特征点对集合P中选择4组匹配对,计算初始转换矩阵H0;要实现关键点在两幅图像中的转换,即源图片的像素点与变换矩阵H相乘得到配准图像像素点坐标,对应像素点应该通过包括m=8个数值的转换矩阵H来实现,故计算一次转换矩阵H至少需要4组匹配对进行计算;H以及投影变换式如下:步骤(b):判别匹配对,确定内外点;计算出初始转换矩阵H0后,计算集合P中剩下的N‑4对匹配点与转换矩阵的位置关系,若距离大于某一临界值T,则纳入到外点集合,剩余的其他匹配点均纳入到内点的集合u,得到内点总数C;
步骤(c):循环计算,达到迭代次数终止循环;重复步骤(a)(b)k次,重复集合P中随机选择4组匹配对,计算转换矩阵H,判别记录各转换矩阵H对应的内外点;
步骤(d):剔除误匹配对;把步骤(c)循环中k次计算中集合u元素最多的一次定义为正确匹配组I;
步骤(e):确定最终转换矩阵H;利用上一步得到的正确匹配组I计算出最终转换矩阵H。
6.根据权利要求1所述的特征点稀疏工件图像的快速拼接方法,其特征在于:所述步骤S42中渐入渐出融合方法,具体步骤有:设M1、M2为待拼接图像,M为融合后的图像,则有:
式中,ρ1和ρ2为重合区域对应像素的权重,取ρi=1/w,w为重叠区域宽度,同时有ρ1+ρ2=1,0<ρ1,ρ2<1。
7.一种特征点稀疏工件图像的快速拼接系统,包括分别布置于工件两侧以为取像系统提供光照条件的若干条形光源(3)、用于检测工件的若干个工业相机(5)、安装于工业相机之间的若干个激光器(6)、控制条形光源与激光器的控制器(2)以及电连接所述工业相机从而对所拍摄的图像进行校正的工控机(1);上述快速拼接系统用于实现如权利要求1‑6所述的方法。
8.根据权利要求7所述的特征点稀疏工件图像的快速拼接系统,其特征在于:所述激光器(6)将图案投射在相机视场重合区域的工件上,激光器(6)投射图案可针对所使用的特征点检测算法的特征点检测特性来针对性设计,使投射图案内的特征点具有稳定性和针对性。