利索能及
我要发布
收藏
专利号: 2017103158400
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种自动矫直的图像拼接方法,其特征在于:所述方法包括:

(1)使用A-KAZE算法对目标图像及参考图像分别进行特征点提取;

(2)将步骤(1)中提取的特征点进行匹配,完成图像配准;

(3)根据步骤(2)中图像配准结果,使用基于拼接缝的拉普拉斯多分辨率融合算法进行图像融合,得到融合图像;

(4)对步骤(3)所述融合图像进行自动矫直,包括:

(x1)记录融合图像左上、左下、右上和右下4个顶点坐标,分别为(a.x,a.y)、(b.x,b.y)、(c.x,c.y)和(d.x,d.y);

(x2)设定矫直后的4个顶点坐标,左上顶点坐标为(a.x,a.y),左下顶点坐标为(b.x,b.y),右上和右下坐标分别为(X,a.y),(X,b.y),X为估计出的矫直后的全景图长度;

(x3)根据步骤(x1)及步骤(x2)中4对坐标点建立方程组,计算出变换矩阵XM,将变换矩阵XM作用在融合图像,对融合图像进行双线性插值完成图像矫直,得到自动矫直图像;

其中,X=MAX(c.x,d.x)-a.x;

所述步骤(3)中改进的基于拼接缝的拉普拉斯多分辨率融合算法包括使用动态规划的方法寻找最优拼接缝,根据最优拼接缝限定融合范围,最后使用拉普拉斯多分辨率融合算法在融合范围内进行融合;

步骤(3)中寻找最优拼接缝包括:

(A)建立能量公式:T(i,j)=α·EC(i,j)+β·EG(i,j)2;

(B)以重叠区域交叉点P为起始点,将P点作为拼接缝的第一个像素值,根据步骤(A)中能量公式计算P点的能量值T1;

(C)继续向下一行搜索,搜索方向分别为P点正下方、左下方45度和右下方45度,计算P点下一行中正下方像素点的能量值T2、左下方45度像素点的能量值T3和右下方45度像素点的能量值T4,取T2至T4中最小值对应的像素点P′为该拼接缝的搜索点,令P=P′返回重复执行步骤(C);

(D)将搜索到最后一行获得的搜索点集合作为最优拼接缝;

其中,EC代表拼接缝周围5×5区域像素的色调ECH,饱和度ECS和亮度之差ECR;EC=ECH+ECS+ECR,;EG代表

拼接缝周围5×5区域的纹理差;α和β是权重值,α+β=1,α值为0.79,β值为0.21。

2.根据权利要求1所述的自动矫直的图像拼接方法,其特征在于:融合范围的确定包括:(a)计算最优拼接缝的最小外接矩形的左边界xmin和右边界xmax,设置限定范围ξ,20≤ξ≤40;

(b)根据限定范围ξ确定限定的融合区域R′,包括限定范围ξ设定一个最优拼接缝的外接矩形R,限定的融合区域矩形R′,矩形R′的左边界为xmin-ξ、右边界为xmax+ξ;

(c)限定的融合区域矩形R′为融合范围。

3.根据权利要求2所述的自动矫直的图像拼接方法,其特征在于:所述ξ=30。

4.根据权利要求1所述的自动矫直的图像拼接方法,其特征在于:所述拉普拉斯多分辨率融合算法在融合范围内进行融合包括:(1a)建立拼接缝图像的权值图像IR,拼接缝左侧用像素值0填充,拼接缝右侧用像素值

255填充;

(1b)将目标图像I1和配准后参考图像I2扩充到与权值图像IR尺寸一致,扩展部分赋予像素值0;

(1c)分别在步骤(1a)及步骤(1b)中的三幅尺寸相同的目标图像I1、配准后参考图像I2及权值图像IR中设置所述限定的融合区域矩形R′内的图像,分别为I′1、I′2及I′R;

(1d)根据拉普拉斯分解法,分别对步骤(1c)中所述I′1和I′2进行分解,得出对应的拉普拉斯金字塔L1及拉普拉斯金字塔L2,构建I′1及I′2的高斯金字塔:构建拉普拉斯金字塔:

通过Gl+1升采样得到 与Gl;

(1e)对权值图像IR采用高斯扩展处理,求解权值图像IR的高斯金字塔为GR;

(1f)根据LSl(i,j)对I′1和I′2两幅图像的拉普拉斯金字塔对应的层进行融合,得到各层融合图像:(1g)根据步骤(1f)得到拉普拉斯金字塔的各层融合图像,通过重构方法获得融合后的图像:其中,1≤l≤N,0≤i<Rl,0≤j<Cl, 为5×5的二维可分离窗口函数,h(·)是高斯密度分布函数, 与Gl尺寸大小相同。

5.根据权利要求1所述的自动矫直的图像拼接方法,其特征在于:所述步骤(1)总特征点提取包括使用A-KAZE算法对目标图像及参考图像分别进行特征点提取,建立特征描述子集合,具体包括:(1A)构造使用快速显示扩散算法构建非线性尺度空间;

(1B)进行特征点检测与定位,包括根据步骤(1A)中非线性尺度空间计算出在不同非线i i性尺度下的滤波图像L 的海森矩阵LHessian,然后利用特征值判断极值,完成特征点检测与定位,得到特征点位置,其中海森矩阵LiHessian为:(1C)进行特征点描述,包括根据步骤(1B)中的特征点位置,以特征点位置为圆心,搜索半径为6σi的圆形区域内搜索主方向,对圆形区域内的所有像素点的一阶微分值进行高斯加权,将高斯加权结果值作为图像像素点的响应值,在面积为π/3的扇形区域滑动窗口内,对所述扇形区域滑动窗口内所有的响应值求和,使用扇形滑动窗口遍历圆形区域,响应和最大的方向即为特征点的主方向完成特征点描述;

(1D)根据步骤(1C)获得的特征点的描述信息,采用二进制描述子,对特征点进行描述,建立特征描述子集合;

其中,σi为特征点的尺度参数, σi,norm为对应组中图像的尺度归一化比例因子。

6.根据权利要求1所述的自动矫直的图像拼接方法,其特征在于:步骤(2)特征点匹配包括从目标图像及参考图像中获得的特征描述子集合,构建KD-tree,建立特征点数据索引,使用双向KNN匹配算法进行特征点匹配,得到集合C,集合C中的匹配对为初始匹配的结果,对初始匹配结果使用RANSAC算法剔除外点保留内点,计算目标图像及参考图像间的仿射变换矩阵H,将目标图像及参考图像统一到同一坐标系下,得出配准图像,完成图像配准,其中构建KD-tree包括:①确定分割域,将所述特征点位置坐标设定为二维数据点,分别计算特征点位置坐标在X维度及Y维度上的方差,取方差最大对应的维度作为当前分割域进行分割;

②确定当前节点,将特征描述子集合中的特征点位置坐标按方差最大的维度进行排序,选取排序中的中值作为当前节点,并使用当前节点分割空间域得到左子空间及右子空间,所述左子空间为小于节点值的坐标,所述右子空间为大于节点值的坐标;

③根据步骤②中包含于左子空间的坐标及右子空间的坐标为新的特征描述子集合,按照步骤①及步骤②进行迭代划分,直到数据集中的特征点数据为空,获得初始匹配结果。

7.根据权利要求6所述的自动矫直的图像拼接方法,其特征在于:所述RANSAC算法包括:(I)根据步骤③的初始匹配结果中的N个匹配对中随机选取r个点对集合,所述r个对集合输入图像的特征点对构成一个可逆矩阵,计算仿射变换矩阵H为:其中,目标图像及参考图像间的仿射变换矩阵关系为:

将参考图像点(x′i,y′i)和目标图像点(xi,yi)匹配对应,得出匹配特征点集合,根据匹配特征点集合中r对匹配特征点计算出仿射变换矩阵H;

(II)给定距离阀值,根据步骤(I)中仿射变换矩阵H,计算目标图像剩余特征点进行仿射变换矩阵H变换的特征点值与参考图像剩余特征点之间的距离为D1,D1小于距离阈值,当前剩余特征点的匹配特征点为内点;D1大于给定距离阈值,当前剩余特征点的匹配特征点为外点,所述参考图像剩余特征点与目标图像剩余特征点匹配;

(III)重复步骤(I)和步骤(II)n次,计算每次的内点数量,完成第n次重复后,取n次中最大内点数与所述最大内点数对应的仿射变换矩阵H,设定最大内点数为内点集;

其中,r为正整数,θ为图像旋转角度,u,v为图像沿x轴与y轴方向的水平位移,n为正整数。

8.根据权利要求7所述的自动矫直的图像拼接方法,其特征在于:所述n=300,r=3。