利索能及
我要发布
收藏
专利号: 2017114450962
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像拼接方法,其特征在于,所述方法包括:

获取基础拼接图像和至少一张待拼接图像;

提取所述基础拼接图像和所述至少一张待拼接图像的特征点;

对所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配,确定多个匹配特征点对;

根据确定的多个匹配特征点对中特征点的坐标,计算每一待拼接图像针对所述基础拼接图像的单应矩阵;

根据每一待拼接图像的单应矩阵,确定每一待拼接图像的重叠区域;

根据匹配特征点对的重投影误差,对每一待拼接图像的重叠区域进行第一网格建立;

对于每一待拼接图像的每一第一网格,根据该第一网格的权值,调整该待拼接图像的单应矩阵,获得该第一网格的单应矩阵;

根据每一待拼接图像的单应矩阵和每一第一网格的单应矩阵,拼接所述基础拼接图像和所述至少一张待拼接图像;

所述根据匹配特征点对的重投影误差,对每一待拼接图像的重叠区域进行第一网格建立的步骤,包括:从每一待拼接图像对应的所有匹配特征点对的重投影误差中,获取最大重投影误差和最小重投影误差;

根据最大重投影误差和最小重投影误差,对每一待拼接图像的重叠区域进行第一网格建立;

所述对于每一待拼接图像的每一第一网格,根据该第一网格的权值,调整该待拼接图像的单应矩阵,获得该第一网格的单应矩阵的步骤,包括:对于每一待拼接图像的每一第一网格,根据该第一网格的权值,确定该第一网格内特征点所在匹配特征点对的权值;

对于每一待拼接图像的每一第一网格,根据该第一网格的权值,确定该第一网格外特征点所在匹配特征点对的权值;

对于每一待拼接图像的每一第一网格,根据该第一网格内特征点所在匹配特征点对的权值和该第一网格外特征点所在匹配特征点对的权值,调整该待拼接图像的单应矩阵,将调整后的单应矩阵作为该第一网格的单应矩阵。

2.根据权利要求1所述的方法,其特征在于,所述提取所述基础拼接图像和所述至少一张待拼接图像的特征点的步骤,包括:依据尺度不变特征变换SIFT算法提取所述至少一张待拼接图像和所述基础拼接图像中的特征点。

3.根据权利要求1所述的方法,其特征在于,所述对所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配,确定多个匹配特征点对的步骤,包括:对于所述至少一张待拼接图像和所述基础拼接图像中每一张图像的每一特征点,计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离;所述其他图像为所述至少一张待拼接图像和所述基础拼接图像中除该图像外的图像;将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。

4.根据权利要求3所述的方法,其特征在于,在对所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配之前,所述方法还包括:对于提取的每一特征点,利用该特征点邻域像素的梯度信息建立360度梯度直方图,获得该特征点在空间上的描述算子;归一化该特征点的描述算子。

5.根据权利要求1所述的方法,其特征在于,所述根据每一待拼接图像的单应矩阵,确定每一待拼接图像的重叠区域的步骤,包括:对于每一待拼接图像,采用以下步骤确定该待拼接图像的重叠区域:确定该待拼接图像的四个顶点在所述基础拼接图像所在平面上的横坐标和纵坐标;

确定匹配图像的四个顶点在所述基础拼接图像所在平面上的横坐标和纵坐标;所述匹配图像为与该待拼接图像的特征点组成匹配特征点对的特征点所在的图像;

确定第一横坐标、第二横坐标、第一纵坐标和第二纵坐标;所述第一横坐标为该待拼接图像四个顶点的最小横坐标和所述匹配图像四个顶点的最小横坐标中的最大值;所述第二横坐标为该待拼接图像四个顶点的最大横坐标和所述匹配图像四个顶点的最大横坐标中的最小值;所述第一纵坐标为该待拼接图像四个顶点的最小纵坐标和所述匹配图像四个顶点的最小纵坐标中的最大值;所述第二纵坐标为该待拼接图像四个顶点的最大纵坐标和所述匹配图像四个顶点的最大纵坐标中的最小值;

由所述第一横坐标、所述第二横坐标、所述第一纵坐标和所述第二纵坐标,确定该待拼接图像与所述匹配图像的重叠区域。

6.根据权利要求1所述的方法,其特征在于,所述根据最大重投影误差和最小重投影误差,对每一待拼接图像的重叠区域进行第一网格建立的步骤,包括:对于每一待拼接图像,根据以下公式,对该待拼接图像的重叠区域进行第一网格建立:其中,△hi为该待拼接图像的第i个第一网格内特征点所在匹配特征点对的重投影误差,△hmin为获取的该待拼接图像对应的最小重投影误差,△hmax为获取的该待拼接图像对应的最大重投影误差,N为正整数;i的取值范围为0~N‑1。

7.根据权利要求1所述的方法,其特征在于,所述根据该第一网格的权值,确定该第一网格内特征点所在匹配特征点对的权值的步骤,包括:对于该第一网格内的每一特征点,通过以下公式确定该特征点所在匹配特征点对的权值:其中,w*为该特征点所在匹配特征点对的权值,γ为该第一网格的权值,γ的取值范围为0~1,M为该第一网格内包括在匹配特征点对中的特征点的个数。

8.根据权利要求1所述的方法,其特征在于,所述根据每一待拼接图像的单应矩阵和每一第一网格的单应矩阵,拼接所述基础拼接图像和所述至少一张待拼接图像的步骤,包括:根据预设参数,对每一待拼接图像的非重叠区域进行第二网格建立;所述非重叠区域为每一待拼接图像中除重叠区域外的区域;

对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值比例,调整该待拼接图像的单应矩阵,获得该第二网格的单应矩阵;

根据每一第一网格的单应矩阵和每一第二网格的单应矩阵,拼接所述基础拼接图像和所述至少一张待拼接图像。

9.根据权利要求8所述的方法,其特征在于,所述对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值比例,调整该待拼接图像的单应矩阵,获得该第二网格的单应矩阵的步骤,包括:对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值比例,确定该第二网格相邻的其他第二网格的权值;

对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值,调整该待拼接图像的单应矩阵,将调整后的单应矩阵作为该第二网格的单应矩阵。

10.根据权利要求9所述的方法,其特征在于,所述根据该第二网格相邻的其他第二网格的权值比例,确定该第二网格相邻的其他第二网格的权值的步骤,包括:根据以下公式,确定该第二网格相邻的其他第二网格的权值:

其中,wj为该第二网格相邻的第j个其他第二网格的权值,Qj为该第二网格相邻的第j个其他第二网格的权值比例,Qi为该第二网格相邻的第i个其他第二网格的权值比例,S为与该第二网格相邻的其他第二网格的总个数。

11.根据权利要求8‑10任一项所述的方法,其特征在于,每一第二网络的大小相等。

12.一种图像拼接装置,其特征在于,所述装置包括:

获取单元,用于获取基础拼接图像和至少一张待拼接图像;

提取单元,用于提取所述基础拼接图像和所述至少一张待拼接图像的特征点;

匹配单元,用于对所述至少一张待拼接图像和所述基础拼接图像中每两张图像的特征点进行匹配,确定多个匹配特征点对;

计算单元,用于根据确定的多个匹配特征点对中特征点的坐标,计算每一待拼接图像针对所述基础拼接图像的单应矩阵;

确定单元,用于根据每一待拼接图像的单应矩阵,确定每一待拼接图像的重叠区域;

建立单元,用于根据匹配特征点对的重投影误差,对每一待拼接图像的重叠区域进行第一网格建立;

调整单元,用于对于每一待拼接图像的每一第一网格,根据该第一网格的权值,调整该待拼接图像的单应矩阵,获得该第一网格的单应矩阵;

拼接单元,用于根据每一待拼接图像的单应矩阵和每一第一网格的单应矩阵,拼接所述基础拼接图像和所述至少一张待拼接图像;

所述建立单元,包括:

获取子单元,用于从每一待拼接图像对应的所有匹配特征点对的重投影误差中,获取最大重投影误差和最小重投影误差;

第一建立子单元,用于根据最大重投影误差和最小重投影误差,对每一待拼接图像的重叠区域进行第一网格建立;

所述调整单元,包括:

第五确定子单元,用于对于每一待拼接图像的每一第一网格,根据该第一网格的权值,确定该第一网格内特征点所在匹配特征点对的权值;

第六确定子单元,用于对于每一待拼接图像的每一第一网格,根据该第一网格的权值,确定该第一网格外特征点所在匹配特征点对的权值;

第一调整子单元,用于对于每一待拼接图像的每一第一网格,根据该第一网格内特征点所在匹配特征点对的权值和该第一网格外特征点所在匹配特征点对的权值,调整该待拼接图像的单应矩阵,将调整后的单应矩阵作为该第一网格的单应矩阵。

13.根据权利要求12所述的装置,其特征在于,所述提取单元,具体用于:依据尺度不变特征变换SIFT算法提取所述至少一张待拼接图像和所述基础拼接图像中的特征点。

14.根据权利要求12所述的装置,其特征在于,所述匹配单元,具体用于:对于所述至少一张待拼接图像和所述基础拼接图像中每一张图像的每一特征点,计算其他图像的特征点的描述算子与该特征点的描述算子间的欧式距离;所述其他图像为所述至少一张待拼接图像和所述基础拼接图像中除该图像外的图像;将该特征点与欧式距离最小的描述算子对应的特征点构成匹配特征点对。

15.根据权利要求14所述的装置,其特征在于,所述装置还包括:获得单元,用于对于提取的每一特征点,利用该特征点邻域像素的梯度信息建立360度梯度直方图,获得该特征点在空间上的描述算子;

归一化单元,用于对于提取的每一特征点,归一化该特征点的描述算子。

16.根据权利要求12所述的装置,其特征在于,所述确定单元,具体用于对于每一待拼接图像,确定该待拼接图像的重叠区域,包括:第一确定子单元,用于确定该待拼接图像的四个顶点在所述基础拼接图像所在平面上的横坐标和纵坐标;

第二确定子单元,用于确定匹配图像的四个顶点在所述基础拼接图像所在平面上的横坐标和纵坐标;所述匹配图像为与该待拼接图像的特征点组成匹配特征点对的特征点所在的图像;

第三确定子单元,用于确定第一横坐标、第二横坐标、第一纵坐标和第二纵坐标;所述第一横坐标为该待拼接图像四个顶点的最小横坐标和所述匹配图像四个顶点的最小横坐标中的最大值;所述第二横坐标为该待拼接图像四个顶点的最大横坐标和所述匹配图像四个顶点的最大横坐标中的最小值;所述第一纵坐标为该待拼接图像四个顶点的最小纵坐标和所述匹配图像四个顶点的最小纵坐标中的最大值;所述第二纵坐标为该待拼接图像四个顶点的最大纵坐标和所述匹配图像四个顶点的最大纵坐标中的最小值;

第四确定子单元,用于由所述第一横坐标、所述第二横坐标、所述第一纵坐标和所述第二纵坐标,确定该待拼接图像与所述匹配图像的重叠区域。

17.根据权利要求12所述的装置,其特征在于,所述第一建立子单元,具体用于:对于每一待拼接图像,根据以下公式,对该待拼接图像的重叠区域进行第一网格建立:其中,△hi为该待拼接图像的第i个第一网格内特征点所在匹配特征点对的重投影误差,△hmin为获取的该待拼接图像对应的最小重投影误差,△hmax为获取的该待拼接图像对应的最大重投影误差,N为正整数;i的取值范围为0~N‑1。

18.根据权利要求12所述的装置,其特征在于,所述第五确定子单元,具体用于:对于每一待拼接图像的每一第一网格内的每一特征点,通过以下公式确定该特征点所在匹配特征点对的权值:其中,w*为该特征点所在匹配特征点对的权值,γ为该第一网格的权值,γ的取值范围为0~1,M为该第一网格内包括在匹配特征点对中的特征点的个数。

19.根据权利要求12所述的装置,其特征在于,所述拼接单元,包括:第二建立子单元,用于根据预设参数,对每一待拼接图像的非重叠区域进行第二网格建立;所述非重叠区域为每一待拼接图像中除重叠区域外的区域;

第二调整子单元,用于对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值比例,调整该待拼接图像的单应矩阵,获得该第二网格的单应矩阵;

拼接子单元,用于根据每一第一网格的单应矩阵和每一第二网格的单应矩阵,拼接所述基础拼接图像和所述至少一张待拼接图像。

20.根据权利要求19所述的装置,其特征在于,所述第二调整子单元,具体用于:对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值比例,确定该第二网格相邻的其他第二网格的权值;

对于每一待拼接图像的每一第二网格,根据该第二网格相邻的其他第二网格的权值,调整该待拼接图像的单应矩阵,将调整后的单应矩阵作为该第二网格的单应矩阵。

21.根据权利要求20所述的装置,其特征在于,所述第二调整子单元,具体用于:对于每一待拼接图像的每一第二网格,根据以下公式,确定该第二网格相邻的其他第二网格的权值:其中,wj为该第二网格相邻的第j个其他第二网格的权值,Qj为该第二网格相邻的第j个其他第二网格的权值比例,Qi为该第二网格相邻的第i个其他第二网格的权值比例,S为与该第二网格相邻的其他第二网格的总个数。

22.根据权利要求19‑21任一项所述的装置,其特征在于,每一第二网络的大小相等。

23.一种电子设备,其特征在于,包括处理器和存储器;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的计算机程序,实现权利要求1‑11任一所述的方法步骤。