利索能及
我要发布
收藏
专利号: 2017112296382
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像拼接方法,其特征在于,所述方法包括:确定两张待拼接图像之间的特征点匹配对;

获取拍摄所述两张待拼接图像的两个相机的内参矩阵和外参信息;

基于所获取的内参矩阵和外参信息,计算所述两张待拼接图像之间的第一单应性矩阵;

根据所述第一单应性矩阵,从所述特征点匹配对中去除错误特征点匹配对,得到第一特征点匹配对;

根据所述第一特征点匹配对与所述第一单应性矩阵,将所述两张待拼接图像拼接成拼接图像;

所述基于所获取的内参矩阵和外参信息,计算所述两张待拼接图像之间的第一单应性矩阵的步骤,包括:根据所获取的外参信息中的两个相机的光心坐标以及光轴方向,确定两个相机的姿态关系以及相对位置关系;根据预设选择规则,从所获取的外参信息中选择与所述姿态关系以及所述相对位置关系对应的外参参数;根据所获取的内参矩阵以及所述外参参数,计算所述两张待拼接图像之间的第一单应性矩阵。

2.根据权利要求1所述的方法,其特征在于,所述根据预设选择规则,从所获取的外参信息中选择与所述姿态关系以及所述相对位置关系对应的外参参数的步骤,包括:当所述姿态关系为两个相机的光轴方向不平行,所述相对位置关系为两个相机的光心之间的距离小于预设光心距离阈值时,从所获取的外参信息中选择两个相机的姿态信息;

所述根据所获取的内参矩阵以及所述外参参数,计算所述两张待拼接图像之间的第一单应性矩阵的步骤,包括:根据两个相机的姿态信息,确定两个相机的旋转矩阵;

根据所确定的旋转矩阵以及所获取的内参矩阵,计算所述两张待拼接图像之间的第一单应性矩阵。

3.根据权利要求1所述的方法,其特征在于,所述根据预设选择规则,从所获取的外参信息中选择与所述姿态关系以及所述相对位置关系对应的外参参数的步骤,包括:当所述姿态为两个相机的光轴方向平行,所述相对位置关系为两个相机的光心之间的距离未小于预设光心距离阈值时,从所获取的外参信息中选择两个相机的光心坐标;

在所述根据所获取的内参矩阵以及所述外参参数,计算所述两张待拼接图像之间的第一单应性矩阵的步骤之前,所述方法还包括:获取所述两个相机的物距,其中,所述两个相机的物距相同;

所述根据所获取的内参矩阵以及所述外参参数,计算所述两张待拼接图像之间的第一单应性矩阵的步骤,包括:根据所述两个相机的光心坐标、所获取的内参矩阵中的一个以及所述两个相机的物距,确定所述两张待拼接图像之间的平移量矩阵,所述平移量矩阵表征所述两张待拼接图像匹配的特征点之间的平移量;

根据所获取的内参矩阵,确定所述两张待拼接图像之间的第二单应性矩阵;

根据所述平移量矩阵和所述第二单应性矩阵,计算所述两张待拼接图像之间的第一单应性矩阵。

4.根据权利要求1所述的方法,其特征在于,所述根据所述第一单应性矩阵,从所述特征点匹配对中去除错误特征点匹配对,得到第一特征点匹配对的步骤,包括:针对每对特征点匹配对,将该特征点匹配对中的一个特征点,通过所述第一单应性矩阵投影至该特征匹配点对中的另一个特征点所在的待拼接图像中,得到投影后的投影点;

计算所述另一个特征点与所述投影点之间的距离;

判断所述距离是否小于预设距离阈值;

如果是,确定该特征点匹配对为第一特征点匹配对;

如果否,将该特征点匹配对作为错误特征点匹配对进行去除。

5.根据权利要求1所述的方法,其特征在于,在所述根据所述第一单应性矩阵,从所述特征点匹配对中去除错误特征点匹配对,得到第一特征点匹配对的步骤之前,所述方法还包括:从所述特征点匹配对中去除错误特征点匹配对,得到第二特征点匹配对;

根据所述第二特征点匹配对,计算所述两张待拼接图像之间的第三单应性矩阵;

判断所述第一单应性矩阵与所述第三单应性矩阵之间是否满足相似度条件;

如果是,执行所述根据所述第一单应性矩阵,从所述特征点匹配对中去除错误特征点匹配对,得到第一特征点匹配对的步骤。

6.根据权利要求5所述的方法,其特征在于,所述判断所述第一单应性矩阵与所述第三单应性矩阵之间是否满足相似度条件的步骤,包括:判断所述第一单应性矩阵与所述第三单应性矩阵之间的矩阵相似度是否小于第一预设相似度阈值;

和/或,

判断所述第一单应性矩阵与所述第三单应性矩阵中表征旋转透视关系的元素之间的元素相似度是否小于第二预设相似度阈值。

7.一种图像拼接装置,其特征在于,所述装置包括:确定模块,用于确定两张待拼接图像之间的特征点匹配对;

获取模块,用于获取拍摄所述两张待拼接图像的两个相机的内参矩阵和外参信息;

第一单应性矩阵计算模块,用于基于所获取的内参矩阵和外参信息,计算所述两张待拼接图像之间的第一单应性矩阵;

第一特征点匹配对确定模块,用于根据所述第一单应性矩阵,从所述特征点匹配对中去除错误特征点匹配对,得到第一特征点匹配对;

拼接模块,用于根据所述第一特征点匹配对与所述第一单应性矩阵,将所述两张待拼接图像拼接成拼接图像;

所述第一单应性矩阵计算模块,包括:

关系确定单元,用于根据所获取的外参信息中的两个相机的光心坐标以及光轴方向,确定两个相机的姿态关系以及相对位置关系;

外参参数确定单元,用于根据预设选择规则,从所获取的外参信息中选择与所述姿态关系以及所述相对位置关系对应的外参参数;

第一计算单元,用于根据所获取的内参矩阵以及所述外参参数,计算所述两张待拼接图像之间的第一单应性矩阵。

8.根据权利要求7所述的装置,其特征在于,所述外参参数确定单元,具体用于:当所述姿态关系为两个相机的光轴方向不平行,所述相对位置关系为两个相机的光心之间的距离小于预设光心距离阈值时,从所获取的外参信息中选择两个相机的姿态信息;

所述第一计算单元,包括:

旋转矩阵确定子单元,用于根据两个相机的姿态信息,确定两个相机的旋转矩阵;

第一计算子单元,用于根据所确定的旋转矩阵以及所获取的内参矩阵,计算所述两张待拼接图像之间的第一单应性矩阵。

9.根据权利要求7所述的装置,其特征在于,所述外参参数确定单元,具体用于:当所述姿态为两个相机的光轴方向平行,所述相对位置关系为两个相机的光心之间的距离未小于预设光心距离阈值时,从所获取的外参信息中选择两个相机的光心坐标;

所述装置还包括:

物距获取模块,用于在根据所获取的内参矩阵以及所述外参参数,计算所述两张待拼接图像之间的第一单应性矩阵之前,获取所述两个相机的物距,其中,所述两个相机的物距相同;

所述第一计算单元,包括:

平移量矩阵确定子单元,用于根据所述两个相机的光心坐标、所获取的内参矩阵中的一个以及所述两个相机的物距,确定所述两张待拼接图像之间的平移量矩阵,所述平移量矩阵表征所述两张待拼接图像匹配的特征点之间的平移量;

第二单应性矩阵确定子单元,用于根据所获取的内参矩阵,确定所述两张待拼接图像之间的第二单应性矩阵;

第二计算子单元,用于根据所述平移量矩阵和所述第二单应性矩阵,计算所述两张待拼接图像之间的第一单应性矩阵。

10.根据权利要求7所述的装置,其特征在于,所述第一特征点匹配对确定模块,包括:投影点确定单元,用于针对每对特征点匹配对,将该特征点匹配对中的一个特征点,通过所述第一单应性矩阵投影至该特征匹配点对中的另一个特征点所在的待拼接图像中,得到投影后的投影点;

距离计算单元,用于计算所述另一个特征点与所述投影点之间的距离;

判断单元,用于判断所述距离是否小于预设距离阈值,如果是,触发确定单元,如果否,触发去除单元;

所述确定单元,用于确定该特征点匹配对为第一特征点匹配对;

所述去除单元,用于将该特征点匹配对作为错误特征点匹配对进行去除。

11.根据权利要求7所述的装置,其特征在于,所述装置还包括:第二特征点匹配对确定模块,用于在所述根据所述第一单应性矩阵,从所述特征点匹配对中去除错误特征点匹配对,得到第一特征点匹配对之前,从所述特征点匹配对中去除错误特征点匹配对,得到第二特征点匹配对;

第三单应性矩阵确定模块,用于根据所述第二特征点匹配对,计算所述两张待拼接图像之间的第三单应性矩阵;

判断模块,用于判断所述第一单应性矩阵与所述第三单应性矩阵之间是否满足相似度条件,如果是,触发所述第一特征点匹配对确定模块。

12.根据权利要求11所述的装置,其特征在于,所述判断模块,具体用于:判断所述第一单应性矩阵与所述第三单应性矩阵之间的矩阵相似度是否小于第一预设相似度阈值;

和/或,

判断所述第一单应性矩阵与所述第三单应性矩阵中表征旋转透视关系的元素之间的元素相似度是否小于第二预设相似度阈值。

13.一种电子设备,其特征在于,包括处理器和存储器,其中,存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的计算机程序时,实现权利要求1‑6任一所述的方法步骤。