利索能及
我要发布
收藏
专利号: 202210640221X
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,包括以下步骤:

第一步,接收图像数据,并合成多波段图像;

同时获取多波段图像对应的经纬度POS信息,并剔除经纬高数据异常值;

第二步,根据第一步中对应的经纬度POS信息进行图像的几何校正预处理,得到校正图像;

第三步,基于图像对应的经纬度POS信息和偏航角信息,计算地理坐标投影信息,并对第二步中的校正图像添加地理坐标投影信息;

第四步,按照拼接策略选取无人机图像序列,根据第三步中的地理坐标投影信息,进行图像的粗配准,得到平移变换矩阵和两幅配准图像;

粗配准的过程如下:

在拼接的前几轮使用帧到帧拼接策略,后续选择拼接图到拼接图的拼接策略以完成图像的拼接;

获取同一航线上相邻的图像 和图像 ,图像左上角的地理坐标分别为 和,以图像 为基准,求得图像 相对于图像 的偏移量;

所述偏移量的计算公式如下:

(15)

根据偏移量,将几何校正后的图像 和图像 分别绕 和 旋转 度至航线方向,图像中的任一点在图像 中的图像坐标的计算公式如下:(16)

其中, 表示平移变化矩阵;

配准图像的仿射矩阵参数的左上角像元地理坐标 的计算公式如下:(17);

配准图像的地面分辨率 和 均保持不变;

第五步,根据第四步中的配准图像,利用计算机图形学知识,计算出重叠区域位置,并抠取重叠区域图像,得到待拼接图像;

第六步,利用主成分分析法PCA对第五步中的待拼接图像提取第一主成分图像,并对第一主成分图像构建尺度不变特征模型SIFT,以获取第一主成分图像的特征点;

第七步,判断第六步中的特征点数量,若数量少于N个,将第四步中的平移变换矩阵作为后期的单应性变化矩阵;

否则采用查询索引KD树方式,建立一对多假设匹配集,并以空间距离作为第六步中特征点的相似性评估指标,筛选出符合要求的匹配点;并使用距离直方图约束全局相似属性来剔除误匹配点对,计算单应性变换矩阵;

第八步,对第四步中的两幅配准图像构建基于拉普拉斯Laplacian金字塔的多分辨率融合模型,并结合第七步中的单应性变换矩阵,对第四步中的两幅配准图像进行融合,实现无人机遥感多光谱图像的拼接;

之后返回第四步,直到完成所有序列图像的拼接后退出。

2.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第一步中,多波段图像的合成方法如下:接收无人机遥感的多光谱图像,并将同时刻拍摄的同一位置的单波段图像进行合成,得到多波段图像;

并根据获取单波段图像对应的经纬度POS信息剔除起飞和返航时的经纬高数据异常值;

所述经纬度POS信息包括经度 、纬度 、航高 、航向角 、俯仰角 、滚转角 、地面分辨率ϵ以及测量系统的地理坐标系和投影坐标系;

地面分辨率ϵ的计算公式如下:

(1)。

3.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第二步中,几何校正的方法包括以下内容:步骤21,建立图像坐标系 ,相机坐标系 ,机体坐标系 ,地理坐标系 ;

步骤22,对步骤21中的图像坐标系选择以像主点为原点,沿飞行方向为 轴的正方向,垂直于飞行方向为 轴的正方向时,根据相机与机体的相对位置关系及无人机的飞行姿态,进行图像坐标系下像点 与地理坐标系下对应物点 的变化关系转换;

变化关系转换的计算公式如下:

(2)

其中,f为焦距,用于表示图像坐标系与相机坐标系在Z轴方向的平移量;

步骤23,由于相机的镜头光心与无人机的质心重合,且相机坐标轴系经过平移后与机体坐标系完全重合,即 为单位矩阵;

根据步骤22中的平移量,构建相机成像模型,其计算公式如下:(3)

其中, ,为比例系数,即 ;

在正直摄影条件下,遥感图像中像点 与校正后的像点 的满足关系式如下:

(4)

其中, 分别为基于俯仰角的校正旋转矩阵、基于滚动角的校正旋转矩阵、基于偏航角角的校正旋转矩阵、基于航高的校正矩阵;

步骤24,对步骤23中的 分别建立俯仰角校正矩阵、滚动角校正矩阵、偏航角校正矩阵、高度校正矩阵,得到校正数学模型;

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

其中,表示任一像素点和焦点的连线与中心视轴之间的夹角;

步骤25,根据步骤24中的校正数学模型,计算图像四角坐标校正后的新坐标,通过旧坐标与新坐标求出变换矩阵,并采用双线性插值重采样方法计算出新的校正图像,完成图像的几何校正,并更新图像的地理坐标信息。

4.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第三步中,地理坐标投影信息的计算方法如下:利用仿射矩阵参数对遥感图像坐标与地理坐标进行转换,其包括6个参数,分别为,描述的是图像行列号和地理坐标之间的关系,其中, 、 表示图像左上角像元的地理投影坐标, 、 分别表示图像像元在经度、维度方向的地面分辨率, 表示图像旋转角度的正弦值;

将图像绕中心 点顺时针旋转 度,然后根据无人机记录的经纬度经过坐标投影计算得到 点坐标 ,则图像左上角像点 坐标的计算公式如下:(13)

其中w和h分别表示图像尺寸的宽和高;

地面分辨率 ,此时 = ;

图像坐标系下任一点 的地理坐标 的计算公式如下:(14)。

5.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第五步中,抠取重叠区域图像,包括以下内容:步骤51,将图像 和 分别绕 和 旋转 度至航线方向;

步骤52,步骤51中的旋转完成后,根据计算机图形学知识,计算出图像 四角构成的四边形 与图像 四角构成的四边形 的多边形重叠区域;

步骤53,在步骤52中的多边形重叠区域向外添加一定偏置 ,最终获得多边形重叠区域ABCD的坐标;

步骤54,利用步骤53中的多边形重叠区域ABCD的坐标制作掩膜图像,从图像 和 中获得只含重叠区域的图像,记为图像 和 。

6.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第六步中,构建第一主成分图像的尺度不变特征变换SIFT模型的方法如下:步骤61,输入大小为 ,波段数为 的多光谱图像矩阵 ,将 重组为 行 列矩阵,对 每一列进行归一化得到 ;

的计算公式如下:

(18)

步骤62,根据步骤61中的 ,计算协方差矩阵 ;

协方差矩阵 的计算公式如下:

(19)

步骤63,计算步骤62中的协方差矩阵 最大特征值对应的特征向量 ;

步骤64,对重组图像的 提取步骤63中的特征向量 的主成分图像,并重组为大小的图像 ;

图像 的计算公式如下:

(20)

步骤65,将步骤64中的主成分图像作为尺度不变特征变换SIFT特征点提取的输入,然后进行构建DOG尺度空间、检测DOG尺度空间的极值点,删除不稳定的特征点、对特征点方向进行赋值和生成特征点描述子;

所述构建DOG尺度空间,包括以下内容:通过对源图像进行高斯模糊和降采样得到图像金字塔,降采样的计算公式如下:(21)

其次对图像金字塔的每层图像使用不同的 参数进行高斯模糊,得到的多张模糊过图像构成了高斯金字塔,其计算公式如下:(22)

(23)

然后将相邻的两个高斯空间的图像相减得到DOG图像,其计算公式如下:(24)

式中, 表示降采样,其中 ; 表示源图像, 表示原图像卷积后的高斯尺度空间, 代表卷积运算,表示高斯卷积核的尺度因子; 表示高斯核函数,代表卷积核的大小;表示相邻尺度空间的比例因子,取 ;

检测DOG尺度空间的极值点,包括以下内容:将每个像素点与同一尺度领域的8个像素点和上下相邻的尺度的18个像素点进行比较,只有当该像素点的DOG值全部大于或小于对比的26个像素点的DOG值时,该像素点是DOG尺度空间上一个极值点;

删除不稳定的特征点,包括以下内容:首先,为了得到极值点的精确位置,需要对离散空间进行像素差值,然后通过类比拟合三维二次函数以得到极值点精确位置,最后剔除低对比度的极值点;

同时,对边缘响应大的极值点进行舍弃;

对特征点方向进行赋值,包括以下内容:计算每个特征点的模 和方向 的计算公式如下:(25)

(26)

式中, 是特征点所在的尺度空间值;以特征点为中心,计算以 为半径的邻域梯度幅值和方向,利用直方图统计领域像素点的梯度方向分布,将梯度方向从 分成36等份,把直方图中主峰值的所在方向确定为该特征点的主方向,若存在一个等份方向的峰值大于主峰值80%时,则将该等份方向作为该特征点的辅方向;

生成特征点描述子,包括以下内容:

将该区域的图像坐标轴旋转到与特征点梯度方向重合;

然后取以特征点为中心的 大小的邻域窗口,计算每一个像素的梯度,距离特征点越近则权值越大,子区域的像素梯度按照 来进行高斯加权,权重计算公式如下;

(27)

再将该区域细分为 个子区域,通过对梯度值进行加权的方法统计每个子区域中8个方向的梯度直方图,形成8位的向量描述,这将构成一个 维的描述向量,最后将这些向量归一化后,即为尺度不变特征变换SIFT特征点的描述符。

7.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第七步中,匹配点的筛选方法如下:采用查询索引KD树方式,通过空间距离选择与图像 中每个特征点最接近的图像 中的 个特征匹配点形成一对多的假设匹配集,并采取空间距离作为特征点相似性的评估指标,空间距离包括欧氏距离 和像素坐标距离 的加权和,其计算公式如下:(12)

(13)

其中, 和 分别为两个特征点的特征描述子向量;

和 为像素点位置坐标;

计算每个特征点与假设匹配集点的空间距离 ,其计算公式如下:(14)

其中,为匹配点的像素坐标距离项影响因子;

匹配筛选策略采用最近邻空间距离与次近邻空间距离之比,其计算公式如下:(15)

其中 为最近空间距离, 次近空间距离;当 ,是预先确定的比值,则两个角点互为匹配点对,实现对所有的特征点进行粗匹配;

对于局部相似属性的特征点,匹配点的筛选过程如下:计算匹配点对间的距离,将距离值的最大最小值均匀的分为10个区间,每个区间的频率为 ,则峰值区间的频率为 ,对应的区间为第 个,在区间中的匹配点对是正确匹配点对,该匹配点对集为寻找的精确匹配点对;

再根据随机抽样一致RANSAC算法消除错误特征点对,从而计算出单应性变化矩阵,用单应性变换矩阵乘以图像得到待融合图像。

8.如权利要求1所述的一种面向水域的无人机遥感多光谱图像拼接方法,其特征在于,所述第八步中,基于拉普拉斯Laplacian金字塔的多分辨率融合模型的构建方法如下:每两幅图像的融合首先建立两幅图像 和 的高斯金字塔 、 ,然后建立对应的4层Laplace金字塔图像 、 ;

制作一个和图像 同样大小的mask掩膜图像 ,这个掩模图像代表融合的位置,然后求mask图像的高斯金字塔 ,其代表每个像素点的融合权重;

在每个尺度即分辨率下,根据当前尺度的 将两幅图像的Laplace金字塔图像进行相加,最终得到拼接的Laplace金字塔图像 ;

以 的最低分辨率图作为起始图,重构得到最高分辨率的拼接结果。

9.一种计算机设备,其特征在于,包括:一个或多个处理器;

存储装置,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1‑8任一所述的一种面向水域的无人机遥感多光谱图像拼接方法。