1.结合Hough变换与语义特征点的激光点云与多光谱影像融合方法,其特征在于,包括:步骤1:将激光点云影像和多光谱影像输入到Line‑CNN深度学习网络中进行对应影像的线特征提取,得到点云特征直线图和多光谱特征直线图;
步骤2:将点云特征直线图和多光谱特征直线图映射到Hough空间,并通过峰值点检测,得到点云的矩形重心与属性信息以及多光谱的矩形重心与属性信息,作为点云语义特征点和多光谱语义特征点;
步骤3:对点云语义特征点和多光谱语义特征点进行矩形匹配,根据矩形匹配结果计算投影矩阵,根据投影矩阵将多光谱信息赋给激光点云,最终得到带有多光谱信息的激光点云,实现激光点云与多光谱影像的精确融合;
所述步骤3对点云语义特征点和多光谱语义特征点进行矩形匹配,包括:将所有语义特征点穷举排列组合为三角形,计算三角形之间的相似性,寻找出与每一个三角形最相似以及第二相似的另外两个三角形,将满足约束1的三角形建立对应关系并存入匹配集合中,最后根据约束2对匹配集合中的三角形对进行分组,匹配三角形对数量越多的组包含真实匹配对的可能性越大,将匹配对数量最多的组作为矩形匹配的结果;
所述三角形之间的相似性的计算公式为:
其中, 和 分别为点云语义特征点和多光谱语义特征点所构成的三角形集合,|△ai|为三角形对应内角的角度差,相似度 越大即三角形之间越相似;
所述约束1为:
P M P
公式(5)表示Ti 与 互为最相似的三角形,且Te 和 分别为Ti和 第二相似的三角形;
VS为1,确保匹配不是基于随机效应,α为两三角形的旋转夹角,βi(i=1,2,3)为两语义特征点对应矩形与Y轴夹角的差值,Vα为阈值;
将满足约束1的三角形建立对应关系,存入集合{C1,C2...CX}中;
所述约束2为:
其中Ca、Cb表示两个满足约束1的三角形对集合,ηx为对应Cx的缩放系数,ηc为ηa、ηb的均值,||||为两三角形的欧几里得距离,Vη、VE为阈值;
公式(6)表示根据缩放系数以及三角形间的相对位置关系是否相同从而对三角形集合进行分组;
若Ca、Cb满足式(6)则分为同一组,直至集合{C1,C2...CX}中所有Cx完成分组;
所述步骤3利用矩形匹配结果以及激光点云与影像栅格之间的对应关系,通过最小二乘原理和间接平差方法计算投影矩阵,使得多光谱影像中的任意一点经过投影矩形变为激光点云影像中的点,从而将多光谱信息赋给激光点云,最终得到带有多光谱信息的激光点云,实现激光点云与多光谱影像的精确融合;
所述利用矩形匹配结果以及激光点云与影像栅格之间的对应关系,通过最小二乘原理和间接平差方法计算投影矩阵,具体如下:将激光点云作为待匹配影像,多光谱影像作为匹配影像,多光谱影像中任意一点fi'=T T(XMS,YMS,1) 经过投影矩阵A映射变为激光点云影像中fi=(XPC,YPC,1) ,映射关系为:其中hi(i=1,2,...,8)为投影矩阵中的参数;
T T
将匹配的若干对矩形框离散点fi'=(XMS,YMS,1) 、fi=(XPC,YPC,1) 带入公式(7),利用最小二乘原理和间接平差方法,迭代求解出投影矩阵A中8个参数。
2.根据权利要求1所述的结合Hough变换与语义特征点的激光点云与多光谱影像融合方法,其特征在于,所述步骤1包括:步骤101:栅格化处理激光点云影像,将其转换为二维栅格激光点云影像;
步骤102:基于Line‑CNN神经网络的特征提取、节点预测、线段采样、线段校正四个阶段进行激光点云影像和多光谱影像的线特征提取,绘制线特征结果至与原图等尺寸的空白图像上,得到点云特征直线图和多光谱特征直线图。
3.根据权利要求1所述的结合Hough变换与语义特征点的激光点云与多光谱影像融合方法,其特征在于,所述步骤2分别将点云特征直线图和多光谱特征直线图映射到Hough空间,统计Hough空间中所有大于阈值的峰值点,寻找出若干近似平行且相等的直线段对,再比较所有直线段对,匹配出矩形的四条边,剔除伪矩形,返回矩形重心并对其赋予对应矩形的各项属性信息,作为语义特征点。
4.根据权利要求3所述的结合Hough变换与语义特征点的激光点云与多光谱影像融合方法,其特征在于,所述统计Hough空间中所有大于阈值的峰值点,寻找出若干近似平行且相等的直线段对,包括:假设一对峰值点为HSi(ρi,θi)、HSj(ρj,θj),对应的峰值点累加值为PeakHSi(ρi,θi)、PeakHSj(ρj,θj),若满足下式则将其匹配为一个近似平行且相等的直线段对:其中Vθ、VPeak为正值阈值;
将满足式(1)的两峰值点标记为
其中参数
5.根据权利要求4所述的结合Hough变换与语义特征点的激光点云与多光谱影像融合方法,其特征在于,所述比较所有直线段对,匹配出矩形的四条边,包括:比较所有的 将满足以下条件的 匹配
得到矩形的四条边:
其中,为角度阈值。
6.根据权利要求5所述的结合Hough变换与语义特征点的激光点云与多光谱影像融合方法,其特征在于,所述剔除伪矩形,具体如下:依据矩形两组对边解得矩形四顶点坐标A1、A2、A3、A4,依次统计四边附近像素个数与矩形对应边长对比,若任意一边不满足下列条件则将其判为伪矩形并剔除:|Pij‑ζk|
其中Pij为边AiAj附近像素的个数,VP为比例阈值。