利索能及
我要发布
收藏
专利号: 2024107369699
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-03-03
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于语义和结构协同引导的点云配准方法,其特征在于,包括:

获取点云语义信息,所述点云语义信息包括室外雷达点云的语义信息和室内重建的点云语义信息;采用点云语义分割模型获得室外雷达点云的语义信息;室内重建的点云数据包括源点云数据、目标点云数据、源点云所对应的图像和目标点云所对应的图像;将源点云所对应的图像和目标点云所对应图像输入到Semantic‑SAM图像分割模型中,得到图像像素语义;通过投影模块对图像像素语义进行投影,得到室内重建的点云语义信息;

对源点云数据和目标点云数据进行采样,得到超点;采用编码器提取超点的几何结构特征,计算两个超点之间的角度和距离,将超点之间的角度和距离嵌入到几何结构特征中;

对点云语义进行超点语义特征表征处理,得到超点语义特征;采用多模态特征融合模块对超点语义特征和几何结构特征进行融合,得到增强的超点特征;根据增强后的超点特征进行超点匹配,根据超点匹配结果进行点匹配,完成点云配准;

对点云语义进行超点语义特征表征处理包括:对点云图像中的一个局部区域的点进行聚合,形成超点;统计超点区域内各个点的类别以及各个类别出现的频率;对点的类别以及各个类别出现的频率进行编码,得到超点语义特征。

2.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,计算超点之间的距离为:其中,S(·)为正弦函数,σd为一个用于调整距离变化灵敏度的超参数, 为两个超点的欧几里得距离, 为第i个超点, 为第j个超点;

两个超点之间的角度为:

其中, 为第i个超点 的k最近邻,σa是控制角度变化的灵敏度参数。

3.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,几何结构特征表达式为:其中, 分别是两种嵌入的投影矩阵。

4.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,Semantic‑SAM图像分割模型对输入图像进行处理包括:Semantic‑SAM图像分割模型对输入图像进行处理包括:Semantic‑SAM图像分割模型由两个分支组成,分别为掩码分支和语义分支;掩码分支中将图像输入到图像编码器中,生成一次性图像嵌入;将图像嵌入输入到掩码解码器中,得到分割掩码;语义分支中,将图像输入到语义分段器中,得到图像中每个像素分配类别;将分割掩码和像素分配类别输入到语义投票模块,得到掩码的最终语义类别,其中最终的语义类别为图像像素语义。

5.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,对图像像素语义进行投影包括:其中, 是相机外参包括旋转和平移矩阵, 是相机内参,f

th

(·)表示齐次函数, 表示图像上(wa,hb)的像素的语义, 表示点云中第i 个点pi的语义。

6.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,采用多模态特征融合模块对超点语义特征和几何结构特征进行融合包括:采用结构‑语义自注意机制对超点语义特征和几何结构特征进行学习,得到超点之间的全局相关性;具体包括:计算两个源点云中的超点 和 的查询矩阵、键矩阵、值矩阵、结构矩阵以及语义矩阵;根据查询矩阵、键矩阵、值矩阵、结构矩阵以及语义矩阵计算两个超点 和 之间的语义结构特征的注意得分;根据注意得分对同一个点云中所有其他超点的学习特征进行加权求和,得到增强的结构语义特征;目标点云中的超点特征增强的计算方式与源点云的超点特征增强方式相同;采用结构‑语义交叉注意机制对源点云和目标点云之间的结构信息和语义信息进行交互;将经过交互后的目标点云超点特征和源点云超点特征输入到MLP层,输出语义和结构融合的超点特征。

7.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,进行超点匹配包括:根据增强的超点特征构建亲和矩阵;亲和矩阵Z中的每个元素Zij表示两个超点 和 的相似性得分;在相似度矩阵Z中添加了一个额外的行和列,作为松弛项;利用Sinkhorn算法来求解最优传输问题;选择得分最高的前K个对应作为超点匹配的最终结果。

8.根据权利要求1所述的一种基于语义和结构协同引导的点云配准方法,其特征在于,进行点匹配包括:根据超点匹配的最终结果构建超点对应关系;采用解码器模块重建超点特征;根据解码后的点特征计算每个超点关联内的点对应得分矩阵Z;在相似矩阵Z中额外添加一行和一列,并使用Sinkhorn算法得到点对应集C;在对应集中选择得分最高的前k个对应作为点匹配结果。