利索能及
我要发布
收藏
专利号: 2025101917919
申请人: 宁波大学科学技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自适应块投影的多模态点云质量评估方法,其特征在于,包括以下步骤:对点云数据进行预处理,划分为多个局部簇,每个局部簇包含中心点及其邻域点;

基于每个局部簇生成与其空间位置对应的2D簇投影图;

提取2D模态投影图和3D局部簇数据的特征,分别获取2D模态特征和3D模态特征;

对2D模态特征和3D模态特征进行解耦,生成模态无关的质量特征和模态相关特征;

将模态无关的质量特征映射到共享的统一特征表示空间;

融合2D模态和3D模态的特征,生成联合特征;

基于联合特征,通过回归网络预测点云的质量分数;

所述基于每个局部簇生成与其空间位置对应的2D簇投影图的步骤包括:对每个局部簇 中的点计算其表面法向量 ,法向量的计算基于局部曲面的协方差矩阵特征值分解,具体计算方法为:表示协方差矩阵, 为坐标集合 和 的协方差,、和 为局部簇点集的 、和 坐标集合,协方差矩阵的最小特征值对应的特征向量即为法向量 ;

使用自适应块投影模块优化局部簇的投影方向,使投影图的有效信息量 最大化,有效信息量的计算公式为:其中, 为局部簇,为投影相机的参数,为投影平面的法向量, 为点 的法向量,为余弦相似度函数;

对每个局部簇 应用位姿校正操作,调整其与投影平面的相对位姿,通过投影相机 将调整后的局部簇 投影到2D平面,生成2D簇投影图 ,其公式表示为:其中, 为点云簇的姿态变换矩阵, 为点 的三维坐标, 为点 的附加特征,表示投影操作;

对所有局部簇执行上述操作,生成对应的2D簇投影图集合 。

2.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述对点云数据进行预处理的步骤包括:对点云数据 进行分块,点云数

据 包含点 的三维坐标及其 的 维附加特征,维附加特征包括颜色或法向量;

利用最远点采样算法从点云 中选取 个点作为局部簇的中心点,生成中心点集合表示为 ,其中 表示采用最远点采样算法从点云中选取 个点作为局部簇的中心点;

对每个中心点 ,通过最近邻搜索算法选取 个最近邻点,生成邻域点集合,将每个局部簇 定义为中心点 与邻域点的集合,表示为:其中, 表示从点云中搜索到的第 个最近邻点;

完成点云数据的划分后,形成点云簇集合 。

3.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述自适应块投影模块包括:法向量估计单元,用于估计点云簇中每个点的表面法向量;

位姿校正网络,用于生成点云簇与投影平面的相对最优位姿。

4.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述提取2D模态投影图和3D局部簇数据的特征,分别获取2D模态特征和3D模态特征的步骤包括:对每个局部簇的2D投影图 ,通过2D特征提取网络对其进行编码,获取2D模态特征 ,其计算公式为:其中, 表示2D特征提取网络, 表示提取的2D模态特征, 为2D模态特征的维度;

对每个局部簇 ,通过3D特征提取网络对其进行编码,获取3D模态特征 ,其计算公式为:其中, 表示3D特征提取网络, 表示提取的3D模态特征, 为3D模态特征的维度;

对所有局部簇的2D模态投影图 和3D局部簇 分别提取特征后,形成完整的2D模态特征集合和3D模态特征集合。

5.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述对2D模态特征和3D模态特征进行解耦,生成模态无关的质量特征和模态相关特征的步骤包括:将2D模态特征 和3D模态特征 分别输入质量特征编码器和模态特征编码器,解耦为模态无关的质量特征 和模态相关特征 ,具体计算公式为:其中, 和 分别为质量特征编码器和模态特征编码器; 表示2D模态特征和3D模态特征;

采用距离相关性度量约束质量特征 和模态相关特征 ,距离相关性度量的计算公式为:其中, 为距离协方差,其计算公式为:

其中, 和 为样本之间的中心化距离,为样本数量;

对所有模态特征的解耦结果,添加距离相关性约束损失 ,定义为:通过上述解耦操作,对所有2D模态特征和3D模态特征分别生成模态无关的质量特征集合以及模态相关特征集合。

6.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述将模态无关的质量特征映射到共享的统一特征表示空间的步骤包括:构建共享的统一特征表示空间 ,该特征表示空间为一个包含 个特征向量的离散码表,表示为:其中, 表示特征向量,为码表的大小, 为码字的维度;

对每个模态无关的质量特征 ,通过最近邻查找将其映射到特征空间 中的距离最近的特征向量 ,具体计算公式为:其中, 表示欧几里得距离, 表示映射到特征空间的特征向量;

添加嵌入损失 ,定义为:

其中, 表示停止梯度回传,用于分别优化特征编码器和特征空间;

对所有模态无关的质量特征执行上述映射操作,生成所有质量特征的共享表示集合。

7.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述融合2D模态和3D模态的特征,生成联合特征的步骤包括:对所有局部簇的模态无关质量特征和进行逐簇级联操作,生成联合特征序列 ,具体公式为:其中, 表示特征级联操作, 和 分别为第 个局部簇的2D模态质量特征和3D模态质量特征。

8.根据权利要求1所述的一种基于自适应块投影的多模态点云质量评估方法,其特征在于,所述基于联合特征,通过回归网络预测点云的质量分数的步骤包括:将所有局部簇的联合特征序列输入回归网络;

所述回归网络由多层感知机构成,接收联合特征作为输入,通过多层线性变换和非线性激活函数对联合特征进行处理,生成每个局部簇的预测质量分数;

所述局部簇的预测质量分数经加权汇总,生成点云的最终质量分数,并与点云对应的主观质量分数进行对比;

对回归网络进行训练,使点云的预测质量分数与主观质量分数的差异最小,最终完成点云质量的预测。

9.一种基于自适应块投影的多模态点云质量评估装置,用于执行如权利要求1‑8任一项所述的方法,其特征在于,包括:预处理模块,用于对点云数据进行分块,生成局部点云簇;

自适应簇投影模块,用于生成与每个点云簇对应的2D簇投影图,并优化投影方向;

多模态特征提取模块,分别提取2D模态投影图的纹理特征和3D点云簇的几何特征;

特征对齐模块,用于将模态无关质量特征对齐到共享的统一特征表示空间;

回归网络模块,用于融合2D模态与3D模态特征并输出点云质量分数。