利索能及
我要发布
收藏
专利号: 2023104552753
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.融合激光雷达点云和图像的稠密分割的3D目标检测方法,其特征在于:至少包括以下内容:搭建具备视锥体提案生成、点稠密分割模块、多尺度质心估计模块和检测头的应用框架;

通过对给定场景的2D图像进行2D检测生成视锥体提案,并对提案中的点进行实例分割,分割后的离散点用于预测物体的质心,估计物体的3D边界框;

通过2D检测器从RGB图像中生成2D候选区域并对目标进行分类,将2D区域提升到3D空间,生成包含感兴趣目标的视锥体提案,检测到的类别被编码为one‑hot向量,并输入到点稠密分割模块来分割提案中的物体实例;

通过点密集分割模块以DenseNet为骨干网络进行点密集分割,通过稠密连接保留低层次特征,实现在包含感兴趣目标的三维空间中精确的实例分割;

通过多尺度质心估计模块来估计不同尺度的三维物体的中心点,然后通过坐标变换使预测的中心点成为原点;

在网络的顶部,通过为给定的物体点云设计的检测头来获得物体的预测3D边界框,检测头的输出包含定义3D边界框的参数;

所述点稠密分割模块中使用one‑hot向量,其中预定义的k个类别的k个维度来编码语义类别替换了DenseNet中的分类层,用于减少了空间几何信息的丢失,并将one‑hot向量与中间点云特征连接;

所述点稠密分割模块中至少包括四个密集块来学习特征,并在每个稠密块之间添加一个过渡层,所述过渡层包括Batch Normalization层、ReLu层、1×1的卷积层以及最大池化层;

稠密块引入了从任意层到所有后续层的直接连接,因此, 层接收前面所有层的特征作为输入:;

其中 表示 层的特征串;

表示串联多个输入的单个张量;

由于稠密连接的使用导致通道数量急剧增加,引入过渡层将特征维度减半,用于控制模型复杂度;

初始卷积层和最大池化层的特征分辨率也保持不变,用于保持纹理特征;

所述多尺度质心估计模块由4个主要的特征提取块组成:卷积块、多尺度特征块、反卷积块和全连接块,所述多尺度特征块中通过下采样和卷积操作融合分割后物体的点云特征,下采样生成的低层次特征与one‑hot编码的类向量进行拼接后进行卷积融合生成高层次特征。

2.根据权利要求1所述的融合激光雷达点云和图像的稠密分割的3D目标检测方法,其特征在于:所述3D边界框的参数至少包括3D边界框的中心 ,边界框尺寸以及航向角 。

3.根据权利要求2所述的融合激光雷达点云和图像的稠密分割的3D目标检测方法,其特征在于:所述边界框尺寸,将3D边界框参数化为N;

对于边界框框尺寸,预先定义了N个大小为S的锚点框,将航向角在 内离散为N个大小为L的航向面元,将这些预先定义的锚点框和航向面元归类到预先定义的类别中,并为每个类别预测参数个数,最后输出参数总数公式为:。