利索能及
我要发布
收藏
专利号: 2022104057094
申请人: 烟台大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种稀疏雷达和双目立体图像融合的3D目标检测方法,其特征在于,所述方法包括:对立体图像和稀疏LiDAR深度图分别进行特征编码后,基于注意力融合模块,将两条路径的特征信息进行融合,所述融合是从LiDAR深度图到立体图像;

基于立体区域提取网络输出相应的左右感兴趣区域,将左右特征图被一起输入到立体回归网络分支和深度预测分支,用于对3D边界框的位置、尺寸和方向进行预测;

所述方法包括:

将稀疏LiDAR特征加入到图像特征中,并为每个特征级别设置权重wi,通过计算稀疏LiDAR与其对应的立体图像特征图之间的相关性,得到相关性得分wi,定义为:其中, 是特征提取器中第i对立体图像特征图和稀疏LiDAR特征图,wi是第i级别稀疏LiDAR特征图的权重,cos是余弦相似函数;

H×W×C r H×W×C s

将Fi+1上采样2倍成Ff'∈R ,应用1×1卷积运算分别将Fi 投影成F′r∈R ,将FiH×W×C投影成F′s∈R ,描述为:

F′f=upsample(Fi+1)

r

F′r=f1×1(Fi)

s

F′s=f1×1(Fi)

其中,upsample是通过最近邻内插进行的上采样操作,f1×1表示1×1卷积层;

上采样的特征图与相应的Fr'特征图通过逐元素相加合并,在每个合并后的特征图上附加一个3×3卷积,将合并后的特征与应用权重为wi的稀疏LiDAR特征Fs'进行相加,输出特征的计算方法如下:F5=f3×3(F′r+w5·F′s)

融合结果Fi是下一个融合阶段的更高级别特征,重复此过程,直到生成最终的特征图。

2.根据权利要求1所述的一种稀疏雷达和双目立体图像融合的3D目标检测方法,其特征在于,所述立体回归网络分支,用于回归2D立体框、尺寸、视点角度和2D中心;所述深度预测分支,用于预测3D边界框中心的单变量深度。

3.根据权利要求1所述的一种稀疏雷达和双目立体图像融合的3D目标检测方法,其特征在于,所述注意力融合模块将左稀疏LiDAR特征图与相应的左RGB特征图进行融合,右稀疏LiDAR特征图与相应的右RGB特征图进行融合。

4.根据权利要求1所述的一种稀疏雷达和双目立体图像融合的3D目标检测方法,其特征在于,所述融合过程为:其中,Fi表示融合的特征, 是编码器中每个阶段的最后一个块输出的特征,指的是编码器的最后一个输出特征。

5.一种稀疏雷达和双目立体图像融合的3D目标检测装置,其特征在于,所述装置包括:处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行权利要求1‑4中的任一项所述的方法。

6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行权利要求1‑4中的任一项所述的方法。