利索能及
我要发布
收藏
专利号: 2022113466610
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.可进行二维动态检测和三维重建的环境感知方法,其特征在于,具体包括以下步骤:S1、先进行图像采集,以繁杂室内背景下,不同远近、姿态和重叠遮挡的各状态的人为检测目标进行图像采集;

S2、将图像分别输入运动目标检测模块与vSLAM前后端优化模块中;

S201、所述的运动目标检测模块,以繁杂室内背景下,不同远近、姿态和重叠遮挡的各状态的人为检测目标,将YOLOv3网络作为基本框架,针对原网络对运动目标不敏感、感受野较小、小目标检测精度低的问题,在其骨干网络添加以不同大小卷积核为构成的TFA结构与之前预测层结果融合得到不同细致程度的网格目标检测层;

S202、所述的vSLAM前后端优化模块,可使用带色彩恢复的多尺度视网膜增强算法MSRCR和基于特征相关性的关键帧筛选方法分别对RTAB‑MAP算法前后端改进,通过增强输入图像的质量与优化筛选方法来获得结构清晰、全局一致的高精度三维场景地图;

S3、运行结果在机器人可视化平台实时显示,从而进行多维度环境感知;

所述的S201中的YOLOv3网络改进方法具体包括:改进算法将原主干网络获取的特征图输入TFA,通过提取多尺度目标进行叠加扩展来扩大感受野,提高对场景中小目标检测的准确度;首先复制特征图作为两分支输入,其中一个分支保持原特征,另一分支用1×1、3×3及5×5卷积核获得不同特征尺度,在每层卷积运算后分别经过批处理标准化与ReLU层处理,层层获取不同尺度的特征图,然后通过级联将输出特征图与前级输出叠加,其展开式与叠加规则为:On=fn(On‑1)        (1)

Rn(t)=z(Rn‑1(t),On)               (2)式中:on为第n步操作输出;fn为第n步卷积;Rn为第n步后TFA的结果;t为输入特征;z为特征融合;

优化后的网络结构分别在原网络52×52、26×26输出特征图前引入TFA,三层不同大小卷积核构成的树状结构层层递进学习前层提取的特征;

改进后的网络会分析每个预测层的特征生成不同大小的预测框,在训练时不断获取不同尺寸的细节特征图,将各特征图叠加融合,最终输出恰当的预测结果;

运动目标定位依据双目系统测距原理,两针孔相机水平放置且光心均在X轴,基线b为相机光心距离,空间点P的成像点为PL、PR,两光圈左右两侧坐标点为WL,‑WR;

根据三角形相似原理△PPLPR∽△POLOR:

整理得:

式中:d=WL‑WR为视差;l为相机与物体的距离;WL和WR分别是空间点P投影在左右相机的图像中的横坐标;b为基线,即两个相机原点之间的距离;f为相机的焦距;

通过改进的目标检测算法得到行人在图像的位置,结合对应SDK工具包与API在OpenCV中获取动态目标像素点位置,利用欧氏测距公式计算行人对于相机的距离;

所述的基于特征相关性筛选的关键帧选取方法的关键帧提取步骤具体包括:当前帧为Fn,前一关键帧为Fi‑1,下一关键帧为Fi,G=||t||+min(2π‑||r||,||r||)为帧间旋转值t与位移值r的范数, 为两帧间特征点数量比例;Gs是用于比较帧间旋转值t和位移值r的阈值;HS是用于比较两帧间特征点数量比例的阈值;

S1、将G与Gs比较,当G≥Gs,两帧误差过大,舍去此帧;当G<Gs,利用H判定;

S2、将H与Hs比较,若H>Hs,两帧运动过小,不是关键帧;当H≤Hs,为关键帧并保存;

S3、重复步骤(1)和(2),得到所有关键帧,经相机位姿矩阵变换后用于拼接MVS地图。

2.根据权利要求1所述的可进行二维动态检测和三维重建的环境感知方法,其特征在于:所述的S202中对RTAB‑MAP算法前端的改进具体包括:在前端VO融合MSRCR的改进RTAB‑MAP算法,将采集到质量不佳的图像帧先经过MSRCR算法优化,利用CUDA核函数编写算法对其加速;

MSRCR是以Retinex理论以颜色恒常性为基础的图像增强算法,具体原理为:S(x,y)=L(x,y)·R(x,y)       (5)

式中:S(x,y)为生成的图像;L(x,y)为入射光;R(x,y)为反射光,用MSRCR算法求解R(x,y):

i

式中:RMSRCR(x,y)为MSR算法在i通道的值;N为尺度数;Gn(x,y)为第n个高斯环绕函数;

Wn为第n尺度的权值数值;Ci(x,y)为彩色恢复因子;

最后将每点像素值 转化到[0,255]区间:

其中,

3.可进行二维动态检测和三维重建的环境感知系统,使用上述权利要求1或2所述的可进行二维动态检测和三维重建的环境感知方法,其特征在于,包括:图像采集模块、运动目标检测模块、vSLAM前后端优化模块、机器人可视化平台;

所述的运动目标检测模块,可将双目相机获取的图像输入增加树形特征融合模块TFA的改进YOLOv3网络,通过扩大网络感受野与捕获多尺度对象来提高室内运动目标检测精度;

所述的vSLAM前后端优化模块,可使用带色彩恢复的多尺度视网膜增强算法MSRCR和基于特征相关性的关键帧筛选方法分别对RTAB‑MAP算法前后端改进,通过增强输入图像的质量与优化筛选方法来获得结构清晰、全局一致的高精度三维场景地图;

所述的机器人可视化平台实时显示运行结果,从而进行多维度环境感知。