利索能及
我要发布
收藏
专利号: 2023104584148
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.用于机器人环境感知的多传感器融合地图构建方法,其特征在于,包括如下步骤:获取双目图像数据、激光雷达点云数据和IMU测量数据;

基于双目图像数据进行特征提取得到图像特征;

基于图像特征估计四足机器人的姿态和场景的深度信息得到初始场景地图;

结合激光雷达点云数据对初始场景地图进行优化得到第二场景地图;

基于第二场景地图,融合双目图像数据、激光雷达点云数据和IMU测量数据,并构建约束优化问题,求解得到四足机器人的状态,基于四足机器人的状态,对第二场景地图进行配准,更新四足机器人的位姿和地图,得到最终的环境地图;

所述结合激光雷达点云数据对初始场景地图进行优化得到第二场景地图具体包括:将激光雷达点云数据通过双目视觉获得的相机姿态和内参进行投影,得到点云在图像坐标系中的投影位置;

通过最近邻匹配点云算法计算出该位置对应像素在双目视觉深度图中的深度值;

基于该深度值进行深度关联,对初始地图中的深度信息进行更新得到第二场景地图;

所述通过最近邻匹配点云算法计算出该位置对应像素在双目视觉深度图中的深度值包括:通过将两个点云中的每个点的特征向量进行比较,计算每个点与第二个点云中的所有点之间的距离,找到每个点的最近邻点;

所述基于双目图像数据进行特征提取得到图像特征包括:利用基于快速角点检测器的方法通过比较待检测点周围的像素灰度检测得到关键点;

基于关键点,通过计算二进制描述子进行特征提取得到左右目图像数据对应的两个特征点集合;

基于两个特征点集合,采用特征匹配方法,使用描述符距离比值来判断两个特征点是否匹配,若该比值小于预设阈值,则左右目图像中的对应特征点为匹配点;

利用光流法来追踪匹配点在相邻帧之间的位置变化,修正匹配点的位置以及位姿估计,基于修正后的匹配点提取图像特征;

对于每个匹配点,利用双目相机的几何约束关系,得到对应的3D点,其表达式为:其中, 表示双目相机的基线长度, 表示相机的焦距, 表示匹配点对的视差, 和分别表示左摄像头中的匹配点坐标, 和 分别表示右摄像头中的匹配点坐标;

所述约束优化问题的表达式为:

其中, 分别表示双目图像数据、激光雷达点云数据和IMU测量数据以及它们之间对应关系, 分别表示双目图像数据、激光雷达点云数据和IMU测量数据特征提取误差项, 表示数据关联的误差项,  表示视觉数据中的第   个元素, 表示激光雷达数据中的第   个元素,  表示 IMU 数据中的第   个元素,  表示多传感器关联数据中的第   个对应关系。

2.根据权利要求1所述的用于机器人环境感知的多传感器融合地图构建方法,其特征在于,在获取激光雷达点云数据后,对激光雷达点云数据进行预处理,包括:利用体素滤波的方法将点云数据离散化为体素格子,并对每个体素格子内的点云数据进行采样,得到滤波后的点云数据;

再利用半径滤波法只保留设定距离内的点云数据,最后利用统计滤波的方法对点云数据进行均值滤波,剔除噪声以及冗余点,过滤掉不在相机坐标系中的激光点云,降低点云投影到相机坐标系下深度注册的处理量。

3.根据权利要求1所述的用于机器人环境感知的多传感器融合地图构建方法,其特征在于,在求解构建约束优化问题时,基于滑动窗口的优化方法,采用滑动窗口来限制状态向量的大小,只保留部分时刻的状态变量。

4.用于机器人环境感知的多传感器融合地图构建系统,利用如权利要求1所述的用于机器人环境感知的多传感器融合地图构建方法实现,其特征在于,包括:数据获取模块,其被配置为:获取双目图像数据、激光雷达点云数据和IMU测量数据;

特征提取模块,其被配置为:基于双目图像数据进行特征提取得到图像特征;

多源信息联合优化模块,其被配置为:

基于图像特征估计四足机器人的姿态和场景的深度信息得到初始场景地图;

结合激光雷达点云数据对初始场景地图进行优化得到第二场景地图;

基于第二场景地图,融合双目图像数据、激光雷达点云数据和IMU测量数据,并构建约束优化问题,求解得到四足机器人的状态,基于四足机器人的状态,对第二场景地图进行配准,更新四足机器人的位姿和地图,得到最终的环境地图;

所述多源信息联合优化模块中,所述结合激光雷达点云数据对初始场景地图进行优化得到第二场景地图具体包括:将激光雷达点云数据通过双目视觉获得的相机姿态和内参进行投影,得到点云在图像坐标系中的投影位置;

通过最近邻匹配点云算法计算出该位置对应像素在双目视觉深度图中的深度值;

基于该深度值进行深度关联,对初始地图中的深度信息进行更新得到第二场景地图。