利索能及
我要发布
收藏
专利号: 2021113558529
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多焦距视觉SLAM与GPS融合的方法,其特征在于,包括以下步骤:步骤1.安装多焦距相机和GPS模块,多焦距视觉SLAM由短焦距相机和长焦距相机组成,短焦距和长焦距相机水平放置;步骤2.多焦距相机之间进行标定,同时采集多焦距图像和GPS数据,获取多焦距图像数据和GPS数据;步骤3.根据多焦距相机焦距的差异,分别基于图像金字塔提取图像特征点,进行特征匹配;步骤4.对采集到的GPS定位数据进行坐标转换到多焦距视觉SLAM世界坐标系下;步骤5.对转换后的GPS数据和多焦距视觉SLAM数据进行时间戳对齐;步骤6.对时间戳对齐后的GPS数据和SLAM图像数据构建图优化模型优化位姿;步骤7.由SLAM生成的运行轨迹在地图上匹配到对应的地图道路轨迹;

所述步骤3根据多焦距相机焦距的差异,分别基于图像金字塔提取图像特征点,进行特征匹配具体包括:步骤31,对图像构建图像金字塔,根据短焦距相机和长焦距相机的焦距差异,确定图像金字塔下采样的缩放因子s;

步骤32,根据多焦距图像差异,只选择短焦距和长焦距图像金字塔中具有相同图像信息大小的图层提取ORB特征点,短焦距图像金字塔顶上ldis层不提取特征点,长焦距相机图像金字塔底下ldis层不提取特征点;

步骤33,获取需要提取特征点的对应层所需要提取的ORB特征点数量;

步骤34,使用归一化互相关算法确定在短焦距相机图像中与长焦距相机图像相同的部分区域,称为ROI区域;

步骤35,对短焦距相机图像金字塔某层的ROI区域内使用四叉树算法增加提取ORB特征点的数量,减少ROI区域外ORB特征点提取的数量;

步骤36,对提取的特征点进行特征匹配,并筛选删除误匹配。

2.根据权利要求1所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述步骤2多焦距相机之间进行标定,同时采集多焦距图像和GPS数据,获取多焦距图像数据和GPS数据,具体包括:步骤21,根据短焦距相机和长焦距相机安装位置,完成多焦距相机标定;

步骤22,实现短焦距相机和长焦距相机的信息同步,在时间上,要求短焦距相机和长焦距相机同步拍摄;在空间上,短焦距相机和长焦距相机都安装在车顶前方,短焦距相机位于车顶前方左侧,长焦距相机位于车顶前方右侧;

步骤23,相机的图像采集频率保持恒定,采集过程中相机设置自动曝光;采集多焦距图像数据和GPS数据。

3.根据权利要求1所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述步骤33中,获取需要提取特征点的对应层所需要提取的ORB特征点数量为:其中,s表示图像金字塔缩放比例,ldis表示相同大小图像特征在短焦距图像金字塔和长焦距图像金字塔中的固定层次差、n表示图像金字塔缩放层数,N表示总共需要提取的ORB特征点数量,α表示所需要提取ORB特征点的图层,Nα表示图像金字塔中图层α提取的ORB特征点数量。

4.根据权利要求3所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述步骤34的归一化互相关算法具体表示为:选择ρ(x,y)最大值对应的区域为ROI短焦距相机图像的部分区域;其中S为短焦距相机图像,m、n分别表示长焦距相机图像长和宽,i、j分别表示图像像素坐标点,X、Y分别表示短焦距相机图像中和长焦距相机图像相同大小的区域块,g为长焦距相机图像, 为短焦距相机图像平均灰度,长焦距相机图像平均灰度。

5.根据权利要求4所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述步骤4对采集到的GPS定位数据进行坐标转换到多焦距视觉SLAM世界坐标系下,具体包括:步骤41,根据多焦距视觉SLAM世界坐标系以SLAM第一帧建立的,在整个多焦距视觉SLAM过程不发生改变,求出所述多焦距视觉SLAM第一帧到初始帧的平移向量在所述SLAM世界坐标系和GPS坐标系的坐标;该平移向量在SLAM世界坐标系描述:tw=Rcw*(posc,init‑posc,first)

tw表示世界坐标系,Rcw表示相机坐标系到世界坐标系的转换,posc,init表示初始化时相机位姿,posc,first表示相机第一帧位姿;

在GPS坐标系的描述为:

tGPS=posGPS,init‑posGPS,first

tGPS表示GPS坐标系,posGPS,init表示GPS初始化时位姿,posGPS,first表示GPS第一帧位姿;

根据两个坐标系的坐标求出所述GPS坐标系与所述多焦距双目SLAM世界坐标系之间的旋转矩阵:RGPSw*tGPS=tw

RGPSw表示GPS坐标系到相机世界坐标系的旋转矩阵。

6.根据权利要求5所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述步骤6对时间戳对齐后的GPS数据和SLAM图像数据构建图优化模型优化位姿,具体包括:步骤61,k时刻,在位置xk处,传感器进行一次观测,得到数据zk,观测方程为:zk=h(xk)

由于观测总是存在误差,定义误差:

ek=zk‑h(xk)

步骤62,构建全局位姿图,需要求解的位姿作为优化图的顶点,观测值作为边,构建目标函数,观测值包括相机对路标点的观测以及GPS数据:其中ek表示误差,包括图像重投影误差以及GPS定位数据误差项;Ωk表示信息矩阵,是协方差矩阵的逆,是一个对称矩阵;

步骤63,运用图优化器部署出上述全局位姿图的顶点和边,求解出最优的位姿。

7.根据权利要求6所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述步骤7由SLAM生成的运行轨迹在地图上匹配到对应的地图道路轨迹中,具体包括:步骤71,建立路网有向图,获取道路的节点ID、坐标信息及属性信息,从而建立路网的有向图G(V,E),其中V的元素为道路端点,E的元素为道路路段;

步骤72,生成网格索引,使用网格索引,将整个地图分成M×N个网格,通过包含分析算法,预先计算每个网格中相交的路段,获取轨迹点的候选路段,网格索引与路段数据通过路段ID相关联;

步骤73,对轨迹点设置半径为R的缓冲区,基于网格索引确定轨迹点所处的网格,并查询以该网格为中心的3×3的网格内距该轨迹点最近的K条路段作为候选路段;

步骤74,计算发射概率,发射概率即在某种隐含状态下得到某种观测值的概率,考虑距离因素;

步骤75,计算传递概率;

步骤76,使用维特比算法即每一段选出最优路径删除其他路径,一直迭代到终点求出最优路径。

8.根据权利要求7所述的一种多焦距视觉SLAM与GPS融合的方法,其特征在于,所述计算发射概率,发射概率即在某种隐含状态下得到某种观测值的概率,考虑距离因素,具体公式为:其中,σ表示获取轨迹数据误差的标准差,pi表示轨迹点, 表示第k个点对应的候选路段, 表示从轨迹点到候选路段的距离;

步骤81,传递概率基于道路两点连线的直线最近距离,前后路段间的路网距离越小,传递概率越大:其中, 和 分别为第t+1个轨迹点和第t个轨迹点对应的候选路段,a是设定的系数,D代表候选路段间的实际路网距离。

9.一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至8任一项所述的多焦距视觉SLAM与GPS融合的方法。