利索能及
我要发布
收藏
专利号: 2021103383439
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:包括以下步骤:

利用IMU信息计算出的移动机器人的相对位移和角度变化量筛选出候选关键帧;

利用视觉传感器获得的图像信息对候选关键帧进行筛选,从候选关键帧中筛选出最终的关键帧;

其中两次筛选关键帧的相关阈值和权重由神经网络自适应生成。

2.根据权利要求1所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:IMU包括加速度计和陀螺仪,所述IMU信息包括当前时刻角速度和加速度。

3.根据权利要求2所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:对IMU信息进行预积分处理,具体包括:对加速度计测得的加速度值去除噪声后进行一次积分得到速度,二次积分得到相对位移;

对陀螺仪测得的角速度值去除噪声后进行一次积分得到移动机器人运动过程中的角度变化量。

4.根据权利要求3所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:IMU数据预积分时间间隔为Δtij,在k时刻测得的角速度为wk,陀螺仪的零偏和高斯白噪声分别为bg和ηg;测得的加速度为ak,加速度计的零偏和高斯白噪声分别为ba和ηa;位姿信息包括旋转矩阵Ri和位置信息Pi,通过积分k=i时刻到k=j‑1时刻的所有IMU测量值,来将k=i时刻的旋转矩阵Ri、位置信息Pi、速度信息vi和角度信息θi更新到k=j时刻的Rj、Pj、vj和θj;相关公式如下:其中 ΔRik=Rk‑Ri;g为重力加速度;Δt为IMU传感器的采样周期。

5.根据权利要求4所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:所述候选关键帧的筛选通过下式来判断:α(Pn‑Pn‑1)+(1‑α)(θn‑θn‑1)≥δ      (5)其中α、(1‑α)分别为相对位移和角度变化的权重,δ为筛选阈值,均通过神经网络自适应生成;

筛选过程具体包括以下步骤:

(1)令IMU数据与图像数据对齐后的第一帧为关键帧,且给定阈值δ1,在一定时间间隔Δtij对IMU数据进行预积分,得到第一时刻位置信息P1,当前第一角度θ1;若0.5P1+0.5θ1≥δ1,则将其作为第二关键帧;否则,再加入一个时间间隔Δtij对IMU数据进行预积分,直到满足

0.5P1+0.5θ1≥δ1;

(2)从筛选第三候选关键帧开始,对与上一关键帧间隔时间Δtij的IMU数据进行预积分,得到第n时刻位置信息Pn,第n时刻角度θn;若α(Pn‑Pn‑1)+(1‑α)(θn‑θn‑1)≥δ,则将该帧加入候选关键帧,否则将该帧丢弃并再引入一个Δtij对IMU信息进行预积分。

6.根据权利要求5所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:所述利用视觉传感器获得的图像信息对候选关键帧进行筛选,从候选关键帧中筛选出最终的关键帧,具体包括:对已经筛选出的候选关键帧进行特征提取并进行匹配,计算这一候选关键帧与上一关键帧的内容相似度S,并将其与内容相似度ε比较,若S≥ε,则该候选关键帧不是关键帧;若S<ε,则该候选关键帧是关键帧,针对该帧进行位姿优化求解;所述关键帧的筛选阈值ε通过神经网络自适应生成。

7.根据权利要求6所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法,其特征在于:通过神经网络生成阈值δ、ε和权重α,所述神经网络具体包括:输入层{X1,X2,...X5}分别为最新关键帧的IMU加速度信息ak和角速度信息wk、最新的两关键帧间的相对位移(Pk‑Pk‑1)和角度变化(θk‑θk‑1)、最新的两关键帧的图像内容相似度S;

隐藏层为{A1,A2,...A5};

输出层{Y1,Y2,Y3}分别为相对位移的权重α、候选关键帧的筛选阈值δ、内容相似度阈值ε;

隐藏层和输出层的激活函数均选用ReLU函数;训练过程中所使用的数据实际输出值为Yj′,模型的学习速率为ρ,计算隐藏层输入时,Xn所对应的权重为Wni;求输出层输入时,Om所对应的权重为Vmj;

隐藏层输入Ii分别为:

隐藏层输出Oi分别为:Oi=max(0,Ii)        (7)输出层输入Tj分别为:

输出层输出Yj分别为:Yj=max(0,Tj)       (9)用最小二乘法表示预测结果的误差E为:输入层到隐藏层的权值调整值ΔWni为:隐藏层到输出层的权值调整值ΔVmj为:ΔVmj=‑ρ(Yj′‑Yj)Om      (12)。