利索能及
我要发布
收藏
专利号: 2019108789545
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种轻量级的基于深度学习的惯性辅助视觉里程计实现方法,其特征在于,所述视觉里程计包括快速光流提取网络、密集卷积网络以及扩展卡尔曼滤波器,所述惯性辅助视觉里程计实现方法包括以下步骤:S1、机器人在移动过程中,通过相机获取连续视频帧数据,通过惯性测量单元获取加速度数据和角速度数据;

S2、采用所述快速光流提取网络学习所述连续视频帧数据,并得到光流特征;

S3、将所述光流特征输入所述密集卷积网络中进行处理,并输出得到初步位姿数据,所述初步位姿数据包括位置向量I、姿态向量I、位置向量I预测方差和姿态向量I预测方差;

S4、对所述加速度数据和所述角速度数据进行积分,得到位置向量II、姿态向量II、位置向量II方差和姿态向量II方差;

S5、通过所述扩展卡尔曼滤波器将位置向量I、姿态向量I、位置向量I预测方差、姿态向量I预测方差、位置向量II、姿态向量II、位置向量II方差和姿态向量II方差进行数据融合,得到融合后的位姿数据。

2.根据权利要求1所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法,其特征在于,所述密集卷积网络包括一个7×7的卷积层、一个平均池化层、四个DenseBlock模块、三个transition模块以及一个全连接层网络。

3.根据权利要求2所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法,其特征在于,四个所述DenseBlock模块所使用的bottleneck的数量分别为4个、6个、8个和12个,每个bottleneck均包括一个1×1的卷积层和一个3×3的卷积层;每个transition模块均包括一个1×1卷积核和一个2×2池化层。

4.根据权利要求3所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法,其特征在于,各bottleneck依次排序,第i个bottleneck的输入函数公式为:xi=H([X0,X1,…,Xi-1]

其中,xi-1代表第i-1层的特征地图,H代表拼接操作。

5.根据权利要求1所述轻量级的基于深度学习的惯性辅助视觉里程计实现方法,其特征在于,所述步骤S4中,通过扩展卡尔曼滤波器进行数据融合的方法具体包括:A1、根据位置向量I、姿态向量I及位置向量I预测方差、姿态向量I预测方差进行状态预测:St=St-1+∑t

其中,Tvt为t时刻位置向量I,Rvt为t时刻姿态向量I,μt-1为t-1时刻的位姿向量’ 为t时刻的位姿向量,∑t为t时刻协方差矩阵,St-1为t-1时刻的测量累积误差,St为t时刻的测量累积误差;

A2、为位置向量I预测方差添加惩罚项:

QTt=QT(t-1)+A×(b×t)c;

其中,QT(t-1)为t-1时刻的预测位移方差矩阵,QTt为t时刻的预测位移方差矩阵,A、b、c均为可调参数;

A3、数据融合:

K=S/(S+Qt)

其中,QRt为t时刻的预测旋转方差矩阵,Qt为t时刻的预测方差矩阵,K为卡尔曼增益,μt即为融合后的位姿数据,Tj为位置向量II,Rj为姿态向量II。