1.一种基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，包括：实时采集机器人运动过程中通过相机拍摄的图像作为当前帧图像；对当前帧图像进行实例分割处理，从而区分得到当前帧图像中的动态像素和静态像素；

对于当前帧图像中的静态像素部分，提取预测的重复性单元和稠密描述子；

对当前帧图像中的静态像素部分进行线特征提取；

根据提取到的重复性单元和稠密描述子，获取像素级可重复性图和分块级可重复性图，采用基于可重复性的残差替代传统直接法的光度残差，构造点特征重投影误差函数，从而估计机器人位姿；

利用对静态像素部分提取的线特征，构建线特征重投影误差函数，约束位姿估计；

利用IMU获得机器人的IMU数据，对连续两帧图像之间的IMU数据进行预积分，构造IMU误差函数对位姿的迭代优化；

最小化点特征重投影误差函数、线特征重投影误差函数以及IMU误差函数之和来优化所有状态变量，求得准确的机器人位姿信息；

所述对当前帧图像中的静态像素部分进行线特征提取，包括：

首先计算静态像素部分图像的每个像素的水平线角度，从而得到一个单位向量场，使单位向量场中所有向量都和经过像素的水平线相切；接着再选取静态像素部分图像中方向连贯的图像像素区域，对于每个选出的所述图像像素区域，先将其视为一条线段s，若图像像素区域的梯度相互独立，则说明图像像素区域的像素之间不存在线段相关性，即该图像像素区域无线段存在；定义NFAM为像素梯度之间无相关性的警告次数：其中，NLoI表示静态像素部分图像中线段可能存在的数量；γ表示归一化值；S表示存在一条可能包含n条子线段{s1,...,sn}的线段；u和v分别代表图像像素区域的长和宽；而K＝{k1,...,kn}，ki表示与子线段si(i＝1,2,…,n)方向相同的像素个数；p是在图像像素区域内的一个随机像素q与线段si的方向θs(q)相同的概率，β(|si|,ki,p)是二项分布；

若NFAM(S,K,p)越小则说明某个像素区域中的像素梯度相互关联，即该像素区域可能存在线段；设定阈值η，当NFAM(S,K,p)<η，则s视为提取出的线特征。

2.根据权利要求1所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述的预测的重复性单元表示为 由特征提取网络的特征点检测层得到；稠密描述子表示为 由特征提取网络的描述子解码层得到；

其中， W表示当前帧图像的宽度，H表示当前帧图像的高度，C是网格的大小，表示实数集；

对 归一化，得到归一化后的重复性单元

3.根据权利要求2所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述特征提取网络采用改进后的SuperPoint网络，具体对该网络的改进如下：采用基于GhostNet架构的GhostNet编码层替代原superpoint网络的VGG编码层，GhostNet编码层包含卷积层Conv2d+批归一化层BN+激活层ReLU及六层G‑bneck，同时将网络结构宽度系数设置为1.5；其中，六层G‑bneck的扩张尺寸依次增大，第四、五层G‑bneck的扩张率为0.25，其余层为0；第一、三、五、六层G‑bneck的步长为2，其余层为1。

4.根据权利要求1所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述采用基于可重复性的残差替代传统直接法的光度残差，构造点特征重投影误差函数，从而估计机器人位姿，包括：为了估计当前帧的相机位姿Tk，构建每个通过运动恢复结构SFM得到的三维路标点pi的可重复性残差在分块级可重复性图 上关联静态像素部分图像的点特征和三维路标点，然后使用Levenberg‑Marquardt算法迭代优化误差函数至收敛，可得位姿增量ξk：在像素级可重复性图 上应用半径搜索算法，寻找与世界坐标系中的三维路标点pi的描述子最接近的像素点 然后将三维路标点重投影回当前帧图像的像素级可重复性图上，通过最小化点特征重投影误差函数求得机器人的当前位姿Tk。

5.根据权利要求4所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述可重复性残差 表示为：其中， 代表不同分辨率的像素级可重复性图 和分块级可重复性图 π(·)表示相机投影方程，ξk表示第k帧相机位姿增量，Tk表示相机的当前位姿， 是ξk的反对称矩阵；

使用Levenberg‑Marquardt算法迭代优化以下误差函数 至收敛，可得位姿增量ξk：其中， 表示是与当前帧有高共视关系的相邻帧的特征点集合，γ指鲁棒核函数；

点特征重投影误差函数为：

其中：

上式中，Rk表示机器人相机当前位姿Tk对应的旋转矩阵，tk表示平移向量，pi表示三维路标点， 表示是与当前帧有高共视关系的相邻帧的特征点集合，上标T表示转置，∑i,k表示像素点 的协方差矩阵，其决定特征点在优化中的权重；i为第i个三维路标点，k为第k帧；

γ表示鲁棒核函数。

6.根据权利要求1所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述利用对静态像素部分提取的线特征，构建线特征重投影误差函数，约束位姿估计，包括：记P、Q是三维空间下的线段PQ的两个端点，pd,qd是线段端点P、Q在相机平面的投影经过位姿变换后所对应的两个端点，它们对应的齐次坐标分别为 从而构建归一化线性系数；

将线特征的重投影误差 定义为投影线段端点到图像平面中变换后得到线段pdqd之间的距离，即：i

其中， 指世界坐标系下的路标点P到投影线段pdqd的距离， 指世界坐标系下的地i i i图点Q到投影线段pdqd的距离，I为世界坐标系下的地图点P对应的归一化线性系数，T表示机器人相机位姿；K表示相机内参；

line

则最终的线特征重投影误差函数E 为：

其中，χl指第I帧图像提取到的线特征集合，∑l为线段的两个端点(i,j)的协方差矩阵，ρ为Cauchy函数。

7.根据权利要求1所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述利用IMU获得机器人的IMU数据，对连续两帧图像之间的IMU数据进行预积分，构造IMU误差函数对位姿的迭代优化，包括：对IMU的测量值进行预积分，获得连续两帧之间的相对位姿信息，从而得到状态向量信息矩阵的预积分；

构建第i帧图像和三维路标点xj的重投影误差rij；

对于给定的k+1关键帧和其相应的状态向量 以及给定的l个三维路标点集合和其相应的状态向量X，它们的IMU误差函数为：其中， 表示状态向量信息矩阵的预积分， 为 对应的协方差矩阵；rij表示j第i帧图像和三维路标点xj的重投影误差，K表示第j个三维地图点的观测关键帧集合，ρ为Cauchy函数。

8.根据权利要求1所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述最小化点特征重投影误差函数、线特征重投影误差函数以及IMU误差函数之和来优化所有状态变量，求得准确的机器人位姿信息，包括：针对视觉点线特征约束、IMU约束，构建残差目标函数：

point line

min{ρ(E )+E +Ei,i+1}

point line

其中，E 为点特征重投影误差函数，E 为线特征重投影误差函数，Ei,i+1为IMU误差函数，ρ为Cauchy函数；

通过Levenberg–Marquard法迭代优化出所需要的状态变量：其中，Ti为相机在世界坐标系下的位姿，vi为速度， 为陀螺仪的偏差， 为加速度计的偏差；

即可得到准确的位姿信息。

9.根据权利要求1所述的基于深度学习点线特征和IMU紧耦合的机器人运动估计方法，其特征在于，所述方法还包括：根据提取的点特征、线特征进行回环检测，与构建的点线词袋库匹配，并对状态向量进行反馈矫正；其中，点线词袋库即提取的点特征和线特征构成的特征库。