1.一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,包括:通过深度相机实时采集图像序列帧,并转化为设定的图像尺寸后输出;
创建卷积神经网络模型,以接收并处理深度相机输出的图像序列帧,以对输入的图像序列帧依次进行特征提取、图像特征匹配和相机位姿运动状态估计,并输出提取出的特征点云坐标和描述子信息和相机位姿的信息,用于建立图像几何结构的拓扑信息;
创建循环神经网络模型,以接收并处理深度相机输出的图像序列帧,以对输入的图像序列帧依次进行图像切分、基于注意力机制的动态特征剔除和语义约束下的特征匹配,并输出可信语义区域和可信度在设定第一阈值以上的物体级路标信息;
创建具有语义信息的网格地图,具体如下:
利用物体级路标信息获取像素级语义信息,将语义类别标注在对应的特征点云上,并进行增量式贝叶斯更新,使得点云类别标签随着观测的增多而收敛至稳定,进而创建具有语义信息的点云地图;
将每个带有语义信息的点云转换为一个词袋向量,所述词袋向量表示每个视觉单词的出现频率,使用词频来对频率进行加权;基于词袋向量的物体级数据关联将点云地图的词袋向量与已知物体的词袋向量进行匹配,以进行相似度计算,并根据计算出的相似度的大小,判断所述点云地图包含的物体;
将特征点云坐标映射到一个栅格系统,然后将特征点云的占用状态记录到网格中;
定义一个网格地图,将特征点云坐标映射到网格地图的坐标系中,并在每次获取点云坐标数据后,调用MapCoordinatesToGrid方法,将识别和跟踪到的物体位置添加到网格中,进而构建出整个环境的网格地图。
2.根据权利要求1所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,还包括:基于回环检测进行图优化和闭环修正,具体如下:通过计算当前图像帧与预先选择的关键帧的特征点的汉明距离来判断当前图像帧与关键帧之间的相似度,当当前图像帧与关键帧之间的相似度超过设定的第二阈值时,触发进行回环检测;
通过 iSAM增量式图优化算法,构建一个包含相机轨迹、特征点以及相机轨迹与特征点之间约束关系的图,计算相机位姿、特征点和边,构建残差平方和函数计算约束误差,并通过最小化约束误差来调整图中的节点,使用非线性最小二乘法进行优化。
3.根据权利要求1所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,所述特征提取的方式具体如下:利用卷积层的卷积操作识别图像中基础特征;
利用池化层减少基础特征的空间维度;
利用全连接层将池化层输出的特征进行融合,以生成更抽象的全局表示;
基于空间注意力机制聚焦图像的不同区域,根据图像区域的重要性为不同区域赋予不同的权重,生成一个权重图,并根据所述权重图调整特征图的各个位置的贡献;
通过加权平均或加权和的方式来聚焦图像中的重要区域,生成空间权重图来强调重要区域的特征;
通过输出层生成图像的最终特征表示,经过Sigmoid激活函数后的概率分布,表示图像所属的类别。
4.根据权利要求3所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,所述图像特征匹配的方式具体如下:;
其中, 为特征A与特征B之间的汉明距离, 为计算特征A中的特征
描述 与特征B中的特征描述 是否相等,n为特征描述的数量;
通过AKAZE算法在不同尺度下提取图像的特征点,并在尺度空间中,基于区域的方法来检测关键点,并得到特征点的坐标;
AKAZE采用M‑LDB描述子来描述特征点的周围区域;
通过比较不同图像之间的M‑LDB描述子来进行特征匹配,从而识别出图像中的相似区域,构建出图像的几何特征。
5.根据权利要求1所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,所述相机位姿运动状态估计的方式具体如下:初始化相机参数设置;
将图像转化为Mat矩阵,根据立体匹配算法,计算图像视差值,并将视差值转化为深度值,以获得图像的深度图;
根据图像特征点的二维像素坐标值和深度值得到空间特征点的三维世界坐标值,通过PnP算法从已知的二维像素坐标值‑三维世界坐标值的对应关系估计相机的位姿;将旋转和平移矩阵转化为数列,将上一帧姿态数列和当前姿态数列对比,并使用低通和光流滤波过滤;创建4×4转换矩阵,以相机为中心,将相机坐标依次转化为世界坐标、图像坐标,调整相机姿态和运动状态估计。
6.根据权利要求1所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,所述图像切分用以将图像划分为多个块图,每个块图的特征作为循环神经网络模型的一个时间步输入。
7.根据权利要求6所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,所述基于注意力机制的动态特征剔除的方式具体如下:创建LSTM层提取出图像物体的边缘、角点作为路标点,再添加注意力层,所述注意力层根据当前输入和隐藏状态动态计算各个特征的注意力权重;
根据路标点对应的历史像素语义类别、置信度及重投影深度误差、光度误差,不断更新路标点的可靠性评分,剔除可靠性低于设定第三阈值的路标点;为每个新路标点给予一个初始动态概率,若路标点对应的特征点落在先验动态物体轮廓内,其动态概率根据权重增大,动态概率在帧间进行传播,剔除最终动态概率高于设定的第四阈值的特征点。
8.根据权利要求6所述的一种基于深度循环卷积神经网络的端到端SLAM方法,其特征在于,所述语义约束下的特征匹配的方式具体如下:使用YOLOX模型在特征提取阶段着重提取可信语义区域,构建多关联图来建模各个可信区域的空间结构和尺度层级,通过最小化一个能量函数实现图像物体区域之间的匹配。