1.一种基于深度学习的移动机器人回环检测方法,其特征在于:所述基于深度学习的移动机器人回环检测方法包括按顺序进行的下列步骤:1)利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D;
2)对上述航站楼实际场景数据集D中的所有图像帧进行包括旋转、翻转、缩放及光照强度改变在内的处理,以对图像帧进行增强,获得航站楼实际场景增强数据集D’;
3)将上述航站楼实际场景增强模数据集D’输入区域生成网络而对其进行训练,获得区域生成模型A;
4)将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练,获得全局描述模型B;
5)将区域生成模型A和全局描述模型B连接而构成回环检测模型C;
6)将待检测原始图像帧输入上述回环检测模型C中,得到待检测原始图像的局部区域全局描述子,然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度,当相似度高于相似度阈值时,将关键帧作为回环候选帧Q,由所有的回环候选帧Q组成回环候选帧集Qn;
7)对上述回环候选帧集Qn进行回环验证,若回环验证成功,则判断出现回环,获得最终的回环帧。
2.根据权利要求1所述的基于深度学习的移动机器人回环检测方法,其特征在于:在步骤1)中,所述利用采集设备获取航站楼场景中具有回环的序列原始图像帧而构成航站楼实际场景数据集D的方法是:1.1)在航站楼室内区域选取包含回环的路线作为图像采集环境;
1.2)将RGB-D相机安装在移动平台上作为采集设备,RGB-D相机的安装方式为平视,安装方向与移动平台前进方向一致,RGB-D相机中轴线与移动平台中轴线重合,允许安装误差分别为5°以内和2mm以内;
1.3)使移动平台沿上述包含回环的路线行驶的同时,利用RGB-D相机采集航站楼场景中具有回环的序列原始彩色图像帧和深度图像帧,然后将上述图像帧以相应格式保存并将同一位置的彩色图像帧和深度图像帧一一对应而构成图像对,由所有图像帧对构成航站楼实际场景数据集D。
3.根据权利要求1所述的基于深度学习的移动机器人回环检测方法,其特征在于:在步骤3)中,所述将上述航站楼实际场景增强模数据集D’输入区域生成网络而对其进行训练,获得区域生成模型A的方法是:首先将航站楼实际场景增强数据集D’输入区域生成网络的输入层,在零值附近随机初始化权重;经过CNN层之后产生多尺度特征图,利用滑窗算法在特征图上生成初始框区域,对初始框区域计算分类损失函数及边界框回归损失函数找到候选框区域,执行反向传播算法并进行梯度检查,通过反向传播算法最小化损失函数,经过迭代直到损失函数误差满足阈值要求后,确定出权重参数,获得区域生成模型A。
4.根据权利要求1所述的基于深度学习的移动机器人回环检测方法,其特征在于:在步骤4)中,所述将上述航站楼实际场景增强模数据集D’输入NetVLAD网络而对其进行训练,获得全局描述模型B的方法是:所述NetVLAD网络由卷积层、池化层、全连接层和NetVLAD层构成;
首先将航站楼实际场景增强数据集D’输入NetVLAD网络的输入层,在零值附近随机初始化权重,通过前向传播算法计算输出,选取对应的损失函数,执行反向传播算法并进行梯度检查,通过反向传播算法最小化损失函数,经过迭代直到损失函数误差满足阈值要求后,确定出权重参数,获得全局描述模型B。
5.根据权利要求1所述的基于深度学习的移动机器人回环检测方法,其特征在于:在步骤6)中,所述将待检测原始图像帧输入上述回环检测模型C中,得到待检测原始图像的局部区域全局描述子,然后计算上述局部区域全局描述子与关键帧数据库中关键帧描述子的相似度,当相似度高于相似度阈值时,将关键帧作为回环候选帧Q,由所有的回环候选帧Q组成回环候选帧集Qn的方法是:6.1)将待检测原始图像帧输入到回环检测模型C的区域生成模型A中,以待检测原始图像帧中物体在内的目标为先验信息进行局部区域划分并存储待检测原始图像帧的局部区域描述子,记为Li A(i=1,2,...,n),其中n为局部区域数量;获得含有局部区域信息的图像帧;
6.2)将上述含有局部区域信息的图像帧输入回环检测模型C的全局描述模型B中,每个局部区域描述子会被聚类为k个全局描述子,获得含有局部区域全局描述子的图像帧,由所有含有局部区域全局描述子的图像帧组成待检测原始图帧像的描述子矩阵;
6.3)以邻近图和K-D树为基础建立关键帧数据库;
6.4)计算待检测图像帧的局部区域全局描述子与关键帧数据库中关键帧描述子的相似度,相似度使用待检测图像帧的局部区域全局描述子和关键帧描述子这两个矩阵A,B的余弦距离进行度量,计算公式如式(1)所示:
其中,矩阵A,B均为k×D矩阵,aij,bij分别为矩阵A,B的第i行第j列元素;
当相似度满足相似度阈值要求时,将此时的关键帧作为回环候选帧Q。
6.根据权利要求1所述的基于深度学习的移动机器人回环检测方法,其特征在于:在步骤7)中,所述对上述回环候选帧集Qn进行回环验证,若回环验证成功,则判断出现回环,获得最终的回环帧的方法是:7.1)遍历回环候选帧集Qn中的回环候选帧Q,对待检测图像帧与回环候选帧Q进行描述子匹配,确定匹配成功的匹配对数量;
7.2)将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上的重投影误差满足阈值要求的描述子称为内点;采用RANSAC算法判断上述匹配对数量是否满足内点数要求,若满足,会返回待检测图像帧和回环候选帧Q的相对位姿,然后基于上述相对位姿进行内点重投影搜索以进行描述子匹配;
7.3)根据上述内点重投影搜索结果,进行双向优化,即将待检测图像帧中描述子的三维空间位置投影到回环候选帧Q的二维平面上并计算重投影误差e1,再将回环候选帧Q中描述子的三维空间位置投影到待检测图像帧的二维平面上并计算重投影误差e2,再将上述两个误差放在一起优化,即J=∑(||e1||2+||e2||2)),得到新内点,之后判断新内点数量是否大于新内点数量阈值,如果判断结果为是,表明此回环候选帧Q是最终的回环帧。