利索能及
我要发布
收藏
专利号: 2022107438878
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-07-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合注意力机制的视觉同步定位与地图构建闭环检测方法,其特征在于,包括以下步骤:S1、将图像输入主干网络中,输入图像格式为224×224大小的RGB彩色图像,将ResNet50网络作为主干网络,在ResNet50网络各层之后增加一个通道注意力层和一个空间注意力层;在所述通道注意力层中,添加了三种不同大小尺寸的卷积核,获取不同的尺度信息;空间注意力层用于重新分配同一通道特征图的权重,更加专注于突出显示最具有辨别力的区域,抑制不相关的特征,以便关注哪里的特征是有意义的;

S2、之后经过分组卷积模块和全局平均池化模块来处理不同尺寸的特征,分组卷积模块用于减少卷积过程的参数量,全局平均池化模块强制了特征图和类别之间的对应关系,更加适合卷积结构,同时网络参数更少,避免了过拟合问题,然后通过全连接层得到最终的通道注意力图;

S3、经过通道注意力层后的输出特征图作为空间注意力层的输入特征图,在所述空间注意力层中,特征图经过最大池化层和平均池化层,然后进行拼接,最后经过卷积层和sigmoid函数得到空间特征图;

S4、最后经过特征融合模块,将距离输入比较近的浅层网络提取的特征作为浅层特征,将距离输出比较近的深层网络提取的特征作为深层特征,将深层特征和浅层特征进行融合,获得丰富的图像表示;其中深层特征之后接入一个通道调整模块,以便于和浅层特征进行融合,并采用ReLU激活函数对输出结果进行激活;

S5、最后用全连接层将特征图转化为1000维的特征向量,进行相似度计算,通过网络模型提取的当前图像特征和历史图像特征进行相似度计算,判断相似度是否大于等于设定的阈值,如果是,则判定为闭环,如果不是,则从历史图像序列中选取下一张图像重新相似度计算,结束循环的标志是找到闭环的位置或者遍历完历史图像序列。

2.根据权利要求1所述的一种融合注意力机制的视觉同步定位与地图构建闭环检测方法,其特征在于,所述步骤S1三种不同大小尺寸的卷积核大小分别为7×7、5×5、3×3;

通道注意力是关注什么样的特征是有意义的;将ResNet50的中间特征图作为输入,首先经过两次分组卷积模块全局平均池化模块得到每个通道的特征图,为了汇聚总的特征将来自同一通道的特征图拼接在一起得到N*C×1×1的特征图,然后传入全连接层得到C×1×1的权重向量,将输入特征图与权重向量进行逐通道相乘得到带有权重的通道注意力图。

空间注意力层将通道注意力图作为输入,首先经过平均池化和最大池化得到H×W×1的特征图,然后拼接得到一个二维特征图H*W*2,之后经过两个卷积层和一个sigmoid函数得到最终的空间注意力图。

3.根据权利要求1所述的一种融合注意力机制的视觉同步定位与地图构建闭环检测方法,其特征在于,所述步骤S2分组卷积模块的计算公式为:其中, 表示步长为1,尺寸为3×3×2的组卷积;MaxPool(F)、AvgPool(F)]分别表示将特征图进行最大池化和平均池化操作,fgcm(F)表示经过分组卷积模块后得到的最终特征图。

空间注意力模块的计算公式为:

其中, 和 分别表示尺寸为1×1×1、3×3×2,步长为1的卷积。 分别

表示经过最大池化和平均池化后得到两个二维特征图。

所述全局平均池化模块由全局平均池化层和sigmoid函数组成。

4.根据权利要求3所述的一种融合注意力机制的视觉同步定位与地图构建闭环检测方法,其特征在于,所述步骤S3中,在空间注意力模块中,输入特征图经过最大池化和平均池化后,特征图尺寸变为H×W×1,将得到的特征图拼接后变为H×W×2,分别经过步长为1,尺寸为1×1×1、3×3×2的卷积,得到尺寸为H×W×1的特征图。H、W分别表示特征图的高度和宽度。

5.根据权利要求3所述的一种融合注意力机制的视觉同步定位与地图构建闭环检测方法,其特征在于,所述步骤S4深层特征之后接入一个通道调整模块,通道调整模块是由最大池化和1×1卷积层构成,特征图的尺寸由最大池化层改变,特征图的通道数由1×1卷积层改变。

所述采用ReLU激活函数对输出结果进行激活为

f(x)=max(0,x)

其中,x是输入,f(x)是经过ReLU激活函数之后的输出。

6.根据权利要求5所述的一种融合注意力机制的视觉同步定位与地图构建闭环检测方法,其特征在于,所述S5、最后用全连接层将特征图转化为1000维的特征向量,进行相似度计算,通过网络模型提取的当前图像特征和历史图像特征进行相似度计算,其公式为:其中u和v分别表示从网络模型中提取的两幅图像的两个特征向量,θ

(u,v)是它们之间的角度。判断相似度是否大于等于设定的阈值,如果是,则判定为闭环,如果不是,则从历史图像序列中选取下一张图像重新相似度计算,结束循环的标志是找到闭环的位置或者遍历完历史图像序列。