利索能及
我要发布
收藏
专利号: 2022110400096
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于,该方法包括:S1:固态激光雷达和相机的外参标定得到相机到雷达的坐标变换矩阵 ,其中c代表相机坐标系,L代表雷达坐标系,标定相机,相机和雷达时间同步,去除图像畸变,获取去畸变后的图像;

S2:使用剪枝后的YOLOv5对图像中的动态目标识别,并且分别将得到的动态物体的目标框送入到视觉辅助模块中;

S3:视觉辅助模块提取图像的特征点后需要对特征点进行动态概率的计算,将概率值较大的视为干扰点并且将他剔除;为了减少动态物体对激光SLAM的定位建图产生影响,为此将当前帧的点云投影到图像上并且将S2中得到的目标框内的动态物体点云进行聚类,在建图的过程中将他剔除;

S4:固态激光雷达用传统的SLAM方法构建环境地图并计算出机器人位姿 ,根据外参推算出世界坐标系下相机的位姿 = ;

S5:相机在运动的过程中不断采集图像并且筛选出其中的关键帧,然后用DBow算法对已经剔除动态特征点的关键帧进行记录并且更新词袋,同时融入位姿信息,还会将投影到图像上的动态框外的点云进行存储;

S6:机器人开始重定位时,首先进行S3的特征点提取,利用已构建的词袋与S5中采集的关键帧进行相似度计算,如果匹配上的特征点少于阈值 但是大于阈值 ,则会在前一步匹配出的候选帧中进行点云配准;将候选帧中存储的点云反投影成三维空间点与当前的点云进行ICP配对计算得分,最终得到总分最高的就是机器人的粗位姿;

S7:经过S6的匹配会得到一个机器人的粗位姿,然后这个粗位姿会被送入到固态激光雷达预处理模块中进行局部点云匹配得到精确的机器人位姿。

2.如权利要求1所述的一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于:S2中的剪枝YOLOv5具体如下:在YOLOV5框架的基础上,采用在批量归一化中对缩放因子施加L1正则化层进行剪枝达到轻量化,因此容易实现而且无需更改现有的架构;

                    (1)

式(1)是BN层的计算公式,其中 和 分别为BN层的输入和输出,B是当前最小的mini batch, 和 代表在B上的输入激活函数的平均值和标准差,和 是可训练的仿射变换参数,分别表示尺度和位移;每个通道数激活大小 和系数 是正相关的,如果 太小接近于零,那么激活值也会非常小,进而允许剔除 趋近于零的通道;但是正常情况下,训练一个网络后,BN层的系数是类似一个正态分布,正常训练时候 是随着epochs呈直方图分布,所以趋近于零附近的通道是很少的,所以没法剪枝;因此要通过L1正则化将BN缩放因子的值推近零,使能够识别无关紧要的通道,因为每个缩放因子都对应于特定的卷积通道;

                   (2)

式(2)的前半部分就是标准的CNN损失函数部分,后半部分是添加的正则化系数的约束,其中λ是平衡因子,W表示可训练权重, 表示训练输入和目标,λ根据数据集进行合理的调整,g(s)=∣s∣是代表L1正则化;由于L1范数的引入导致的梯度问题,使用smooth‑L1进行替换。

3.如权利要求1所述的一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于:S3具体如下:S31:提取ORB特征点

S311:当图像当点P周围超过N个的点的灰度值I(x)与该点P的灰度值I(p)相差大于阈值ε就认为该点为目标角点,具体表示为:                   (3)

S312:通过计算质心保持特征点方向不变性,通过对原图像序列以一定比例 缩放,构成图像金字塔,以保持特征点尺度不变性:同时为了使特征点在图像中均匀分布采用四叉树均匀算法S313:计算BRIEF描述子,通过二进制进行描述特征点周围的信息;

S32:首先,计算由YOLO识别出来的边界框外所有点的对极几何的基础矩阵,基础矩阵将后一帧中的特征点映射到当前帧中相应的搜索域,即极线,假设P为静态点, 为动态点,动态点到极线之间的距离为D;设 , 分别表示上一帧和当前帧的匹配点,并且 , 是齐次坐标形式,u,v是在图像中的特征点的像素坐标;

                       (4)

                        (5)

极线由I表示,并且计算公式:

                         (6)

其中X, Y, Z表示极线向量,F是基础矩阵;

                          (7)

式(7)表示某一个配对点在上一帧经过基础矩阵变换后落在当前帧中,它与极线I之间的距离为D;对于稳定的特征点而言,在理想状态下经过基础矩阵变换后最终会落在极线I上,即点到极线的距离为零;由于运动物体的存在,图像中的每个特征点不严格约束位于其相应的极线上;将距离信息转化为概率信息,根据上述可以推导出,当点离极线距离越长,移动概率的可能性越大;

S33:动态是一种连续性动作,单独对一帧进行处理时是不稳定的,因此利用贝叶斯定理,利用过去和当前信息来评估和消除动态关键点;假设每个点的动态概率初始值为ω并且从匹配的关键点到其对应极线的距离是满足高斯分布而且概率迭代是符合马尔科夫性质的;

S331:使用正态概率密度函数计算关键点的移动概率,其定义为:

                    (8)

采用标准正态分布,代表标准差其值为1,期望为零,其中 代表由对极几何方式初步筛选出的第i个点是静态还是动态,表达式为:                         (9)

S332:在本发明中,一个点的概率传播公式为:

       (10)

       (11)

其中 更新概率是来自几何模型中, 更新概率是来自YOLO的边

界框内;

S333:其中 是权重代表分别对极几何模型和YOLO识别的边界框的置信度;的计算方式为:                          (12)

其中 代表由对极几何模型计算出的外点个数, 代表由YOLO的边界框所包含的点数;当概率大于  时就会被判定为动态点并且将其剔除不再参与重定位的特征点配对。

4.如权利要求1所述的一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于:固态激光雷达用传统的SLAM方法构建环境地图并计算出机器人位姿 ,根据外参推算出世界坐标系下相机的位姿 = 。

5.如权利要求1所述的一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于:S5中相机与雷达信息存储方式具体如下:S51:相机在运动的过程中不断采集图像并且筛选出其中的关键帧;

=                         (13)

S52: 用DBow算法对已经剔除动态特征点的关键帧进行记录并且更新词袋,并且将激光SLAM计算出来的位姿根据公式(13)推导出相机的位姿并且记录下,其中式(13)中的和 分别是相机在世界坐标系下的位姿和雷达在世界坐标系下的位姿, 是相机到雷达的外参变换矩阵;

S54:将同一帧的固态激光雷达的点云通过内参和外参投影到相机的平面上;

S55:利用YOLOv5计算出来的识别框和固态激光雷达投影到相机平面上点云进行对齐,然后将人聚类提取出来并且将其剔除;与此同时,将投影在图像上的剩余点云以图像的形式保存下来。

6.如权利要求1所述的一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于:S6中重定位匹配具体如下:S61:计算当前的特征点的DBow向量,将他与历史记录的DBow的向量计算相似度;

S62:如果匹配上的点满足粗位姿估算则进入下一步;

S63:如果匹配的点少于阈值 但是大于阈值 ,则会把S62中计算出来的候选帧中所记录的点云反投影至三维空间中,当前帧的点云会依次进行ICP配准计算出最优的候选帧得到机器人的粗位姿。

7.如权利要求1所述的一种面向动态环境的相机与固态激光雷达融合重定位方法,其特征在于重定位具体为:经过S6的匹配会得到一个机器人的粗位姿,然后这个粗位姿会被送入到固态激光雷达预处理模块中进行局部点云匹配得到精确的机器人位姿。