利索能及
我要发布
收藏
专利号: 2020106817844
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于扫地机器人的语义信息与VSLAM融合方法,其特征在于,其包括如下步骤:S1、将语义信息融入到VSLAM系统中,建立融合语义信息的室内地图,包括如下具体步骤:

S11、提取语义信息并对语义信息进行识别;

S111、根据现有分类模型,使用ResNet‑18作为基础网络,移除最后全连接层,对语义信息进行提取与识别;

S112、对室内物体建立公共数据集,将所述室内物体分割成n个区域,并按照从左到右从上到下的次序对所述n个区域进行排序,建立离线语义信息字典,用n维向量c的n个分量c1‑cn依次代表n个区域,若分量代表的区域存在,则该分量为1,否则为0;

S12、对室内进行工字清扫;

S121、进行最大区域确定,并在进行最大区域确定过程中进行室内物体识别和分割,然后回到起始位置;

S122、开始工字清扫;

S13、生成融合传统信息与语义信息的融合字典;

S131、生成语义字典;

通过建立的离线语义字典,在清扫过程中对物体与物体位置进行识别,得到包含语义信息的向量,生成语义信息字典;

S132、生成传统字典;

通过特征点提取与匹配得到每一帧图像的特征点,通过运动估计得到每一个特征点的位姿,确定每一个特征点的属性;将所述图像上的特征点放入字典,形成传统字典;

S133、将语义字典中包含语音信息的向量加入到传统字典向量的前面,生成融合传统信息与语义信息的融合字典;

S14、生成地图;根据已求得的空间各个点的位姿构建点云地图;

S15、回环检测;

首先进行语义信息匹配,如果语义信息无法完成匹配,则认为该点是错误的匹配,不需要再在词袋中查找;否则,对比传统字典与语义信息字典中物体的位置关系,当语义信息匹配度超过某一阈值时,进行回环检测,对累计误差进行优化,得到优化后的地图;

S2、建立扫地机器人自学习模型,针对已建立的室内融合语义信息的地图,在对室内进行清扫的过程中,自学习不同区域的脏乱程度,对室内区域进行划分,得到一级区域、二级区域和三级区域;

S3、建立多模式清扫机制;

针对已建立的扫地机器人自学习模型,建立多模式清扫机制。

2.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法,其特征在于,在所述步骤S132中采用暴力匹配方法进行特征点提取与匹配,所述方法选取ORB特征,使用快速近似最近邻算法来进行特征点匹配。

3.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法,其特征在于,在所述步骤S132中采用EPnP算法得到特征点的位姿。

4.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法,其特征在于,在所述步骤S2中采用基于语义信息的改进K‑means聚类算法进行室内区域划分,包括如下操作步骤:

S21、根据室内地图,选取语义识别出的室内物体,设置k个聚类质心点为μ1,μ2,…,μk;

(i) (i) 2

S22、使用公式C =argminj||x ‑μj|| ,对每一个数据个体i按照欧氏距离最近原则(i)

对室内空间样本数据集进行聚类,将样本确定归类,其中,C 代表样例i与k个类中距离最(i)

近的类,μj是每个聚类的质心点,x 是室内的每个点的坐标;

S23、对于每一个聚类μj,根据扫地机器人扫入的赃物的多少对聚类区域进行分级;

S24、重复执行步骤S22和S23,一直更新区域等级变化。

5.根据权利要求1所述的用于扫地机器人的语义信息与VSLAM融合方法,其特征在于,所述步骤S3中的多模式清扫机制包括:省电模式、智能模式和功能模式;

所述省电模式:根据已划分的区域等级,重点清扫一级区域;

所述智能模式:根据已划分的区域等级,着重清扫一级区域,少量清扫其它区域;

所述功能模式:根据已划分的区域等级,对室内区域无差别重点清扫。