利索能及
我要发布
收藏
专利号: 2019104188811
申请人: 东北大学秦皇岛分校
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1. 一种基于 SLAM 技术与图像识别的火源定位方法,其特征在于,包括以下步骤:S1,自主移动机器人通过激光雷达返回的数据结合 SLAM 算法构建实时地图并保存;

具体包括:自主移动机器人利用ROS平台订阅的激光雷达发布的数据话题、机器人底盘返回的里程数据以及机器人控制系统里配置好的坐标关系,通过SLAM‑GMAPPING算法得知车体当前的姿态和周围的环境信息;上位机发送移动指令控制所述机器人进行相应的移动,从而建立出一张完整的地图;

S2,机器人基于建立的实时地图进行自主行进,并通过摄像头捕捉图像进行火源识别与定位;具体的,进行火源识别与定位时,首先,对图像进行HSV转换,并分别对RGB与HSV两种空间上的图像进行处理,设定阈值对颜色分析,再综合二者的处理结果,得出类似火源物体的确切区域;其次,通过烟雾传感器与温度传感器,测定是否有烟雾产生、是否达到火源的温度,以区分颜色特征与火源相似的物体,识别出火源;最后,将火源中心标记于图像上,并对图像进行逆透视处理,将图像坐标转化为现实世界坐标,从而确定出火源的位置及距离;其中,所述的对图像进行HSV转换,并分别对RGB与HSV两种空间上的图像进行处理,设定阈值对颜色分析,再综合二者的处理结果,得出类似火源物体的确切区域具体包括:首先对图像RGB通道进行拆分;其次,使用高斯滤波对图像平滑化处理,对图像各通道设定相关阈值,将降噪后的图像加以二值化,并对RGB三通道的图像进行膨胀、腐蚀、开闭运算的多次形态学操作,而后将图像转换为HSV颜色空间中,与原RGB三通道处理后的图像叠加得到联合运算出的类似火源物体的位置图像;再次,利用canny轮廓检测技术处理三通道联合运算出的图像,将类似火源物体的轮廓提取出来,再通过轮廓重心提取算法,提取轮廓重心,同时利用openCV的最小边界矩形,框出类似火源物体的确切区域;利用canny 轮廓检测技术提取火焰的轮廓时,采用关键点检测法进行轮廓检测;其中,通过一个移动核去遍历矩阵,标记图像对应的相邻像素点颜色变化超过像素差异最小均值处为一个关键点;当图像用几个像素点即可唯一表示时,所述的几个像素点即为关键点。

2. 根据权利要求 1 所述的基于 SLAM 技术与图像识别的火源定位方法,其特征在于,步骤S2 中所述的机器人基于建立的实时地图进行自主行进,具体包括:S21,机器人利用 RVIZ 工具复现已构建好的地图;

S22,复现所述地图后,机器人根据激光雷达返回的雷达数据初步判断机器人当前的位置, 然后根据 RFID 读写模块获取的 RFID 模块的已知位置信息校准机器人自身当前的实际位置;

S23,上位机通过 RVIZ 工具选定目标点并发送自主行进指令;所述机器人接收到相关指令后根据激光雷达返回的数据并结合所述地图完成点对点的自主导航。

3.根据权利要求 1 所述的基于SLAM技术与图像识别的火源定位方法,其特征在于,步骤S2 中,所述的轮廓重心提取算法,即在提取完所需的轮廓之后,将轮廓所有点先进行越界修正,将修正后点的轮廓整体的所有点的横纵坐标累加后求平均值,即得火源的重心坐标。

4.根据权利要求1所述的基于SLAM技术与图像识别的火源定位方法,其特征在于,采用直边界矩形来求取最小边界矩形。

5.根据权利要求1所述的基于SLAM技术与图像识别的火源定位方法,其特征在于,还包括:

S3,当识别到火源后,机器人将火源位置作为目标位置,通过Simple trajectory generator算法计算获得车体的当前位置对应的在地图中到达目标位置的最短路径;所述机器人根据该最短路径进行行进。

6.根据权利要求5所述的基于SLAM技术与图像识别的火源定位方法,其特征在于,所述的通过Simple trajectory generator算法计算获得车体的当前位置对应的在地图中到达目标位置的最短路径,具体包括以下步骤:

S31,生成样本路径:

(1)获取当前的x轴速度vx、y轴速度vy和z轴转向角速度th;

(2)获取下发控制命令的频率H,算出每个控制命令的周期1/H = sim_period_;

(3)根据命令周期、加速度、减速度、最大速度、最小速度,算出下个周期时,x轴速度的最大值和最小值及y轴速度的最大值和最小值;

(4)获取每个速度的采样率及相应的采样标本;

(5)利用穷举法,针对vx、vy、th的所有标本进行全组合;

(6)针对每个样本速度,在sim_period_时间内,生成一条路径;

S32,最优路径选择:

由公式cost=pdist_scale_*path_dist+goal_dist*gdist_scale_+occdist_scale_* occ_cost得出最优路径cost;其中occ_cost为一个变量,路径上的每个采样点在数组costmap上对应的值中的最大值保存在变量occ_cost中;path_dist:路径终点到全局路径的偏离距离;goal_dist:路径终点到局部路径目标点的偏离距离;pdis_scale_、gdist_scale_和occdist_scale_:可变因子。

7.实现权利要求 1‑6 任一项所述方法的基于 SLAM 技术与图像识别的火源定位系统,其特征在于,包括:上位机(1)和自主移动机器人(2),所述上位机(1)用于接收自主移动机器人(2)返回的实时运行数据,并向其发送相关指令;所述的自主移动机器人(2)包括陀螺仪(3)、激光雷达(4)、摄像头(5)、温度传感器(6)、烟雾传感器(7)、处理器(8);处理器(8)通过陀螺仪(3)、激光雷达(4)返回的数据结合 SLAM 算法构建实时地图,并使得自主移动机器人(2)基于建立的地图进行自主行进;所述的构建实时地图具体包括:自主移动机器人(2)利用ROS平台订阅的激光雷达发布的数据话题、机器人底盘返回的里程数据以及机器人控制系统里配置好的坐标关系,通过SLAM‑GMAPPING算法得知车体当前的姿态和周围的环境信息;上位机(1)发送移动指令控制所述机器人进行相应的移动,从而建立出一张完整的地图;处理器(8)利用摄像头(5) 捕捉的图像进行火源识别;具体的,进行火源识别与定位时,首先,处理器(8)对图像进行HSV 转换,并分别对 RGB 与 HSV 两种空间上的图像进行处理,设定阈值对颜色分析, 再综合二者的处理结果,得出类似火源物体的确切区域;其次,通过烟雾传感器(7)与温度传感器(6),测定是否有烟雾产生、是否达到火源的温度,以区分颜色特征与火源相似的物体,识别出火源;最后,将火源中心标记于图像上,并对图像进行逆透视处理,将图像坐标转化为现实世界坐标,从而确定出火源的位置及距离;其中,所述的对图像进行HSV 转换,并分别对 RGB 与 HSV 两种空间上的图像进行处理,设定阈值对颜色分析,再综合二者的处理结果,得出类似火源物体的确切区域具体包括:首先对图像 RGB 通道进行拆分;其次,使用高斯滤波对图像平滑化处理,对图像各通道设定相关阈值,将降噪后的图像加以二值化,并对 RGB 三通道的图像进行膨胀、腐蚀、开闭运算的多次形态学操作, 而后将图像转换为 HSV 颜色空间中,与原 RGB 三通道处理后的图像叠加得到联合运算出的类似火源物体的位置图像;再次,利用 canny 轮廓检测技术处理三通道联合运算出的图像,将类似火源物体的轮廓提取出来,再通过轮廓重心提取算法,提取轮廓重心,同时利用 openCV 的最小边界矩形,框出类似火源物体的确切区域;利用canny 轮廓检测技术提取火焰的轮廓时,采用关键点检测法进行轮廓检测;其中,通过一个移动核去遍历矩阵,标记图像对应的相邻像素点颜色变化超过像素差异最小均值处为一个关键点;当图像用几个像素点即可唯一表示时,所述的几个像素点即为关键点。

8.根据权利要求7所述的基于 SLAM 技术与图像识别的火源定位系统,其特征在于,所述的自主移动机器人(2)还包括 RFID 读写模块(9),所述的 RFID 读写模块(9)与处理器(8)连接,用于自主移动机器人(2)根据 RFID 读写模块(9)获取的 RFID 模块的已知位置信息校准机器人自身当前的实际位置;RFID 读写模块( 9 )采用LMRF3060 模块;激光雷达(4)采用 RPLIDAR A1 激光雷达模块;所述的自主移动机器人(2)以两个直流无刷电机作为驱动电机;所述温度传感器(6)为红外温度传感器,其辅助进行模糊定位,以确保车体转到大致位置使得摄像头能够捕捉到包含火源的图像。