利索能及
我要发布
收藏
专利号: 2022111039067
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种火灾场景下消防机器人的实时火焰定位方法,其特征在于:包括以下步骤:S1,制作数据集并训练火焰分割模型;

S2,移动消防机器人实时定位及建图,获取当前时刻的相机位姿;

S3,应用图像分割算法分割当前图像帧火焰区域;

具体包括:对于消防机器人相机所采集到的图像,在slam算法中对每一个关键帧的彩色图像输入到S1所训练并部署得到的图像分割模型中,得到该图像的火焰分割结果;若分割结果中不包含火焰区域,则不做进一步处理;若分割结果中包含火焰区域,则将该结果的二值图像传递给下一步骤中;

S4,提取火焰区域内匹配特征点并使用双目深度估计算法得到火焰点的坐标;

具体包括:

4.1,提取slam算法中对于该图像帧的特征点检测及匹配结果,将匹配的特征点与S3步骤所得到的分割结果进行相与操作,从而得到左右目图像所对应的火焰区域的匹配特征点对(Pli,Pri);对于得到的匹配点对,使用双目深度估计计算方法得到该火焰点Pi的深度信息,由公式表示如下:其中,b表示双目相机的中心距,单位为米;f为相机的焦距,单位为像素;xl,xr为左右目匹配的火焰点的横坐标,单位为像素;

4.2,结合S2中slam算法所计算得到的当前图像帧所对应的相机位姿,得到真实火焰点的世界坐标Pwi=(xi,yi,zi);

S5,使用聚类算法分离出不同火焰实例及过滤误检测火焰点;

S6,计算S5所得聚类中心输出火焰中心点定位坐标。

2.根据权利要求1所述的一种火灾场景下消防机器人的实时火焰定位方法,其特征在于:S1中具体包括:

1.1,采用网络爬虫工具收集搜索引擎图库中火灾场景的图像,并截取部分火焰场景的视频图像,对不合格的图像数据进行清洗,然后合并为一个总的火焰图像数据集,使用图像标注工具标注出图像中火焰的轮廓,得到火焰分割数据集;

1.2,将火焰数据集使用图像分割模型进行训练;训练过程中对图像数据进行数据增强预处理,包括:以一定的概率进行水平翻转、多尺度变化、随机裁减以及随机颜色抖动;

1.3,将训练好的模型部署到消防机器人操作平台上并使用tensorrt加速。

3.根据权利要求1所述的一种火灾场景下消防机器人的实时火焰定位方法,其特征在于:S2中具体包括:

2.1,采用slam算法进行定位与建图,经过初始化后,对于每一新加入的图像帧,计算与前一帧的匹配关系,并采用PnP算法来计算得到两帧之间的相对位姿,从而能够得到当前图像帧所对应的相机的位姿;

所使用的位姿计算公式为:

其中,p1,p2为前一帧与当前帧图像上的匹配特征点的坐标,F为基础矩阵; 为p2矩阵的转置;

2.2,求解上述公式至少需要八个匹配点对;求解得到F后结合相机内参使用矩阵分解方法得到相机的旋转矩阵与平移矩阵,即当前相机的位姿。

4.根据权利要求1所述的一种火灾场景下消防机器人的实时火焰定位方法,其特征在于:S5中具体包括:采用空间点聚类算法对S4步骤所得到的真实世界坐标火焰点集进行聚类,聚类的类别数不固定,由聚类算法根据数据的实际分布来决定,即聚类数量等于着火位置的数量;同时,设定聚类后每一类别的火焰点数量大于某一阈值才认为该火焰聚类为真实火焰,否则则认为是模型误检点并进行舍弃。

5.根据权利要求1所述的一种火灾场景下消防机器人的实时火焰定位方法,其特征在于:S6中具体包括:根据S5所得到的点的聚类信息,对每一类的所有火焰点计算他们的质心,即将该质心作为代表空间中该火焰的中心位置 随后将火焰的中心位置传递给消防机器人进行灭火操作。