利索能及
我要发布
收藏
专利号: 2023114857902
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种无人机视觉灭火决策方法,其特征在于,所述决策方法包括以下步骤:

步骤S1、无人机飞往火场上空预定位置,调整单目视觉装置姿态获取火场图像信息,当火场存在多处火源点时,地面救援消防机器人喷射灭火剂到火场环境,单目视觉装置传送包括多个火源点分布和灭火剂射流落点的火场图像信息至无线图像处理终端;

步骤S2、无线图像处理终端内部的改进的Unet网络模型接收来自单目视觉装置的火场图像信息,通过采用优化后的交叉熵损失函数完成训练过程的改进的Unet网络模型处理,输出火场图像信息中所有火源点和灭火剂射流落点像素分割结果;

步骤S3、对改进的Unet网络模型输出的火场图像信息中所有火源点和灭火剂射流落点像素分割结果采用密度的聚类算法DBSCAN和中心法获取不同火源点位置及像素大小信息和灭火剂射流落点位置信息,并对不同火源点进行序列编号,灭火剂射流落点位置作为灭火路径的起始点;

步骤S4、根据不同火源点位置及像素大小信息和灭火剂射流落点位置信息,采用改进的遗传优化算法获得多火源点编号次序作为多火源点灭火次序的最优解个体;

步骤S5、通过改进的遗传算法输出最优解个体,将多火源点编号次序生成指令编码发送至消防机器人控制系统,消防机器人控制系统依次按照多火源点编号次序喷射灭火剂直到所有火源点熄灭;

其中改进的遗传优化算法具体为:针对不同火源点为目标采用整数编码方式完成染色体编码,染色体的基因表示灭火剂射流落点路径上的灭火节点,对应火场环境中火源点的编号,建立以灭火时间最短为目标的个体适应度函数,采用锦标赛法为遗传算法的选择算子,计算由个体适应度函数得到的每个个体适应度值依概率保留优良个体基因,进行个体交叉、变异过程,得到新的种群,以此不断迭代直到满足收敛条件或达到最大迭代次数则停止更新种群,最后选择个体适应度值最大的个体基因上所携带的多火源点编号次序作为多火源点灭火次序的最优解个体。

2.根据权利要求1所述的一种无人机视觉灭火决策方法,其特征在于,所述步骤S2中的改进的Unet网络模型使用编码结构和解码结构;

其中,所述编码结构包括13层3×3卷积核的卷积层和5层最大池化层,每个池化层分别输出维度大小为160×160×64、80×80×128、40×40×256、20×20×512、10×10×512;

所述编码结构用于捕获火场图像特征信息;

所述解码结构包括5层卷积核为2×2的反池化层和5层卷积核为3×3的卷积层和1层卷积核1×1的卷积层作为模型输出层;

其中,所述编码结构的每个池化层输出分别与解码结构的第1次反池化层、第2次反池化层、第3次反池化层、第4次反池化层的输出进行特征通道拼接,并将通道拼接结果输入到解码结构中的卷积层进行特征还原,将解码结构中的卷积层输出连接到解码结构中的批归一化层BN,第5次反池化层输出连接到卷积核3×3的卷积层,再连接到卷积层进行特征压缩并作为模型输出层,且模型输出层为3通道特征图组成,其输出层维度大小为320×320×3,输出层卷积核大小为1×1,步长为1进行特征压缩,使用softmax函数激活;

所述解码结构用于将压缩后的图像特征进行重构,还原原始输入图像大小,得到输入图像对应的分割结果;

所述改进的Unet网络模型输入与输出图像大小一致均为320×320。

3.根据权利要求2所述的一种无人机视觉灭火决策方法,其特征在于,所述步骤S2中的改进的Unet网络模型的编码结构采用预训练好的VGG‑16模型参数作为改进的Unet网络模型训练的初始参数,降采样采用编码结构中最大池化层2×2的卷积核进行处理,反池化层采用2×2卷积核,步长为2进行上采样操作。

4.根据权利要求3所述的一种无人机视觉灭火决策方法,其特征在于,所述解码结构中使用跳跃连接进行不同层级之间的特征通道拼接,具体表现为:(1)将网络模型第一次降采样输出结果维度160×160×64与网络模型第四次反池化层输出结果维度160×160×128进行通道拼接;

(2)将网络模型第二次降采样输出结果维度80×80×128与网络模型第三次反池化层输出结果维度80×80×256进行通道拼接;

(3)将网络模型第三次降采样输出结果维度40×40×256与网络模型第二次反池化层输出结果维度40×40×512进行通道拼接;

(4)将网络模型第四次降采样输出结果维度20×20×512与网络模型第一次反池化层输出结果维度20×20×512进行通道拼接;

其通道拼接结果输入到卷积核3×3,步长为1的卷积层处理。

5.根据权利要求1所述的一种无人机视觉灭火决策方法,其特征在于,所述步骤S2中优化后的交叉熵损失函数具体为:,

其中, 表示网络输出预测值所属目标分类则为1,否则为0, 表示网络输出预测值所属背景分类则为1,否则为0, 表示背景类别损失权重, 为目标类别损失权重,为网络模型输出层结果, 为真实值,N表示一个批次样本数量与模型输出层分类神经元数量的乘积,所属目标分类根据每个像素点真实类型为火源点、灭火剂射流落点确定,所属背景分类根据每个像素点真实类型为背景确定。

6.根据权利要求1所述的一种无人机视觉灭火决策方法,其特征在于,所述步骤S3中采用密度的聚类其过程具体如下:步骤S31、从改进的Unet网络模型输出层输出的分割特征图,每个分割特征图包含分割目标像素点坐标信息(x,y),进一步将火源点像素坐标 、灭火剂射流落点像素坐标分别作为密度的聚类算法DBSCAN的样本数据点,以此判断图像分割目标像素点是否为核心点,如果是核心点,则继续扩展,找到所有密度可达点,并将其标记为同一簇,且最小邻域半径 为5和最小样本数minPts为6;

步骤S32、通过输入的火源点像素坐标 可得到所有分割火源点像素点的分类结果并标记为火源点1、火源点2、火源点3、...火源点N,同时,通过灭火剂射流落点像素坐标可得到分割灭火剂射流落点像素点的聚类结果并标记为灭火剂射流落点J;

步骤S33、采用中心法,将属于同一簇的所有像素点横坐标x,纵坐标y求取平均值得到来表示图像中不同火源点和灭火剂射流落点的位置信息,统计属于同一簇的所有像素点数量来表示图像中不同火源点和灭火剂射流落点的像素大小信息;

步骤S34、把获取到的不同火源点、灭火剂射流落点的位置及像素大小信息作为遗传算法的输入信息,具体表现为对不同火源点进行编号组成一个序列以此建立个体基因编码,根据不同火源点、灭火剂射流落点的位置信息计算不同目标点之间的像素距离,根据不同火源点像素大小作为火源点初始大小信息,最终把不同目标点之间的像素距离、火源点初始大小信息带入遗传算法个体适应度函数得到个体适应度值。

7.根据权利要求6所述的一种无人机视觉灭火决策方法,其特征在于,所述步骤S4中个体适应度函数为 :,

其中, 、 、 、 表示火灾模型参数为常量, 为灭火剂射流落点抵达第 个火源点,为灭火剂射流落点抵达第 个火源点该火源点当前火源点像素大小, 为射流落移动速率, 为第 个火源点初始像素大小其根据聚类结果得到N个火源点分别所包含的像素点数量,根据不同火源点分别所包含的像素点数量作为火源点初始大小信息 , 为灭火剂射流落点抵达第 个火源点所需时间, 表示种群中个体的基因编码其来源于不同火源点进行编号随机组成的序列编码, 表示火源点目标数量, 表示由第 个火源点指向第 个火源点像素距离其根据不同火源点坐标位置信息计算不同火源点之间的像素距离获得, 表示由第 个火源点指向第 个火源点像素距离,其中 表示灭火剂射流落点指向第一个火源点像素距离,根据灭火剂射流落点坐标位置信息与基因编码第一个火源点坐标信息计算像素距离获得 。

8.根据权利要求1所述的一种无人机视觉灭火决策方法,其特征在于,所述步骤S4中遗传优化算法中对种群进化过程中前期和后期的交叉概率、变异概率分别进行如下优化:,

式中, 、 、 、 表示交叉、变异概率为常数, 为第 个个体的适应度, 为种群的平均适应度, 为当前迭代次数, 为最大迭代次数, 、 分别表示第 个个体的交叉概率和变异概率。

9.一种使用如权利要求1‑8中任一项所述的无人机视觉灭火决策方法的无人机视觉灭火决策系统,其特征在于,包括:地面救援消防机器人,用于喷射灭火剂到指定火源点位置;

空中无人机,用于飞往多火源点火场上空指定位置;

安装在空中无人机下方的单目视觉装置,用于采集不同火源点分布的火场RGB图像并生成火场图像信息传输给无线图像处理终端;

无线图像处理终端,用于接收单目视觉装置发出的火场图像信息,并输出最优灭火决策方法,地面救援消防机器人基于所述最优灭火决策方法控制消防炮依次有序对准不同火源点完成灭火。

10.根据权利要求9所述的一种无人机视觉灭火决策系统,其特征在于,所述单目视觉装置内部设置有用于将火场图像信息传输给无线图像处理终端的无线图像传输模块。