1.一种复杂场景下危险气体泄漏红外视频检测方法,其特征在于,包括以下步骤:
S1、将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络,生成虚拟的复杂场景下的红外泄漏气体数据,包括红外泄漏气体图像及其对应的光流图;其中该生成对抗网络的训练过程主要为使用FLIR Thermal数据集训练生成对抗网络来学习自然光图像和红外图像之间的映射关系;选取自然光照下背景复杂的火灾烟雾视频转换成红外图像,用来充当红外危险气体泄漏数据,包括森林、车祸、火灾救援场景;火灾烟雾视频包括从小到模糊到大到覆盖全屏幕的各种羽流大小的烟雾视频,且烟雾视频在日光条件下拍摄,没有可见的明火;FLIR Thermal数据集中的数据均来自于安装在车辆上不同位置的RGB相机和热成像相机;
S2、将红外泄漏气体数据输入预先训练好的Flow Faster RCNN网络中;其中该Flow Faster RCNN网络在训练时使用的数据集包含真实的红外气体泄漏图像和生成的虚拟气体泄漏图像,其中虚拟气体泄漏图像是由自然光照下的火灾烟雾图像转换成红外图像而来;
该Flow Faster RCNN网络的训练集和验证集的真实红外图像和虚拟红外图像的比为1:1;
S3、该Flow Faster RCNN网络通过并行的空间特征提取通道和运动光流特征提取通道,分别提取红外泄漏气体的空间纹理信息和光流运动信息,输出两个特征图,经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入RPN模块;通过RPN模块生成区域建议框,根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块;将特征图子块输入到两个全连接层中,判别区域建议框的类别以及最终校正区域建议框位置,从而得到是否有危险气体泄漏以及泄漏气体的位置。
2.根据权利要求1所述的复杂场景下危险气体泄漏红外视频检测方法,其特征在于,该生成对抗网络通过FLIR Thermal数据集进行训练,学习自然光图像和红外图像之间的映射关系;该FLIR Thermal数据集中的数据均来自于安装在车辆上的RGB相机和热成像相机,但两个相机在车辆上的位置不同,分别拍摄包含路况的自然光照图像和对应的路况红外图像。
3.根据权利要求2所述的复杂场景下危险气体泄漏红外视频检测方法,其特征在于,该生成对抗网络为基于GAN网络改进的Cycle Gan网络,其在原始的GAN网络中增加循环一致性损失,具体使用第一生成器GAB将真实的自然光照图像x转为红外图像y’,然后使用第二生成器GBA将生成的红外图像y’转换成自然光照图像x’,比较真实的自然光照图像x和生成的自然光照图像x’之间的差别,计算他们之间的损失,并根据损失优化网络,以生成更高质量的图像。
4.根据权利要求1所述的复杂场景下危险气体泄漏红外视频检测方法,其特征在于,空间特征提取通道的输入是红外气体泄漏图像关键帧,用来提取泄漏气体的空间纹理信息;
运动光流特征提取通道的输入是红外气体泄漏图像关键帧对应的光流图,该光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息。
5.根据权利要求1所述的复杂场景下危险气体泄漏红外视频检测方法,其特征在于,拼接特征图经过RPN模块后得到大小不一的预测边界框,多对应的特征图子块大小也不一致,需将每个预测边界框对应的特征图子块划分为N×N大小的网格,并对每一个网格做最大池化处理,使每个特征图子块大小一致。
6.根据权利要求1所述的复杂场景下危险气体泄漏红外视频检测方法,其特征在于,Flow Faster RCNN网络的训练过程为:
制作特定的数据集ComplexGasVid,其包含真实的红外气体泄漏图像和生成的虚拟气体泄漏图像,并对数据集ComplexGasVid中的图像进行标注;
将数据集ComplexGasVid的数据划分为训练集、验证集和测试集,使用训练集和验证集训练Flow Faster RCNN模型,测试集则是用来验证训练好的模型的性能。
7.根据权利要求6所述的复杂场景下危险气体泄漏红外视频检测方法,其特征在于,数据集ComplexGasVid中采用的虚拟气体泄漏图像是由自然光照下的火灾烟雾图像转换成红外图像而来。
8.一种复杂场景下危险气体泄漏红外视频检测系统,其特征在于,包括:
图像转换模块,用于将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络,生成虚拟的复杂场景下的红外泄漏气体数据,包括红外泄漏气体图像及其对应的光流图;其中该生成对抗网络的训练过程主要为使用FLIR Thermal数据集训练生成对抗网络来学习自然光图像和红外图像之间的映射关系;选取自然光照下背景复杂的火灾烟雾视频转换成红外图像,用来充当红外危险气体泄漏数据,包括森林、车祸、火灾救援场景;火灾烟雾视频包括从小到模糊到大到覆盖全屏幕的各种羽流大小的烟雾视频,且烟雾视频在日光条件下拍摄,没有可见的明火;FLIR Thermal数据集中的数据均来自于安装在车辆上不同位置的RGB相机和热成像相机;
识别模块,用于将红外泄漏气体数据输入预先训练好的Flow Faster RCNN网络中;其中该Flow Faster RCNN网络在训练时使用的数据集包含真实的红外气体泄漏图像和生成的虚拟气体泄漏图像,其中虚拟气体泄漏图像是由自然光照下的火灾烟雾图像转换成红外图像而来;该Flow Faster RCNN网络的训练集和验证集的真实红外图像和虚拟红外图像的比为1:1;该Flow Faster RCNN网络通过并行的空间特征提取通道和运动光流特征提取通道,分别提取空间纹理信息和光流运动信息,输出两个特征图,经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入RPN模块;通过RPN模块生成区域建议框,根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块;将特征图子块输入到两个全连接层中,判别区域建议框的类别以及最终校正区域建议框位置,从而得到是否有危险气体泄漏以及泄漏气体的位置。
9.根据权利要求8所述的复杂场景下危险气体泄漏红外视频检测系统,其特征在于,空间特征提取通道的输入是红外气体泄漏图像关键帧,用来提取泄漏气体的空间纹理信息;
运动光流特征提取通道的输入是红外气体泄漏图像关键帧对应的光流图,该光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息。
10.一种计算机存储介质,其特征在于,其内存储有可被处理器执行的计算机程序,该计算机程序执行权利要求1‑7中任一项所述的复杂场景下危险气体泄漏红外视频检测方法。