利索能及
我要发布
收藏
专利号: 2025110162922
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于红外视频监控的预警和存储方法,其特征在于,包括如下步骤:获取由红外相机拍摄的视频,利用视频提取红外图像,对红外图像进行预处理,将预处理后的红外图像构建成数据集,并按照比例划分为训练集和验证集;

将Yolov12网络作为特征提取网络,构建可选择条形卷积注意力层和差异特征融合网络,对特征提取网络进行改进,通过改进后的特征提取网络提取红外图像的特征图,该特征图包含目标物体的候选区域;

对候选区域执行分类并输出目标物体的预警信息;

将包含预警信息的红外图像按照时间顺序存储为视频。

2.根据权利要求1所述的基于红外视频监控的预警和存储方法,其特征在于,改进后的特征提取网络包括特征提取骨干网络、差异特征融合网络和检测头;

其中特征提取骨干网络包括依次连接的第一卷积层、第二卷积层、第一特征提取层、第三卷积层、第二特征提取层、第四卷积层、第三特征提取层、第五卷积层、第四特征提取层和可选择条形卷积注意力层。

3.根据权利要求2所述的基于红外视频监控的预警和存储方法,其特征在于,差异特征融合网络包括依次连接的第一上采样层、第一差异融合层、第一特征融合层、第二上采样层、第二差异融合层、第二特征融合层、第六卷积层、第一连接层、第三特征融合层、第七卷积层、第二连接层以及第四特征融合层;

其中,第二特征提取层与第二差异融合层连接,第三特征提取层与第一差异融合层连接,可选择条形卷积注意力层分别与第一上采样层和第二连接层连接,第一特征融合层与第一连接层连接;第二特征融合层、第三特征融合层、第四特征融合层均与检测头连接。

4.根据权利要求3所述的基于红外视频监控的预警和存储方法,其特征在于,将可选择条形卷积注意力层的输入特征图记为Xin,将可选择条形卷积注意力层的输出特征图记为Xout,得到特征图Xout的过程包括:特征图Xin首先分别通过水平条形卷积和竖直条形卷积,产生可供选择的条形感受野,然后分别经过1×1卷积,得到特征图FH、FV;

将特征图FH、FV进行通道拼接,得到特征图F;

利用平均池化和最大池化从特征图F中提取空间关系,通过卷积将空间池化特征进行连接,并应用Sigmoid激活函数,空间选择后得到的特征图 ,表达式为:([ ]) ,

其中,MaxPool为最大池化,AvgPool为平均池化,为卷积操作,为Sigmoid激活函数;

接着,将输出的特征图 按其对应的空间选择进行加权,并用卷积进行融合,得到注意力特征图S,公式为:,

最终,可选择条形卷积注意力层的输出特征图Xout由输入特征图Xin和注意力特征图S之间的逐元素乘积得到,公式为:。

5.根据权利要求4所述的基于红外视频监控的预警和存储方法,其特征在于,特征图Xin首先分别通过水平条形卷积和竖直条形卷积,产生可供选择的条形感受野的步骤包括:首先使用非对称填充P(L, R, T, B)创建水平卷积核和垂直卷积核,其中L、 R、T、B分别表示左、右、上、下方向的填充像素数;

对于输入张量进行水平方向非对称零填充P(k,0,1,0)、P(0,k,0,1)和竖直方向非对称零填充P(0,1,k,0)、P(1,0,0,k),得到输出张量 、 、、 ;

然后对输出张量执行并行卷积,得到张量 ,公式为:

其中, 表示使用一个高为1、宽为k的卷积核进行卷积, 表示使用一个高为k、宽为1的卷积核进行卷积,为卷积核输出通道数,s为卷积步长, 和 为输出张量的高和宽;特征图Xin为高、宽和通道数分别为 、 、 的输入张量;

将张量 和 进行拼接,将张量 和 进行拼接,得到新的张量,公式为:

其中,Cat表示拼接操作;

使用一个高为2、宽为2、输出通道为 的卷积对 和 分别进行归一化,得到最终水平条形卷积输出张量 和竖直条形卷积张量 ,公式为:,

= ,

式中,h2、w2分别表示高和通道数。

6.根据权利要求5所述的基于红外视频监控的预警和存储方法,其特征在于,差异特征融合网络的工作过程包括:将相邻层特征图分别用 和 表示,进行逐像素相减、绝对值运算和3 × 3卷积,生成差异特征图D,公式为:,

式中,i∈{1,2}, 分别表示浅层特征、中层特征、深层特征;

之后,差异特征图D经过Sigmoid激活函数后,分别与特征图 和 相乘,得到加权特征图 和 ,将特征图 和 相加、 和 相加生成包含多尺度信息的特征图 和,公式分别为:,

对特征图 和 进行通道连接,然后应用3 3卷积融合,融合后的特征与差异特征相乘,再经过3 3卷积后得到最终的融合差异特征图 ,公式为:,

其中, 表示通道特征连接。

7.根据权利要求1所述的基于红外视频监控的预警和存储方法,其特征在于,对红外图像进行预处理的步骤包括:随机水平翻转图像、随机缩放图像大小、随机裁剪图像区域、随机改变图像的亮度、对比度、颜色饱和度,以及对图像进行Mosaic数据增强。

8.根据权利要求1所述的基于红外视频监控的预警和存储方法,其特征在于,预警信息包括物体类别、置信度和检测框坐标。

9.基于红外视频监控的预警和存储系统,其特征在于,包括:图像获取模块,用于获取由红外相机拍摄的视频,并利用视频提取红外图像;

图像处理模块,用于将红外图像进行预处理;

特征提取模块,用于对预处理后的图像提取特征图;

预警及存储模块,用于对候选区域执行分类并输出目标物体的预警信息,并将包含预警信息的红外图像按照时间顺序存储为视频。

10.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权要求1至8中任一项所述方法的步骤。