利索能及
我要发布
收藏
专利号: 2023104609658
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于可见光和红外图像数据融合的小目标检测方法,其特征在于,包括以下步骤:步骤1、数据采集及预处理:采集待检测目标在各种环境和天气条件下的可见光图像、红外图像数据,对其进行类别和锚框标注,然后将标注后的图像数据集划分为训练集、验证集和测试集,同时进行数据增强;

步骤2、图像特征提取:搭建通道注意力金字塔网络模型对输入的可见光、红外图像分别进行特征提取得到可见光图像、红外图像特征图,采用转置卷积优化上采样,同时设置用于检测小目标的检测层;

步骤3、在训练集上通过聚类预先设置三维锚框,将其分别投影到可见光图像、红外图像特征图上,裁剪并池化到相同大小进行融合,搭建使用ELU激活函数的卷积层,同时使用损失函数匹配ELU激活函数的关联,使用Wasserstein距离的修正损失假设边界框为高斯分布,然后在模型的主干网络中引入GSA注意力模块;

步骤4、通过Buff域分类器在混淆主分类器的方向上计算数据损失,然后将梯度反向传播,提取视觉形状的特征,使模型从多个数据集中学习其特征提取能力,生成最终的预测框,输出检测结果。

2.根据权利要求1所述的小目标检测方法,其特征在于,步骤1包括:

步骤1.1、将双目摄像头、红外传感器集成到一起,确保可见光图像、红外图像对齐,在各种天气环境和天气条件下采集不同类别的目标图像,去除其中不清晰的图像;

步骤1.2、将获得的数据集按一定比例划分为训练集、验证集和测试集,对训练集和验证集进行三维锚框标注,测试集用于评估目标检测网络训练的效果;

步骤1.3、将数据集按照数据增强方法进行处理。

3.根据权利要求1所述的小目标检测方法,其特征在于,步骤2中,所搭建的通道注意力金字塔网络模型,主干网络采用有效通道注意金字塔结构对两种输入图像进行特征提取,使用全局最大池化代替全局平均池化,内核大小与SPPF层相同,再拼接卷积层,采用转置卷积代替最近临插值上采样,用来减少特征图中目标上采样过程中的信息损失,同时在模型中的头部结构中,将用来检测32×32以上像素点的检测层替换为用来检测4×4以上像素点的检测层。

4.根据权利要求3所述的小目标检测方法,其特征在于,内核大小设置为5、9、13。

5.根据权利要求1所述的小目标检测方法,其特征在于,步骤3具体包括:步骤3.1、在训练集上采用聚类算法为每个类别生成大量的预定义锚框,并将其投影到整体模型的主干网络的两种输出特征图上,裁剪对应的部分并且通过池化操作调整为相同宽高的特征图;

步骤3.2、对于每个锚框,通过元素平均操作将两种特征图进行融合,然后将其输入全连接网络,最终输出锚框的回归参数以及为前景的分数;

步骤3.3、搭建使用ELU激活函数的卷积层;再使用 损失函数匹配关联ELU激活函数,以降低损失函数再训练过程中的收敛速度;使用Wasserstein距离的修正损失假设边界框为高斯分布;

步骤3.4、在主干网络中引入GSA注意力模块,使用最大池化和平均池化沿着中间特征图和全局特征图的通道轴生成四个有效的特征图,其中两个平均池化特征图被加在一起,通过非线性激活函数ReLU来关注中间特征图相对于全局信息的信息区域;最大池化特征图重复相同的过程,最后将四个特征图全部加在一起生成2D空间图,添加到卷积层中并通过激活函数Sigmoid来生成一个全局空间注意图。

6.根据权利要求5所述的小目标检测方法,其特征在于,基于CIOU的损失函数 公式如下:;

其中,w、h分别为包围框的宽和高,v代表的使两个盒子的纵横比的一致性,, 分别表示预测框和真实框的中心点, 、 分别为真实框的宽和高,c为最小框的对角线长度,为欧几里得距离,是正权衡参数,用于调整不重叠情况和重叠情况之间的平衡, 表示物体检测领域中预测的边界框和真实框的大小,取值在0到1之间。

7.根据权利要求1所述的小目标检测方法,其特征在于,步骤4中,Buff域分类器由一个平均池化层和四个全连接层组成,特征图被向下采样并平展到256维向量;前三个256维全连接层之后是ELU激活,最后一个全连接层给出4通道的域置信度输出;具体处理流程为:首先,域分类器从输入图像中提取基本特征,推断输入图像的域,域分类器的输出在混淆主分类器的方向上计算域损失;

然后,将梯度反向传播,允许模型提取面向视觉形状的特征,生成最终的预测框,输出检测结果。

8.根据权利要求5所述的小目标检测方法,其特征在于,GSA注意力模块具体如下:完善特征图计算: ;其中, 为全局空间注意图,为中间特征图;

其中, 是中间特征图, 是全局特征图, , ,

, , 、 为归一化函数ReLU和Sigmoid运算,用以

限制 , 为滤波器大小为1×1的卷积运算。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。

10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。