利索能及
我要发布
收藏
专利号: 2023111759861
申请人: 西华大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多目标检测、跟踪分析方法,其特征在于,包括步骤如下:

检测图像:利用残差连接将原始特征图和经过SPPF模块的特征图,在通道维度上拼接;

显示图像:通过显示视觉中心模块,来捕捉输出特征图的全局远程依赖性和局部角点信息;

采样图像:引入轻量化上采样算子代替最近邻差值上采样,以自适应内容感知的方式在感受野中聚合上下文信息,跟踪图像:通过人为设置阈值将检测框划分成高分框和低分框,并依次与现有轨迹进行匹配,包括:首先,利用以观测为中心的动量将高分框和轨迹预测框进行第一次关联,然后,根据运动相似性将没有匹配上高分框的轨迹和低分框进行第二次关联,最后,采用以观测为中心的恢复策略将失配高分框和失配轨迹的最近一次观测进行第三次匹配,其中,运动相似性通过计算轨迹预测框和目标检测框之间的重叠面积得到,三次匹配后,未成功匹配的高分框将被初始化成新的轨迹并存入轨迹集合中,而未成功匹配的低分框将会被当作背景丢弃;

还包括目标跟踪算法在数据关联阶段保留检测器输出的每一个大于指定低阈值的检测框,并根据置信度得分将其分为高分检测框和低分检测框,不同得分的检测框按照分数从高到低分开与当前剩余轨迹进行不同相似度的匹配;

然后,完全交并比相似度第三次匹配分析,包括:

考虑高分检测框和低分检测框之间的纵横比以及中心点距离,计算过程如公式(8)所示, (8)

其中A为目标检测框,B为轨迹预测框,Dc表示两者的中心点距离,Dd表示能够同时覆盖两者的最小外接矩形的对角线距离,v为度量边界框纵横比一致性的变量。

2.根据权利要求1所述的一种多目标检测、跟踪分析方法,其特征在于,所述检测图像:利用残差连接将原始特征图和经过SPPF模块的特征图,在通道维度上拼接,包括:通过融合不同尺度的特征图信息,还包括,通过不同大小的池化核以滑动窗口的形式提取并输出不同尺度目标的最大或平均响应,具体为:通过SPPFCSPC实现,即,基于CSP和快速空间金字塔池化模块进行结合,CSP,即,跨阶段局部网络;

SPPFCSPC包括两个特征处理分支,一个分支通过 CBS操作对特征进行特征提取,另一个分支进行SPPF结构的处理,为SPPF模块设置一个初始卷积核大小,然后采用串联的结构,将上一层的池化结果作为当前池化的输入,将输入特征经过3个串联的的池化层,相当于分别经过5×5、9×9、13×13池化核处理的不同尺寸的输入图像,最后将这两个分支的输出特征图在通道上进行拼接,CBS为Conv+BatchNorm+SiLU。

3.根据权利要求1所述的一种多目标检测、跟踪分析方法,其特征在于,所述通过显示视觉中心模块,来捕捉输出特征图的全局远程依赖性和局部角点信息,包括:显示视觉中心模块即EVC,包括两个并行分支串联,分别是轻量级远程感知模块与可学习的局部关键点特征感知模块,并将这两个分支的输出特征图在通道维度上进行拼接作为整个显示视觉中心模块的输出;

具体地,将显示视觉中心模块作用在骨干网络32倍下采样输出特征图上,并在输出特征图和显示视觉中心模块间插入一个平滑模块用于特征平滑,表示为:(1)

其中,X表示显示视觉中心模块的输出,cat(.)表示按通道拼接,MLP(Xin) 和 LVC(Xin) 分别表示使用的轻量级远程感知模块和可学习视觉中心机制的输出特征,Xin表示平滑模块的输出;

在轻量级远程感知模块中,包括两个残差模块,对于基于深度卷积的残差模块,平滑模块输出特征Xin首先被输入经组归一化处理过的深度卷积层,然后将深度卷积的输出特征进行通道缩放和DropBlock操作,最后,将得到的特征与Xin进行残差连接,过程可以表示为:(2)

其中, 表示基于深度卷积残差模块的输出, 表示组归一化, 表示深度卷积,卷积核大小为 ;

对于基于通道多层感知机的残差模块,首先将 输入到经组归一化处理过的通道多层感知机中,然后依次进行通道缩放、DropBlock,并与 进行残差链接,过程可以表示为:(3)

其中,CMLP(.)表示通道通道多层感知机;

在局部关键点特征感知模块中,分别是固有码本 以及比例因子

,其中K为视觉中心的总数,包括流程:首先将Xin经由一组卷积进行特征编码,接着再将编码后的特征经由卷积‑BN层‑ReLU激活函数进行处理,最后,将编码后的特征输入到密码本中,并使用一组比例因子s映射 和 之间的位置关系,整幅图像关于第k个码字的信息如下式:(4)

其中,表示第i个像素点,表示第k个可学习的视觉码字,表示第k个缩放因子,局部关键点特征感知模块利用 来融合所有的 ,为带有ReLU激活函数的BN层和Mean层,整幅图像关于这K个码字的完整信息如下式:(5)

接着局部关键点特征感知模块将码本输出输入至全连接层和 卷积层,并将自平滑模块的输入特征Xin与比例因子 进行通道互相关操作,过程可以表示为:(6)

式中 表示卷积, 表示激活函数,表示通道互相关乘法;

最后将平滑模块输出的特征 和局部角区特征Z进行通道相加,该过程可以表示为:(7)

其中 表示逐通道相加操作。

4.根据权利要求1所述的一种多目标检测、跟踪分析方法,其特征在于,所述引入轻量化上采样算子代替最近邻差值上采样,以自适应内容感知的方式在感受野中聚合上下文信息,具体为:通过轻量化上采样预测模块实现,包括通过上采样预测模块和特征重组模块实现,根据每个目标位置的内容预测相应的重组核,然后用预测的核对特征进行重组,调整特征图的尺寸,具体地,给定输入的特征图尺寸为H×W×C,经过倍率为 的上采样,得到尺寸为的输出特征图,具体步骤如下:(1)上采样预测模块

首先,采用1 × 1的卷积层将输入特征通道数从C压缩到Cm,接着,采用卷积层对输入特征进行编码并根据不同的空间位置信息预测上采样核,核的大小为 ,然后,将通道在空间维度上展开,得到预测的尺寸为 的上采样核;

(2)特征重组模块

将输出特征中的每个位置映射回输入特征图,取以其为中心的 的原特征图区域与预测出的所述每个位置上采样核作点积,相同位置的不同通道共享同一个上采样核,最终得到 的新特征图。

5.一种多目标检测、跟踪分析系统,其特征在于,包括用于实现如权利要求1‑4任一所述的一种多目标检测、跟踪分析方法,包括:用于对多目标检测的检测神经网络模型,所述检测神经网络模型,包括:主干特征提取网络、颈部特征融合网络和头部多目标预测网络;

主干特征提取网络包括空间金字塔结构模块,所述空间金字塔结构模块结合跨阶段局部网络和快速空间金字塔池化模块,利用残差连接将原始特征图和经过SPPF模块的特征图,在通道维度上拼接;

颈部特征融合网络在主干特征提取网络末端,包括显示视觉中心模块和轻量化上采样算子模块,其中,显示视觉中心模块用于捕获输出特征图的全局远程依赖性和局部角点信息,并引入轻量化上采样算子模块,用于代替最近邻差值上采样,自适应内容感知来聚合上下文信息。

6.根据权利要求5所述的一种多目标检测、跟踪分析系统,其特征在于,还包括基于检测神经网络模型的检测结果进行跟踪的跟踪模块;

所述跟踪模块,通过人为设置阈值将检测框划分成高分框和低分框,并依次与现有轨迹进行匹配,包括:利用以观测为中心的动量将高分框和轨迹预测框进行第一次关联,根据运动相似性将没有匹配上高分框的轨迹和低分框进行第二次关联,采用以观测为中心的恢复策略将失配高分框和失配轨迹的最近一次观测进行第三次匹配。