1.一种面向公共安全视频的全局感知小目标智能检测方法,其特征在于,包括以下步骤:步骤S1. 图像线下预处理,样本平衡数据增强:
S11.输入训练图像之前线下计算每个类别样本数量,找到最多样本数量的类,数量记为 ;
S12.对除去 所有类图像样本做复制后随机增强,增强方法包括随机缩放后加入椒盐噪声、随机缩放后高斯模糊或随机缩放后直方图变换,将增强后的图像写到标注文件中;
步骤S2.构建模型网络结构:
需要搭建全局特征骨干网络与原方法骨干网络做特征融合,再添加P2检测层专用于检测小目标;
步骤S3.构建模型损失函数:
在分类损失和置信度损失采用交叉熵损失,在回归损失中对于原有的回归损失基础上加入角点距离损失;
步骤S4.使用SC非极大值抑制方法保留有效检测框;
步骤S5.输入待检测图像检验本方法模型有效性:
将测试图片输入到本方法模型中,再与标准标注信息做对比,指标采用目标检测通用评价指标mAP@0.5:0.95;
其中样本平衡数据增强具体公式如下:
式中: 代表所有样本数量, )代表随机在 与 区间取个数,用于随机改变图像大小, 代表类为n的样本数量,表示三种随机方法中的一种数据增强方法;
步骤S4具体如下:
由步骤S2得到P2检测层,加上原方法的P3、P4、P5检测层共有四层检测层,在每个检测层分别预测,预测结果输入SC非极大值抑制方法中,SC函数具体如下:
式中: 为经过SC非极大值抑制后的预测框得分, 为预测框初始得分, 为自然数, 为两个预测框的交并比,为两框中心点的欧氏距离,𝜎 为默认参数0.5, 为两个预测框四个顶点的欧氏距离的平方, 为高斯加权, 分别代表分数较低锚框左上、右上、左下、右下顶点, 分别代表得分较高预测框左上、右上、左下、右下顶点,考虑到了两框之间重叠面积、中心点距离、尺度对比;
构建模型网络结构具体过程如下:
(1)搭建全局特征骨干网络提取全局特征
利用步骤S1数据增强后的图像裁剪或扩张成1536×1536×3大小,RGB图像经过Focus卷积将原图像通道数扩张到64,图像变为B×64×W/2×H/2,其中B为BatchSize即批尺寸大小;将经过Focus卷积的特征图再经过一次Conv卷积得到B×128×W/4×H/4特征图,再使用全局注意力GAM方法减少空间维度和通道维度的信息损失,放大全局维度交互特征,最终得到B×128×W/4×H/4特征图,将原方法骨干网络中卷积替换为空洞卷积,进一步增大感受野,提取全局特征;
(2)增加P2检测层
将得到包含全局信息的特征图,特征图经过4次普通卷积会形成多个特征图减小但通道维度增加的特征图,此时特征图为四层倒三角特征金字塔,利用第一个四层正三角金字塔得到的特征图再经过4次上采样和多次卷积会形成多个宽高逐步增加,通道信息逐步减小的特征图,此时形成4层正三角特征金字塔,分别连接特征图大小相同的4层正三角特征金字塔特征图和4层倒三角金字塔特征图,特征图大小分别为B×512×W/4×H/4、B×128×W/8×H/8、B×256×W/16×H/16、B×512×W/32×H/32,其中B×512×W/4×H/4特征图经过一层卷积得B×45×W/4×H/4特征图,该特征图作为检测网络中的P2层,B×128×W/8×H/8特征图对应于检测网络中的P3层、B×256×W/16×H/16特征图对应于P4层、B×512×W/32×H/32特征图对应于P5层;
采用二元交叉熵损失函数BCEWithLogitsLoss计算分类损失和置信度损失,具体计算公式如下:上式中 代表模型预测出物体的数量 就表示每一个预测物体的置信度, 代表本方法模型预测是物体的概率,经过 函数可以将 映射到0到1区间, 代表是否为真实物体,如果不是真实物体 取0,否则 取1; 作用是算出预测是物体概率与真实物体之间差异;
定位损失采用本方法 损失,当预测框与真实框两中心点重合且两框宽高比例相同时也能反映两框之间的损失,它的基础原型是 损失,具体公式计算如下:其中IoU为两个预测框的交并比,为两框中心点的欧氏距离, 分别预测框左上、右上、左下、右下顶点, 分别代表真实框左上、右上、左下、右下顶点,考虑到了两框之间重叠面积、中心点距离、尺度对比,最终Loss如下所示:,
为分类损失, 为置信度损失。
2.根据权利要求1所述的面向公共安全视频的全局感知小目标智能检测方法,其特征在于,步骤S5具体过程如下:a)训练得出最优权重,保存权重参数;
b)采集待检测图像,将图像拉伸或缩小到长为1536大小;
c)将图像输入到全局特征网络中,全局特征网络包括GAM注意力层、Conv卷积层、C3卷积层、上采样层以及SPP层;
d)按照全局特征网络结构顺序,GAM注意力层提取空间维度、通道维度、空间维度以及通道维度的特征,再将提取到的特征经过多个Conv与C3卷积层的模块形成多个长宽信息逐步变小的特征图,在经过上采样放大特征信息;
e)连接上采样和下采样长宽信息相同特征图,形成P2、P3、P4、P5检测层;
f)使用不同大小的锚框在每个检测层用滑动窗口的形式检测有无目标信息,若有给出目标类别信息、位置信息、得分信息,如果某个位置出现大量位置相近重复框,采用SC非极大值抑制算法保留有效框;
g)与标准标注信息做对比,指标采用目标检测通用评价指标mAP@0.5:0.95。