1.一种基于上下文感知局部增强的轻量级目标检测方法,其特征在于,包括以下步骤:
(1)构建目标检测的数据集,并将数据集分为训练集和验证集;
(2)对基于YOLOv8的 backbone进行改进,并建立改进的模型;具体为:backbone总共分为5层,第一层为Conv stem,由四个3×3的卷积构成,卷积的Stride分别为2,2,1,1,padding为1;第二层到第四层为Ultra‑Effificient Block;其中Ultra‑Effificient Block为sandwish布局;最后一层包括一个全局平均池化和一个全连接的层;sandwish布局共分为三层包括:ConvFFN层、CAConv层、ConvFFN层;具体包括以下步骤:(21)对于第一层ConvFFN层具体操作如下:首先将输入图像通过一个convolution stem来进行特征提取,得到对应于待处理图像的特征图F1;进一步进行特征处理,F1通过BN层,紧接着进入第一个FC层、RELU;其次,进行一个步幅为1的DWConv操作;接着进入第二个FC层,得到F2,然后与F1进行add操作得到F3,提升特征图信息量,并提高模型分辨能力;
(22)对于第二层CAConv层具体操作如下:CAConv采用双分支结构,第一个分支提取局部表示;第二个分支使用上下文感知权重来增强局部特征;具体如下:F3通过FC层,经过线性变换得到Query查询、Key键、Value值三组向量,第一个分支对Query和Key进行处理,Query和Key分别进入DWConv层,然后通过一个卷积算子Mul乘,然后进入第二个FC层,接着通过一个Swish激活函数进入第三个FC层,再经过一个Tanh激活函数,生成范围在 [‑1,1] 之间的上下文感知权重;第二个分支首先使用深度可分离卷积DWConv对Value进行处理,提取局部表示,其中 DWConv 具有共享权重,将得到的结果与第一个分支得到的结果经过一个卷积算子Mul进行计算,再将生成的结果通过一个全局平均池化GAP与F3进行add操作得到F4,然后送入到下一个ConvFFN模块;
(23)对于第三层ConvFFN层具体操作如下:对特征图F4进一步进行特征提取,首先通过一个BN层进行特征选择,随后经过FC层,RELU激活函数,再进行一个stride为2的深度可分离卷积(DWConv)操作,随后经过FC层得到F5,支路中对特征图F4进行stride=2的深度可分离卷积操作,收集局部空间信息特征扩展到深层特征,再通过BN层加速网络收敛,控制过拟合,最后经过一个FC层得到F6,与F5进行add操作得到特征图F7,去除区分度比较低的组合特征达到降维目的;(3)将改进的YOLOv8目标检测模型进行剪枝;
(4)将训练集输入到改进的YOLOv8网络模型中得到最佳权重,最后验证集输入网络中,输出检测结果。
2.根据权利要求1所述的一种基于上下文感知局部增强的轻量级目标检测方法,其特征在于,所述步骤(1)具体为:选用VisDrone2019数据集,共包含十个类,分别为:'pedestrian'、 'people'、 'bicycle'、 'car'、 'van'、'truck'、 'tricycle'、 'awning‑tricycle'、'bus'、 'motor'。
3.根据权利要求1所述的一种基于上下文感知局部增强的轻量级目标检测方法,其特征在于,所述步骤(3)具体如下:通过Dependcy Graph方法对改进的YOLOv8目标检测模型进行剪枝操作。
4.一种基于上下文感知局部增强的轻量级目标检测系统,其特征在于,采用权利要求
1‑3任一项所述的方法实现,包括:
数据集构建模块:用于构建目标检测的数据集,并将数据集分为训练集和验证集;
改进及模型构建模块:用于对基于YOLOv8的 backbone进行改进,并建立改进的模型;
剪枝模块:用于将改进的YOLOv8目标检测模型进行剪枝;
测试模块:用于将训练集输入到改进的YOLOv8网络模型中得到最佳权重,最后验证集输入网络中,输出检测结果。
5.根据权利要求4所述的一种基于上下文感知局部增强的轻量级目标检测系统,其特征在于,数据集构建模块中,选用VisDrone2019数据集,共包含十个类,分别为:'pedestrian'、 'people'、 'bicycle'、 'car'、 'van'、'truck'、 'tricycle'、 'awning‑tricycle'、'bus'、 'motor'。
6.根据权利要求4所述的一种基于上下文感知局部增强的轻量级目标检测系统,其特征在于,改进及模型构建模块中,所述backbone总共分为5层,第一层为Conv stem,由四个3×3的卷积构成,卷积的Stride分别为2,2,1,1,padding为1;第二层到第四层为Ultra‑Effificient Block;其中Ultra‑Effificient Block为sandwish布局;最后一层包括一个全局平均池化和一个全连接的层。
7.根据权利要求6所述的一种基于上下文感知局部增强的轻量级目标检测系统,其特征在于,改进及模型构建模块中,所述sandwish布局共分为三层包括:ConvFFN层、CAConv层、ConvFFN层;具体包括以下步骤:(S1)对于第一层ConvFFN层具体操作如下:首先将输入图像通过一个convolution stem来进行特征提取,得到对应于待处理图像的特征图F1;进一步进行特征处理,F1通过BN层,紧接着进入第一个FC层、RELU;其次,进行一个步幅为1的DWConv操作;接着进入第二个FC层,得到F2,然后与F1进行add操作得到F3,提升特征图信息量,并提高模型分辨能力;
(S2)对于第二层CAConv层具体操作如下:CAConv采用双分支结构,第一个分支提取局部表示;第二个分支使用上下文感知权重来增强局部特征;具体如下:F3通过FC层,经过线性变换得到Query查询、Key键、Value值三组向量,第一个分支对Query和Key进行处理,Query和Key分别进入DWConv层,然后通过一个卷积算子Mul相乘,然后进入第二个FC层,接着通过一个Swish激活函数进入第三个FC层,再经过一个Tanh激活函数,生成范围在 [‑1,1] 之间的上下文感知权重;第二个分支首先使用深度可分离卷积DWConv对Value进行处理,提取局部表示,其中 DWConv 具有共享权重,将得到的结果与第一个分支得到的结果经过一个卷积算子Mul进行计算,再将生成的结果通过一个全局平均池化GAP与F3进行add操作得到F4,然后送入到下一个ConvFFN模块;
(S3)对于第三层ConvFFN层具体操作如下:对特征图F4进一步进行特征提取,首先通过一个BN层进行特征选择,随后经过FC层,RELU激活函数,再进行一个stride为2的深度可分离卷积(DWConv)操作,随后经过FC层得到F5,支路中对特征图F4进行stride=2的深度可分离卷积操作,收集局部空间信息特征扩展到深层特征,再通过BN层加速网络收敛,控制过拟合,最后经过一个FC层得到F6,与F5进行add操作得到特征图F7,去除区分度比较低的组合特征达到降维目的。
8.根据权利要求4所述的一种基于上下文感知局部增强的轻量级目标检测系统,其特征在于,剪枝模块中,通过Dependcy Graph方法对改进的YOLOv8目标检测模型进行剪枝操作。