1.一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,包括以下步骤:步骤S1、利用小型无人机平台采集M幅航拍图像,1000
步骤S2、将教师—学生网络训练数据集输入教师网络,利用教师—学生网络训练数据集对教师网络进行预训练,得到预训练教师网络,转入步骤S3;
步骤S3、利用预训练教师网络、学生网络和类别掩码蒸馏模块构建教师—学生网络,转入步骤S4;
步骤S4、利用教师—学生网络训练数据集对教师—学生网络进行训练,提取预训练教师网络和学生网络各自的多尺度特征层、及各多尺度特征层对应Softmax激活函数层的输出预测分数,并将上述多尺度特征层及预测分数一并送入类别掩码蒸馏模块,基于类别掩码蒸馏模块产生的类别掩码蒸馏损失对学生网络的网络参数进行更新,最终获得教师—学生网络中训练好的学生网络,具体如下:步骤S4.1、将预训练教师网络和学生网络各自提取的多尺度特征层及其对应Softmax激活函数层的输出预测分数一起送入类别掩码蒸馏模块,所述类别掩码蒸馏模块包括四个相同结构的并行掩码模块;
步骤S4.2、掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图,对获取的各类别激活特征图进行处理得到预训练教师网络和学生网络分别对应的各类别掩码图;
步骤S4.3、基于L2损失函数计算单个掩码模块中单个类别的掩码蒸馏损失,对得到的单个类别损失执行相加操作,获取单个模块的掩码蒸馏损失;
步骤S4.4、对四个并行处理的掩码模块获取的掩码蒸馏损失进行相加操作,得到类别掩码蒸馏损失;
步骤S4.5、基于类别掩码蒸馏损失对学生网络的网络参数进行更新,最终获得教师—学生网络中训练好的学生网络;
转入步骤S5;
步骤S5、将测试数据集输入教师—学习网络中训练好的学生网络,输出测试数据集中所有目标在图像中的位置和所属类别,测试训练好的学生网络的准确率。
2.根据权利要求1所述的一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,步骤S4.2中,单个掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图,对获取的各类别激活特征图进行处理得到预训练教师网络和学生网络的各类别掩码图,单类别激活特征图的获取方法如下:假设获取类别为k,提取预训练教师网络的单尺度特征层Tt,大小为W×H×C,W、H、C分别表示Tt的宽度、高度和维度,预训练教师网络中的单尺度特征层Tt输出的类别k的预测分数k k为s,s反向传播获取梯度信息,特征层Tt的第n通道针对类别k的梯度值 为:沿宽度W和高度H方向对反向传播的梯度 执行全局平均池化,获得特征层Tt第n通道针对类别k的神经元重要性权重 计算公式为:其中, 表示特征层Tt第n通道的类别k在空间位置(i,j)处的梯度值,将特征层Tt各通道特征 乘以重要性权重 加权线性组合得到类别k激活特征图 公式为:同理,学生网络的单尺度特征层St及其对应的输出预测分数产生类别k激活特征图为公式为:其中, 表示特征层St第n通道类别k的重要性权重, 表示特征层St的第n通道。
3.根据权利要求1所述的一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,步骤S4.2中,单个掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图,对获取的各类别激活特征图进行处理得到预训练教师网络和学生网络的各类别掩码图,单个类别掩码图的获取方法如下:假设获取类别为k,预训练教师网络单尺度特征层Tt产生的类别k激活特征图为 学生网络单尺度特征层St产生的类别k激活特征图为 设置阈值sk抑制对类别k有负影响的特征,预训练教师网络激活特征图 在空间(p,q)处针对类别k的有效特征掩码 为:学生网络激活特征图 在空间(p,q)处针对类别k的有效特征掩码 为:
即为预训练教师网络单尺度特征层Tt获取的类别k掩码图, 为学生网络单尺度特征层St获取的类别k掩码图。
4.根据权利要求1所述的一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,步骤S4.3、基于L2损失函数计算单个掩码模块中单个类别的掩码蒸馏损失,对得到的单个类别损失执行相加操作,获取单个模块的掩码蒸馏损失,具体如下:为预训练教师网络单尺度特征层Tt获取的类别k的掩码图, 为学生网络单尺度特征层St获取的类别k的掩码图,类别k的蒸馏损失为:其中,L2损失函数是对X向量、Y向量求空间欧氏距离的函数,计算公式为:xi表示向量X的每一项,共n项;yi表示向量Y的每一项,共n项;获取
预训练教师网络和学生网络各自所有类别的掩码图,添加一个动态权重来对不同类别的学习能力进行约束,加大对难类别的惩罚,针对所有类别的蒸馏损失 为:其中,βk表示控制类别k损失计算比例的参数,K表示目标的类别总数。
5.根据权利要求4所述的一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,添加一个动态权重来对不同类别的学习能力进行约束,加大对难类别的惩罚,其动态权重的设置方法如下:Numk表示类别k在教师—学生网络训练数据集中的总数量,areak表示教师—学生网络训练数据集所有类别为k的目标的平均面积。
6.根据权利要求1所述的一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,步骤S4.4中,对四个并行处理的掩码模块获取的掩码蒸馏损失进行相加操作,得到类别掩码蒸馏损失,类别掩码蒸馏损失的计算公式为:其中,t表示掩码模块的序号。
7.根据根据权利要求1所述的一种基于类别掩码蒸馏的航拍图像目标检测方法,其特征在于,步骤S4.5中,基于类别掩码蒸馏损失对学生网络的网络参数进行更新,最终获得教师—学生网络中训练好的学生网络,具体操作如下:基于类别掩码蒸馏损失对学生网络的网络参数进行更新,学生网络的损失函数包括三部分:原始分类损失Lcls、原始回归损失Lreg和类别掩码蒸馏损在失Lmask,构建的学生网络的总损失函数如下:L=Lcls+Lreg+λLmask
λ为类别掩码蒸馏损失在学生网络总损失中所占的比重,基于构建的总损失函数完成对学生网络的迭代训练,最终获得训练好的学生网络。