利索能及
我要发布
收藏
专利号: 2024103626345
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种轻量化目标检测方法,其特征在于,包括如下步骤:对图像数据进行增强处理,得到增强后的图像数据;

利用教师网络和学生网络分别对所述增强后的图像数据进行特征提取,得到教师特征图和学生特征图;

通过特征蒸馏针对所述教师特征图和学生特征图进行焦点蒸馏和全局蒸馏,得到学生特征图对应的候选框;

根据所述学生特征图对应的候选框,利用分类卷积网络和定位卷积网络生成目标检测结果,其中,所述目标检测结果包括目标分类概率和目标预测框定位信息;

对所述教师特征图和学生特征图进行焦点蒸馏,包括:利用区域候选网络对教师特征图进行处理,得到教师候选框;

基于教师候选框对教师特征图进行掩码处理,得到教师特征图的二分类掩码和比例掩码;

通过注意力机制对教师特征图和学生特征图进行焦点蒸馏,得到每一幅特征图对应的注意力特征图及其注意力掩码;

根据教师特征图对应的二分类掩码、比例掩码、通道注意力掩码和空间注意力掩码计算特征蒸馏损失,计算公式如下:;

其中, 表示特征蒸馏损失,、分别为平衡前景和背景作用的超参数,C表示通道总数,H为特征图的高度,W为特征图的宽度, 表示教师特征图中像素点 的二分类掩码, 表示教师特征图中像素点 的比例掩码, 表示教师特征图中像素点 的空间注意力掩码, 表示教师特征图中k通道的通道注意力掩码, 表示教师特征图中像素点 的值, 表示学生特征图中像素点 的值,f( )表示自适应层;

根据教师特征图和学生特征图的通道注意力掩码和空间注意力掩码计算注意力损失,计算公式如下:;

其中, 表示注意力损失,为平衡注意力损失的超参数, 表示L1损失函数, 表示教师特征图对应的空间注意力掩码, 表示学生特征图对应的空间注意力掩码, 表示教师特征图对应的通道注意力掩码, 表示学生特征图对应的通道注意力掩码;

根据特征蒸馏损失和注意力损失计算焦点蒸馏损失,计算公式如下:;

其中, 表示焦点蒸馏损失。

2.根据权利要求1所述的轻量化目标检测方法,其特征在于,所述增强处理包括:将图像数据按照随机值绕z轴旋转,随机值的取值范围为[‑π/4,π/4];

将图像数据按照随机因子进行缩放,随机因子的取值范围为[0.95,1.05]。

3.根据权利要求1所述的轻量化目标检测方法,其特征在于,所述教师网络的骨干网络采用101层残差网络,所述学生网络的骨干网络采用50层残差网络。

4.根据权利要求1所述的轻量化目标检测方法,其特征在于,针对特征图F,其对应的注意力特征图的计算公式如下:;

其中, 表示空间注意力特征图, 表示k通道的特征图, 表示通道特征的平均池化结果, 为特征图中像素点(i,j)的值, 表示通道特征的标准差,表示通道注意力特征图,w( )表示一个全连接层;

注意力掩码的计算公式如下:

其中, 表示空间注意力特征图对应的空间注意力掩码, 表示通道注意力特征图对应的通道注意力掩码。

5.根据权利要求1所述的轻量化目标检测方法,其特征在于,通过GcBlock网络对教师特征图和学生特征图进行全局蒸馏,并计算全局蒸馏损失,计算公式如下:;

其中, 表示全局蒸馏损失,为平衡全局损失的超参数, 表示教师特征图经GcBlock网络后的输出结果, 表示学生特征图经GcBlock网络后的输出结果;

其中,特征图F经GcBlock网络的输出结果 的计算公式为:;

其中, 表示GcBlock网络的第一卷积层, 表示GcBlock网络的第二卷积层, 表示归一化, 表示GcBlock网络的上下文模型卷积层,C表示通道总数,H为特征图的高度,W为特征图的宽度, 为特征图中像素点(i,j)的值, 为激活函数。

6.根据权利要求1所述的轻量化目标检测方法,其特征在于,所述根据所述学生特征图对应的候选框,利用分类卷积网络和定位卷积网络生成目标检测结果,包括:将学生特征图对应的候选框按照比例映射到学生特征图,将映射后的学生特征图通过感兴趣区域池化到统一尺寸,将池化后的学生特征图分别送到分类卷积网络和定位卷积网络中,生成目标分类概率和目标预测框定位信息。

7.根据权利要求1所述的轻量化目标检测方法,其特征在于,所述检测方法还包括根据目标检测结果进行逻辑蒸馏,具体为:根据待检测的图像数据的目标分类概率分离目标类和非目标类的蒸馏,得到:;

其中, 表示目标属于第t类的概率, 表示第t类的逻辑输出, 表示第d类的逻辑输出,d=1,2,…,D,D为目标类别总数, 表示目标不属于第t类的概率, 表示第b类的逻辑输出, 表示不考虑第t类的目标属于第l类的概率,表示第l类的逻辑输出,l≠t;

基于KL散度的计算公式、 和 构建逻辑蒸馏的损失函数,得到目标类知识蒸馏和非目标类知识蒸馏,公式如下:;

其中, 为逻辑蒸馏的损失函数, 表示教师网络下目标属于第t类的概率, 表示学生网络下目标属于第t类的概率, 表示教师网络下目标不属于第t类的概率, 表示学生网络下目标不属于第t类的概率, 表示教师网络下不考虑第t类的目标属于第l类的概率, 表示学生网络下不考虑第t类的目标属于第l类的概率, 表示目标类的教师网络与学生网络的二元概率之间的相似性, 表示教师网络的目标分类二元概率,表示学生网络的目标分类二元概率, 表示非目标类中教师网络和学生网络概率之间的相似性;

将 作为目标类知识蒸馏,将 作为非目标类知识蒸馏;

基于目标类知识蒸馏、非目标类知识蒸馏、焦点蒸馏损失和全局蒸馏损失,得到最终的逻辑蒸馏损失:;

其中,表示逻辑蒸馏损失, 表示未进行知识蒸馏的学生网络的原始损失,为非目标类知识蒸馏, 为目标类知识蒸馏,、分别为控制目标类知识蒸馏和非目标类知识蒸馏权重的超参数。

8.一种轻量化目标检测装置,其特征在于,包括:数据增强模块,用于对图像数据进行增强处理,得到增强后的图像数据;

特征提取模块,用于利用教师网络和学生网络分别对所述增强后的图像数据进行特征提取,得到教师特征图和学生特征图;

特征蒸馏模块,用于利用区域候选网络分别处理教师特征图和学生特征图,通过特征蒸馏针对所述教师特征图和学生特征图进行焦点蒸馏和全局蒸馏,得到学生特征图对应的候选框;

目标检测模块,用于根据所述学生特征图对应的候选框,利用分类卷积网络和定位卷积网络生成目标检测结果,其中,所述目标检测结果包括目标分类概率和目标预测框定位信息;

对所述教师特征图和学生特征图进行焦点蒸馏,包括:利用区域候选网络对教师特征图进行处理,得到教师候选框;

基于教师候选框对教师特征图进行掩码处理,得到教师特征图的二分类掩码和比例掩码;

通过注意力机制对教师特征图和学生特征图进行焦点蒸馏,得到每一幅特征图对应的注意力特征图及其注意力掩码;

根据教师特征图对应的二分类掩码、比例掩码、通道注意力掩码和空间注意力掩码计算特征蒸馏损失,计算公式如下:;

其中, 表示特征蒸馏损失,、分别为平衡前景和背景作用的超参数,C表示通道总数,H为特征图的高度,W为特征图的宽度, 表示教师特征图中像素点 的二分类掩码, 表示教师特征图中像素点 的比例掩码, 表示教师特征图中像素点 的空间注意力掩码, 表示教师特征图中k通道的通道注意力掩码, 表示教师特征图中像素点 的值, 表示学生特征图中像素点 的值,f( )表示自适应层;

根据教师特征图和学生特征图的通道注意力掩码和空间注意力掩码计算注意力损失,计算公式如下:;

其中, 表示注意力损失,为平衡注意力损失的超参数, 表示L1损失函数, 表示教师特征图对应的空间注意力掩码, 表示学生特征图对应的空间注意力掩码, 表示教师特征图对应的通道注意力掩码, 表示学生特征图对应的通道注意力掩码;

根据特征蒸馏损失和注意力损失计算焦点蒸馏损失,计算公式如下:;

其中, 表示焦点蒸馏损失。

9.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1 7中任一项所述的轻量化目标检测方法的步骤。

~