利索能及
我要发布
收藏
专利号: 2023106959707
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于空间解耦与边界特征聚合的目标检测方法,其特征在于包括如下步骤:步骤1.将FPN的每一层的特征映射输入到分类塔与回归塔得到分类塔的第3层特征图Fc、回归塔的第3层特征图Fr1以及回归塔的第4层特征图Fr;

其中分类塔包含3个带有ReLU激活的3×3卷积层,回归塔包含4个带有ReLU激活的3×3卷积层;

步骤2.将Fr作为输入,通过3×3卷积生成初始边界框Bc;

步骤3.将Fc输入到显著依赖关系补充模块Sre;该模块会经过三部分处理分别是上下文模块、特征转换模块以及融合模块,得到包含与全局显著性特征的依赖关系的特征图Fs;计算公式为:Fs=Sre(Fc)

步骤4.将初始边界框Bc与Fs输入到空间敏感区域感知模块Sarea;该模块会将Fs作为输入生成感知缩放因子,然后将其与初始边界框Bc相乘得到调整后的边界框Bc_adjust,其中它的四条边界即为分类分支的空间敏感区域;计算公式为:Bc_adjust=Sarea(Bc,Fs)

步骤5.在回归分支中,将初始边界框Bc与特征图Fr1输入到边界特征聚合模块;该模块由边界补充特征聚合模块Gsup和边界代表特征聚合模块Gdep构成;Gdep采用边界对齐模块,将Bc与Fr1输入到该模块生成包含边界代表信息的特征图;Gsup采用星形边界框特征表示模块,将Bc与Fr1输入到该模块生成包含边界信息以及几何形状信息的特征图;最后,将两个模块生成的特征图相加得到包含边界信息的特征图Fr_border;计算公式为:Fr_border=Gsup(Bc,Fr1)+Gdep(Bc,Fr1)步骤6.为了将分类与定位任务对齐,在分类分支也使用了步骤5的边界特征聚合模块;

将调整后的边界框Bc_adjust与特征图Fc输入到该模块中,生成特征图Fc_border;计算公式为:Fc_border=Gsup(Bc_adjust,Fc)+Gdep(Bc_adjust,Fc)步骤7.在回归分支中,将Fr_border作为输入,通过1×1卷积层生成针对初始边界框的调整缩放因子特征图Fscale;然后将Fscale与Bc相乘得到精准边界框Bref;在分类分支中将Fc_border作为输入,通过1×1卷积层生成分类分数C;

步骤8.计算损失,并对整体网络进行优化。

2.根据权利要求1所述的基于空间解耦与边界特征聚合的目标检测方法,其特征在于所述的步骤3,包括以下子步骤:步骤3.1.在上下文模块中,Fc会依次经过1×1卷积层、SoftMax处理得到上下文相关的特征图Fc_m;计算公式为:其中,Wk表示1×1卷积层,Np表示特征图中的总像素数;Fc,j表示Fc特征图中第j个位置的特征值;Fc,n表示特征图中第n个位置的特征值;

步骤3.2.在特征转换模块中,Fc_m会依次经过1×1卷积层、层归一化、ReLU以及1×1卷积层处理得到包含通道方式依赖关系的特征图Ft;计算公式为:其中, 表示1×1卷积层,δ表示ReLU,LN表示层归一化;步骤3.3.融合模块会将全局上下文特征融合到所有位置的特征中,得到特征图Fs;计算公式为:Fs=Fc+Ft。

3.根据权利要求1所述的基于空间解耦与边界特征聚合的目标检测方法,其特征在于所述的步骤4,包括以下子步骤:步骤4.1.将初始边界框Bc与Fs输入到空间敏感区域感知模块;该模块会先将Fs作为输入,经过3×3卷积层、Sigmoid处理后,生成感知缩放因子,然后将其与初始边界框Bc相乘得到调整后的边界框Bc_adjust,其中它的四条边界即为分类分支的空间敏感区域;计算公式为:Bc_adjust=Bc×σ(fconv(Fs))

H×W×4 H×W×4

其中fconv表示3×3卷积层处理函数;σ表示Sigmoid;Bc∈R ,Bc_adjust∈R 。

4.根据权利要求1所述的基于空间解耦与边界特征聚合的目标检测方法,其特征在于所述的步骤5,包括以下子步骤:步骤5.1.边界代表特征聚合模块结构

采用1×1卷积层通道数为C的特征图Fr1扩充为通道数为5C的边界敏感特征图,结合初始边界框,通过边界对齐模块BorderAlign从边界敏感特征图中提取边界的极值点作为边界的代表特征,使用1×1卷积层恢复模块输入维度,生成包含边界代表信息的特征图;计算公式为:Gdep(Bc,Fr1)=fconv_c(BorderAlign(fconv_5c(Fr1),Bc))其中fconv_c表示将通道数为5C的特征图经过1×1卷积层压缩为通道数为C的特征图的函数;fconv_5c表示将通道数为C的特征图经过1×1卷积层扩充为通道数为5C的特征图的函数;

步骤5.2.边界补充特征聚合模块结构

根据初始边界框Bc手动选择若干固定采样点,利用它们与原点的相对偏移量替换可变形卷积预测的偏移量,在特征图Fr1上对这些相对偏移量位置的投影点特征进行可变形卷积,生成包含边界信息以及几何形状信息的特征图;计算公式为:

Gsup(Bc,Fr1)=fconvd(Fr1,Δpn)

H×W×18

其中Δpn∈R ,表示9个采样点在x、y两个方向的相对偏移量;fconvd表示可变性卷积处理函数。

5.根据权利要求1所述的基于空间解耦与边界特征聚合的目标检测方法,其特征在于所述的步骤8,包括以下子步骤:步骤8.1.为了提高分类分数的预测准确性,采用Varifocal损失;计算公式为:其中c为预测的分类分数,u为预测的精准边界框与真实边界框的IoU分数;α作为抑制正负样本的数量失衡的超参数;β作为控制简单/难区分样本数量失衡的超参数;

步骤8.2.为了提高边界框定位的准确性,分别针对初始边界框和精准边界框采用了GIoU损失;计算公式为:步骤8.3.将损失函数整合到一起得到整体的损失函数L;计算公式为:其中λ0、λ1、λ2是用于平衡损耗的超参数,Npos为前景点的数量,i表示特征图中的所有位置;Ci为i位置对应的分类分数; 为i位置对应的真实边界框,Bc,i为i位置对应的初始边界框;如果i为前景点,wc,i为i位置对应的初始边界框与真实边界框的IoU分数,wref,i为i位置对应的精准边界框与真实边界框的IoU分数,否则wc,i与wref,i都为0。