利索能及
我要发布
收藏
专利号: 2022103368838
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向目标检测的多尺度融合特征提取方法,用于提取图像中的多尺度特征,其特征在于,包括:步骤一、将主干网络中每个块的中间层特征图[P2,P3,P4,P5]取出,再使用卷积核大小为

3x3,1x1的卷积以及卷积核大小为3x3,膨胀率分别为2和3的空洞卷积从主干网络的中间层特征图[P2,P3,P4,P5]上分别提取特征,提取后得到新的特征图[Qi2,Qi3,Qi4,Qi5],i=1,2,3,

4,表示使用了四种不同的卷积核去提取到具有不同感受野的特征图;

步骤二、基于新的特征图[Qi2,Qi3,Qi4,Qi5]构建四个特征金字塔网络,四个特征金字塔网络特征表述为[Ni2,Ni3,Ni4,Ni5];

步骤三、将[Ni2,Ni3,Ni4,Ni5]在每一层上分别进行特征融合:

这里n的取值为4,表示在四个不同尺度的特征图上去重构新的融合特征金字塔,得到的[M2,M3,M4,M5]特征图,;

步骤四、通过卷积核大小为3x3的卷积操作提取特征构建横向连接,将特征图M2进行下采样分别于对应尺度的横向连接特征图进行融合,构建自底向上的特征金字塔[O2,O3,O4,O5];

步骤五、分别在主干网络的底层特征图P2和融合特征金字塔网络的底层特征图M2上添加深层特征增强网络DFEN,两者的结构完全相同;

Ni5’=Ni5+DFEN1(P2)

Oi5’=Oi5+DFEN2(M2);

步骤六、使用3x3的卷积对步骤四得到的特征金字塔特征图[O2,O3,O4,O5]进行特征提取。

2.根据权利要求1所述的一种面向目标检测的多尺度融合特征提取方法,其特征在于,所述步骤二中,四个特征金字塔网络的构建过程为:从主干网络的最底层特征开始进行上采样并分别与特征图[Q12,Q13,Q14,Q15]融合,构建第一个自顶向下的特征金字塔网络;从主干网络的最底层特征开始进行上采样并分别与特征图[Q22,Q23,Q24,Q25]融合,构建第二个自顶向下的特征金字塔网络;从主干网络的最底层特征开始进行上采样并分别与特征图[Q32,Q33,Q34,Q35]融合,构建第三个自顶向下的特征金字塔网络;从主干网络的最底层特征开始进行上采样并分别与特征图[Q42,Q43,Q44,Q45]融合,构建第四个自顶向下的特征金字塔网络。

3.一种面向目标检测的多尺度融合特征提取系统,用于提取图像中的多尺度特征,其特征在于,包括:主干网络特征提取模块:用于将主干网络中每个块的中间层特征图[P2,P3,P4,P5]取出,再使用卷积核大小为3x3,1x1的卷积以及卷积核大小为3x3,膨胀率分别为2和3的空洞卷积从主干网络的中间层特征图[P2,P3,P4,P5]上分别提取特征,提取后得到新的特征图[Qi2,Qi3,Qi4,Qi5],i=1,2,3,4,表示使用了四种不同的卷积核去提取到具有不同感受野的特征图;

特征金字塔重构模块:用于基于新的特征图[Qi2,Qi3,Qi4,Qi5]构建四个特征金字塔网络,四个特征金字塔网络特征表述为[Ni2,Ni3,Ni4,Ni5];

特征融合模块:用于将[Ni2,Ni3,Ni4,Ni5]在每一层上分别进行特征融合:这里n的取值为4,表示在四个不同尺度的特征图上去重构新的融合特征金字塔;这里j=2,3,4,5,表示分别对不同的金字塔层级进行特征融合,最终得到的[M2,M3,M4,M5]特征图;

重构自底向上特征金子塔模块:用于通过卷积核大小为3x3的卷积操作提取特征构建横向连接,将特征图M2进行下采样分别于对应尺度的横向连接特征图进行融合,构建自底向上的特征金字塔[O2,O3,O4,O5];

添加深层特征增强网络模块:用于分别在主干网络的底层特征图P2和融合特征金字塔网络的底层特征图M2上添加深层特征增强网络DFEN,两者的结构完全相同Ni5’=Ni5+DFEN1(P2)

Oi5’=Oi5+DFEN2(M2);

特征提取模块:用于使用3x3的卷积对步骤四得到的特征金字塔特征图[O2,O3,O4,O5]进行特征提取。

4.根据权利要求3所述的一种面向目标检测的多尺度融合特征提取系统,其特征在于,所述特征金字塔重构模块,四个特征金字塔网络的构建过程为:从主干网络的最底层特征开始进行上采样并分别与特征图[Q12,Q13,Q14,Q15]融合,构建第一个自顶向下的特征金字塔网络;从主干网络的最底层特征开始进行上采样并分别与特征图[Q22,Q23,Q24,Q25]融合,构建第二个自顶向下的特征金字塔网络;从主干网络的最底层特征开始进行上采样并分别与特征图[Q32,Q33,Q34,Q35]融合,构建第三个自顶向下的特征金字塔网络;从主干网络的最底层特征开始进行上采样并分别与特征图[Q42,Q43,Q44,Q45]融合,构建第四个自顶向下的特征金字塔网络。

5.一种存储一个或多个程序的计算机可读存储介质,其特征在于:所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至2所述的方法中的任一方法。

6.一种计算设备,其特征在于,包括:

一个或多个处理器、一个或多个存储器以及一个或多个程序,其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至2所述的方法中的任一方法的指令。