利索能及
我要发布
收藏
专利号: 2024100464476
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-06-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,包括以下步骤:步骤1、将一张包含旋转目标的现实场景图像输入到检测器中,从中提取出包含方向信息的旋转等变特征,感知拓宽模块BPM向旋转等变特征中注入上下文信息,并进行初步的位置预测和分类;

步骤2、将初步设置的锚框和感知拓宽模块BPM处理后的旋转等变特征及预测结果一同输入到联合分配方法AAM中,通过匹配度的计算和动态的阈值调整筛选出高质量的训练正样本;

步骤3、将精化后的旋转等变特征及预测结果输入到对齐区域卷积神经网络中,通过重新编码和对齐卷积调整特征和感受野的对齐,将对齐后的特征进行空间和方向两个维度的调整后得到旋转不变特征,对旋转不变特征进行定位和分类操作即得到最终的精确的预测结果。

2.根据权利要求1所述的一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,所述步骤1具体包括以下步骤:A1、将训练图像输入到旋转目标检测网络,检测网络以旋转等变残差网络和旋转等变特征金字塔网络作为基础网络结构,从输入图像中提取旋转等变特征,得到五层特征图P1,P2,P3,P4,P5;

A2、使用感知拓宽模块BPM向旋转等变特征中注入上下文信息;感知拓宽模块BPM是将每层特征图经过三个分支的卷积后拼接在一起,融合低层次的局部特征和高层次的整体结构,获得包含不同尺度特征信息的旋转等变特征。

3.根据权利要求1所述的一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,所述步骤A1在进行两阶段的特征对齐之前,先将五层特征图P1,P2,P3,P4,P5输入到BPM中,得到增强的旋转等变特征F1,F2,F3,F4,F5,具体包括:B1、对于输入特征,首先将其输入到三个不同的分支中,获得多尺度的特征,然后将三个分支的特征经过concat操作拼接在一起;三个分支的卷积核尺寸分别为3,5,7;上述过程如下公式所示:P′i=Concat(Conv3(Pi),Conv5(Pi),Conv7(Pi))       (1)其中Pi表示输入特征图,i的取值为i=1,2,3,4,5;Conv3、Conv5、Conv7代表具有不同尺寸卷积核的卷积操作,Concat是拼接操作;

B2、在实现过程中堆叠两个尺寸为3的卷积核,以此代替尺寸为5的卷积核;尺寸为7的卷积核由堆叠3个尺寸为3的卷积核实现;

B3、结合低层次的细节信息和高层次的全局信息,将拼接后的特征通过残差模块进一步融合;用公式表示为:Fi=P′i+R(P′i,W)                 (2)其中R代表残差操作中的卷积,W是权重参数;使用残差模块对特征进行处理后,各通道的特征更好地融合在一起,得到特征丰富后的旋转等变特征。

4.根据权利要求1所述的一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,所述步骤2具体包括以下步骤:C1、首先将初始设置锚框、图像中的目标真实位置GT以及预测的边界框输入到AAM中,计算锚框与GT的中心距离并选取每层特征图距离最近的前k个作为候选框,然后计算候选框与GT的IoU交并比值;

C2、基于选出的候选框,计算其对应的预测框与GT间的IoU;根据候选框的IoU和回归后预测框的IoU,计算每个样本对于GT的匹配度,匹配度高的样本,为正样本,匹配度低的样本划分为负样本。

5.根据权利要求4所述的一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,所述步骤C1计算锚框与GT的中心距离并选取每层特征图距离最近的前k个作为候选框,然后计算候选框与GT的IoU交并比值,用公式表示为:

2 2

ED=sqrt((xa‑xg) +(ya‑yg))     (3)

Ic=IoU(c,g)                      (4)其中xa和xg分别表示锚框和GT的x坐标,ya和yg同理;ED表示锚框中心点和GT中心点的欧式距离;从所有锚框中选取前k个距离最近的锚框作为候选框,加入到集合C中;公式(4)中的c∈C,g是GT集合G中的一项。

6.根据权利要求4所述的一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,所述步骤C2预测框的IoU和匹配度的计算用公式表示为:Ip=IoU(p,g)    (5)

γ

md=|α·Ic+β·Ip‑|Ip‑Ic| |         (6)其中p是预测框集合P中的一项,α,β,γ均为控制各项权重的超参数;AAM结合匹配度的均值和方差构成动态的阈值,均值能体现GT对应的所有的锚框的质量,方差能体现每层特征图生成锚框的质量,结合均值和方差从最合适的特征图中选择质量最高的样本;上述过程用公式表示为:Threshold=mean+variance    (9)

其中N表示候选样本的个数,i表示候选样本其中一项,mean、variance分别表示均值和方差,Threshold表示用来划分正负样本的阈值。

7.根据权利要求4所述的一种基于特征对齐和样本分配的旋转目标检测方法,其特征在于,所述步骤3将旋转等变特征进行两阶段的对齐,具体包括以下步骤:D1、首先对于生成的水平RoI,先根据GT对其进行简单的位置和角度上的调整,得到旋转RoI;先将水平RoI转换为旋转RoI的五参数表示形式,其公式表示为:其中x1,x2分别表示水平RoI左上、右下角点的x坐标,w和h表示RoI的宽和高;根据公式(10)可将水平RoI表示为(x′,y′,w,h,θ);然后计算其与GT的偏移量,将其初步调整为旋转RoI,可表示为公式:g g g

其中x,y,θ分别表示GT的中心点坐标以及角度;

D2、然后在旋转RoI和GT上分别采样9个点,计算它们之间的偏移量,构成偏移野;将偏移野和特征输入到对齐特征模块,进行初步的特征对齐,其公式表示为:其中DC代表一系列可变形卷积操作, 表示输入特征图, 表示偏移野;由此得到和特征对齐的特征。

D3、将得到的对齐后的特征经过空间和方向两个维度的处理,从旋转等变特征中提取出旋转不变特征,在旋转不变特征上进行边界框的预测和分类,得到最终准确的结果。

8.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于特征对齐和样本分配的旋转目标检测方法。

9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于特征对齐和样本分配的旋转目标检测方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于特征对齐和样本分配的旋转目标检测方法。