利索能及
我要发布
收藏
专利号: 2021100408595
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种加强局部注意的双分支车辆再识别方法,其特征在于,包括以下步骤:

(1)预训练ResNet50网络,将其最后的下采样步长设置为1;

(2)利用ResNet50的Layer3、Layer4搭建上分支;

(3)将Layer4提取出的特征沿纵向均匀分成三个部分,对每部分做随机丢弃,搭建下分支;

(4)用三元组与焦点损失训练两分支模型;

(5)使用训练好的网络模型,提取待查询与图库中车辆图像特征;

(6)计算待查询与图库中车辆图像的相似度,返回图像库中相似度靠前的车辆图像;

其中,所述步骤(2)中,将Layer3、Layer4得到的特征分别表示用X3、X4表示;对X3做全局平均池化和全局最大池化分别得到X3‑avg、X3‑max,所述X3‑avg与X3‑max做叠加运算得到特征f0,随后送入两个全连接层,得到特征f1、f2;同理,对X4做全局平均池化和全局最大池化分别得到X4‑avg、X4‑max,所述X4‑avg与X4‑max做叠加运算得到特征f3,随后送入两个全连接层得到特征f4、f5。

2.根据权利要求1所述的加强局部注意的双分支车辆再识别方法,其特征在于:所述步骤(3)中,将Layer4提取出的特征沿纵向均匀分成top、middle、bottom三个部分,对于每部分都有一个大小与其相同的Mask矩阵与之相乘,相乘后每部分都会丢弃一块区域,被丢弃区域的高度和宽度依据训练效果进行调整;分别对做丢弃处理过的top、middle、bottom做全局最大池化分别得到特征f6、f7、f8,对它们进行降维得到特征f9、f10、f11,最后添加全连接层分别得到特征f12、f13、f14。

3.根据权利要求1所述的加强局部注意的双分支车辆再识别方法,其特征在于:所述步骤(4)中,焦点损失Lfoc计算公式为:其中,M表示图像库中车辆类别数,qi表示输入图片经过网络得到特征后预测该图片属于每个i类(i∈{1,2,3,...M})车辆的概率,γ是大于0的超参数,yi表示输入样本车辆的真实标签。

4.根据权利要求1所述的加强局部注意的双分支车辆再识别方法,其特征在于:所述步骤(4)中,每次输入三张成对图像,包括一张固定图anchora、与a属于同一车辆的正样本positive p、与a属于不同车辆的负样本negative n,三元组损失Ltri计算公式为:Ltri=max(da,p‑da,n+margin,0)

da,p为a、p经过网络得到特征向量计算得出的欧式距离,da,n为a、n经过网络得到特征向量计算得出的欧式距离,margin是根据实际需求设置的训练阈值参数。

5.根据权利要求2所述的加强局部注意的双分支车辆再识别方法,其特征在于:所述步骤(4)中,三元组损失与焦点损失的联合损失L计算公式为:L=α(Lfoc1+Lfoc2+Lfoc3+Lfoc4+Lfoc5)+β(Ltri1+Ltri2+Ltri3+Ltri4)Lfoc1、Lfoc2、Lfoc3、Lfoc4、Lfoc5分别是f2、f5、f12、f13、f14特征计算得到的焦点损失,Ltri1、Ltri2、Ltri3、Ltri4是X3‑avg、X3‑max、X4‑avg、X4‑max特征计算得到的三元组损失,α、β为焦点损失和三元组损失的加权系数。

6.根据权利要求1所述的加强局部注意的双分支车辆再识别方法,其特征在于:所述步骤(6)中,利用余弦距离计算查询与图库车辆图像的相似度,余弦距离c计算公式为:其中,feature1为待查询图像特征,feature2为图像库车辆图像特征,·表示矩阵点乘运算,各元素逐一相乘,||||表示二范数;

图库车辆图像按相似度大小排列,返回最相似车辆图像。