利索能及
我要发布
收藏
专利号: 2023105488186
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种行人重识别学习网络的构建方法,其特征在于,包括以下步骤:获取行人重识别数据集,对行人重识别数据集进行预处理,得到训练数据集;

将训练数据集输入属性软共享和上下文局部网络,提取全局特征、局部特征和属性特征;

将全局特征、局部特征和属性特征分别输入全局身份分类器、局部身份分类器和属性分类器中,得到行人身份、局部身份及行人属性的预测概率;

基于行人身份、局部身份及行人属性的预测概率,计算总体损失;

根据总体损失反向传播不断迭代更新属性软共享和上下文局部网络的模型参数,直至模型收敛,得到行人重识别学习网络;

其中,属性软共享和上下文局部网络包括:骨干网络、全局特征分支、局部特征分支和属性特征分支;骨干网络采用ResNet‑50模型,并去掉ResNet‑50模型中的分类器;全局特征分支包括全局身份分类器,局部特征分支包括上下文局部模块和局部身份分类器,属性特征分支包括属性软共享模块和属性分类器;全局特征分支,用于提供全局级别的特征即全局特征;局部特征分支,通过设计的上下文局部模块,利用局部主体和整体之间潜在的空间关系和上下文信息来获得局部特征;属性特征分支,通过设计属性软共享模块建立属性之间的内在联系,构建属性特征;

提取属性特征,具体为:

i

将特征图X输入到一个全卷积网络中,提取低级属性特征图A,i∈(1,2,…,r),r表示属性组的数量;

i i j

对于每个属性特征图A,将除了A以外的所有特征图A 进行均值化,则来自其他类型的特征图 为:i

对属性特征图A执行两次软共享操作,公式如下:式中, 表示第一阶段共享信息的属性特征图;

通过全局平均池化Avg,获取属性特征 通道数为Ca。

2.根据权利要求1所述的一种行人重识别学习网络的构建方法,其特征在于,得到训练数据集,具体包括以下步骤:选择包括Market‑1501和DukeMTM‑reID在内的有属性标签的数据集,作为行人重识别数据集;

每次从行人重识别数据集中随机抽取相同数量的样本,对每个样本的图像大小进行调整并采用预设概率进行水平翻转和随机擦除,获得批处理样本,作为训练数据集。

3.根据权利要求1所述的一种行人重识别学习网络的构建方法,其特征在于,提取全局特征,具体为:在全局特征分支中,引入广义平均池化来聚合全局特征;其中,通过广义平均池化得到全局特征Fg的计算公式为:式中, 表示Fg中要聚合的特征的第i条通道,X表示特征图;q表示广义平均池化的聚合参数;当q趋于无穷时,广义平均池化退化为最大池化;当q=1时,广义平均池化退化为平均池化。

4.根据权利要求1所述的一种行人重识别学习网络的构建方法,其特征在于,提取局部特征,具体为:在上下文局部模块中设计两个分支,分别为上下文局部最大池和上下文局部平均池;

在上下文局部最大池和上下文局部平均池分别引入空间注意力模块,可通过以下公式表述:S(X)=σ(Conv3×3([Avg(X);Max(X)]))       (2);

式中,S表示空间注意力模块;[A;B]表示沿通道的A和B的连接;X表示输入的特征图;σ表示sigmoid函数;Conv3×3表示一个3×3的卷积层;Avg和Max分别表示沿通道的平均池化和最大池化,它们分别为特征图X生成各自的特征注意图;

特征图X的每个像素通过空间注意力模块后包含初阶的空间上下文信息,则获取包含空间上下文信息的特征图Xm的公式如下:Xm=Conv(X⊙S(X))     (3);

式中,Conv是一个全卷积网络,包括1×1卷积层、批处理归一化层和整流线性激活单元层;⊙表示像素级的乘法;

将包含空间上下文信息的特征图Xm输入到最大池化层/平均池化层中聚合特征,得到Pm、Pa并将其中的第i行作为上下文局部最大池/上下文局部平均池的局部特征i将 沿通道连接,得到p,具体公式如下:

i

将p输入到全连接层中,将全连接层的输出结果作为当前上下文局部模块下的局部特征

5.根据权利要求1所述的一种行人重识别学习网络的构建方法,其特征在于,计算总体损失,具体包括以下步骤:采用交叉熵损失函数lce和三重损失函数ltri,监督全局特征分支和局部特征分支;采用三重损失函数ltri和加权二元交叉熵损失函数lbce,监督属性特征分支;

交叉熵损失函数lce的公式如下:

i

式中,N表示每批图像的数量;w表示身份i的预测概率;yi表示人物身份;K表示身份总数;

三重损失函数ltri包含锚点图像 正样本图像 和负样本图像 公式如下:式中,NM和NK分别表示每批图像和身份的数量;α表示控制一组正负样本对之间距离的参数;i、j分别表示人物身份索引和图像索引;

加权二元交叉熵损失函数lbce的公式如下:

式中,σ表示sigmoid函数; 表示人物i、j属性的概率预测; 表示图像i、j属性的标签;

引入权重系数pj,具体公式如下:

式中,qj表示属性j存在于训练数据集中的比例;

属性软共享和上下文局部网络的总体损失是所有分支损失的总和,计算公式如下:lt=lg+ll+la      (12);

lg=ltri+lce       (13);

式中,lg、ll、la分别表示全局特征分支、局部特征分支和属性特征分支的损失;i、j分别表示局部特征和属性特征的索引。

6.一种行人重识别方法,其特征在于,利用如权利要求1‑5任一项所述的行人重识别学习网络,包括以下步骤:获取行人重识别数据集,对行人重识别数据集进行预处理,得到行人图像;

将行人图像输入行人重识别学习网络,提取全局特征、局部特征和属性特征;

将全局特征、局部特征和属性特征分别输入全局身份分类器、局部身份分类器和属性分类器中,确认行人身份、局部身份及行人属性,获得行人重识别结果。