利索能及
我要发布
收藏
专利号: 202411355551X
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Transformer与空间注意力机制的行人重识别方法,其特征在于,包括如下步骤:S1、选取Transformer encoder特征提取器,包括如下小步:S11、先将图像划分成H×W的图像块x,每个图像块的步长为S、大小为P,则图像块个数N的公式为:(1)

S12、图像块展平成二维矩阵,经过线性映射后输入Transformer encoder得到特征F,特征F公式为:(2)

其中, 分别为序号0,1,…,N个图像块;

S13、特征F经过cls_token添加,添加一组位置嵌入和边缘信息嵌入SIE,得到新的特征, 公式为:(3)

其中, 为位置嵌入,用于为保证编码器能以正确顺序识别到输入的图像块; 为cls_token添加的图像块,用于保证分类任务的准确进行;SIE为边缘信息嵌入,用以标记不同摄像头;

S14、利用多头注意力机制来处理特征 ,以捕捉特征 中的依赖关系,分别得到:(4)

(5)

(6)

(7)

其中, 为多头注意力机制函数;

Q为查询矩阵,K为键矩阵,V为值矩阵;d为键矩阵的维度,用于缩放点积以稳定函数;

, , 分别是特征的查询、键、值的变换矩阵;

S15、将前馈神经网络FFN引入处理多头注意力机制的输出,得到特征 , 公式为:(8);

S2、加强一个全局注意力以及四个空间注意力模块,包括如下小步:S21、首先在全局分支引入一个全局注意力模块,同时针对头部、躯干、下肢、脚引入四个空间注意力模块,定义全局、头部、上肢、下肢、脚的特征分别为xglobal, xhead, xupper, xlower, xshoes;

S22、采用卷积层以及平均池化层,用以生成行人全局以及四个局部区域的掩膜,对应掩膜分别为global_mask,head_mask,upper_mask,lower_mask,shoes_mask,进而突出行人未被遮挡的部分,最大限度地减小噪声干扰;

S23、将Transformer encoder输出的矩阵 中的每一个元素分别与五个掩膜矩阵中的每一个元素相乘,即得到五个特征的表达式,公式为:(9)

(10)

S3、改进训练方法及损失函数,包括如下小步:S31、改进训练方法,通过将全局特征经全局掩膜处理后,与四个局部特征拼接在一起,得到本地拼接函数 , 公式为:(11)

同时输出五个掩膜函数 , 公式为:

 (12)

S32、利用三元组损失与ID损失来调整模型的参数,记作Lglobal,公式为:(13)

其中, 损失为三元组损失,ID损失为交叉熵损失;

S33、利用BCELoss作为语义损失用以训练全局以及四个局部特征的掩膜函数,记作Lmask,公式为:(14)

其中, 损失为语义损失;

S34、将总的损失函数记作L,公式为:

(15)。

2.如权利要求1所述的基于Transformer与空间注意力机制的行人重识别方法,其特征在于,所述步骤S2中,全局注意力模块中包含一个通道注意力模块和一个空间注意力模块,特征 先由一个通道注意力模块处理,随后由空间注意力模块处理。

3.如权利要求1所述的基于Transformer与空间注意力机制的行人重识别方法,其特征在于,所述步骤S3中,改进训练方法及损失函数运行于装有pytorch框架的NIVIDA 3090Ti GPU的训练环境,采用梯度下降SGD优化器对模型进行训练;训练集的掩膜通过JPPNet得到,采用空洞卷积模块以及ResNet-101作为特征提取器提取图像特征,引入一个空洞池化金字塔模块ASPP作为输出层用于分割行人的图像。

4.如权利要求1所述的基于Transformer与空间注意力机制的行人重识别方法,其特征在于,所述步骤S32中,ID损失用于模型学习行人的身份特征,Triplet损失用于帮助模型处理行人之间的相似性和差异性;

通过这两种损失函数的联合优化,得到更加准确和鲁棒的行人重识别模型;

每个batch的大小被设置为64,在三个数据集上均训练120个epoch;

输入的图片每张大小调整为256×128;

-4

特征提取器采用12个Transformer encoder,权重衰减设置为1e ;

损失函数中的超参数设置为1;

得到在训练过程中的损失函数值与epoch的关系曲线。

5.如权利要求1所述的基于Transformer与空间注意力机制的行人重识别方法,其特征在于,所述方法还包括如下后置步骤:S4、数据集以及评价指标:

S41、采用两个基准数据集Market-1501、DukeMTMC-reID以及遮挡数据集OccludedDuke作为数据集,其中:Market1501数据集中的行人图片来自于清华大学校园内的6个摄像头,内含1501个不同的行人ID;

DukeMTMC-reID数据集中图像来源于Duke大学校园内的8个摄像头,为DukeMTMC数据集的一个子集,共含有1812个行人的36411张图片;

OccludedDuke数据集为基于DukeMTMC-reID数据集生成的遮挡数据集;

S42、采用mAP与Rank-1两项评价指标来衡量方法的准确度。

6.如权利要求5述的基于Transformer与空间注意力机制的行人重识别方法,其特征在于,所述步骤S42中,选取无遮挡数据集Market1501以及遮挡数据集OccludedDuke,同时去除所有的注意力机制,包括全局、头、上肢、下肢、脚的注意力,随后采用相同数据集,在相同条件下测试mAP、Rank-1;

在market1501数据集上的mAP增加3%,Rank-1增加1%,而在遮挡数据集OccludedDuke上,mAP增加1.6%,Rank-1增加3%;

在market1501数据集上的mAP为91.6,Rank-1为96.0,在DukeMTMC数据集上的mAP和Rank-1分别为78.7和87.2,在OccludedDuke数据集上的mAP和Rank-1分别为58.7和67.2;

因此,数据集上的mAP、Rank-1两项评价指标均明显优于未采用注意力机制时的Transformer框架。