利索能及
我要发布
收藏
专利号: 2023100896013
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法,其特征在于,包括:S1、获取含有遮挡的行人图像,对含有遮挡的所述行人图像进行预处理;

S2、使用深度残差网络,提取出进行预处理后的所述行人图像的高阶特征图;

S3、通过自上向下的人体姿态估计器,从预处理后的所述行人图像提取出行人的人体关节点,并设置置信度阈值过滤所述人体关节点得到有效关键点;

S4、利用所述有效关键点生成注意力热图,并将所述注意力热图映射到所述高阶特征图上,得到未被遮挡的全局特征;

S5、将所述高阶特征图均匀块划分,利用所述有效关键点的坐标信息,得到细粒度的关键点分区特征,从而得到初始行人重识别网络模型;

S5的具体步骤为:

S5.1、将所述高阶特征图按水平和竖直方向进行均匀块划分,得到所述高阶特征图的分区;

S5.2、利用S3获取的有效关键点,为所述高阶特征图的每个分区标注块标签和关键点标签;

S5.3、对所述高阶特征图的每个分区进行全局平均池化,得到所述高阶特征图的关键点分区特征,并使用 卷积层批处理归一化和ReLU将关键点分区特征降维;

S6、使用全局‑分区总损失函数对所述初始行人重识别网络模型进行训练,得到最终的行人重识别网络模型;

S6的具体过程为:

S6.1、采用多分类的交叉熵损失函数设计所述初始行人重识别网络模型的全局损失和分区损失;

S6.2、根据所述初始行人重识别网络模型的全局损失和分区损失设计所述初始行人重识别网络模型的联合全局‑分区总损失:;

其中, 为全局‑分区总损失, 为分区损失, 为全局损失, 的范围为 ,其取值决定全局损失和分区损失函数对总损失函数的贡献权重;

所述分区损失 和全局损失 分别为:

其中, 为全局特征对应ID的预测值, 为关键点分区特征对应的ID预测值, 为真实ID, 为一个高阶特征图的均匀块划分的数量;

所述多分类的交叉熵损失函数具体为:

其中, 和 分别代表一个批次的数据量和第 个目标的真实ID, 为第 个目标的预测ID, 为类别总数;

S7、将查询图像、候选图像作为所述行人重识别网络模型的输入,利用深度外观匹配策略,分别计算所述查询图像与候选图像的全局距离、细粒度的关键点分区特征对齐距离,从所述候选图像中检索出与所述查询图像相同身份的候选排序,完成行人重识别任务。

2.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法,其特征在于,S1中,对所述行人图像进行预处理,包括从视频序列中截取含有遮挡的行人图像,并将所有的行人图像的尺寸进行归一化处理,以及对归一化处理后的所述行人图像进行水平翻转和随机擦除。

3.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法,其特征在于,S2的具体步骤为:S2.1、采用残差网络的conv1、conv2_x、conv3_x、conv4_x、conv5_x建立阶段0至阶段4共5阶段的图像特征提取网络;

S2.2、将所述图像特征提取网络的第4阶段的第一层下采样卷积层conv5_1步长设置为

1并对进行预处理后的所述行人图像进行提取。

4.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法,其特征在于,S3的具体步骤为:S3.1、采用人体估计器,从预处理后的所述行人图像中获取人体的多个关节点,每个关节点包含x坐标、y坐标、关节点标签、关节点分数;

S3.2、设置置信度阈值,过滤掉关节点分数小于所述置信度阈值的关节点,从而得到有效关键点。

5.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法,其特征在于,S4的具体步骤为:S4.1、利用S3中获取的有效关键点,判断预处理后的所述行人图像中存在的行人数量,将属于同一行人的有效关键点数量超过定义阈值的行人判定为目标行人,保留所述目标行人的有效关键点数据;

S4.2、利用所述目标行人的有效关键点数据,通过二维高斯核函数生成对应的关键点热图;

S4.3、将所述关键点热图通过双线性插值进行尺寸调整,使得所述关键点热图的尺寸与所述高阶特征图一致;

S4.4、将尺寸调整后的关键点热图分别与对应的高阶特征图进行元素相乘操作,得到每个有效关键点的关键点特征图;

S4.5、将每个关键点特征图通过全局平均池化并在垂直方向进行拼接,然后通过最大池化生成通道维度为2048的特征向量;

S4.6、将所述高阶特征图通过全局平均池化生成通道维度为2048的特征向量,然后与S4.5中对应的特征向量进行concat得到通道维度为4096全局特征向量,并使用 卷积层批处理归一化和ReLU将4096全局特征向量降维,最终得到所述行人图像未被遮挡的全局特征。

6.根据权利要求1所述的一种遮挡条件下基于块划分姿态辅助对齐的行人重识别方法,其特征在于,S7的具体步骤为:S7.1、将查询图像输入至所述行人重识别网络模型中,提取所述查询图像的全局特征、关键点分区特征、块标签和关键点标签;

S7.2、分别计算所述查询图像与候选图像的全局距离、关键点分区特征对齐距离:;

其中, 为查询图像与候选图像的全局距离, 为查询图像与候选图像的细粒度关键点分区特征对齐距离, 为用余弦距离来衡量样本之间的差异, 分别表示查询图像与候选图像的全局特征, 分别表示查询图像与候选图像的关键点分区特征; 分别为查询图像与候选图像块标签,未含有关键点为0,含有关键点为1; 为查询图像与候选图像关键点标签; 代表同或操作,相同为1,不同为0;i代表图像的第i块分块,q代表查询图像,g代表候选图像,p代表图像的分块数目;

S7.3、将所述全局距离和关键点分区特征对齐距离进行归一化处理,得到最终的距离:;

S7.4、将S7.3中的距离进行排序得出最终的相似度结果,完成行人重识别。