1.一种基于姿态估计和特征关联的行人重识别方法,其特征在于,所述基于姿态估计和特征关联的行人重识别方法,包括:获取待查询行人图像,分别通过姿态估计网络和全局特征提取网络提取局部关键点热力图和全局特征图;
将降维后的全局特征图与局部关键点热力图进行元素间相乘,得到局部关键点特征序列,然后将局部关键点特征序列和全局特征图通过前景姿态非局部网络得到局部姿态联合特征;
对全局特征图进行自适应平均池化操作,然后与局部姿态联合特征一起输入到融合模块,进行非线性融合,得到融合特征;
根据融合特征计算待查询行人图像与数据库中图像的相似度,按照相似度的大小进行排序,然后输出查询结果;
其中,所述对全局特征图进行自适应平均池化操作,然后与局部姿态联合特征一起输入到融合模块,进行非线性融合,得到融合特征,包括:对全局特征图进行自适应平均池化操作,得到粗粒度特征;
将粗粒度特征和局部姿态联合特征分别输入到各自的前馈神经网络,然后再进行残差连接,得到第一特征和第二特征;
将粗粒度特征和局部姿态联合特征按照特征的维度均匀切割成预设块数,然后重组为矩阵K和Q,之后将矩阵Q和K相乘得到特征监督相似度,并使用特征监督相似度计算矩阵K的权重和矩阵S;
将权重和矩阵S水平切割成预设块数,然后按顺序拼接,重新组合成关联特征;
将第一特征、第二特征和关联特征累加,得到最终的融合特征;
所述将第一特征、第二特征和关联特征累加,得到最终的融合特征,采用如下公式进行累加:f=αf′g+βf′p+(1‑α‑β)fs;
其中,f′g表示第一特征、f′p表示第二特征,fs表示关联特征,α,β为权重参数。
2.根据权利要求1所述的基于姿态估计和特征关联的行人重识别方法,其特征在于,所述将局部关键点特征序列和全局特征图通过前景姿态非局部网络得到局部姿态联合特征,包括:将局部关键点特征序列中每一个特征与全局特征图相加后经过自适应平均池化操作,得到嵌入全局特征后的局部关键点特征序列;
对嵌入全局特征后的局部关键点特征序列进行标准化操作后再经过前馈神经网络进一步挖掘细粒度信息,然后与嵌入全局特征后的特征序列残差连接,得到细粒度局部特征序列;
对细粒度局部特征序列进行标准化操作和多头自注意力操作,然后与细粒度局部特征序列残差连接,得到局部特征关联序列;
将局部特征关联序列进行拼接,然后再经过一层线性层,得到局部姿态联合特征。
3.一种基于姿态估计和特征关联的行人重识别装置,其特征在于,所述基于姿态估计和特征关联的行人重识别装置,包括:特征提取模块,用于获取待查询行人图像,分别通过姿态估计网络和全局特征提取网络提取局部关键点热力图和全局特征图;
姿态联合模块,用于将降维后的全局特征图与局部关键点热力图进行元素间相乘,得到局部关键点特征序列,然后将局部关键点特征序列和全局特征图通过前景姿态非局部网络得到局部姿态联合特征;
融合模块,用于对全局特征图进行自适应平均池化操作,然后与局部姿态联合特征一起输入到融合模块,进行非线性融合,得到融合特征;
查询模块,用于根据融合特征计算待查询行人图像与数据库中图像的相似度,按照相似度的大小进行排序,然后输出查询结果;
其中,所述对全局特征图进行自适应平均池化操作,然后与局部姿态联合特征一起输入到融合模块,进行非线性融合,得到融合特征,包括:对全局特征图进行自适应平均池化操作,得到粗粒度特征;
将粗粒度特征和局部姿态联合特征分别输入到各自的前馈神经网络,然后再进行残差连接,得到第一特征和第二特征;
将粗粒度特征和局部姿态联合特征按照特征的维度均匀切割成预设块数,然后重组为矩阵K和Q,之后将矩阵Q和K相乘得到特征监督相似度,并使用特征监督相似度计算矩阵K的权重和矩阵S;
将权重和矩阵S水平切割成预设块数,然后按顺序拼接,重新组合成关联特征;
将第一特征、第二特征和关联特征累加,得到最终的融合特征;
所述将第一特征、第二特征和关联特征累加,得到最终的融合特征,采用如下公式进行累加:f=αf′g+βf′p+(1‑α‑β)fs;
其中,f′g表示第一特征、f′p表示第二特征,fs表示关联特征,α,β为权重参数。
4.根据权利要求3所述的基于姿态估计和特征关联的行人重识别装置,其特征在于,所述将局部关键点特征序列和全局特征图通过前景姿态非局部网络得到局部姿态联合特征,包括:将局部关键点特征序列中每一个特征与全局特征图相加后经过自适应平均池化操作,得到嵌入全局特征后的局部关键点特征序列;
对嵌入全局特征后的局部关键点特征序列进行标准化操作后再经过前馈神经网络进一步挖掘细粒度信息,然后与嵌入全局特征后的特征序列残差连接,得到细粒度局部特征序列;
对细粒度局部特征序列进行标准化操作和多头自注意力操作,然后与细粒度局部特征序列残差连接,得到局部特征关联序列;
将局部特征关联序列进行拼接,然后再经过一层线性层,得到局部姿态联合特征。