利索能及
我要发布
收藏
专利号: 2021111072357
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种可见光‑红外的行人重识别方法,其特征在于:

包括以下过程:

获取待识别的图像;

利用深度网络模型对图像对进行特征提取得到局部特征与全局特征,利用姿态估计网络模型对图像进行特征提取得到热力图特征,局部特征与热力图进行点积运算后再与全局特征连接后,得到图像特征;

根据获取的图像特征和预设关节点邻接矩阵,得到图特征;其中,关节点邻接矩阵,包括:当身体的某些部分存在相连时,对应邻接矩阵中两个部分的节点值就为1,如果不存在相连,那么节点值就为0,关节点邻接矩阵的最后一列用于表示全局特征,切最后一列的值全为1;

根据得到的图特征与预设图卷积网络,得到待识别图像的最终特征,根据待识别图像的最终特征与候选图像库中的对应图像特征的相似度,得到行人重识别结果;图卷积网络的每一层设有分支结构,每一层都与前面所有层相连,在最后一层的输出中将之前所有层的输出全部汇集;每一个分支机构均设有一个注意力权重,动态的给不同的卷积层输出赋予不同的权重,采用注意力机制改变每一层的权重,将注意力权重纳入到模型训练中去,通过反向传播对权重进行迭代更新,相似性度量结果被传入损失函数作为反向传播的依据;

具体的,获取图卷积网络每一层的输出表示;根据得到的输出表示得到每个节点在不同层的语义特征;根据得到的每个节点在不同层的语义特征,得到所有节点在所有层的特征;根据所有节点在所有层的特征与原始图片的对应特征的欧氏距离,得到第一相似性度量结果;

图卷积网络包括动态特征更新层,包括:获取所有节点在所有层的特征;对输入的语义特征进行处理,输出动态特征矩阵;所有节点在所有层的特征与动态特征矩阵相乘后,得到最终的语义表示矩阵;根据语义表示矩阵与原始图像对应的语义表示矩阵的余弦相似度,得到第二相似性度量结果;根据第一相似性度量结果和第二相似性度量结果,得到最终的相似度评分;

其中,候选图像库中至少包括可见光图像和红外图像。

2.如权利要求1所述的可见光‑红外的行人重识别方法,其特征在于:

如果获取的待识别图像为可见光图像,则将其转为灰度图像;

或者,

深度网络模型和姿态估计网络模型均采用三元组损失和交叉熵损失来更新模型参数。

3.一种可见光‑红外的行人重识别系统,其特征在于:

包括:

数据获取模块,被配置为:获取待识别的图像;

图像特征提取模块,被配置为:利用深度网络模型对图像对进行特征提取得到局部特征与全局特征,利用姿态估计网络模型对图像进行特征提取得到热力图特征,局部特征与热力图进行点积运算后再与全局特征连接后,得到图像特征;

图特征获取模块,被配置为:根据获取的图像特征和预设关节点邻接矩阵,得到图特征;其中,关节点邻接矩阵,包括:当身体的某些部分存在相连时,对应邻接矩阵中两个部分的节点值就为1,如果不存在相连,那么节点值就为0,关节点邻接矩阵的最后一列用于表示全局特征,切最后一列的值全为1;

重识别模块,被配置为:根据得到的图特征与预设图卷积网络,得到待识别图像的最终特征,根据待识别图像的最终特征与候选图像库中的对应图像特征的相似度,得到行人重识别结果;图卷积网络的每一层设有分支结构,每一层都与前面所有层相连,在最后一层的输出中将之前所有层的输出全部汇集;每一个分支机构均设有一个注意力权重,动态的给不同的卷积层输出赋予不同的权重,采用注意力机制改变每一层的权重,将注意力权重纳入到模型训练中去,通过反向传播对权重进行迭代更新,相似性度量结果被传入损失函数作为反向传播的依据;

具体的,获取图卷积网络每一层的输出表示;根据得到的输出表示得到每个节点在不同层的语义特征;根据得到的每个节点在不同层的语义特征,得到所有节点在所有层的特征;根据所有节点在所有层的特征与原始图片的对应特征的欧氏距离,得到第一相似性度量结果;

图卷积网络包括动态特征更新层,包括:获取所有节点在所有层的特征;对输入的语义特征进行处理,输出动态特征矩阵;所有节点在所有层的特征与动态特征矩阵相乘后,得到最终的语义表示矩阵;根据语义表示矩阵与原始图像对应的语义表示矩阵的余弦相似度,得到第二相似性度量结果;根据第一相似性度量结果和第二相似性度量结果,得到最终的相似度评分。

4.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1‑2任一项所述的可见光‑红外的行人重识别方法中的步骤。

5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑2任一项所述的可见光‑红外的行人重识别方法中的步骤。