利索能及
我要发布
收藏
专利号: 2026106386200
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,执行如下步骤S1‑步骤S6,构建无监督跨模态行人再识别模型,执行步骤S7,完成行人再识别:步骤S1:基于布设于多个位置的摄像头,采集各行人的可见光图像和红外图像,构成可见光数据集和红外数据集,使用编码器分别提取可见光特征向量和红外特征向量;

步骤S2:基于可见光数据集和红外数据集,以及可见光特征向量和红外特征向量,分别针对每个可见光特征向量,在红外特征向量所构成的红外特征空间内检索相似的候选特征向量,进一步在候选特征向量中寻找最优匹配的红外特征向量,构建统一图;

步骤S3:将可见光特征向量和最优匹配的红外特征向量作为统一图中的节点,在统一图上进行图特征传播,得到增强特征向量;然后针对增强特征向量采用HDBSCAN层次密度聚类进行分簇,划分噪声节点与非噪声节点;针对非噪声节点,进一步划分为高置信度节点、边界节点和近似噪声节点;

步骤S4:在同簇不同模态的噪声节点之间根据距离构建边界协同特征;

步骤S5:基于动态阈值筛选噪声节点,并将多个选中的噪声节点进行加权聚合形成噪声协同特征;

步骤S6:构建截断高斯分布模拟行人的加入与退出情况,基于截断高斯分布构建行人保留掩码,将同一簇中的所有行人视为一个伪聚类群体,并获得伪聚类群体中心;

步骤S7:构建双重对比学习损失、模态不变对比学习损失,并基于边界协同特征、噪声协同特征,构建边界协调损失、噪声感知损失;进一步构建完整损失,完成无监督跨模态行人再识别模型的训练,应用无监督跨模态行人再识别模型,完成行人再识别。

2.根据权利要求1所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S1的具体方法如下:基于可见光数据集DV和红外数据集DR,构成无标签的可见光‑红外行人再识别数据集,其中 表示包含 个行人图像的无标签可见光数据集, 表示无标签可见光数据集中的第i个行人图像; 表示包含 个行人图像的无标签红外数据集, 表示无标签红外数据集中的第i个行人图像;

使用编码器分别对应提取可见光特征向量 ,其中 表示无标签可见光数据集中的第i个行人图像的可见光特征向量;以及红外特征向量,其中 表示无标签红外数据集中的第i个行人图像的红外特征向量;表示特征向量的维度。

3.根据权利要求2所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S2的具体方法如下:针对可见光模态和红外模态,基于K最邻近法分别构建k近邻图,将k近邻图表示为点集, ;其中, 表示可见光模态的点集, 表示红外模态的点集,点集中的节点分别对应编码器所提取的可见光特征向量或红外特征向量; 表示可见光模态的节点集合, 表示可见光模态内部的边集合; 表示红外模态的节点集合, 表示红外模态内部的边集合;

边集合中,边的权重计算如下:

其中,i表示当前的中心节点的索引;j表示第i个节点的邻居节点的索引; 表示第i个节点与第j个节点之间边的权重, , 是第i个节点的邻居节点集合;为温度系数;表示第i个节点所对应的特征向量,表示第j个节点所对应的特征向量, 表示第i个节点的邻居节点集合中的第k个节点所对应的特征向量;exp表示以实数e为底的指数函数;

分别针对每个可见光特征向量,采用图级匹配,在红外特征空间内检索其Top‑K最相似的候选特征向量,图级匹配方法如下:定义局部子图,对于第i个节点, ,其中, 表示K最邻近法计算,表示以第i个节点为中心节点的局部子图;定义匹配得分如下式:;

其中, 表示第i个节点和第j个节点的匹配得分,表示以第j个节点为中心节点的局部子图, 表示结构相似性, , 为动态权重因子;表示第i个节点的邻居节点集合 中的任意一个邻居节点,表示第j个节点的邻居节点集合 中的任意一个邻居节点; 表示节点 所对应的特征向量,表示节点所对应的特征向量;表示第i个节点的邻居节点集合中的节点数量;

使用双向匹配,在候选特征向量中寻找最优匹配的红外特征向量,生成跨模态边,构建统一图,具体如下式:;

其中, 表示跨模态边,表示统一图; 表示可见光模态的节点集合, 表示可见光模态内部的边集合; 表示红外模态的节点集合, 表示红外模态内部的边集合。

4.根据权利要求3所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S3的具体步骤如下:步骤S3.1:针对可见光特征向量和红外特征向量,分别赋予权重,具体如下式:;

其中, 表示经过图特征传播后,节点i所对应的增强特征向量;表示权重;表示第i个节点所对应的特征向量, 表示第j个节点所对应的特征向量; 是第i个节点的邻居节点集合; 表示第i个节点与第j个节点之间边的权重;

构建增强特征向量集合 ,对增强特征向量集合 进行基于层次密度聚类的HDBSCAN聚类算法,HDBSCAN聚类算法输出第i个节点的簇标签 和第i个节点属于其所在簇的置信度 :其中簇标签 ,为簇的数量, 表示第i个节点被判定为噪声节点,为其他取值时表示第i个节点被判定为非噪声节点;

步骤S3.2:针对置信度 预设阈值T1和阈值T2,针对非噪声节点进一步进行分类:若 ,则第i个节点为高置信度节点;

若 ,则第i个节点为边界节点;

若 ,则第i个节点为近似噪声节点;

其中阈值T1的数值动态调整。

5.根据权利要求4所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S4的具体方法如下:从噪声节点中筛选出 的样本,作为可协同噪声节点,其中 是随训练轮次t动态变化的阈值;

对于第i个节点所对应的特征向量 ,引入局部密度估计,第i个节点的局部密度 计算如下:;

其中, 是第i个节点和第j个节点之间的特征距离, 是第i个节点的模态标签, 是第j个节点的模态标签; 是模态加权函数; 表示节点的总数; 表示带宽参数或尺度参数;

模态加权函数如下式:

其中,η是一个小于1的权重因子;

对于一个高置信度节点所对应的特征向量 ,以 作为锚点,在其所属的同一簇内但不同模态的边界节点集合B中,寻找与锚点最相似的边界节点:;

其中, 表示边界节点集合, 表示边界节点所对应的特征向量, 表示与锚点最相似的边界节点所对应的特征向量;

基于与锚点最相似的边界节点所对应的特征向量 ,通过线性插值构造边界协同特征如下:;

其中, 表示边界协同特征,为控制插值比例的系数。

6.根据权利要求5所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S5的具体方法如下:设定随训练轮次t动态变化的阈值 如下式:;

其中, 是初始阈值,是总训练轮次,为当前训练轮次, 是衰减系数;

针对各噪声节点,计算与锚点的相似度,只有与锚点的相似度高于当前阈值 的噪声节点才会被选中;

对选中的多个噪声节点进行加权聚合,形成噪声协同特征如下:;

其中, 表示噪声协同特征,为第i个节点所对应的特征向量, 为第i个节点对应的权重;

第i个节点对应的权重 的计算如下式:

其中,为锐化系数, 表示第i个节点的离群分数; 表示第j个节点的离群分数。

7.根据权利要求6所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S6的具体方法如下:使用一个截断高斯分布模拟行人的加入与退出情况,截断高斯分布的参数求解公式如下:;

其中, 表示行人的最大允许离开比例, 表示群体处于预设的稳定状态的概率;

表示高斯误差函数的反函数;和 分别表示截断高斯分布的均值和标准差;

基于截断高斯分布,构建行人保留掩码生成公式,对于同一类别中的每个行人,决定其是否保留,具体如下式:;

其中, 为行人保留掩码, 为伯努利分布, 表示行人离开概率,表示 服从均值为 、标准差为 的正态分布中采样的随机变量;

基于行人保留掩码,得到伪聚类群体:

其中, 表示第k个伪聚类群体; 表示经过图特征传播后,节点i所对应的增强特征向量;表示第i个节点的簇标签;为簇的数量;

计算各伪聚类群体中心:

其中, 表示第k个伪聚类群体中心;表示第i个节点属于其所在簇的置信度;

最终,将所构建的伪聚类群体中心 作为正样本表示,引入到训练过程中。

8.根据权利要求7所述的基于层次聚类及边噪学习的无监督跨模态行人再识别方法,其特征在于,步骤S7的具体方法如下:构建双重对比学习损失 如下:

其中, 表示经过聚类中心对齐或归一化处理后的第i个节点的可见光查询特征向量; 表示第i个节点的红外查询特征向量; 表示正样本, 表示内存库中第k个特征向量;表示温度系数; 是可见光模态的内存库大小; 是红外模态的内存库大小, 是可见光模态内存库中的第k个特征向量; 是红外模态内存库中的第k个特征向量; 是红外模态内存库中的正样本;表示节点的总数;

构建模态不变对比学习损失 如下式:

其中, 表示第i个节点的任意模态查询特征向量, 表示跨模态共享内存库中的正样本, 表示跨模态共享内存库中的第k个特征向量, 表示跨模态共享内存库大小;

构建边界协调损失 如下式:

其中, 表示困难样本集合; 表示高置信度节点所对应的特征向量; 表示边界协同特征;

构建噪声感知损失 如下式:

其中, 表示噪声协同特征;

构建完整损失 如下式:

其中, 、 、 分别为 、 、 的调整权重。