1.一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,包括以下步骤:(1)获取原始数据,划分训练集、验证集和测试集并进行预处理;
(2)将步骤(1)处理过的批量训练样本随机组成跨模态图像对;
(3)基于PyTorch搭建三分支行人重识别网络并设置训练参数,原始的训练样本以及合成的过渡图片作为网络输入,提取行人表征;
(4)将训练时期分为V‑T和V‑I两个阶段,当处于V‑T阶段时,计算语义一致损失更新网络权重,将过渡模态作为过滤条件,从可见光模态中保留与红外模态最为相关的光谱信息;
(5)当处于V‑I阶段时计算级联聚合损失,更新网络权重,直接在可见光和红外模态间实现模态对齐,提取模态共享表示;在训练过程中,使用验证集验证算法的精度,保存最优精度的网络权重。
2.根据权利要求1所述的一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,所述步骤(1)中,原始数据集为公开的SYSU‑MM01或RegDB;预处理包括:训练样本裁剪缩放为288x144像素,并通过水平翻转,随机擦除增加样本的多样性,最后使用由ImageNet数据集计算得到通道均值和标准差进行标准化。
3.根据权利要求1所述的一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,所述步骤(2)具体如下:首先随机选择可见光图像红、绿 、蓝颜色通道的其中一个并扩展成三通道;然后将处理过的可见光图像和原始的红外图像水平划分为多个部分,每个部分以相同的概率保留两模态的其中一个;最后沿着图像的高度维度拼接起来;每个图像对生成一张过渡图像;公式如下:设取出图像对中的可见光图像 随机选择红、绿、蓝三通道的其中一个并扩展成三通道,然后将变换后的可见光图像 和原始的红外图像 水平划分为 个部分;则:;
其中, 、 、 分别代表可见光图片中的红色、绿色以及蓝色通道, 和 为随机选择和扩展操作;
;
其中, 和 为图片水平条纹组成的数
组, 表示对数组元素的随机选择操作,得到新的数组; 为图片高度维度的拼接操作。
4.根据权利要求1所述的一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,所述步骤(3)具体如下:选择在ImageNet上预训练的ResNet50模型作为特征提取器,然后在SYSU‑MM01或RegDB数据集上对网络进行微调;其中,ResNet50共有五个阶段,将第一个阶段复制三次分别作为可见光、过渡和红外模态的输入口,后四个阶段为模态共享,构成三分支行人重识别网络;将步骤(1)读取的可见光和红外图片以及步骤(2)合成的过渡图片输入到行人重识别网络中提取行人特征。
5.根据权利要求1所述的一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,所述步骤(4)具体如下:利用步骤(3)提取得到的行人特征以及步骤(1)读取的身份标签信息,计算由基础损失和语义一致损失组成的联合训练损失,通过梯度反向传播更新行人重识别网络;语义一致损失将过渡模态作为约束条件,从可见光模态中保留与红外模态最为相关的光谱信息;语义一致损失的计算过程如下:;
;
其中,P代表当前批量batch中行人类别数量, 为单个ID下的可见光/过渡图片数量,为全连接网络; 为超参数权重控制强关联和弱关联样本对的知识传播速率; 为L2正则化; 和 分别表示第i个身份下第j个可见光特征和第k个过渡特征。
6.根据权利要求5所述的一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,基础损失由身份损失即交叉熵损失和三元组损失构成;可见光模态身份损失的计算过程表示为:;
其中,N为可见光图片数量,C是ID总数, 为第I张可见光图片提取得到的特征; 为样本真实身份对应的分类器权重; 为对应的分类器权重;
三元组损失计算过程如下:
;
其中, 表示可见光和过渡特征组成的集合; 与 为正样本对; 与为负样本对; 为欧式距离; ; 为边缘参数。
7.根据权利要求5所述的一种基于光谱信息过滤的可见光红外行人重识别方法,其特征在于,所述步骤(5)中,通过梯度反向传播更新行人重识别网络;级联聚合损失的计算过程如下:;
其中, 和 分别表示第i个身份的可见光和红外特征中心; 和 分别表示第i个身份的可见光和红外语义中心;P为当前batch中ID的总数; 为当前batch中第i个ID中第j张红外图片提取得到的特征。
8.一种基于光谱信息过滤的可见光红外行人重识别系统,其特征在于,包括:获取预处理模块:用于获取原始数据,划分训练集、验证集和测试集并进行预处理;
跨模态图像对模块:用于将获取预处理模块处理过的批量训练样本随机组成跨模态图像对;
提取模块:用于基于PyTorch搭建三分支行人重识别网络并设置训练参数,原始的训练样本以及合成的过渡图片作为网络输入,提取行人表征;
V‑T阶段模块:用于将训练时期分为V‑T和V‑I两个阶段,当处于V‑T阶段时,计算语义一致损失更新网络权重,将过渡模态作为过滤条件,从可见光模态中保留与红外模态最为相关的光谱信息;
V‑I阶段模块:用于当处于V‑I阶段时计算级联聚合损失,更新网络权重,直接在可见光和红外模态间实现模态对齐,提取模态共享表示;在训练过程中,使用验证集验证算法的精度,保存最优精度的网络权重。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1‑7任一项所述的一种基于光谱信息过滤的可见光红外行人重识别方法。
10.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1‑7任一种基于光谱信息过滤的可见光红外行人重识别方法。