1.一种基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述基于多特征联合渐进学习的跨模态行人重识别方法，包括：vis ir vis ir

将给定的图像集D＝{X ,X }按模态分成可见光图像集X 和红外线图像集X ；

构建多特征联合渐进式学习网络，所述多特征联合渐进式学习网络包括双流Resnet‑

50网络、轮廓特征加强模块和批量自适应模块，所述双流Resnet‑50网络包含两个分支和softmax函数，所述两个分支分别用于提取可见光图像和红外线图像的特征；

将图像集D分别输入轮廓特征加强模块和双流Resnet‑50网络，得到原图像特征图和轮廓特征图，根据原图像特征图和轮廓特征图得到感知轮廓损失，并计算第一阶段的总体损失；

gray

对图像集D中的可见光图像进行灰度化处理得到对应的灰度图，将灰度图集X 和红外ir线图像集X 作为双流Resnet‑50网络的输入计算第二阶段的总体损失；

将图像集D作为双流Resnet‑50网络的输入，并将得到的特征序列输入批量自适应模块，计算第三阶段的总体损失；

联合优化三个阶段的总体损失，通过反向传播对多特征联合渐进式学习网络的参数进行优化；

给定一个行人查询图像和一个图像库作为训练好的多特征联合渐进式学习网络的输入，利用输出的特征计算查询图像与图像库中所有图像的相似度，完成重识别过程。

2.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述双流Resnet‑50网络的两个分支均包括独立参数的子网络和共享参数的子网络，所述两个分支的独立参数的子网络分别记为EV、EIR，由双流Resnet‑50网络的每个分支的第一层组成，所述共享参数的子网络记为ES，由双流Resnet‑50网络的每个分支的剩余层组成。

3.根据权利要求2所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集D分别输入轮廓特征加强模块和双流Resnet‑50网络，得到原图像特征图和轮廓特征图，根据原图像特征图和轮廓特征图得到感知轮廓损失，并计算第一阶段的总体损失，包括：将图像集D输入双流Resnet‑50网络的独立参数的子网络EV、EIR，得到特征图C1；

将图像集D输入轮廓特征加强模块的Sobel卷积层得到特征图C2；

将C1和C2进行点加，点加后的特征图经过轮廓特征加强模块中的VGG‑16网络的第1到第4块进行训练，令ψ＝{ψ1,ψ2,ψ3,ψ4}表示VGG‑16的四个块；

为最终得到的总感知轮廓损失，可用公式表示为：

其中， 表示输入 经过VGG‑16网络的第i个块得到的原图像特征图，i∈[1,

4]， 表示可见光模态的特征图经过VGG‑16网络第i‑1个块提取得到的原图像特征图，表示输入 经过VGG‑16网络的第i个块得到的轮廓特征图， 表示可见光模态的特征图经过VGG‑16网络第i‑1个块提取得到的轮廓特征图， 表示输入 经过VGG‑16网络的第i个块得到的原图像特征图， 表示红外线模态的特征图经过VGG‑16网络第i‑1个块提取得到的原图像特征图， 表示输入 经过VGG‑16网络的第i个块得到的轮廓特征图， 表示红外线模态的特征图经过VGG‑16网络第i‑1个块提取得到的轮廓特征图；

根据原图像特征图 和轮廓特征图 得到感知轮廓损失，可用如下公式计算表示：其中， 表示感知轮廓损失，C表示对当前通道进行损失计算，原图像特征图 和轮廓特征图 的形状为Ci×Hi×Wi，Ci表示总的通道数，Hi表示高度，Wi表示宽度，m∈{vis,ir}代表可见光和红外线两个模态， 表示对每个模态的特征中的每个通道进行损失的计算并求和，Lδ表示Huber损失，可用公式表示为：其中，δ表示超参数；

第一阶段的总体损失 可用如下公式表示：

vis ir

其中， 表示id损失，对输入图像{X 、X }经过多特征联合渐进式学习网络处理得到的特征进行损失的计算，公式如下：其中，P是图像集中的类别个数，y表示行人的类别标签，pa是类别a的预测的概率，ε是一个小常数，qa表示实际的标签分布概率，pa基于原图像特征图 处理后的特征向量经过softmax函数处理得到；

vis ir

模态间的三元组损失 对输入图像{X 、X }经过多特征联合渐进式学习网络处理得到的特征进行损失的计算，可用公式表示为：其中， 表示输入来自VIS和IR模态的正样本对和来自VIS模态的负样本对计算得到的三元组损失， 表示输入来自IR和VIS模态的正样本对和来自IR模态的负样本对计算得到的三元组损失，VIS模态表示可见光模态，IR模态表示红外线模态，与 可用公式表示为：其中，M表示每次迭代随机选择M个行人，D(Vb,Ic)表示VIS图像中第b个行人和IR图像中第c个行人之间的欧式距离，D(Vb,Ik)表示VIS图像中第b个行人和IR图像中第k个行人之间的欧式距离，D(Ib,Vc)表示IR图像中第b个行人和VIS图像中第c个行人之间的欧式距离，D(Ib,Vk)表示IR图像中第b个行人和VIS图像中第k个行人之间的欧式距离，b与c相同，表示同一个行人；k与b、c不相同，表示不同的行人，yb表示当前模态的第b个行人的类别标签，yc表示与yb不同模态的同一行人的类别标签，yk表示与yb和yc不同行人的类别标签，ξ是间隔参数，[z]+＝max(z,0)。

4.根据权利要求3所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集D输入轮廓特征加强模块的Sobel卷积层得到特征图C2，包括：通过将图像集D输入轮廓特征加强模块的Sobel卷积层得到横向和纵向的图像灰度值，公式如下：其中，A表示图像集D中的原始图像，Gx表示横向的图像灰度值，Gy表示纵向的图像灰度值；

在图像的每一个点，结合横向和纵向的图像灰度值，通过如下公式求出每个点的近似梯度：根据近似梯度得到特征图C2。

5.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征gray在于，所述对图像集D中的可见光图像进行灰度化处理得到对应的灰度图，将灰度图集Xir和红外线图像集X 作为双流Resnet‑50网络的输入计算第二阶段的总体损失，包括：图像集D中的可见光图像经过灰度化处理得到灰度图；

gray ir

将灰度图集X 和红外线图像集X 输入双流Resnet‑50网络，输出灰度图的人物灰度特征并计算第二阶段的总体损失 可用如下公式表示：其中， 表示异中心簇损失， 表示id损失， 表示三元组损失；

gray ir

异中心簇损失 对输入图像{X ,X }经过多特征联合渐进式学习网络得到的特征进行损失的计算，公式如下：其中，N是训练阶段批次中 和 的数量总和，f()是双流Resnet‑50网络的全连接层之前的输出，mean[A‑B]是A和B之差的均值运算， 表示由可见光模态生成的灰度图， 表示红外线模态的输入图像；

gray ir

id损失 对输入图像{X ,X }经过多特征联合渐进式学习网络得到的特征进行损失的计算，公式如下：其中，P是图像集中的类别个数，y表示行人的类别标签，pa是类别a的预测的概率，ε是一个小常数，qa表示实际的标签分布概率，pa基于人物灰度特征经过softmax函数处理得到；

gray ir

模态间的三元组损失 对输入图像{X ,X }经过多特征联合渐进式学习网络处理得到的特征进行损失的计算，可用公式表示为：其中， 表示输入来自VIS和IR模态的正样本对和来自VIS模态的负样本对计算得到的三元组损失， 表示输入来自IR和VIS模态的正样本对和来自IR模态的负样本对计算得到的三元组损失，VIS模态表示可见光模态，IR模态表示红外线模态，与 可用公式表示为：其中，M表示每次迭代随机选择M个行人，D(Vb,Ic)表示VIS图像中第b个行人和IR图像中第c个行人之间的欧式距离，D(Vb,Ik)表示VIS图像中第b个行人和IR图像中第k个行人之间的欧式距离，D(Ib,Vc)表示IR图像中第b个行人和VIS图像中第c个行人之间的欧式距离，D(Ib,Vk)表示IR图像中第b个行人和VIS图像中第k个行人之间的欧式距离，b与c相同，表示同一个行人；k与b、c不相同，表示不同的行人，yb表示当前模态的第b个行人的类别标签，yc表示与yb不同模态的同一行人的类别标签，yk表示与yb和yc不同行人的类别标签，ξ是间隔参数，[z]+＝max(z,0)。

6.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述将图像集D作为双流Resnet‑50网络的输入，并将得到的特征图输入批量自适应模块，计算第三阶段的总体损失，包括：E×F

将图像集D输入双流Resnet‑50网络，得到特征序列Y，其中Y∈R ，E和F分别表示特征序列的长度和维度，将特征序列Y的维度进行替换：将 输入批量自适应模块得到 批量自适应模块可表示为：

其中，MHSA表示多头注意力，FF表示全连接层，LN1、LN2表示线性层；

将特征序列 的维度进行恢复：

对经过批量自适应模块后的特征序列进行损失计算，得到第三阶段的总体损失 可用如下公式表示：其中， 表示异中心簇损失， 表示id损失， 表示三元组损失；

vis ir

异中心簇损失 对输入图像{X ,X }经过多特征联合渐进式学习网络得到的特征进行损失的计算，公式如下：其中，N是训练阶段批次中 和 的数量总和，f()是多特征联合渐进式学习网络的全连接层之前的输出，mean[A‑B]是A和B之差的均值运算， 表示由可见光模态生成的特征序列Y'， 表示由红外线模态生成的特征序列Y'；

vis ir

id损失 对输入图像{X ,X }经过多特征联合渐进式学习网络得到的特征进行损失的计算，公式如下：其中，P是图像集中的类别个数，y表示行人的类别标签，pa是类别a的预测的概率，ε是一个小常数，qa表示实际的标签分布概率，pa基于特征序列Y'经过softmax函数处理得到；

vis ir

模态间的三元组损失 对输入图像{X 、X }经过网络处理得到的特征进行损失的计算，可用公式表示为：其中， 表示输入来自VIS和IR模态的正样本对和来自VIS模态的负样本对计算得到的三元组损失， 表示输入来自IR和VIS模态的正样本对和来自IR模态的负样本对计算得到的三元组损失，VIS模态表示可见光模态，IR模态表示红外线模态，与 可用公式表示为：其中，M表示每次迭代随机选择M个行人，D(Vb,Ic)表示VIS图像中第b个行人和IR图像中第c个行人之间的欧式距离，D(Vb,Ik)表示VIS图像中第b个行人和IR图像中第k个行人之间的欧式距离，D(Ib,Vc)表示IR图像中第b个行人和VIS图像中第c个行人之间的欧式距离，D(Ib,Vk)表示IR图像中第b个行人和VIS图像中第k个行人之间的欧式距离，b与c相同，表示同一个行人；k与b、c不相同，表示不同的行人，yb表示当前模态的第b个行人的类别标签，yc表示与yb不同模态的同一行人的类别标签，yk表示与yb和yc不同行人的类别标签，ξ是间隔参数，[z]+＝max(z,0)。

7.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述联合优化三个阶段的总体损失，包括：所述三个阶段的总体损失由第一阶段的总体损失、第二阶段的总体损失和第三阶段的总体损失相加得到。

8.根据权利要求1所述的基于多特征联合渐进学习的跨模态行人重识别方法，其特征在于，所述重识别过程，包括：给定一个可见光模态下的查询图像和红外线图像库，或给定一个红外线模态下的查询图像和可见光图像库；

将给定的查询图像和图像库输入多特征联合渐进式学习网络，由双流Resnet‑50网络输出查询图像和图像库中图像的人物特征；

计算查询图像与图像库中所有图像间的特征相似度，将与查询图像特征相似度最高的e个图像库中的图像作为候选图像，记为多特征联合渐进式学习网络得到的重识别结果。