1.一种基于小波变换的跨模态行人重识别方法,其特征在于,包括:采集VI‑ReID的待测图像,并以此构建两流ResNet‑50主干网络;
通过ICB模块融合两流ResNet‑50主干网络浅层的特征,得到融合特征;
通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模态共享特征;
通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块输出的融合特征,得到最终识别结果;
对最终识别结果进行可视化验证。
2.根据权利要求1所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,所述ICB模块用于融合两流ResNet‑50主干网络的浅层特征,ICB模块将自注意学习与小波变换进行集成,利用小波变换进行可逆下采样,降低深层特征的空间维度;与浅层特征进行自注意学习,将结果与经过逆小波变换的深层特征进行拼接得到融合特征。
3.根据权利要求2所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,所述小波变换包括:;
利用小波变换将原始图像分解为LF分量、水平HF分量、垂直HF分量和对角HF分量,得到LL、HL、LH和HH,其中,LL代表低频部分,LH、HL、HH代表高频部分,将分解的4个分量定义为L,H两部分。
4.根据权利要求2所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,所述将结果与经过逆小波变换的深层特征进行拼接得到融合特征包括:在主干网络Resnet上添加了4个ICB模块,前三个ICB模块针对每一个ResnetBlock前后做特征融合,第四个ICB模块对第一个和第三个ICB模块的输出做特征融合。
5.根据权利要求4所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,所述ICB模块结构包括:将每一个ResnetBlock前后的特征分别作为浅层特征和深层特征,并一起作为ICB模块的输入,对输入应用卷积和正则化,将其映射到维度相同的特征空间,将深层特征的通道数进行减小得到缩小特征;
对缩小特征使用haar离散小波变换分解为n个小波子带;
将n个小波子带在通道维度上concat,得到haar离散小波变换的输出;
对haar离散小波变换的输出和浅层特征进行卷积来捕捉局部区域的特征,并计算得到注意力输出;
设计DWT‑Conv‑IDWT结构,将注意力输出与DWT‑Conv‑IDWT结构的输出进行拼接,得到小波注意力块的输出;
对小波注意力块的输出进行卷积恢复通道数,并与最初输入的深层特征进行相加得到最终输出。
6.根据权利要求1所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,所述通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模态共享特征包括:对Resnetblock后的输出特征进行harr离散小波变换,分解为n个小波子带,并将这n个小波子带在通道维度上concat,得到扩展结果;
将扩展结果输入到BottleNeck卷积块中进行细微模态一致特征学习,最后,对BottleNeck块结构的输出应用逆小波变换,使得输出特征图维度恢复成原来的大小。
7.根据权利要求6所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,还包括:将原来的Resnetblock后的输出特征与WEB分支模块的输出特征拼接在一起输入到最后一个Resnetblock,得到双分支产生的n组特征。
8.根据权利要求1所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,所述通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块输出的融合特征,得到最终识别结果包括:分别计算双分支产生的n组特征的中心;
设置双分支中心引导损失的准则,并通过欧几里得距离衡量特征的相似度分别定义n组特征的中心的距离损失;
根据定义的n组特征的中心的距离损失的均值得到双分支中心引导损失。
9.根据权利要求8所述的一种基于小波变换的跨模态行人重识别方法,其特征在于,还包括计算总损失为:,其中, 是控制损失比重的系数, 为身份损失,
为三重熵损失,通过最小化三种损失 的总和,共同优化网络。
10.一种基于小波变换的跨模态行人重识别系统,其特征在于,包括:主干网络构建模块:用于采集VI‑ReID的待测图像,并以此构建两流ResNet‑50主干网络;
特征融合模块:用于通过ICB模块融合两流ResNet‑50主干网络浅层的特征,得到融合特征;
特征提取模块:用于通过WEB分支模块对所述融合特征进行特征提取得到高低频部分的模态共享特征;
优化模块:用于通过双分支中心引导损失来优化WEB分支模块输出的模态共享特征以及ICB模块输出的融合特征,得到最终识别结果;
验证模块:用于对最终识别结果进行可视化验证。