1.基于行人分割的跨域行人重识别方法,其特征在于,包括如下步骤:
步骤1,将源域图片和目标域图片分别输入到行人分割模型进行分割,得到各自对应的行人前景和图片背景;
步骤2,根据步骤1,将源域图片得到的行人前景和目标域图片得到的图片背景输入到GAN网络,生成新图片;
步骤3,定义GAN网络的损失函数,采用源域图片、目标域图片以及新图片对GAN网络进行训练,得到新生成的图片;
步骤4,对于源域图片、目标域图片和新生成的图片,根据行人属性对行人重识别模型的影响,将图片分成5个感兴趣区域,对每个区域设置不同的擦除概率,并在每个区域中采用随机擦除的数据增广方法随机擦除限定范围的矩形块;
步骤5,将经过步骤4后的图片输入卷积神经网络得到特征图,对特征图进行全局池化得到全局特征,对特征图进行水平池化得到局部特征,则每张图片都对应1个全局特征和5个局部特征;
步骤6,根据全局特征和局部特征计算源域图片和新生成的图片之间的相似度,以及目标域图片和新生成的图片之间的相似度;
步骤7,对于一张新生成的图片,从源域图片中选择与该新生成的图片行人前景相同,但相似度最低的图片,从目标域图片中选择与该新生成的图片相似度最高的图片,与该新生成的图片构成三元组,设定难样本三元组损失函数,利用难样本三元组损失函数训练行人重识别模型;
步骤8,利用训练好的行人重识别模型,提取目标域图片的行人特征,给定待检索的行人图片,从目标域图片中检索最匹配的行人图片并输出。
2.根据权利要求1所述基于行人分割的跨域行人重识别方法,其特征在于,所述步骤2的具体过程如下:对于源域图片得到的行人前景,将行人前景分成5个感兴趣区域,分别为头部、上身、大腿、小腿和鞋子,将行人前景输入卷积神经网络得到行人前景特征图,将5个感兴趣区域分别与行人前景特征图相乘,再经过编码得到行人前景的前景特征;对于目标域图片得到的图片背景,将图片背景输入卷积神经网络得到图片背景特征图,将图片背景与图片背景特征图相乘,再经过编码得到图片背景的背景特征;将前景特征与背景特征拼接后,再经过解码得到新图片。
3.根据权利要求1所述基于行人分割的跨域行人重识别方法,其特征在于,步骤3所述GAN网络的损失函数为:LG=LS+LT+λ1LC+λ2LID
其中,LS为源域的判别损失,LT为目标域的判别损失,LID为源域图片的ID损失,LC为CycleGAN的循环损失,λ1和λ2为平衡损失的权重。
4.根据权利要求1所述基于行人分割的跨域行人重识别方法,其特征在于,所述步骤4的具体过程如下:将图片分为5个感兴趣区域,记为S1,S2,...,S5,对不同区域设定擦除概率为pe,则区域保持不变的概率为1‑pe;利用随机擦除的数据增广方法在某块区域Sk中随机选择一块大小为We×He的矩形块Ie,则区域Sk和擦除矩形块Ie的面积分别为Sk=W×H和Sk,e=We×He,其中,W、H分别为区域Sk的长和宽,We、He分别为矩形块Ie的长和宽,且矩形块Ie占区域Sk的面积比为 h1≤矩形块Ie的长宽比≤h2,利用随机擦除的数据增广方法在区域Sk中随机挑选一个点Pk=(xe,ye),设定限制条件: 若不满足限制条件,则重新选择矩形块Ie的长宽比,重复上述过程,直到选择的矩形块Ie在区域Sk中,将区域Sk中所有像素的平均值分配给所选择的矩形块Ie中的每个像素,完成擦除矩形块Ie的过程,
5.根据权利要求1所述基于行人分割的跨域行人重识别方法,其特征在于,所述步骤6的具体过程如下:两张图片的相似度等于两种图片之间的全局距离加上局部距离,其中,全局距离等于两张图片之间的全局特征的L2距离;局部距离等于两张图片局部特征的最短路径的距离总和,局部距离的具体计算过程为:设定有2张图片P和Q,每张图片水平池化为5个区域,则P={p1,p2,...,p5},同理Q={q1,q2,...,q5},其中pi表示图片P的第i个区域或局部特征,qj表示图片Q的第j个区域或局部特征,对所有pi和qj做归一化处理,计算两个局部特征pi和qj之间的距离di,j为:则从(p1,q1)到(p5,q5)之间的最短路径总距离Si,j为:
6.根据权利要求1所述基于行人分割的跨域行人重识别方法,其特征在于,步骤7所述难样本三元组损失函数为:其中,LTH表示难样本三元组损失函数,a表示新生成的图片,batch表示训练批次,A为在源域中与图片a具有相同ID的图片集,B为目标域图片集,α为设定的阀值参数,da,p为图片集A中图片p与图片a之间的距离,da,n为图片集B中图片n与图片a之间的距离,L为新生成的图片中随机挑选的L个行人,在源域为每个行人随机挑选K张不同的图片;并在目标域随机选择L个行人,为每个行人随机挑选K张不同的图片。