利索能及
我要发布
收藏
专利号: 2022112364855
申请人: 广州大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.行人再识别网络模型数据增广及训练方法,其特征在于,包括以下步骤:

S101:获取M个训练图像和该M个训练图像的标注数据,M个训练图像包括行人,每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息;

S102:应用设定的采样策略,选取M个训练图像中的一批训练图像作为一个批次训练样本,应用水平条带分割‑混洗方法,对该批次训练样本对进行数据增广,获得数据增广批次训练样本;

S103:将数据增广批次训练样本,按照设定的采样策略,输入到行人再识别网络模型进行特征提取,得到该批次训练样本对的特征向量;

S104:应用扩展三重损失函数,计算该批次训练样本的特征向量所对应的损失函数的函数值;

扩展三重损失函数具体为:给定锚点图片a,与锚点相同身份的正样本集合P(a),与锚点不同身份的负样本集合N(a),m为宽松项:sp=s(a,p)p∈P(a);

sn=s(a,n)n∈N(a);

其中s(a,p)表示正样本对相似度,s(a,n)表示负样本对相似度,Sn越小,Sp越大,损失就越小;

标准Triplet Loss表示为:Ltriplet=sn‑sp+m,其包含一个放松条件,只要Sp‑Sn>m,即正样本相似度比负样本相似度大于一个宽松项m,就不再继续优化这组Sn和Sp;

扩展放松条件,扩展标准Triplet Loss,使其函数值分布在所述样本对相似度标签周围:当 和 时,就不再优化这个三元组;

其中:yn为负样本对相似度标签,yp为正样本对相似度标签, 是宽松项,令这样当yn=0和yp=1时, 和标准Triplet Loss兼容;

S105:根据损失函数的函数值对行人再识别网络模型的网络参数进行更新;

S106:重复上述S102、S103、S104和S105步骤,对每个批次训练样本进行训练,直到扩展三重损失函数的函数值满足预设条件,从而完成行人再识别网络模型的训练,得到满足预设条件的行人再识别网络模型,预设条件为满足下列条件中的至少一种:行人再识别网络的训练次数大于或等于预设次数,扩展三重损失函数的函数值小于或等于预设阈值。

2.根据权利要求1所述的行人再识别网络模型数据增广及训练方法,其特征在于:S102步骤中的水平条带分割‑混洗方法的具体步骤为:

1)从一个批次内的原有训练样本中,应用所述设定的采样策略,选取部分图像,对选取的部分图像,在相同的位置进行水平条带切割,把切割下来的图像块进行混洗,再贴回原图像中,生成合成图像,其中:每张合成图像都由部分原图像块和一个贴上去的图像块组成;

2)一个批次内的原有训练样本与上述合成图像共同构成数据增广批次训练样本;

3)计算数据增广批次训练样本中每张图像的两种标签:一种标签是类相似度标签Sdass,标签值等于每个身份的图像块的面积占比;另一种标签是样本对相似度标签Spair,用于比较两张图像中相同位置图像块的身份标签,标签值等于两者相同身份标签图像块的占比。

3.根据权利要求2所述的行人再识别网络模型数据增广及训练方法,其特征在于:S102步骤中设定的采样策略具体步骤为:a)在所述的数据增广批次训练样本中,包括两类图像:原始样本图像和合成图像,任意两张图像构成一个样本对;

b)所述样本对分为4组类型:第一组是Clean‑Clean类型,包含Clean‑Clean:正样本‑正样本,Clean‑Clean:负样本‑负样本两种类型样本对;第二组是Clean‑Mixed:负样本对类型,包含Clean‑Mixed:负样本‑负样本,Mixed‑Clean:负样本‑负样本两种类型样本对;第三组是Clean‑Mixed:正样本对类型,包含Clean‑Mixed:正样本‑正样本,Mixed‑Clean:正样本‑正样本两种类型;第四组是Mixed‑Mixed类型,包含Mixed‑Mixed:正样本‑正样本,Mixed‑Mixed:负样本‑负样本两类;

c)在一个批次内的原有训练样本中,使用PK概率采样策略,其中:P表示每个批次中行人身份的数量,K表示每个行人有多少张图片;

d)从数据增广批次训练样本中选择全部P和一半K参与迭代训练,选取策略为:每次迭代的样本对类型包含25%的Clean‑Clean类型、25%的Mixed‑Mixed类型和50%的Clean‑Mixed:负样本对+Clean‑Mixed:正样本对类型组合。

4.根据权利要求1所述的行人再识别网络模型数据增广及训练方法,其特征在于:从让网络训练输出的相似度接近相似度标签的角度出发,扩展三重损失函数(extend‑triplet‑loss)如下:动态确定样本对相似度的优化方向,如果网络训练输出的相似度小于相似度标签,则需增加相似度,要向正方向优化,如果大于标签相似度,则需减少相似度,要向负方向优化,因为优化方向是根据正负样本对来确定的,所以通过动态划分正负样本对方式,来实现动态确定优化方向,正负样本对的动态划分如下:P(a)={i=1,2,...,M|s(a,i)≤y(a,i)and y(a,i)≠0};

N(a)={i=1,2,...,M|s(a,i)>y(a,i)or y(a,i)=0};

如果网络输出得到的样本对相似度s(a,i)大于样本对相似度标签y(a,i),那么该样本对就是负样本对,相似度s(a,i)要向着负方向优化来减少相似度,如果s(a,i)小于或等于样本对相似度标签y(a,i),那么该样本对就是正样本对,相似度s(a,i)要向正方向优化来提高相似度。

5.用于执行权利要求1所述的行人再识别网络模型数据增广及训练方法的行人再识别网络模型数据增广训练装置,其特征在于,包括:获取模块:用于获取M个训练图像和该M个训练图像的标注数据;M个训练图像包括行人,每个训练图像的标注数据包括所述每个训练图像中的行人所在的包围框和行人身份标识信息;

数据增广模块:用于根据设定的采样策略,选取M个训练图像中的一批训练图像作为一个批次训练样本,应用水平条带分割‑混洗方法,对该批次训练样本对进行数据增广,获得数据增广批次训练样本;

采样模块:用于按照设定的采样策略,对所述数据增广批次训练样本进行采样,获取批次训练数据;

训练模块:用于执行下述步骤一至步骤四,包括:

步骤一:将批次训练样本对,输入到行人再识别网络模型进行特征提取,得到该批次训练样本对的特征向量;

步骤二:应用扩展三重损失函数,计算该批次训练样本对的特征向量所对应的损失函数的函数值;

步骤三:根据所述损失函数的函数值对所述行人再识别网络模型的网络参数进行更新;

步骤四:重复所述步骤一、步骤二和步骤三,对每个批次训练样本对进行训练,直到扩展三重损失函数的函数值满足所述预设条件,从而完成行人再识别网络模型的训练,得到满足预设条件的行人再识别网络模型。