利索能及
我要发布
收藏
专利号: 2020105679495
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于期望最大化的行人重识别方法,其特征在于:该方法包括以下步骤:S1:对输入的训练和测试图像进行不同预处理操作;

S2:构建ResNet50骨干网络,并将ResNet50分成Stage1-4四个阶段,依次提取由浅入深的特征信息;

S3:构建一个注意力模块,此模块输入输出维度一致,可插入ResNet50的Stage-2和Stage3阶段,模块中包括两个部分:用协方差作为相关函数的Non-Local操作与EM算法对特征进行重构的操作;

S4:在骨干网络ResNet50提取特征后将网络分成两个分支:全局分支Global Branch、局部分支Local Branch,全局分支提取行人完整特征,局部分支提取经过特征擦除操作后特征;

S5:利用三元组Triplet损失函数、交叉熵Cross Entropy损失函数及中心Center损失函数联合对两个分支提取的训练集特征向量分别进行训练;

S6:将Gallery的行人图像集输入S5训练好的模型中,从而得到一个行人特征数据库,库中每个特征都对应唯一一个行人ID;

S7:向CNN模型中输入Query查询图像得到输入特征,将此特征与S6中特征库中行人特征进行相似度度量,按相似度从大到小排序,返回用户指定数量的行人图像。

2.根据权利要求1所述的一种基于期望最大化的行人重识别方法,其特征在于:在所述步骤S1中,预处理操作包括:随机水平翻转,即以给定的概率翻转输入的图像集合;

图像旋转,即以一定的角度旋转输入行人图像;

色彩增强,即随机更改输入RGB图像每个通道的强度。

3.根据权利要求2所述的一种基于期望最大化的行人重识别方法,其特征在于:在所述步骤S2中,在骨干网ResNet50的Stage3和Stage4两个阶段用空洞卷积Dilated Convolutions进行对特征进行卷积操作,从而获得更大的特征图,得到足够的特征信息。

4.根据权利要求3所述的一种基于期望最大化的行人重识别方法,其特征在于:在所述步骤S3中,构建注意力模块的分为两个阶段:阶段1:对输入特征进行Non-Local计算,相关度通过计算像素间协方差来获得,Noo-Local核心算子如下:其中x为输入特征图,f(·,·)函数计算像素i和像素j之间的相关度,g(xj)函数计算特征图在像素j上的映射,C(x)表示归一化系数,yi表示i像素以外的所有其他像素经过g函数变换后的加权平均,权重为归一化的相似度函数;

阶段2:经过二阶统计量协方差捕获了丰富的区域间相关信息,同时带来一部分高冗余度特征,采用EM算法对冗余特征进行稀疏重构;EM算法假设X={x1,x2,…,xN}为所得特征信息集合,由N个观察样本组成,每个数据点xi都有对应的潜在信息zi,即最具表征力的特征信息;{X,Z}为完整的数据,其似然函数为lnp(X,Z|θ),其中θ是模型中所有参数的集合;实际上Z中潜在信息的知识来源于后验分布p(X,Z|θ);EM算法通过求期望E和最大化期望M这两步操作来最大化lnp(X,Z|θ)的似然值;

E:Q(θ,θ(i))=EZ[lnp(X,Z|θ)|X,θ(i)]

=∑Zlnp(X,Z|θ)P(Z|X,θ(i))

其中,p(Z|X,θ(i))是在给定特征信息数据X和第i次参数估计θ(i)下隐变量数据Z,即注意力信息的概率分布;M步通过将E步求得的期望最大化来更新参数得到第i+1次迭代的参数估计值θ(i+1):M:

5.根据权利要求4所述的一种基于期望最大化的行人重识别方法,其特征在于:在所述步骤S4中,全局分支Global Branch提取特征后通过一个全局平均池化层GAP将每个特征图池化为为2048×1的特征向量,再经过特征缩减为512×1的向量;局部分支Local Branch采用Batch DdropBlock对每批输入特征的相同区域进行一定比例的擦除,之后使用全局最大池化层GMP来代替全局平均池化层产生2048维的最大特征向量,经过降维后局部分支特征变成512维。

6.根据权利要求5所述的一种基于期望最大化的行人重识别方法,其特征在于:在所述步骤S5中,采用多个损失函数联合训练,三元组损失函数使得任意目标样本与正样本之间的距离最小,与负样本之间的距离最大,公式如下:其中, 表示目标样本与正样本之间的距离, 表示目标

样本与负样本之间的距离,m为三元组损失的阈值;

交叉熵描述两个概率分布之间的距离,当交叉熵越小说明二者之间越接近,公式如下:其中,k∈{1,2,…,K}表示行人重识别网络输出行人类别,p(k)代表输入图像属于类别k的预测概率,q(k)代表实际概率;

中心损失函数能将同类样本之间的距离缩小,使其相似性变大,公式如下:

其中,c为样本类中心;最终的损失函数是以上三个损失函数加权和,即:

Ltotal=Ltriplet+γiLid+γcLcenter。