利索能及
我要发布
收藏
专利号: 2022111553544
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种复杂牛场环境牛脸识别方法,其特征在于,包括以下步骤:S1、采集牛脸数据:

在不同的光照条件下和同一拍摄高度下,同时采集正脸、左侧脸、右侧脸三种不同的牛脸姿态的牛脸视频数据,从视频流中截取每头牛的正脸、左侧脸、右侧脸图片数据,并将牛脸图片数据划分为训练集和测试集;

S2、基于Vision‑Transformer对复杂牛场环境牛脸进行数据处理S2‑1首先将输入的牛脸图片分为N个大小相同的图像块 并使用Vision‑Transformer的图像块编码器E将每个图像块编码为维度为D的特征向量S2‑2之后在N个特征向量 组成的矩阵中,加入可学习的分类向量xcls,所述分类向量xcls用于表示牛脸图像经过编码后的全局特征,S2‑3最后加入包含空间信息的位置编码 即可得到编码器的输入序列:S2‑4在z0前向传播到第l‑1层编码器时将提取的牛脸特征 分别输入全局分支和局部信息融合分支,其中,输入全局分支的牛脸特征作为全局分支输入特征,输入局部信息融合分支的牛脸特征作为局部分支输入特征;

S2‑5在全局分支将全局分支输入特征输入第l层编码器中提取全局分支特征;

S2‑6在局部信息融合分支中,利用patch‑shift网络层让牛脸的全局特征和局部分支输入特征进行融合,得到patch‑shift网络层信息融合后的特征;

S2‑7将patch‑shift网络层信息融合后的特征输入第l层编码器得到最终包含特征之间相关性的输出特征S=TransformerLayer(GM);

S2‑8最后将全局分支提取的全局分支特征和局部信息融合分支提取的包含特征之间相关性的输出特征输入MLP中进行分类;

S3、使用所述步骤S1中所述的训练集,构建损失函数,对所述步骤S2中基于Vision‑Transformer对复杂牛场环境牛脸进行数据处理的方法进行训练,当总损失下降到不大于

0.01时结束训练,得到训练好的牛脸数据处理方法;

S4、将步骤S1中所述的测试集中的数据输入训练好的牛脸数据处理方法中,提取牛脸图像特征并进行识别比对。

2.如权利要求1所述的一种复杂牛场环境牛脸识别方法,其特征在于,所述S3中的损失函数包括:三元组损失Ltriplet和交叉熵损失Lsoftmax。

3.如权利要求2所述的一种复杂牛场环境牛脸识别方法,其特征在于,所述S2‑6中,所述局部信息融合分支的结构从下到上包括:自适应平均池化层、拼接层、patch‑shift网络层、第l层编码器,MLP分类器;

在所述自适应平均池化层、拼接层进行池化和拼接的过程具体包括以下步骤:首先将第l‑1层的编码器输出zl‑1使用平均池化将N+1个局部分支输入特征平均分为K份,再将K个均分后的局部分支输入特征和全局特征 拼接得到局部信息融合分支的输入特征 即:式中,γ为自适应平均池化层,ψ表示拼接池化后的局部分支输入特征和全局特征;

所述patch‑shift网络层的结构从下到上包括:shift模块、卷积核大小为1的卷积层Conv;可学习矩阵Mask;激活函数ReLU;所述patch‑shift网络层的运行过程包括以下步骤:将G0输入到M层patch‑shift网络层中进行信息融合,第m层patch‑shift网络层的输出为Gm=ReLU(Conv(shift(Gm‑1))⊙Mask+Gm‑1)m=1,…,M式中,Gm‑1为第m‑1层patch‑shift网络层的输出,第一层patch‑shift的输入为G0;shift为本文提出融合特征信息的shift模块;Conv为卷积核大小为1的卷积层;Mask为自适应学习特征相关性的可学习矩阵;ReLU为激活函数。

4.如权利要求3所述的一种复杂牛场环境牛脸识别方法,其特征在于,所述shift模块用于对局部分支输入特征和全局特征进行通道间的信息融合;所述shift模块在融合特征信息时,特征Gm‑1第i块特征的第j个通道信息值Gm‑1(i,j)等于特征Gm‑1第(i+j)%(K+1)块特征的第j个通道的信息值Gm‑1((i+j)%(K+1),j)即:Gm‑1(i,j)=Gm‑1((i+j)%(K+1),j)i=0,…,K;j=0,…,D‑1其中 ,Gm‑1 为第m 层pat ch‑s hif t中sh ift 模块的输 入特征 为为全局特征, 为局部分支输入特征。

5.如权利要求1所述的一种复杂牛场环境牛脸识别方法,其特征在于,所述S4中,基于余弦距离进行所述识别比对;

余弦距离计算公式如下:

余弦距离越大说明两个牛脸表面特征的相似度越高,反之,则两个由模型提取到的牛脸表面特征的相似度越低;

基于余弦距离进行识别比对的过程包括以下步骤:

将测试集牛脸图像提取到的经过6、4、2等分后组合归一化后的特征进行1:1不同类比对,获得模型比对阈值T;

再将测试集中的图像进行同类比对,当同类提取到的组合特征的比对值大于T时即视为比对成功;反之,则认为比对失败。