利索能及
我要发布
收藏
专利号: 2021101243886
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别办法,其特征在于,包括以下步骤:

(1)对视频进行分帧操作,选出有饮水猪的图像集,划定饮水区域;

(2)对目标图像进行前景和背景的自适应直方图均衡化预处理,利用全卷积网络FCN对饮水猪进行目标分割;

(3)利用HOG特征的特点对饮水区域的像素块进行最佳分块;采用多尺度空间特征,构建五种子块比例遍历饮水区域,得到不同尺度下的训练集,得到最佳比例下基本单元对特征的贡献率并减少特征冗余;

(4)在上述分块的饮水区域中进行HOG梯度方向特征提取,在分块基础上利用改进后的NMB‑LBP进行纹理特征的提取,将RGB图像转换到HSV色彩空间后对色调和饱和度进行H‑S特征提取;

(5)将HOG特征、NMB‑LBP纹理特征及HSV特征进行串联融合,由于每一种特征对分类准确率的贡献不同,因此根据单一特征得到的准确率的大小分配权重,这样可以最大程度保留有效识别信息;基于融合后的特征,构建堆叠式两阶段学习框架,以K近邻和支持向量机作为第一层的学习器,构建一个人工神经网络作为第二层学习器,将第一层两个分类器预测的结果进行加权合并,以此作为新的特征输入到第二层神经网络中,进一步提升猪的身份识别的准确率;

步骤(4)HOG梯度方向特征提取具体描述如下:通过计算和统计图像局部区域的梯度方向直方图来构成HOG特征,提取特征的过程如下:将饮水区域的像素划分成60*60个单元,统计每个单元的梯度直方图,即可形成每个单元的描述子,横坐标选取了180度的范围作为梯度的方向,分成9个范围,每个范围为20度,纵坐标为对应像素点梯度的幅值;将每四个单元组成一个子块,即2*2个单元/块,一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子,共得到横坐标36个范围的HOG特征直方图;遍历所有的块,在直方图现有的范围上进行累加,得到整个饮水区域的特征直方图,形成一个36维的特征向量;

所述利用改进后的NMB‑LBP进行纹理特征的提取具体描述如下:首先将检测窗口的划分与HOG保持一致,饮水区域分成30*30个子块,18*18像素/块;将每块划分成四个基本单元,每个基本单元中的像素为9*9,每个基本单元中3*3的区域内的灰度最大值作为当前区域的灰度值,与周围八个区域灰度进行比较形成LBP特征,提取过程中一个LBP算子在9*9的窗口下能产生256种模式,采用多种等价模式进行实验,对改进后的纹理特征模式进行降维,求出NMB‑LBP所对应的循环二进制数从0到1或从1到0的跃变次数;跃变次数在i次内,i为跃变次数的阈值,则二进制模式保留,跃变次数在i次以外,二进制模式全部归为一类,通过分析试验得出i值取2时,二进制模式减少为59种;i值取3时,二进制模式减少为129种;i值取4时,二进制模式减少为199种;其中,取i值为3时的新特征模式,将跃变次数多的背景特征归为一类,在准确率提高的同时纹理特征维数减少到129维;将RGB图像转换到HSV色彩空间后对色调和饱和度进行H‑S特征提取,后量化操作:对于颜色特征,将RGB的图像数据集转换到HSV颜色空间,因为亮度分量与图像的彩色信息无关,因此进行舍去,H为色调,用角度度量,它的取值范围为0°~360°;S为饱和度,取值范围为0%~100%,值越大,颜色越饱和;为了解决直方图矢量维数的问题,对得到的HSV空间H分量和S分量进行量化,将色调H空间分成8份,饱和度S空间分成3份,共得到11维的HSV特征描述子,作为颜色直方图特征;

所述步骤(5)中,将HOG特征、NMB‑LBP纹理特征及HSV特征进行串联融合,由于每一种特征对分类准确率的贡献不同,因此根据单一特征得到的准确率的大小分配权重的具体过程包括:对划分为最佳分块的HOG特征、改进的NMB‑LBP纹理特征和量化后的H‑S特征确定权重,构建融合特征的直方图,最大程度保留有效识别信息,对上述三种特征进行串联融合,根据三种特征单独作用时的准确率确定参考权重,权重的计算方法如下:设图像特征提取到的HOG特征向量为C1,其所占的权重为γ1,NMB‑LBP特征向量为C2,其所占的权重为γ2,HS颜色特征向量为C3,其所占的权重为γ3;首先分别基于上述三种特征,利用K近邻学习方法对样本进行初始分类,分别获得分类准确率Acc(Ci),其中Ci表示第i种特征,以此获得权重的计算公式 (i,j=1,2,3);根据得到的权重,重新构建新的特征直方图,最终得到的特征向量为m=(γ1*C1,γ2*C2,γ3*C3);实验数据包括7头猪,1400张图片,对样本进行子空间划分和特征提取,形成1400个175(36+129+11)维的样本空间;样本数据集用M={(li,mi),i=1,2,...n}表示,其中li为样本的类别,mi为样本的特征向量,n为样本总数;

所述步骤(5)中,采用堆叠式两阶段集成学习的方法将第一层分类器的预测结果合并为新的特征集,作为下一层分类器的输入,对饮水区域猪进行身份识别;其中K近邻分类器、SVM分类器分别对融合后的特征进行训练,将七头猪划分为七个类别,在训练中其中一类当作正集时其他六类作为负集;利用堆叠式两阶段集成学习进行两层模型训练,第二层是在第一层分类器的验证结果上进行再训练,具体描述如下:将饮水猪的数据集按照3:1的比例划分为训练集和测试集,训练集1050张图片,测试集350张图片,采用七折交叉验证的方法将训练集平均划分为七份S1,S2...S7,每个子集包括150张图片,依次选取其中一个子集Si作为验证集,i=1,2...7,其余六个作为训练集;在K近邻分类器的验证集上进行预测得到的预测结果为x1i,x1i是150行7列的概率向量,代表被识别为每头猪的概率值,依次进行七T次交叉验证得到预测结果为X1=[x11,x12,x13,x14,x15,x16,x17],为1050行7列的向量;在SVM分类器上进行相同的步骤得到X2,同样为1050行7列的向量,根据K近邻分类器与SVM分类器的验证集结果划定权重,取权重的公式为 其中Acc(Qi)表示为单个分类器Qi下的准确率,得出权重占比为ε1、ε2;将两个分类器的预测结果加权合并与原始数据标签li构成第二层分类器的输入向量即Mnew=[ε1*X1+ε2*X2,li];根据得到的新的特征,构建一个三层的人工神经网络,样本输入为1*7的向量,因此输入神经元有7个,预测的类别共有7个,输出神经元数量也为7,一个隐藏层,隐藏层神经元数量设置为7;对于第i个神经元[ε1*X1+ε2*X2]为神经元的输入,W1i为输入层与隐含层的连接权值,利用线性加权得到隐藏层神经元净输入Netin, b为偏置项,用来拟合数据;隐藏层与输出层的连接权值为W2i,继续使用线性加权方式得到Netout,隐藏层与输出层的激活函数皆使用Sigmoid函数;采用自适应学习速率方法提高训练速度,将网络的输入和输出反复作用于网络以调整权值,实现从输入到输出的非线性映射;

在原始测试集上进行预测得出结果为y1i,在K近邻分类器进行七次预测的结果取平均值得到和测试集标签相同长度的列向量Y1,即 在

SVM分类器上进行相同的步骤得到Y2,则第二层分类器的测试集可表示为[Y1,Y2],将测试集数据代入训练好的人工神经网络模型中进行实验得出最终的预测结果。

2.根据权利要求1所述的一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别办法,其特征在于,步骤(1)具体包括:在猪舍正上方采集俯视视频集,视频拍摄的帧率为

30fps,图像的分辨率为1760*1840像素,猪的个数为7头;对拍摄出来的视频进行结构相似性阈值分析,将基准图像与后续帧一一计算欧式距离,小于阈值的图像帧全部剔除,直到相似度距离大于阈值为止,得到关键帧图像;通过对饮水区域的猪形态轨迹对比分析和结合饮水龙头的位置,确定饮水区域的大小,确定饮水区域的边长为七头猪中最长尺寸的1.1倍,保证饮水时猪只轮廓全部在饮水区域内。

3.根据权利要求1所述的一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别办法,其特征在于,步骤(2)对图像进行预处理具体包括:对分帧后的图像进行变换增强和图像去噪,得到细节特征的图像集;首先对猪只前景不同区域采用自适应直方图均衡化,对各区块进行线性插值之后,可以削弱图片的区块效应;再采用双边滤波,降噪平滑整张图片,保持猪只轮廓边缘的效果;利用全卷积网络FCN对饮水猪进行目标分割具体包括:采用全卷积网络的方法对饮水区域猪只目标进行分割,全卷积网络结构为卷积层conv1‑conv8,池化层pool1‑pool5;对饮水区域进行截取得到540*540的像素大小,作为FCN卷积网络的输入,对卷积层conv8进行2倍、4倍与8倍上采样操作;conv8卷积层32倍上采样的预测结果得到原图像的尺寸大小,此时的预测值为FCN‑32s;将conv8卷积层进行2倍上采样与pool4层进行的预测结果进行融合,再进行16倍上采样与输入图片尺寸相同,此时的预测值为FCN‑

16s;FCN‑16s预测值进行2倍的上采样与从pool3层得到的预测融合起来,再进行8倍上采样与输入图片尺寸相同,此时的预测值为FCN‑8s;比较三种不同深度的预测融合,使网络能够预测细节,同时保留像素级别的语义信息;采用FCN‑16s网络,对conv8进行2倍上采样,然后与pool4层的预测结合起来,二者融合之后进行16倍上采样,得到的输出图片大小与输入时的相同。

4.根据权利要求1所述的一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别办法,其特征在于,步骤(3)中利用HOG特征的特点对饮水区域的像素块进行最佳分块的具体内容如下:为了找到划分最佳提取饮水区域内猪只特征的方法,将饮水区域像素540*540划分为四种小单元分别进行分析与试验:3*3像素/单元,6*6像素/单元,9*9像素/单元,12*12像素/单元;通过划分的不同单元的梯度和方向图进行对比,选取9*9像素/单元为最佳划分,将饮水区域的像素划分成60*60个基本单元;将每四个基本单元9*9像素组成一个子块,即

2*2个单元/子块,一个子块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子;采用多尺度空间特征的所示内容具体如下:对饮水区域采用多尺度特征的提取,每个序列的饮水区域被划分60*60基本单元,基本单元的尺度比例s设置为五种大小,分别为1*1基本单元,2*2基本单元,3*3基本单元,4*4基本单元,5*5基本单元,步长为1,遍历饮水区域所有基本单元,Fs为每个比例的训练集,公式为 其中p=1,…n,n为确定尺度比例后的总子块数,N为训练子集的数量,fp,q表示提取的不同子块的直方图特征,训练数据集Fs=i可以表示如下:

分别得到s=1,2,3,4,5时的训练数据集,尺度比例s设置为2*2基本单元。