利索能及
我要发布
收藏
专利号: 2023101005675
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.生猪多目标跟踪及行为识别方法,其特征在于,包括如下步骤:步骤1.采集群养生猪环境下的视频数据,构建猪只目标检测图片数据集;

具体为:首先对视频数据进行抽帧获取图片数据,然后使用Labelme标注软件人工标注生猪类别ID、生猪目标标注框以及形心关键点,制作猪只目标检测图片数据集;

将制作好的猪只目标检测图片数据集划分为训练集、测试集及验证集;

步骤2.利用ShuffleNet通道压缩对CenterNet目标检测网络的网络模型进行改进,并在输出预测头中构建添加形心热力图预测分支,在输出生猪目标检测框的同时获取形心关键点;

同时,基于热力图的人体关键点检测算法HRNet搭建猪只关键点检测网络;

对CenterNet目标检测网络的网络模型进行改进,CenterNet目标检测网络包括主干网络DLA34、上采样模块IDAup和输出预测头三部分,改进过程如下:步骤2.1.在CenterNet目标检测网络的数据预处理部分,注释掉目标中心点的计算公式,直接从json标签文件读取导入形心坐标;

步骤2.2.对CenterNet目标检测网络的主干网络DLA‑34进行改进,按照ShuffleNet通道压缩方法,将主干网络DLA‑34中多层特征的残差融合改为通道压缩的连接融合concat;

步骤2.3.对CenterNet目标检测网络的上采样模块IDAup进行改进,将四个上采样模块IDAup的可变形卷积DeformConv改为通道可分离卷积depth‑wise;

步骤2.4.对CenterNet目标检测网络的输出预测头进行改进,原输出预测头包含三部分,分别为:热度图预测头、尺寸预测头以及中心点偏移量预测头;

将以上各个预测头的所有普通3×3卷积均改进替换为5×5的通道可分离卷积depth‑wise;

步骤3.使用训练集对改进的CenterNet目标检测网络和关键点检测网络进行训练,使用验证集进行验证,在获取对应网络的权重后使用测试集对训练好的网络模型进行测试;

步骤4.将改进的CenterNet目标检测网络应用到实际生猪养殖场景,对猪舍监控视频进行第一阶段检测,检测结果包括猪只形心热度图、生猪目标检测框及对应的置信度;

使用关键点检测网络对改进的CenterNet目标检测网络的输出结果进行第二阶段检测,检测结果为猪只关键点热度图以及对应关键点的置信度;

步骤5.将第一阶段检测网络的检测结果输入到ByteTrack多目标跟踪算法;

在ByteTrack多目标跟踪算法中使用卡尔曼滤波预测目标边界框,然后使用匈牙利算法进行目标与轨迹之间的匹配,获取猪只的运动跟踪模型;

步骤6.通过分析猪只的运动跟踪模型多帧之间的匹配结果,结合第一阶段检测的检测结果,计算获取单只猪只运动过程中的速度以及加速度信息;

基于第二阶段检测的检测结果,获取猪只本身、猪只与饲养环境以及猪只之间的交互行为;最后基于朴素贝叶斯分类器,进一步识别猪只之间的交互行为。

2.根据权利要求1所述的生猪多目标跟踪及行为识别方法,其特征在于,所述步骤1具体为:步骤1.1.利用摄像头以垂直的角度安置在猪栏上方,采集群养生猪视频数据;经过视频挑选裁剪,从生猪视频数据中获取清晰度相对较高的视频共A段;

步骤1.2.利用Python程序对选取的视频进行预处理,选取视频数据中B段视频抽帧,每T帧获取一张数据图像,将获取到的图像进行分辨率调整成为预设分辨率大小;

其中,A、B、T均为自然数,且B<A;

步骤1.3.使用Labelme标注软件对预处理后的图片进行标注,通过标注包括生猪类别ID、GroundTruth标注框以及形心关键点,制作猪只目标检测图片数据集;

将猪只目标检测图片数据集按照8:1:1的比例划分数据集为训练集、测试集及验证集;

步骤1.4.对猪只目标检测图片数据集进行整合和格式转换,转换为改进的CenterNet目标检测网络训练时所需的json标签文件。

3.根据权利要求1所述的生猪多目标跟踪及行为识别方法,其特征在于,所述猪只关键点检测网络是多尺度融合的卷积神经网络,该卷积神经网络由并行的从高到低分辨率的子网组成,在多分辨率的子网之间进行多尺度融合;

最终根据猪只关键点检测网络输出的热力图作为检测到的猪只头部和尾部关键点。

4.根据权利要求1所述的生猪多目标跟踪及行为识别方法,其特征在于,所述步骤2中,定义原尺寸预测头损失函数Lsize为:其中,N为一幅图像中相同目标种类关键点的个数,k表示N个关键点中的第k个,Spk表示网络预测的生猪目标检测框尺寸,Sk表示生猪目标标注框尺寸;

k k k k

定义(x1 ,y1)、(x2 ,y2)为生猪目标标注框的左上角和右下角坐标,则生猪目标标注框尺寸k k

结合形心坐标(x0 ,y0),将尺寸预测头损失函数Lsize更新为:其中,Sk0表示更新后的生猪目标标注框尺寸,计算公式如下:

5.根据权利要求1所述的生猪多目标跟踪及行为识别方法,其特征在于,所述步骤5具体为:首先给出如下参数定义:

激活态:激活追踪了两帧以上的生猪目标检测框;

未激活态:在跟踪过程中间出现的新轨迹,并且暂未匹配到轨迹的第二点;

新轨迹:新生成的轨迹;

已跟踪轨迹:在前一帧成功追踪的轨迹;

失追轨迹:在前n帧失去追踪的轨迹,n小于或等于预设帧阈值;

已删除轨迹:在前n帧失去追踪的轨迹n大于预设帧阈值;

步骤5.1.对首帧的所有生猪目标检测框都创建各自的一条轨迹,并将其标记为跟踪框;

步骤5.2.从第二帧开始,根据当前帧第一阶段检测的生猪目标检测框置信度与预设生猪目标检测框置信度阈值的大小,将当前帧第一阶段检测的生猪目标检测框划分为高分检测框和低分检测框;同时将跟踪轨迹分为激活态跟踪轨迹和未激活态跟踪轨迹;

步骤5.3.使用卡尔曼滤波对激活态跟踪轨迹进行预测,获得激活态跟踪轨迹的当前帧生猪目标检测框的预测位置和大小,即激活态跟踪轨迹当前帧预测框;

步骤5.4.计算激活态跟踪轨迹当前帧预测框与当前帧高分检测框之间的交并比IOU值,获取激活态跟踪轨迹当前帧预测框与当前帧高分检测框之间的IOU关系代价矩阵;

步骤5.5.根据IOU关系代价矩阵,使用匈牙利算法对激活态跟踪轨迹当前帧预测框与当前帧高分检测框进行匹配,获得三种匹配结果,分别为:与激活态跟踪轨迹匹配成功的当前高分检测框、未匹配成功的当前帧高分检测框以及未匹配成功的激活态跟踪轨迹;

将匹配成功的当前帧高分检测框更新到跟踪轨迹,并继承激活态跟踪轨迹的ID;

步骤5.6.计算步骤5.2中低分检测框与步骤5.5中未匹配成功的激活态跟踪轨迹的IOU值,构建IOU关系代价矩阵,利用匈牙利算法进行匹配,获得三种匹配结果,分别为:与激活态跟踪轨迹匹配成功的当前帧低分检测框、未匹配成功的激活态跟踪轨迹以及未匹配成功的当前帧低分检测框;

将匹配成功的当前帧低分检测框更新到跟踪轨迹,并继承激活态跟踪轨迹的ID;删除未匹配成功的当前帧低分检测框;将未匹配成功的激活态跟踪轨迹进行保留,记为失追轨迹,若未匹配成功的激活态跟踪轨迹连续保留帧数已超过30帧,则将其标记为删除轨迹;

步骤5.7.计算步骤5.2中未激活态跟踪轨迹与步骤5.5中未匹配成功的当前帧高分检测框的IOU值,利用匈牙利算法对二者进行匹配,获得三种匹配结果,分别为:与未激活态跟踪轨迹匹配成功的当前帧高分检测框、未匹配成功的当前帧高分检测框、未匹配成功的未激活态跟踪轨迹;将匹配成功的当前帧高分检测框更新到跟踪轨迹,并继承未激活态跟踪轨迹的ID;对未匹配成功的当前帧高分检测框赋予新的轨迹和ID,更新到跟踪轨迹;未匹配成功的未激活态跟踪轨迹直接标记为已删除轨迹;

步骤5.8.释放所有跟踪轨迹,删除所有已删除轨迹;

重复上述步骤5.2至步骤5.7,进入下一帧跟踪匹配。

6.根据权利要求5所述的生猪多目标跟踪及行为识别方法,其特征在于,所述步骤6具体为:步骤6.1.根据轨迹跟踪结果,得到单只猪只长时间的活动信息;

步骤6.2.结合步骤4中第一次检测结果和第二次检测结果,通过猪只形心坐标确定猪只位置,并计算头部关键点与猪栏互动区域的区域重合程度;并根据多帧的连续信息,确定猪只与猪栏环境的交互行为;

步骤6.3.通过形心坐标判断离散程度,利用t帧间同一目标的形心信息,计算得到目标速度和加速度信息;计算t帧间同一目标的形心欧氏距离d:其中,(x1,y1)、(x2,y2)为t帧中首帧和尾帧的形心坐标;

t帧间同一目标的速度v=d/t,t帧间同一目标的加速度a=v/t;

步骤6.4.结合步骤6.3的速度、加速度信息及形心相近目标的头部关键点及尾部关键点,采用朴素贝叶斯分类器,利用各属性间的相互依赖信息判断猪只之间的社会行为。

7.根据权利要求6所述的生猪多目标跟踪及行为识别方法,其特征在于,所述步骤6.4具体为:步骤6.4.1.将形心坐标、头部关键点坐标、尾部关键点坐标、速度及加速度四种状态分类特征X作为猪只之间行为状态评估时的特征向量;

其中,X1为形心坐标,X2为头部关键点,X3为尾部关键点,X4为速度和加速度信息;

由于速度和加速度状态特征为连续变量,因此,选取当前帧之前150帧,判断每帧目标猪只之间速度和加速度相近程度,按照帧率实现该状态分类特征的离散化;

步骤6.4.2.构建猪只之间行为状态评估时的分类特征向量集合X={X1、X2、X3、X4},xi为特征向量集合中第i个分类特征Xi的具体值,其中,i=1,2,3,4;

则由贝叶斯定律,每个特征向量其对应的猪只之间行为分类Ft的先验概率P(Ft)为:P(Ft|X1,X2,X3,X4)=P(X1,X2,X3,X4|Ft)·P(Ft)/P(X1,X2,X3,X4);

式中,P(Ft|X1,X2,X3,X4)表示后验概率,即行为分类Ft已经确定情况下,该行为发生的原因是由某个分类特征引起的可能性的大小;

P(X1,X2,X3,X4|Ft)表示行为分类Ft相对于分类特征Xi的类条件概率;

P(X1,X2,X3,X4)表示分类特征Xi出现的概率;

求每个分类值的后验概率时,特征值X1、X2、X3、X4均保持不变,则P(X1,X2,X3,X4)看作为一个常量1/c,其中,c表示任意非零常数,上述公式简化为:P(Ft|X1,X2,X3,X4)=c P(X1,X2,X3,X4|Ft)P(Ft);

步骤6.4.3.计算得到猪只之间行为分类结果Ft下各个分类特征Xi的条件概率,为避免其他属性携带的信息被训练集中未出现的属性值抹去,对估计概率值进行拉普拉斯修正为:式中,NFt为猪只之间行为分类值Ft对应的样本数;

N为所有训练样本总数,M表示训练集N中可能的类别数;

为猪只之间行为分类为Ft且分类特征X的值为xi的样本数;P(X=xi|Ft)表示出分类结果Ft下各个分类特征的条件概率;Mi表示第i个类别的取值数目;

将上述公式带入猪只之间行为分类值Ft的概率公式中,即得到最终的后验概率:由贝叶斯最大后验概率原则可知,对于给定的分类特征X,计算出猪只之间行为分类结果Ft作为四种状态分类特征评价的最终结果;

计算出的概率值最大值的分类结果即为猪只之间是否存在攻击性社会行为的分类结果。

8.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,实现如权利要求1至7任一项所述的生猪多目标跟踪及行为识别方法。

9.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,实现如权利要求1至7任一项所述的生猪多目标跟踪及行为识别方法。