利索能及
我要发布
收藏
专利号: 2022114897426
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于轮廓匹配的鱼体目标跟踪方法,其特征在于,包括如下步骤:

步骤1:采样视频图像帧,建立当前环境下的背景模型,利用背景差分和目标颜色特征提取目标轮廓;

步骤2:将所有检测到的目标图像输入进遮挡检测器,遮挡检测器是一个卷积分类网络,其功能是输出目标图像中的鱼体条数,若输出为一条则表示当前目标为独立状态,若输出为两条及以上则表示当前目标为遮挡状态;对于独立状态的鱼体目标进入步骤3处理,遮挡状态的鱼体目标进入步骤4处理;

步骤3:获取独立目标轮廓的姿态方向;

步骤4:对于遮挡检测器判断为遮挡的鱼体目标图像,使用模板匹配的方法确定遮挡图像中跟踪目标的位置和方向;

所述步骤4的具体步骤如下:

步骤4.1:确定参与遮挡的待匹配跟踪目标集合,对于每一个参与遮挡的跟踪目标生成相应的匹配模板集合,匹配模板为二值图像表示的鱼体轮廓;对于第i个参与遮挡的跟踪目标T'i,模板的尺寸大小为m×m,其模板轮廓面积等于该目标跟踪信息中记录的轮廓的面积,其初始方向为该目标跟踪信息中记录的鱼体姿态方向;若当前跟踪目标T'i的游动方向为α'i,设置每次最小的偏转角度为β0,以顺时针和逆时针两个方向对该模板各进行n次旋转,每旋转一次后,将得到的模板添加到该目标对应的模板集合中,得到的模板集合中每个模板对应的旋转角度用集合{α'i‑nβ0,···,α'i‑β0,α'i,α'i+β0,···,α'i+nβ0}来表示,得到2i+1个数量的匹配模板;

步骤4.2:获取遮挡的目标轮廓二值图像,该图像的尺寸记为w×h,保证w>m且h>m;对于步骤4.1中第i个参与遮挡的跟踪目标T'i所得的2i+1个匹配模板,通过滑动窗口的方式依次在遮挡轮廓中进行滑动匹配,每一次匹配过程为一次卷积运算,每一个模板生成一张对应特征图,最终共生成2i+1个数量的特征图;

步骤4.3:确定遮挡轮廓中遮挡目标的位置和鱼体方向:对于第i个参与遮挡的跟踪目标T'i,遍历其生成的所有特征图上的所有值,找出最大值;对应的匹配模板取得最大值的位置作为目标所在位置,匹配模板在最大值处的轮廓框位置作为当前目标的检测框位置;

最大值所在的匹配模板对应的旋转角度即为当前目标的检测方向;

步骤5:利用位置和方向相似度将检测目标和跟踪目标进行匹配;

步骤6:更新所有目标的跟踪信息,包括目标轮廓面积、目标框位置、目标方向、目标状态。

2.根据权利要求1所述的一种基于轮廓匹配的鱼体目标跟踪方法,其特征在于,所述步骤1的具体步骤如下:步骤1.1:获取若干帧视频图像,利用基于统计学的方法建立背景模型;

步骤1.2:将当前帧图像和背景模型作差分处理后进行二值化,得到目标背景差分后的二值化图像;

步骤1.3:将当前帧图像转换到HSV色域,根据检测目标鱼体的颜色特征分别设置颜色过滤区间;当前帧图像经过颜色过滤后将在区间内的像素点和区间外的像素点进行二值化,得到颜色特征过滤后的二值图像;

步骤1.4:将背景差分后的二值图像和颜色特征过滤后的二值图像作与运算,得到目标二值图像;再将该二值图像进行开运算操作,去除图像中的噪声,得到所有目标轮廓,将目标的轮廓框作为检测框。

3.根据权利要求1所述的一种基于轮廓匹配的鱼体目标跟踪方法,其特征在于,所述步骤3的具体步骤如下:步骤3.1:遍历步骤2中遮挡网络判断为独立的目标,找出鱼体轮廓的最大内切圆,最大内切圆圆心记为(xcir,ycir),最大内切圆半径记为r;

步骤3.2:确定鱼体轮廓的头点:过任意切点坐标和内切圆圆心作直线l,鱼体在运动过程中,鱼体的头点和尾点总是在直线l的两侧,因此将轮廓点集中的点按在直线l的不同侧分为集合C1和C2,两个集合中的点到内切圆圆心距离的最大值分别头点(xhead,yhead)和尾点(xtail,ytail);规定到内切圆圆心距离较短的点为头点;

步骤3.3:确定鱼体姿态方向:过内切圆圆心和头点作直线,规定内切圆圆心到头点的方向与x轴正方向逆时针旋转的夹角为鱼体方向α,其计算公式为:

4.根据权利要求1所述的一种基于轮廓匹配的鱼体目标跟踪方法,其特征在于,所述步骤5的具体步骤如下:步骤5.1:在第i个跟踪目标Ti中,记录了当前帧前一帧的目标信息,其位置信息记为分别表示检测框中心点横纵坐标以及检测框的长和宽,方向记为 将其输入进卡尔曼滤波器进行预测,输出的位置预测结果为 表示检

测框的长宽比,方向预测结果为

步骤5.2:计算跟踪目标和检测目标之间方位信息的代价矩阵:对于第i个跟踪目标Ti和第j个检测目标Dj,两个目标间的代价值由位置距离和方向距离构成,其中位置距离d1为1减去跟踪目标Ti的预测框和检测目标Dj对应的检测框之间的IOU值,方向距离d2为跟踪目标Ti的预测方向 和检测目标Dj的检测方向 之间的余弦距离;第i个跟踪目标Ti和第j个检测目标Dj之间的代价公式cij表示为:cij=λd1+(1‑λ)d2

其中,λ为权重参数;

步骤5.3:由步骤5.2获得的跟踪目标和检测目标间的代价矩阵,利用相关匹配算法完成当前帧中所有检测目标的匹配。

5.一种基于轮廓匹配的鱼体目标跟踪装置,其特征在于,包括机箱、工控机、显示屏、摄像头、鱼缸及LED光源,所述鱼缸内放置有鱼体目标,所述鱼缸设置在暗室中,所述摄像头和LED光源固定在鱼缸上方,待检测水源不间断从鱼缸的进水口流入,从鱼缸的出水口流出,实现实时变化的水质环境,摄像头采集视频序列,在工控机上运行跟踪算法,实现如权利要求1所述的一种基于轮廓匹配的鱼体目标跟踪方法,并在显示器上显示输出结果。