利索能及
我要发布
收藏
专利号: 2021109808625
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于云端的监控视频下多目标跟踪的方法,其特征在于:在系统层次,首先搭建一套云端和本地客户端平台,将监控相机采集的视频经过本地压缩处理后上传到服务器,然后通过服务器搭建的基于检测的多目标跟踪算法对图像进行实时推理,最后在本地客户端读取显示多目标跟踪结果;

在算法层次,一方面,针对检测网络CenterNet,在原模型基础上应用了可变性卷积,并改进了高斯核的分布形式,提升了检测网络的鲁棒性,保证了检测精度;另一方面,通过卡尔曼滤波提取运动特征,使用一种注意力结构来提取外观特征,基于DeepSORT算法对运动特征、外观特征进行加权融合并进行数据关联,综合计算目标与轨迹的匹配程度,进而赋予每个目标一个具体的身份信息,形成不同身份的轨迹信息,实现对监控中多目标的实时跟踪。

2.根据权利要求1所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:包括以下步骤:

S1、在指定位置搭建能够采集视频数据并包含联网装置的监控相机;在监控相机端对采集的视频数据进行预处理,然后上传至云端,实现监控画面实时传输;

S2、搭建云端和客户端平台;具体为:S21、在服务器端对接收视频数据进行解码、处理和判断数据的有效性,并根据客户端需求传送相应的结果;

S22、在本地客户端接收监控视频跟踪结果,实现数据可视化功能;

S3、通过监控相机、服务器端、客户端以及各设备之间的数据通信协同实现视频监控的结果存储、降低数据冗余、可视化分析功能;

S4、对步骤S21处理后的有效视频图像进行目标识别检测;

S5、在检测的基础上进行数据关联,对多目标进行跟踪;

S6、在客户端对多目标跟踪输出的视频进行保存、删除以及更新。

3.根据权利要求2所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:步骤4中,具体的步骤包括:

S41、对centernet检测网络进行优化,搭建检测网络模型;

S42、对输入视频帧进行特征处理,将得到的特征图送入头部网络,提取到定位物体的中心点位置、偏移量以及检测框大小。

4.根据权利要求3所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:步骤S41中,检测网络具体包括以下优化;

S411、基于centernet检测模型,将可变行卷积DCN应用到不同特征提取层;

S412、基于centernet检测模型,改进原模型中的高斯核分布形式。

5.根据权利要求4所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:步骤S411中,将可变行卷积DCN应用到CenterNet网络不同特征提取层,所述具体方法如下:选用Centernet主干特征网络为restnet34,在对病房患者进行检测过程中,高层特征会包含较多的语义信息,所以在主干网络末端添加可变性卷积以便提取到更多的特征信息,同时由于头部网络的作用不同,在头部网络三个分支的前端分别使用可变形卷积,可以得到更加精确的回归特征信息。

6.根据权利要求4所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:步骤S412中,改进CenterNet模型中的高斯核分布形式,具体改进方法为:对训练过程中的高斯核分布按对应的宽高比进行调整,将headMAP分支中的标准差按照宽高比进行修正,调整后的二维高斯分布具体形式为:式中, 分别表示高斯核在x、y方向上的分量,标准差αx、αy应满足与输入原图像中标注框的宽高比呈正相关,设 为一常数,则αx、αy的对应关系为:式中,gh、gw分别对应标注框的宽、高信息;

按照患者宽高比例设定的方差绘制的高斯分布能够将相近患者明显的区分,从而能在预测过程中有效避免漏检的情况,提高检测精度。

7.根据权利要求1所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:步骤5中,具体包括以下步骤:

S51、通过卡尔曼滤波提取运动特征,预测未来帧对应目标的具体位置;使用一种注意力结构来提取外观特征,改善目标检测框位置不固定带来外观相似度不匹配问题;

S52、基于DeepSORT算法,将外观特征、运动特征动态加权融合对数据进行关联,综合计算目标与轨迹的匹配;

S53、判断轨迹是否匹配,无误后对轨迹进行更新,完成多目标跟踪。

8.根据权利要求7所述的一种基于云端的监控视频下多目标跟踪的方法,其特征在于:步骤S51中,使用一种注意力结构提取外观特征中使用一种注意力机制对外观特征进行提取,其网络模型为SE‑resNet Module结构,网络结构具体形式为:首先将输入特征图xin经过一Residual结构,得到蕴含高层语义特征的特征图,然后将其进行全局平均池化得到c×1×1的单维特征结构,再通过两个全连接层形成先降维再升维的空间注意力提取结构,经过sigmoid激活函数得到不同通道的权值占比,即每层对应的归一化权重,最后将这些归一化权重加到经过Residual提取到的特征图对应通道上,即赋予了不同的特征层以不同的占比,为了防止模型退化,参照ResNet基本结构,将xin与经过加权后的特征相加生成输出特征图xout。