利索能及
我要发布
收藏
专利号: 2024102015664
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人员行为智能监控与报警方法,其特征在于,包括如下步骤:步骤1:异常行为的定义,确定危险行为;动作危险包括踢踹、用拳头击打公共设施;手持危险物包括手持刀具,棍棒;

步骤2:通过搜集公开的监控数据集,以及从网络上截取相应的视频数据集,将视频转化为图片帧,通过使用YOLOv7‑Pose模型完成对人体骨骼关节点的识别与标注;

步骤3:根据步骤2获取的骨骼关节点标注,确定手部关节位置,用于识别手持危险物;

步骤4:通过步骤3确定的手部位置,通过建立改进的YOLOv7模型用于完成手持危险物的识别,所述改进的YOLOv7模型为在模型中加入自适应剪枝,去除模型中不必要的参数和层,同时保持模型的整体性能;

步骤4.1:对于YOLOv7的每一层,通过前向传播计算每个神经元或特定参数的重要性得分 这一过程使用了权重的敏感度分析和梯度的统计信息;

步骤4.2:为了使得分在0和1之间,对得分进行归一化处理:其中,max(S)和min(S)分别是得分的最大值和最小值;

步骤4.3:设定剪枝比例ρ,这是一个介于0和1之间的值,代表模型保留的神经元或参数的比例;

步骤4.4:对于每一层,首先计算该层的总参数数量N,然后基于剪枝比例ρ,确定要保留的元素数量k:k=ρ×N (2)

步骤4.5:选择要保留的元素,根据归一化得分 选择得分最高的k个元素,神经元以及参数;

步骤4.6:完成剪枝操作,将所有不在选择列表中的元素设置为零或进行相应的操作以剪枝;

步骤5:建立增强注意力机制的时空图卷积模型ASTGCN,在对骨骼关节点进行卷积过程中加入更多注意力机制;

步骤5.1:在时空图卷积模型中,通过GCN对人体骨骼关键点进行卷积提取图中各关节点的关联关系,初始状态,两个关节点相连时,这两个骨骼关节点的邻接矩阵值为非零,否则为零;

步骤5.2:对于没有直接连接的关节点,将他们之间的关系考虑进来;

步骤5.3:原始STGCN算法的公式如下:

其中,Kv表示分区个数,Wk表示权重,Ak表示邻接矩阵,Mk表示掩码,fout,fin分别表示特征图的输出和输入;

步骤5.4:通过改变公式中掩码与邻接矩阵点乘的方式,将其变为相加操作,使得即使邻接矩阵为0时,也能够学习到相关特征,进一步增强注意力,则再加入一个Dk,Dk表示每个关节点之间的坐标距离关系,通过动态计算确定,改进后的ASTGCN公式如下:步骤6:通过步骤5建立的ASTGCN模型使用步骤2识别到的人体骨骼关节点信息,完成危险动作的模型的训练,用于视频监控中,人员危险动作识别;对于模型中存在的超参数使用基于树结构的贝叶斯优化算法TPE进行优化,进一步提升模型的性能;

步骤7:通过步骤4以及步骤6建立的识别模型完成人员行为的识别,并将结果同步到前端界面,对于识别行为是危险行为后,并调用报警模块进行响铃提醒。

2.根据权利要求1所述的一种人员行为智能监控与报警方法,其特征在于,所述步骤6中通过TPE算法优化ASTGCN中出现的超参数,具体步骤如下:步骤6.1:确定需要优化的超参数及其取值范围;学习率、卷积核大小、图卷积层的数量,使用TPE算法初始化一个模型,该模型将在每次迭代中根据已有的观察值进行更新;

步骤6.2:使用TPE算法根据已有的观察值和超参数空间,选择下一个可能的超参数组合,使用所选的超参数组合在验证集或交叉验证中评估ASTGCN模型的性能;

步骤6.3:将新的观察值,超参数组合及其对应的性能加入到TPE模型中,以便在下一轮迭代中生成更优的超参数建议;

步骤6.4:重复步骤6.2到6.3,直到达到预定的迭代次数或其他停止条件,在所有迭代完成后,选择具有最佳性能的超参数组合作为最终的ASTGCN模型配置。

3.一种基于权利要求1或2所述的人员行为智能监控与报警方法的系统,其特征在于,包括:监控部分,包括位于公共区域监控的网络摄像头;

人体骨骼关节点标注与识别模块,通过使用YOLOv7‑Pose模型实现来访人员身体关节点标注;

手持危险物识别模块,通过标注的关节点模块快速确定手部位置,通过使用改进的YOLOv7模型,快速识别手持危险物,所述改进的YOLOv7模型为在模型中加入自适应剪枝;

危险行为识别模块,用ASTGCN模型,并使用TPE算法对模型中的超参数进行优化,得到作中的危险行为识别模型;

前端显示行为展示界面以及报警模块,用于展示人员行为的前端界面以及报警部分,通过训练完成的模型识别得人员的危险行为实时上传前端展示,并通过调用报警模块,进行响铃提醒。