1.融合多系统的校园安全管控方法,其特征在于,包括:
在校园区域布置高清摄像头和传感器阵列,收集视频流和音频信号,当捕捉到异常音频信号时,获取异常发生时刻前后的视频流;
采用基于注意力机制的人体姿态估计模型,得到视频流中的人体姿态信息,计算异常行为数据,基于异常行为数据设计用于判断是否发生异常事件的异常事件判断函数;
基于校园多系统数据构建校园安防知识图谱,基于校园安防知识图谱构建图神经网络模型,当发生异常事件时,利用图神经网络模型学习异常事件中异常事件实体的嵌入表示,分析异常事件的推理原因;
基于异常音频信号得到传感器组合,计算传感器组合中每个传感器对之间的信号相似性,根据信号相似性计算得到匹配度评分最高的候选声源位置,将其作为异常事件的发生位置;
将异常事件的发生位置、异常事件的推理原因发送给校园安保人员。
2.如权利要求1所述的融合多系统的校园安全管控方法,其特征在于,所述在校园区域布置高清摄像头和传感器阵列,收集视频流和音频信号,当捕捉到异常音频信号时,获取异常发生时刻前后的视频流的具体方法为:在校园区域内部署高清摄像头和传感器阵列,在摄像头附近采用均匀分布的拓扑结构布设传感器阵列,传感器阵列的传感器间距 满足:,其中,c为声速, 为音频信号的最大频率;当传感器阵列在异常发生时刻捕捉到异常音频信号时,获取异常发生时刻 前后持续时长 的视频流。
3.如权利要求2所述的融合多系统的校园安全管控方法,其特征在于,所述基于注意力机制的人体姿态估计模型的具体获取方法为:采用基于注意力机制的人体姿态估计模型进行人体姿态估计,提取人体关键点的空间坐标,在时间维度,引入注意力机制,用于加权聚合不同帧的人体姿态特征,第t帧的注意力权重为 ;
在空间维度,引入注意力机制,提取人体不同部位的特征向量,部位j1的注意力权重为;
所述基于注意力机制的人体姿态估计模型以Attention‑LSTM网络作为初始网络,包括CNN骨干网络、注意力机制和LSTM时序模块,基于视频流得到连续帧的人体图像作为输入数据,以每帧人体图像的人体关键点作为输出数据,根据人体关键点的空间位置、人体关键点之间的相对位置和距离、人体关键点的运动轨迹得到Attention‑LSTM网络估计的人体姿态信息,所述人体关键点的运动轨迹由同一人体关键点在不同帧的人体图像中的坐标连接起来得到;
所述人体姿态估计模型的训练方法为:
以Attention‑LSTM网络作为初始网络,设计Attention‑LSTM网络,Attention‑LSTM网络的末端连接全连接层,将LSTM时序模块输出的隐藏状态映射到人体关键点的二维坐标,整个模型的输出为每帧人体图像对应的人体关键点的坐标序列;
收集人体姿态数据集,所述数据集包括人体图像及对应的人体关键点坐标标注,将人体图像作为输入数据,将对应的人体关键点坐标标注作为输出数据,构成训练样本,利用训练样本对Attention‑LSTM网络进行训练,采用人体关键点坐标的均方误差作为训练人体姿态估计模型的损失函数,以最小化损失函数的值作为训练目标,当损失函数达到收敛时,训练完成,得到训练好的人体姿态估计模型。
4.如权利要求3所述的融合多系统的校园安全管控方法,其特征在于,所述得到视频流中的人体姿态信息,计算异常行为数据,基于异常行为数据设计用于判断是否发生异常事件的异常事件判断函数的具体方法为:所述异常行为数据包括人体的静止时长、重心位置的高度差、重心下降速度和加速度、人体倒地角度变化和角速度、平均关键点密度、所有人体关键点的平均移动幅度;所述异常事件包括异常晕倒事件、异常聚集事件、异常肢体动作,所述异常事件判断函数包括异常晕倒事件判断函数、异常聚集事件判断函数、异常肢体动作判断函数;
设置静止阈值 ,计算人体关键点的帧间位移,对于第k个人体关键点,计算其在第t帧到第t+1帧之间的帧间位移 ,当人体关键点的帧间位移小于静止阈值时,认为该人体关键点处于静止状态,若所有人体关键点在连续 帧内保持静止,静止时长为 ,且静止时长超过预设的时间阈值 ,则认为人员进入静止状态,其中, 为帧间隔时间;
根据人体关键点的坐标计算人体重心位置的坐标 ,计算人体重心位置在第t帧和第t‑1帧之间的高度差 ,计算重心下降速度 和加速度 ,计算人体倒地角度变化 和角速度 ;
将视频流的画面划分为 的网格,计算每个网格中人体关键点的密度 ,
得到整个画面的平均关键点密度 ,设置密度阈值 ,定义异常聚集事件判断函数为:当时间阈值 内平均关键点密度持续大于密度阈值时,则判定发生了异常聚集事件;
计算第k个人体关键点在连续 帧内的平均移动幅度 ,计算所有人体关键点的平均移动幅度 ,设置幅度阈值 ,定义异常肢体动作判断函数为:当所有人体关键点的平均移动幅度大于幅度阈值时,则判定发生了异常肢体动作;
设置重心高度变化阈值、重心下降速度阈值和加速度阈值、倒地角度变化阈值和角速度阈值,设置条件一为:在连续 帧内重心高度差持续小于负的重心高度变化阈值、条件二为:在连续 帧内重心下降速度持续大于重心下降速度阈值且加速度持续大于加速度阈值、条件三为:在连续 帧内倒地角度变化持续大于倒地角度变化阈值且角速度持续大于角速度阈值、条件四为:所有人体关键点在连续 帧内保持静止,且静止时长超过预设的时间阈值 ;设计异常晕倒事件判断函数包括上述条件一、条件二、条件三、条件四,当四个条件有任意三个满足时,则判定发生了异常晕倒事件。
5.如权利要求4所述的融合多系统的校园安全管控方法,其特征在于,所述基于校园多系统数据构建校园安防知识图谱,基于校园安防知识图谱构建图神经网络模型的具体方法为:定义校园安防知识图谱的顶层概念,形成本体架构;
从校园的多系统数据库中根据顶层概念提取不同实体、实体属性,以及实体之间的关系,将实体作为图的节点、关系作为图的边,构建校园安防知识图谱;
基于校园安防知识图谱构建图神经网络模型,所述图神经网络模型包括图卷积层和图注意力层,图卷积层用于对节点的邻居的嵌入表示进行加权求和,加权求和的权重由节点之间的边权重 决定;
在图卷积层的基础上引入注意力机制,得到图注意力层,计算不同邻居节点j对节点i的注意力权重 ,基于注意力权重得到节点i的嵌入表示 ;
采用无监督的方式训练图神经网络模型,基于校园安防知识图谱中节点与节点之间的关系构成三元组(头节点,关系,尾节点),所述三元组作为正样本,通过负采样构建负样本,将正样本和负样本作为训练数据,采用无监督的训练方式,以校园安防知识图谱中的节点作为输入,以节点的嵌入表示作为输出;
以最大化正样本的似然概率、最小化负样本的似然概率作为训练目标,基于正样本的似然概率和负样本的似然概率得到训练图神经网络模型的损失函数 ,对图神经网络模型进行训练,最小化损失函数,当损失函数收敛时,得到训练好的图神经网络模型。
6.如权利要求5所述的融合多系统的校园安全管控方法,其特征在于,所述当发生异常事件时,利用图神经网络模型学习异常事件中异常事件实体的嵌入表示,分析异常事件的推理原因的具体方法为:当发生了异常事件时,提取异常事件的异常事件实体输入图神经网络模型,输出异常事件实体的嵌入表示;
在校园安防知识图谱中以该异常事件实体所在的节点为中心,在校园安防知识图谱的嵌入空间中搜索与异常事件实体内积最小的其他实体,选取内积最小的前K*个实体作为候选原因,基于异常事件实体和候选原因的嵌入向量,计算其语义相关概率,将语义相关概率和对应的候选原因整合为异常事件的推理原因。
7.如权利要求6所述的融合多系统的校园安全管控方法,其特征在于,所述基于异常音频信号得到传感器组合,计算传感器组合中每个传感器对之间的信号相似性,根据信号相似性计算得到匹配度评分最高的候选声源位置,将其作为异常事件的发生位置的具体方法为:获取异常事件发生时每个传感器的短时能量 和信噪比 ,选择短时能量大于能量阈值且信噪比大于信噪比阈值的传感器作为传感器组合;
对于传感器组合中的传感器对 ,根据它们在异常事件发生时刻的广义互相关函数计算得到传感器对之间的信号相似性 ;
通过累计每对传感器对的信号相似性计算候选声源位置P的匹配度评分 ;
将匹配度评分最大的候选声源位置P作为异常事件的发生位置。
8.融合多系统的校园安全管控系统,其用于实现权利要求1‑7中任一项所述的融合多系统的校园安全管控方法,其特征在于,包括:视频音频获取模块,用于在校园区域布置高清摄像头和传感器阵列,收集视频流和音频信号,当捕捉到异常音频信号时,获取异常发生时刻前后的视频流;
异常事件判断模块,用于采用基于注意力机制的人体姿态估计模型,得到视频流中的人体姿态信息,计算异常行为数据,基于异常行为数据设计用于判断是否发生异常事件的异常事件判断函数;
异常原因推理模块,用于基于校园多系统数据构建校园安防知识图谱,基于校园安防知识图谱构建图神经网络模型,当发生异常事件时,利用图神经网络模型学习异常事件中异常事件实体的嵌入表示,分析异常事件的推理原因;
发生位置计算模块,用于基于异常音频信号得到传感器组合,计算传感器组合中每个传感器对之间的信号相似性,根据信号相似性计算得到匹配度评分最高的候选声源位置,将其作为异常事件的发生位置;
安保信息接收模块,用于将异常事件的发生位置、异常事件的推理原因发送给校园安保人员。
9.一种可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1‑7任一项所述的融合多系统的校园安全管控方法中的步骤。