1.基于特征融合和加权最大间隔神经网络的异常翻栏行为检测方法,包括如下步骤:步骤一:通过监控摄像头,捕获关键区域的人体行为数据,提取关键帧中的人体姿势估计关键点;
步骤二:为提高翻栏异常行为的检测性能,将对图像的骨骼轮廓关键点位置信息作进一步的姿势特征融合;
步骤三:根据姿势融合的特征,构建人体异常行为识别数据集,用于加权最大间隔神经网络模型的训练;
步骤四:构建加权最大间隔神经网络WMMNN来解决异常行为类别不均衡问题;
步骤五:当WMMNN模型训练完成后,得到最优模型参数,构建异常翻栏行为预测决策函数。
2.如权利要求1所述的基于特征融合和加权最大间隔神经网络的异常翻栏行为检测方法,其特征在于:步骤一具体包括:(1.1)人体姿势特征估计;通过OpenCV计算机视觉模块读取视频流数据,并提取关键帧图像数据;
(1.2)对于第k个关键帧帧图像数据,通过mediapipe姿势估计模块分析提取8个人体骨骼关键点位置信息;具体特征描述如下:鼻子N、左肩膀LS、右肩膀RS、左胯LH、右胯RH、左膝LK、右膝RK、左脚踝LA和右脚踝RA;此外,记 或 为第k个关键帧图像的左肩膀水平方向坐标或垂直方向坐标;其中,上标k表示第k个关键帧图像,下标h和u分别表示水平方向或垂直方向。
3.如权利要求1所述的基于特征融合和加权最大间隔神经网络的异常翻栏行为检测方法,其特征在于:步骤二中,对于第k个关键帧图像,特征融合过程描述如下:(k)
(2.1)构建肩膀到脚踝的距离特征SA ;首先,计算两肩 和 的垂直高度绝对差;然后,计算两脚踝 和 垂直高度绝对差;在此基础上,计算它们的垂直高度绝(k)对值SA :
(2.2)构建左右臀部到脚踝的较小距离特征 首先,获取双臀关键点的垂直坐标和 然后,获取左右脚踝关键点的垂直坐标 和 最后,计算左右两边对应臀部到脚踝的垂直距离较小值
(2.3)构建鼻子到左右脚踝的较小距离特征 首先,获取鼻子关键点的垂直坐标然后,获取左右脚踝关键点的垂直坐标 和 最后,计算鼻子到左右两边脚踝的垂直距离的较小值(2.4)构建鼻子到左右脚踝的距离比值特征 首先,获取当前帧鼻子关键点的垂直坐标 然后,获取左右脚踝关键点的垂直坐标 和 接着,计算鼻子到左右两边脚踝的垂直距离的较大值最后,计算鼻子到左右脚踝的垂直距离的较大值和较小值的比值(k)
(2.5)构建左右脚踝到臀部中点的夹角Ang ,获取当前帧双臀关键点的垂直坐标和 并计算双臀中点关键点的垂直坐标然后,获取双臀关键点的水平坐标 和 并计算双臀中点关键点的水平坐标接着,获取左右脚踝关键点的水平坐标 和 垂直坐标 和 计算左脚(k) (k) (k)
踝到臀部中点、左脚踝到右脚踝,以及右脚踝到臀部中点的距离HAl 、Alr 和HAr :(k)
最后,通过余弦定理,计算左右脚踝到臀部中点的夹角Ang :
4.如权利要求1所述的基于特征融合和加权最大间隔神经网络的异常翻栏行为检测方法,其特征在于:步骤三具体包括:(3.1)对于第k个关键帧图像,将步骤二中的融合特征进行整合,形成新的融合后姿势特征为(k)
其中,k表示第k个关键帧图像、SA 为肩膀到脚踝的距离特征、 为左右臀部到脚踝的较小距离特征、 为鼻子到左右脚踝的较小距离特征、 为鼻子到左右脚踝的(k)距离比值特征、Ang 为左右脚踝到臀部中点的夹角;
(3.2)根据第k个关键帧图像中行为是否异常标注样本xk的输出标签yk;其中,‑1为正常行为,+1为异常翻栏行为;
(3.3)将场景中的所有关键帧图像,提取关键点特征并标注输出,构建数据集正常行为数据集 和异常行为数据集 其中xk为样本的特征向量,yk为样本的输出,n为总样本规模,n1为正常行为的样本规模,n2为异常行为的样本规模,k表示第k个关键帧图像。
5.如权利要求1所述的基于特征融合和加权最大间隔神经网络的异常翻栏行为检测方法,其特征在于:步骤四所述的加权最大间隔神经网络WMMNN的具体网络结构如下:(4.1)构建WMMNN模型的网络非线性映射;为捕获数据非线性,使用神经网络实现特征映射,网络结构包括输入层,隐藏层,输出层;
输入层设计为5个节点,样本特征xk为5维向量;
隐藏层设计为3层的全连接层,每层有10个节点,每层之间的激活函数选择Relu函数;
对于第hi隐藏层,前向传播函数为
其中, 为第hi‑1层的输出,即为第hi隐藏层的输入; 为第hi隐藏层的神经元权重;i为隐藏层的输入特征索引;j为隐层中第j个神经元索引;f(·)为激活函数,选用Relu函数f(z)=max(0,z);
输出层设计为2个节点,分别表示正常行为和异常行为的预测置信度输出;哪个节点的输出越大,则被预测为哪种行为的可能性越大;
(4.2)计算不均衡因子作为类别权重;设标签少数类和多数类两个类别的类内权重,记作qs,表示第s类中的类内权重,其中s=1表示正常行为类型,s=2表示异常行为类型;qs具体计算如下:其中,n为样本总数,ncls为类别数,ns为第s类样本数;
(4.3)构建加权最大间隔损失函数;对于样本特征xk和真实输出yk,WMMNN模型输出层节点为正常行为预测 和异常行为预测 那么最大间隔损失函数构建如下:损失函数解释如下:当yk=‑1时,即样本xk的真实标签为正常行为,那么WMMNN模型的正常行为结点 输出至少比异常行为结点 输出大1,否则将产生非零的损失值;当yk=+1时,即样本xk的真实标签为异常行为,那么模型的 输出至少比 输出大1,否则将产生非零的损失值;
(4.4)利用SGD随机梯度下降法训练WMMNN模型,优化目标为其中,W为WMMNN模型参数,本发明使用Pytorch深度学习框架训练WMMNN模型。
6.如权利要求1所述的基于特征融合和加权最大间隔神经网络的异常翻栏行为检测方法,其特征在于:步骤五包括:对于给定待检测视频图像,首先使用OpenCV实时捕获视频流,然后使用mediapipe开源模块提取人体提取姿势关键点信息;再使用步骤二将关键点信息进行融合,得到样本特征x;最后,使用WMMNN模型对样本x进行预测,分别得到正常行为结点输出 和异常行为结点输出 构建行为检测的决策函数如下:其中,sgn(·)为符号函数,大于0输出为1,小于0输出为‑1; 表示正常行为结点预测 与异常行为结点预测 的差值;当 时,此时正常行为置信度大于异常行为,因此样本x的标签预测为‑1;当 时,此时异常行为置信度大于正常行为,因此样本x的标签预测为+1。