1.一种变电站工作区域的人员危险行为识别方法,其特征在于,包括如下步骤:(1)针对变电站工作区域的人员危险行为特点,采集视频数据,建立危险行为数据集;
(2)对采集到的视频数据等时划分为K个片段,并进行帧化将其转化为图片帧,同时得到RGB图像和用TV‑L1光流法来提取光流计算得到的光流图像;
(3)构建由并行的ResNet‑34网络和LSTM网络组成的双流网络,将步骤(2)获取的光流图像送入双流网络训练,并使用改进的能量谷优化算法对双流网络的超参数进行优化,得到变电站工作区域的人员危险行为识别模型;
(4)对变电站工作区域人员危险行为识别模型进行训练优化,进行变电站监控下的人员行为识别,得到变电站工作区域的人员危险行为识别结果;
(5)将获得的人员危险行为识别结果进行前端界面展示,以便于车站监管人员处理,并进行判断是否需要通过扬声器提醒工人行为是否正确;
步骤(3)所述改进的能量谷优化算法为:
S1:设置EVO算法的目标函数为危险行为识别准确率并初始化相关参数,包括:种群规模、迭代次数、维度大小;
S2:利用佳点集初始化代替原有EVO算法中种群位置的随机初始化,佳点集初始化公式如下:其中,lb为下限,ub为上限,Cn(i)表示样本集,Cn(i)=(q1i1,q2i2,q3i3,…,qnin),q表示佳点, n表示搜索空间中粒子的总数,d是所考虑问题的维度, 是第i个候选者危险行为状态第j维值;
S3:根据目标函数计算适应度值,根据计算适应度得出最优解;
S4:EVO算法的优化过程为:
如果粒子的稳定水平高于稳定界,即SLi>SB,则认为发生α和γ衰变,α衰变的过程用数学形式表示为EVO的位置更新方案为:其中,pi为搜索空间中第i个人的危险行为状态, 是其第j维值,pBS为稳定性等级最好的人的危险行为状态, 为搜索空间中第i个人在方案一下新的危险行为状态,Alpha Index I和Alpha Index II为两个随机整数,Alpha Index I在[1,d]范围内,Alpha Index II在[1,Alpha Index I]范围内;
当粒子的稳定水平高于稳定界,即SLi〉SB,在伽马衰变中,γ衰变的过程用数学公式表示为EVO的另一个位置更新过程为:其中,pNg为第i个人周围邻近人的危险行为状态, 为搜索空间中第i个人在方案二下新的危险行为状态,Gamma Index I和Gamma Index II为两个随机整数,Gamma Index I在[1,d]范围内,Gamma Index II在[1,Gamma Index I]范围内;
如果粒子的稳定水平低于稳定界,即SLi≤SB,则认为发生了β衰变,β射线从粒子中释放出来,粒子的不稳定水平较高,在搜索空间中进行大的跳跃,对粒子进行位置更新:其中,pCP是人群中心人员的危险行为状态,SLi是第i个人的危险行为状态稳定水平,r1和r2是两个在[0,1]范围内的随机数, 为搜索空间中第i个人在方案三下新的危险行为状态;
如果粒子的稳定水平低于稳定界,即SLi≤SB,对采用β衰变的粒子进行另一个位置更新过程,在粒子的稳定水平不影响运动过程的情况下,对具有最佳稳定水平的粒子和邻近的粒子进行控制运动,此过程由数学公式表示为:其中,r3和r4是两个在[0,1]范围内的随机数, 为搜索空间中第i个人在方案四下新的危险行为状态;
如果粒子的中子富集水平低于富集界,即NELi≤EB,则认为该粒子的N/Z比较小,因此粒子倾向于通过捕获电子或发射正电子向稳定带移动,此过程由数学公式表示为:其中,r是一个在[0,1]范围内的随机数, 为搜索空间中第i个人在方案五下新的危险行为状态,N表示中子数,Z表示质子数;
S5:引入柯西变异增强对最优解位置更新的扰动,增加种群的多样性,有助于跳出局部最优,此过程由数学公式表示为:采用贪婪选择策略进行适应度值更新,表达如下:
其中,f(p)为标准柯西分布概率密度函数,cauchy是其柯西算子, 是各阶段更新后的危险行为状态,f(·)为目标的适应度值;
S6:通过EVO优化过程不断更新当前解,并同步更新全局最优解;
S7:通过给定的最大迭代次数判断是否达到算法终止条件,若未达到则转到S3,在规定迭代次数内输出最优结果。
2.根据权利要求1所述的一种变电站工作区域的人员危险行为识别方法,其特征在于,所述步骤(2)实现过程如下:(21)输入包含人物的连续帧图像;
(22)光流法以假设亮度恒定不变为前提,即像素点运动前后在非常小的时间差内的灰度值保持不变,得到对应的亮度一致性方程:T(x,y,t)=T(x+dx,y+dy,t+dt)
其中,T(x,y,t)是在t时刻像素点(x,y)的灰度值,dx,dy,dt分别是像素点在x,y,t的变化量;将上式按一阶泰勒展开:2
其中,Tx,Ty,Tt分别是T(x,y,t)对x,y,t方向求偏导,o(dt )是高阶无穷小;令得到基本光流约束方程:Txa+Tyb+Tt=0
其中,a,b分别是光流场在x,y两个方向上的光流分量;
(23)采用TV‑L1光流法来提取视频帧在水平和垂直两个方向上的光流,稠密光流的目标函数为:其中,T(x,y)表示当前视频帧,H(x,y)表示作为参考的视频帧,T(x,y)和H(x,y)是连续的两个视频帧;a,b分别表示像素点(x,y)在水平和垂直方向上的偏移量;λ是权值参数,和 是二维梯度, 和 分别是二维梯度 和 的模长;
(24)使用TV‑L1光流法求解上述目标函数,上述目标函数化简为:其中, bk为辅助
变量,Φ是一个常量, 是二维梯度,当b无限接近a时,交替更新a和b,得到方程的解:
3.根据权利要求1所述的一种变电站工作区域的人员危险行为识别方法,其特征在于,步骤(3)所述的双流网络实现过程如下:将图片输入到双流网络中,其中将单帧的RGB图像输入到ResNet‑34网络中提取空间特征,将多帧光流输入到LSTM网络中提取光流图中的时间特征;
通过双流网络提取各片段时空特征后,所有视频片段的时空特征均使用Softmax层获取对应的得分,分别把所有片段空间的得分平均融合,时间的得分平均融合,然后把全局的时空得分平均融合获取最终的行为识别结果,具体公式如下:其中, 为片段1外观特征通过Softmax层得到的得分,j表示第j个行为类别, 为所有片段空间的得分平均融合, 为片段1光流特征通过Softmax层得到的得分, 为所有片段时间的得分平均融合, 为外观特征和光流特征得分的平均融合结果。
4.根据权利要求1所述的一种变电站工作区域的人员危险行为识别方法,其特征在于,步骤(3)所述ResNet‑34网络由一个卷积层、一个最大池化层、四个残差卷积层、一个平均池化层和一个全连接层组成;依次经过卷积层和四个残差卷积层提取深层特征。
5.根据权利要求1所述的一种变电站工作区域的人员危险行为识别方法,其特征在于,步骤(3)所述LSTM网络结构有三个门:遗忘门、输入门和输出门,遗忘门确定上一时刻得到的单元状态能保存下来多少,输入门确定此刻输入的信息会有多少能加入单元状态,输出门确定此刻能输出多少特征信息。
6.一种采用如权利要求1至5所述方法的变电站工作区域的人员危险行为识别系统,其特征在于,包括:视频采集模块,通过网络摄像头采集工作区域的人员监控视频;
图像获取模块,用于对采集到的视频数据,将其转化为图片帧,获取RGB图像和用TV‑L1光流法来提取光流计算得到的光流图像;
危险行为识别模块,建立由ResNet‑34网络与LSTM网络并行构成的双流网络,并使用改进的能量谷优化算法EVO对双流网络中的超参数进行优化,得到变电站工作区域的人员危险行为识别模型;
前端显示预警界面,展示人员危险行为的前端界面,通过训练完成的识别模型识别得出人员行为实时上传前端展示,监管人员通过前端界面提示获取人员是否有危险行为。