1.一种用于视频中暴力行为检测的训练数据增强方法,该方法包括以下步骤:S1:利用现有暴力行为公开数据集,或从互联网上采集包含暴力行为的视频;
S2:使用光流法对视频连续N帧图像进行光流检测;
使用光流法对视频帧进行光流检测的具体步骤包括:
S21:去除每帧图像中强度小于光流幅度阈值T1的光流矢量;
S22:将连续N帧图像的光流信息叠加,得到光流强度信息图;
S23:使用图连通性算法,获取图像的光流强度连通子图;
S3:使用预训练的CSR-Net人群计数网络,提取视频中连续N帧的人员分布概率信息;
提取视频中连续N帧的人员分布概率信息的具体步骤包括:
S31:抑制每帧图像中分布概率积分值小于预设阈值T2的图像区域;
S32:将连续N帧的概率信息叠加,得到人员分布概率信息;
S4:联合光流强度图与人员分布概率图,获取视频中最可能发生暴力行为的区域;
S5:对视频疑似暴力行为区域进行截取并输出,形成增强后的训练视频数据集。
2.根据权利要求1所述的视频中暴力行为检测的训练数据增强方法,其特征在于,步骤S2使用图像金字塔匹配的全局性稠密光流算法计算运动信息;假设某个强度为I(x,y,t)的对象在连续两帧之间强度恒定,当它以一个单位的时间移动dx与dy的距离时,其具有新的强度I(x+dx,y+dy,t+dt),即满足以下公式:I(x,y,t)=I(x+dx,y+dy,t+dt)
x,y是点的坐标,t是当前时刻;对等式右侧进行泰勒近似,可得其中 是图像沿水平轴的梯度, 是图像沿垂直轴的梯度, 是
沿时间的图像;求解方式基于Gunnar Farneback的稠密光流算法,检测两帧之间所有点的像素强度变化,即可得到其光流信息(u,v).本专利具体算法中,其每层金字塔间的上下两层尺度关系系数pyr_scale=0.5,金字塔层数levels=3,均值窗口大小winsize=15,每张图进行3次迭代,像素邻域大小poly_n=5,高斯标准差poly_sigma=1.2,并使用输入流作为初始流的近似,其连续帧数N=64。
3.根据权利要求1中,步骤S23所述的光流连通子图获取,其特征在于,其具有以下步骤:S231:将步骤S22获取的光流强度信息图进行二值化处理,其阈值为128;
S232:扫描二值化后的光流强度信息图,以获得光流强度连通子图;以P(i,j)表示图像在该点处的像素值,从图像起始点P(0,0)开始,标记连通子图,其包含以下具体步骤:S233:逐行扫描图像,若P(r-1,c)=0且P(r,c)=1则判定为光流团块起始点,若P(r-1,c)=1且P(r,c)=0则判定为光流团块的结束点,并为其设定唯一标识符RI;
S234:对于除第一行以外所有行的光流团块,若其与前一行中的已有团没有r值重合区域,即该光流团P(r,c-1)≠P(r,c)处处成立,则为其设定新的唯一标识符RI;
S235:对于除第一行以外所有行的光流团块,若其与前一行中有且仅有一个区域存在r值重合区域,则其获得与上一行重叠团块相同的标识符RI;
S236:对于除第一行以外所有行的光流团块,若其与前一行中的多个区域的r值有重合,则将该行区域与前一行所有重合团块的RI值统一改写为这些团块的最小RI值,作为一个连通域;
S237:对光流子图的光流强度进行求和,KRI≥1000的子图为暴力行为高危区域。
4.根据权利要求1中,步骤S5所述视频疑似暴力行为区域截取方法,其特征在于,将步骤S4中选取出的高危区域坐标进行规范化,取视频帧的左下角为(0,0)点,求取该高危区域的四个极点,即x轴与y轴坐标的最大最小值:Wmin、Wmax、Hmin与Hmax;根据后续使用该数据集的神经网络训练所需要的输入图像比例,以高危区域的中心点(Cx,Cy)为中心进行长宽等比扩张选取,选取框坐标表示为(xmin,ymin,xmax,ymax),即矩形区域的左下角坐标与右上角坐标;
当xmin≥Wmin且ymin≥Hmin且xmax≥Wmax且ymax≥Hmax时,即可截取所选区域形成新的视频片段。