利索能及
我要发布
收藏
专利号: 2020101064364
申请人: 青岛联合创智科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多维数据的学生行为特征智能分析方法,其特征在于:其具体工艺步骤如下:S1、视频结构化处理

以连续16帧作为一个处理单元、每个处理单元中的视频帧默认为3通道、构建一种高低频3D残差神经网络模型进行视频结构化处理,将文本信息和视频快照数据存入相应的结构化数据库中,高低频3D残差神经网络模型包括低频3D残差神经网络和高频3D残差神经网络,其中低频3D残差神经网络进行人员结构化处理提取目标特征,高频3D残差神经网络进行行为结构化处理提取行为特征;将目标特征和行为特征进行连接,并处理得到目标T的空间位置、行为类别;

S2、采集学生的实时定位数据;

学生佩戴具有GPS+北斗+WiFi+基站定位功能的定位设备,以固定频率对学生进行定位,并将定位结果、定位时间、学生ID信息存入数据库中,生成学生的轨迹序列;

S3、时空研判分析

利用目标T的空间位置抽提出目标T的空间特征,并根据相似度匹配查找出L时间段内目标T的全部相似目标,将每个相似目标的空间特征、行为类别、所在监控摄像头的安装位置按照时间顺序排列,构建出目标T的可描述信息序列;截取出L时间段内多个学生的轨迹序列,并结合目标T的可描述信息序列,利用轨迹匹配从多个学生的轨迹序列中筛选出与目标T匹配度最高的学生S的轨迹序列,即可认定为目标T即为学生S,从而构建出学生S的轨迹-行为序列对;

S4、学生行为特征分析

利用S3获得的学生轨迹-行为序列对,结合学生在L时间段内的课时安排、学校作息时间安排、学生基本信息等,绘制生成学生的日常活动规律图表,并进行数据挖掘,发现学生在校期间的活动爱好,帮助老师根据不同学生的特点,有效改善教学计划;通过对学生的轨迹-行为序列对进行长时间的规律统计,结合人为监督,构建出数据预测告警功能,判定学生是否存在异常行为,如长时间的聚集、徘徊行为、轨迹偏离等,做到实时预警,防止意外发生。

2.根据权利要求1所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述步骤S1的视频结构化处理的具体过程为:S1.1目标特征提取

使用低频3D残差网络结构进行目标特征提取,低频3D残差网络结构对视频帧的采样间隔设定为inv_l=16,低频3D残差网络结构用于提取目标的空间和语义信息;

S1.2行为特征提取

使用高频3D残差网络结构进行行为特征提取,计算提取的行为特征尺寸为{8,256,7,

7};高频3D残差网络结构对视频帧的采样间隔设定为inv_h=inv_l/α,其中α=8,卷积核的个数为低频3D残差网络中卷积核个数的β倍,其中β=1/8;

S1.3视频分类

首先通过矩阵操作将行为特征进行尺寸转换,其次采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理,再次将处理过的目标特征和行为特征进行横向连接,最后将目标特征和行为特征输入全连接层,最终得到目标的空间位置、行为类别;

S1.4视频结构化

由S1.3得到目标T的空间位置、行为类别以及S1.1得到的目标T的空间特征共同构建出目标T的可描述信息{location_T,spatial_Feature_T,action_ID},用于视频结构化处理,其中行为类别包含写字、绘画、走路、跑步、拉伸肢体、打篮球、踢足球、跳舞、游泳、骑自行车、握手、拥抱、喝水、吃东西、相互推搡多个种类;视频结构化包括目标匹配和生成目标的可描述信息序列。

3.根据权利要求2所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述步骤S1.3视频分类的具体过程如下:(1)行为特征尺寸转换

S1.2计算获得的行为特征尺寸为{8,256,7,7},通过矩阵操作将行为特征尺寸转换成为{1,8×256,7,7}={1,2048,7,7},即将α个特征图转换为单个特征图的卷积核个数,完成特征尺寸的转换;

(2)特征全局均值池化

采用全局均值池化操作对目标特征和转换尺寸后的行为特征进行处理,池化核尺寸为{1,7,7},池化后的特征尺寸均为{1,1,1,2048};

(3)特征连接

将上面两步骤处理过的目标特征和行为特征进行横向连接,得到连接后的特征长度为

4096;

(4)全连接操作

将上步得到的特征输入全连接层,最终得到目标的空间位置、行为类别;

所述S1.1、S1.2、S1.3步骤运算过程中使用Kinetics-400数据集上预训练的模型参数。

4.根据权利要求2或权利要求3所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述步骤S1.4视频结构化的具体过程如下:(1)目标匹配

通过计算两个相邻处理单元生成的全部目标空间特征之间的余弦距离,实现两个相邻处理单元之间的目标跟踪,即上一个16帧和当前16帧之间的目标跟踪,两个相邻处理单元生成的全部目标空间特征之间的余弦距离计算公式为:其中,xi为上一个处理单元生成的x目标的第i个空间特征值,yi为当前处理单元生成的y目标的第i个空间特征值,θ为两个空间特征向量之间的夹角;

当θ

当θ≥Threshold_θ,则认为目标不匹配,将y目标标记成新的标号num_y;

其中Threshold_θ=0.33为夹角阈值;

(2)生成目标的可描述信息序列

将上述处理结果按照时间顺序存入对应结构化数据库中,包括时间、监控摄像头编号、目标编号,行为类型标记、空间特征,即目标T的可描述信息序列,可描述信息序列的具体形式为:info_Seq_T={time_1,camera_ID,num_T,action_ID,spatial_Feature_T;…;

time_i,camera_ID,num_T,action_ID,spatial_Feature_T;}其中i∈N+。

5.根据权利要求4所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述S2步骤中学生S的轨迹序列的具体形式为:traj_S={location_Time_1,lat_1,lon_1,ID_S;…;location_Time_i,lat_i,lon_i,ID_S;}其中i∈N+。

6.根据权利要求5所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述S3步骤时空研判分析的具体过程如下:S3.1全局目标检索

根据目标T的空间特征,利用余弦距离对校区内的多路摄像头生成目标进行全局搜索,查找出L时间段内目标T的全部可描述信息序列,并按照时间顺序排列;

S3.2时空匹配

(1)利用L时间段内目标T的全部相似目标所在监控摄像头的时间分布、以及监控摄像头的安装位置,构建出时空匹配序列,时空匹配序列具体形式为:camera_Time_Seq_T_L={time_1,camera_m_lat,camera_m_lon;…;

time_i,camera_n_lat,camera_n_lon;}

其中i∈(1,…,L),time_i为第i个时间点,camera_m_Lat表示监控摄像头m的安装位置-纬度,camera_m_Lon表示监控摄像头m的安装位置-经度;

(2)截取出L时间段内学生S的轨迹序列,截取的学生轨迹序列具体形式为:traj_S_L={location_Time_1,lat_1,lon_1,ID_S;…;location_Time_i,lat_i,lon_i,ID_S;}其中i∈(1,…,L),loaction_Time_i表示为与time_i最邻近的时间点,lat_i表示:loaction_Time_i时刻学生的纬度,lon_i表示:loaction_Time_i时刻学生的经度,camera_Time_Seq_T_L与traj_S_L之间的欧式距离的计算公式如下:若dist(S,T)≥Threshold_dist,则表示目标T不是学生S;

若dist(S,T)

其中Threshold_dist=0.8为欧式距离阈值,si_lat为学生S在loaction_Time_i时刻的纬度,si_lon为学生S在loaction_Time_i时刻的经度,ti_lat为目标T在time_i时刻的纬度,si_lon为目标T在time_i时刻的经度;

(3)依次对比多个截取的学生轨迹序列,筛选出dist(F,T)值最小的学生F,即可认定学生F为目标T,生成该学生的轨迹-行为序列对,该学生轨迹-行为序列对具体形式为:其中i∈(1,…,L)。

7.根据权利要求6所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述低频3D残差网络结构包括:一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5;其中输入层Input对接入的视频流进行抽样,其抽样间隔为16,即每16帧选取一帧作为输入,输入视频帧大小为224×224,默认为三通道;输入层Input的输出端连接有卷积层Conv1,卷积层Conv1用于提取高分辨率特征;卷积层Conv1的输出端连接有池化层Pool1;池化层Pool1采用最大池化的方法对特征图进行降采样,减少特征数量,防止计算量过大;池化层Pool1的输出端连接残差块,四个残差块Res2、Res3、Res4、Res5依次有序连接;经过Res2到Res5残差块,最终输出得到目标特征;

所述低频3D残差网络结构的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成:主路径由N×3个卷积层,其中N表示残差块中3个卷积层的重复次数,不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同;捷径为一个卷积层,捷径直接将信息传递到网络深层,不同的残差块中卷积核的尺寸均为1×1×1,卷积核大小不同;通过Res2到Res5,其主路径共同构建出了一个很深的网络结构,而每个残差块中的捷径又跳过一层或者多层进入到网络深层,这种方式有助于解决梯度消失和梯度爆炸的问题,在利用更深的网络提取特征的同时保障了网络良好的运算性能。

8.根据权利要求7所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述低频3D残差网络中各层具体参数为:其中输入层Input:输出尺寸为{1,3,224,224},采样间隔为16,视频帧尺寸为{3,224,224};卷积层Conv1:输出尺寸为{1,64,112,112},卷积核个数为64,步长为{1,2,2},尺寸为{1,3,7,7};池化层Pool1:输出尺寸为{1,64,56,56},池化核步长为{1,2,2},尺寸为{1,3,3},方式为最大值;

残差块Res2:输出尺寸为{1,256,56,56},

残差块Res3:输出尺寸为{1,512,28,28},

残差块Res4:输出尺寸为{1,1024,14,14},

残差块Res5:输出尺寸为{1,2048,7,7},

其中残差块参数中乘号后的因数表示卷积操作的重复的次数。

9.根据权利要求8所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述的高频3D残差网络包括一个输入层Input、一个卷积层Conv1、一个池化层Pool1、以及四个残差块Res2、Res3、Res4、Res5;其中输入层Input对接入的视频流进行抽样,其抽样间隔为2,即每2帧选取一帧作为输入,输入视频帧大小为224×224,默认为三通道;输入层Input的输出端连接有卷积层Conv1,卷积层Conv1用于提取高分辨率特征;卷积层Conv1的输出端连接有池化层Pool1;池化层Pool1采用最大池化的方法,对特征图进行降采样,减少特征数量,防止计算量过大;池化层Pool1的输出端连接残差块,四个残差块Res2、Res3、Res4、Res5依次有序连接;经过Res2到Res5残差块,最终输出得到行为特征;

所述高频3D残差网络的四个残差块Res2-Res5中每个残差块由一个主路径和一个捷径组成:主路径由N×3个卷积层,其中N表示残差块中3个卷积层的重复次数,不同的残差块中每一个卷积层的卷积核的数量和尺寸也不同;捷径为一个卷积层,捷径直接将信息传递到网络深层,不同的残差块中卷积核的尺寸均为1×1×1,卷积核大小不同;通过Res2到Res5,其主路径共同构建出了一个很深的网络结构,而每个残差块中的捷径又跳过一层或者多层进入到网络深层,这种方式有助于解决梯度消失和梯度爆炸的问题,在利用更深的网络提取特征的同时保障了网络良好的运算性能。

10.根据权利要求9所述的基于多维数据的学生行为特征智能分析方法,其特征在于:所述所述高频3D残差网络中各层具体参数为:其中输入层Input:输出尺寸为{8,3,224,

224},采样间隔为2,图像尺寸为{3,224,224};卷积层Conv1:输出尺寸为{8,8,112,112},卷积核个数为8,步长为{1,2,2},尺寸为{5,3,7,7};池化层Pool1:输出尺寸为{8,8,56,56},池化核步长为{1,2,2},尺寸为{1,3,3},方式为最大值{1,64,56,56};

残差块Res2:输出尺寸为{8,32,56,56},

残差块Res3:输出尺寸为{8,64,28,28},

残差块Res4:输出尺寸为{8,128,14,14},

残差块Res5:输出尺寸为{8,256,7,7},

其中残差块参数中乘号后的因数表示卷积操作的重复的次数。