利索能及
我要发布
收藏
专利号: 2018115102913
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种行为识别方法,其特征在于,包括:

将预设数量的连续视频帧输入预先训练的2D卷积神经网络,以得到所述视频帧的表观特征;

将所述视频帧的表观特征输入预先训练的1D卷积神经网络,以得到所述视频帧的时空特征;

将所述视频帧的时空特征输入预先训练的分类网络,以得到所述视频帧的行为识别结果;

其中,所述将所述视频帧的时空特征输入预先训练的分类网络,以得到所述视频帧的行为识别结果,包括:将所述视频帧的时空特征输入所述分类网络的全连接层,以得到所述视频帧的多个特征值;其中,所述多个特征值与所述分类网络的支持识别的行为类别一一对应,且所述特征值的数值越大,所述视频帧的行为识别结果中该特征值对应的行为类别的概率越大;

将所述视频帧的多个特征值输入所述分类网络的softmax层,以得到所述视频帧的行为识别结果中各行为类别的置信度;

所述2D卷积神经网络、所述1D卷积神经网络和所述分类网络为级联的。

2.根据权利要求1所述的方法,其特征在于,级联的所述2D卷积神经网络、1D卷积神经网络以及分类网络通过以下方式训练得到:对于训练集中的任一训练样本,将其输入所述2D卷积神经网络,以得到该训练样本的表观特征;

将该训练样本的表观特征输入所述1D卷积神经网络,以得到该训练样本的时空特征;

将该训练样本的时空特征输入所述分类网络,以得到该训练样本的行为识别结果。

3.根据权利要求2所述的方法,其特征在于,所述将该训练样本的时空特征输入所述分类网络之后,还包括:根据所述训练集中的训练样本的行为识别结果准确率,对级联的所述2D卷积神经网络、所述1D卷积神经网络以及所述分类网络的网络组合进行参数优化,直至所述训练集中的训练样本的行为识别结果准确率增长幅度小于预设阈值。

4.根据权利要求3所述的方法,其特征在于,所述对级联的所述2D卷积神经网络、所述

1D卷积神经网络以及所述分类网络的网络组合进行参数优化,包括:对所述2D卷积神经网络、所述1D卷积神经网络和/或所述分类网络的模型参数进行优化。

5.根据权利要求2所述的方法,其特征在于,对级联的所述2D卷积神经网络、1D卷积神经网络以及分类网络进行训练之前,还包括:基于图片分类数据集ImageNet对所述2D卷积神经网络进行预训练。

6.一种行为识别装置,其特征在于,包括:

表观特征提取单元,用于将预设数量的连续视频帧输入预先训练的2D卷积神经网络,以得到所述视频帧的表观特征;

时序特征提取单元,用于将所述视频帧的表观特征输入预先训练的1D卷积神经网络,以得到所述视频帧的时空特征;

行为识别单元,用于将所述视频帧的时空特征输入预先训练的分类网络,以得到所述视频帧的行为识别结果;

其中,所述行为识别单元,具体用于将所述视频帧的时空特征输入所述分类网络的全连接层,以得到所述视频帧的多个特征值;其中,所述多个特征值与所述分类网络的支持识别的行为类别一一对应,且所述特征值的数值越大,所述视频帧的行为识别结果中该特征值对应的行为类别的概率越大;将所述视频帧的多个特征值输入所述分类网络的softmax层,以得到所述视频帧的行为识别结果中各行为类别的置信度;

所述2D卷积神经网络、所述1D卷积神经网络和所述分类网络为级联的。

7.根据权利要求6所述的装置,其特征在于,

所述表观特征提取单元,还用于对于训练集中的任一训练样本,将其输入所述2D卷积神经网络,以得到该训练样本的表观特征;

所述时序特征提取单元,还用于将该训练样本的表观特征输入所述1D卷积神经网络,以得到该训练样本的时空特征;

所述行为识别单元,还用于将该训练样本的时空特征输入所述分类网络,以得到该训练样本的行为识别结果。

8.根据权利要求7所述的装置,其特征在于,所述装置还包括:参数优化单元,用于根据所述训练集中的训练样本的行为识别结果准确率,对级联的所述2D卷积神经网络、所述1D卷积神经网络以及所述分类网络的网络组合进行参数优化,直至所述训练集中的训练样本的行为识别结果准确率增长幅度小于预设阈值。

9.根据权利要求8所述的装置,其特征在于,

所述参数优化单元,具体用于对所述2D卷积神经网络、所述1D卷积神经网络和/或所述分类网络的模型参数进行优化。

10.根据权利要求7所述的装置,其特征在于,所述装置还包括:预训练单元,用于在对级联的所述2D卷积神经网络、1D卷积神经网络以及分类网络进行训练之前,基于图片分类数据集ImageNet对所述2D卷积神经网络进行预训练。