利索能及
我要发布
收藏
专利号: 2018115819540
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种异常行为检测方法,其特征在于,所述方法包括:

获取待检测的行为数据;

将所述行为数据输入特征提取模型,输出所述行为数据的行为特征,所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征,所述特征空间范围内各个行为特征之间的距离小于距离阈值;

根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值,获取所述行为数据的检测结果,所述检测结果用于指示所述行为数据是否为异常行为数据,所述正常行为特征中心用于代表所述特征空间范围内的行为特征;

其中,所述特征提取模型的训练过程包括:

根据正常行为数据集合和异常行为数据集合,获取多个第一行为数据对和多个第二行为数据对,每个第一行为数据对包含所述正常行为数据集合中的两个正常行为数据,每个第二行为数据对包含所述正常行为数据集合中的一个正常行为数据和所述异常行为数据集合中的一个异常行为数据;

提取所述多个第一行为数据对的多个第一行为特征对和所述多个第二行为数据对的多个第二行为特征对,每个第一行为特征对包含两个正常行为数据的行为特征,每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征;

根据所述每个第一行为特征对包含的两个行为特征之间的距离和所述每个第二行为特征对包含的两个行为特征之间的距离,通过损失函数监督训练,得到所述特征提取模型。

2.根据权利要求1所述的方法,其特征在于,所述根据正常行为数据集合和异常行为数据集合,获取多个第一行为数据对和多个第二行为数据对之前,所述方法还包括:基于多个第一视频,获取所述正常行为数据集合,所述多个第一视频为目标进行正常行为的视频;

基于多个第二视频,获取所述异常行为数据集合,所述多个第二视频为目标进行异常行为的视频。

3.根据权利要求2所述的方法,其特征在于,所述基于多个第一视频,获取所述正常行为数据集合,包括:对于所述多个第一视频中的每个第一视频,对所述第一视频中的目标进行检测和跟踪,获取预设时间段内所述目标的空间运动范围,所述空间运动范围为所述目标运动所覆盖的空间范围,所述预设时间段小于所述第一视频的时间段;

根据所述空间运动范围和所述第一视频,在所述预设时间段对应的第一视频序列中进行图像截取,得到所述第一视频的第一图像序列,所述第一视频序列包含所述第一视频的多帧视频图像,所述第一图像序列包含所述多帧视频图像中所述空间运动范围对应的区域;

将所述多个第一视频的第一图像序列作为所述正常行为数据集合。

4.根据权利要求2所述的方法,其特征在于,所述异常行为数据集合的获取过程包括:对于所述多个第二视频中的每个第二视频,对所述第二视频中的目标进行检测和跟踪,获取预设时间段内所述目标的空间运动范围,所述空间运动范围为所述目标运动所覆盖的空间范围,所述预设时间段小于所述第二视频的时间段;

根据所述空间运动范围和所述第二视频,在所述预设时间段对应的第二视频序列中进行图像截取,得到所述第二视频的第二图像序列,所述第二视频序列包含所述第二视频的多帧视频图像,所述第二图像序列包含所述多帧视频图像中所述空间运动范围对应的区域;

将所述多个第二视频的第二图像序列作为所述异常行为数据集合。

5.根据权利要求1所述的方法,其特征在于,所述待检测的行为数据为多个行为数据,所述根据所述行为数据的行为特征与正常行为特征中心的距离,获取所述行为数据的检测结果之后,所述方法还包括:根据所述多个行为数据各自的检测结果,确定所述多个行为数据中的异常行为数据;

将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合中;

执行所述特征提取模型的训练过程,获取更新的特征提取模型。

6.根据权利要求5所述的方法,其特征在于,所述将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合,包括:获取所述多个行为数据中异常行为数据的人工确认信息;

将所述人工确认信息指示的异常行为数据添加至所述异常行为数据集合中。

7.根据权利要求5所述的方法,其特征在于,所述方法还包括:

获取多个视频;

对于所述多个视频中的每个视频,对所述视频中的目标进行检测和跟踪,获取预设时间段内所述目标的空间运动范围,所述空间运动范围为所述目标运动所覆盖的空间范围,所述预设时间段小于所述视频的时间段;

根据所述空间运动范围和所述视频,在所述预设时间段对应的视频序列中进行图像截取,得到所述视频的图像序列,所述视频序列包含所述视频的多帧视频图像,所述图像序列包含所述多帧视频图像中所述空间运动范围对应的区域;

将所述多个视频的图像序列作为所述多个行为数据。

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

对于所述多个行为数据中的异常行为数据,在播放所述异常行为数据所属视频的过程中,显示所述异常行为数据所属视频的图像序列。

9.根据权利要求1所述的方法,其特征在于,所述根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值,获取所述行为数据的检测结果,包括:当所述行为数据的行为特征与所述正常行为特征中心的距离大于所述距离阈值时,确定所述行为数据为异常行为数据;

当所述行为数据的行为特征与所述正常行为特征中心的距离小于或等于所述距离阈值时,确定所述行为数据为正常行为数据。

10.根据权利要求1所述的方法,其特征在于,所述正常行为特征中心的获取过程包括:获取多个正常行为数据;

对于所述多个正常行为数据中的每个正常行为数据,将所述正常行为数据输入所述特征提取模型,输出所述正常行为数据的行为特征;

根据所述多个正常行为数据的行为特征,获取所述正常行为特征中心。

11.根据权利要求10所述的方法,其特征在于,所述多个正常行为数据的行为特征为多个特征向量,所述根据所述多个正常行为数据的行为特征,获取所述正常行为特征中心,包括:对所述多个特征向量在每个维度计算平均值,将得到的特征向量作为所述正常行为特征中心。

12.一种异常行为检测装置,其特征在于,所述装置包括:

获取模块,用于获取待检测的行为数据;

提取模块,用于将所述行为数据输入特征提取模型,输出所述行为数据的行为特征,所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征,所述特征空间范围内各个行为特征之间的距离小于距离阈值;

所述获取模块还用于根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值,获取所述行为数据的检测结果,所述检测结果用于指示所述行为数据是否为异常行为数据,所述正常行为特征中心用于代表所述特征空间范围内的行为特征;

所述获取模块还用于:根据正常行为数据集合和异常行为数据集合,获取多个第一行为数据对和多个第二行为数据对,每个第一行为数据对包含所述正常行为数据集合中的两个正常行为数据,每个第二行为数据对包含所述正常行为数据集合中的一个正常行为数据和所述异常行为数据集合中的一个异常行为数据;提取所述多个第一行为数据对的多个第一行为特征对和所述多个第二行为数据对的多个第二行为特征对,每个第一行为特征对包含两个正常行为数据的行为特征,每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征;根据所述每个第一行为特征对包含的两个行为特征之间的距离和所述每个第二行为特征对包含的两个行为特征之间的距离,通过损失函数监督训练,得到所述特征提取模型。

13.根据权利要求12所述的装置,其特征在于,所述获取模块还用于:基于多个第一视频,获取所述正常行为数据集合,所述多个第一视频为目标进行正常行为的视频;

基于多个第二视频,获取所述异常行为数据集合,所述多个第二视频为目标进行异常行为的视频。

14.根据权利要求13所述的装置,其特征在于,所述获取模块用于:对于所述多个第一视频中的每个第一视频,对所述第一视频中的目标进行检测和跟踪,获取预设时间段内所述目标的空间运动范围,所述空间运动范围为所述目标运动所覆盖的空间范围,所述预设时间段小于所述第一视频的时间段;

根据所述空间运动范围和所述第一视频,在所述预设时间段对应的第一视频序列中进行图像截取,得到所述第一视频的第一图像序列,所述第一视频序列包含所述第一视频的多帧视频图像,所述第一图像序列包含所述多帧视频图像中所述空间运动范围对应的区域;

将所述多个第一视频的第一图像序列作为所述正常行为数据集合。

15.根据权利要求13所述的装置,其特征在于,所述获取模块用于:对于所述多个第二视频中的每个第二视频,对所述第二视频中的目标进行检测和跟踪,获取预设时间段内所述目标的空间运动范围,所述空间运动范围为所述目标运动所覆盖的空间范围,所述预设时间段小于所述第二视频的时间段;

根据所述空间运动范围和所述第二视频,在所述预设时间段对应的第二视频序列中进行图像截取,得到所述第二视频的第二图像序列,所述第二视频序列包含所述第二视频的多帧视频图像,所述第二图像序列包含所述多帧视频图像中所述空间运动范围对应的区域;

将所述多个第二视频的第二图像序列作为所述异常行为数据集合。

16.根据权利要求12所述的装置,其特征在于,所述待检测的行为数据为多个行为数据,所述获取模块还用于根据所述多个行为数据各自的检测结果,确定所述多个行为数据中的异常行为数据;将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合中;执行所述特征提取模型的训练过程,获取更新的特征提取模型。

17.根据权利要求16所述的装置,其特征在于,所述获取模块用于获取所述多个行为数据中异常行为数据的人工确认信息;将所述人工确认信息指示的异常行为数据添加至所述异常行为数据集合中。

18.根据权利要求16所述的装置,其特征在于,所述获取模块还用于:获取多个视频;

对于所述多个视频中的每个视频,对所述视频中的目标进行检测和跟踪,获取预设时间段内所述目标的空间运动范围,所述空间运动范围为所述目标运动所覆盖的空间范围,所述预设时间段小于所述视频的时间段;

根据所述空间运动范围和所述视频,在所述预设时间段对应的视频序列中进行图像截取,得到所述视频的图像序列,所述视频序列包含所述视频的多帧视频图像,所述图像序列包含所述多帧视频图像中所述空间运动范围对应的区域;

将所述多个视频的图像序列作为所述多个行为数据。

19.根据权利要求18所述的装置,其特征在于,所述装置还包括:显示模块,用于对于所述多个行为数据中的异常行为数据,在播放所述异常行为数据所属视频的过程中,显示所述异常行为数据所属视频的图像序列。

20.根据权利要求12所述的装置,其特征在于,所述获取模块用于:当所述行为数据的行为特征与所述正常行为特征中心的距离大于所述距离阈值时,确定所述行为数据为异常行为数据;

当所述行为数据的行为特征与所述正常行为特征中心的距离小于或等于所述距离阈值时,确定所述行为数据为正常行为数据。

21.根据权利要求12所述的装置,其特征在于,所述获取模块还用于:获取多个正常行为数据;

对于所述多个正常行为数据中的每个正常行为数据,将所述正常行为数据输入所述特征提取模型,输出所述正常行为数据的行为特征;

根据所述多个正常行为数据的行为特征,获取所述正常行为特征中心。

22.根据权利要求21所述的装置,其特征在于,所述多个正常行为数据的行为特征为多个特征向量,所述获取模块用于对所述多个特征向量在每个维度计算平均值,将得到的特征向量作为所述正常行为特征中心。

23.一种计算机设备,其特征在于,包括处理器和存储器;所述存储器,用于存放至少一条指令;所述处理器,用于执行所述存储器上所存放的至少一条指令,实现权利要求1‑11任一项所述的方法步骤。