利索能及
我要发布
收藏
专利号: 2019108891986
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种事件信息获取方法,其特征在于,所述方法包括:获取待检测视频;

确定所述待检测视频中每一帧图像中所有目标以及所有目标的类型;

根据每一帧图像中所有目标的类型,按照预设的动作执行者的类型、受动目标的类型和交互工具的类型,确定每一帧图像对应的多个三元组信息,所述三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标;

从所述待检测视频中截取与每一三元组信息对应的至少一个连续图像序列;

将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型,得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息,所述行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型,所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:确定所述待检测视频中每一帧图像中所有目标的位置;

所述根据每一帧图像中所有目标的类型,按照预设的动作执行者的类型、受动目标的类型和交互工具的类型的步骤包括:根据每一帧图像中所有目标的类型,按照预设的动作执行者的类型、受动目标的类型和交互工具的类型,确定每一帧图像对应的多个疑似三元组信息,所述疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标;

针对每一帧图像对应的每一疑似三元组信息,根据该疑似三元组信息包括的各个目标的位置,确定该疑似三元组信息包括的每两个目标之间的距离值;

若确定的距离值均小于预设距离阈值,则将该疑似三元组信息作为该帧图像对应的三元组信息。

3.根据权利要求1所述的方法,其特征在于,所述事件信息包括行为事件类型、行为事件发生的时间段以及所述事件信息对应的三元组信息中的一种或多种。

4.根据权利要求3所述的方法,其特征在于,所述事件信息包括行为事件类型以及行为事件发生的时间段;

在得到每一三元组信息对应的每一事件信息之后,还包括:针对每一三元组信息,判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息;

若存在第一事件信息,则合并时间段间隔小于预设时间阈值的多个第一事件信息,得到合并后的事件信息作为该三元组信息对应的事件信息,所述合并后的事件信息包括的时间段的起始时间为所述多个第一事件信息包括时间段中的最早时间,所述合并后的事件信息包括的时间段的结束时间为所述多个第一事件信息包括时间段中的最晚时间。

5.根据权利要求1-4任一项所述的方法,其特征在于,在得到每一三元组信息对应的每一事件信息之后,还包括:

根据每一三元组信息对应的每一事件信息,生成每一事件信息对应的事件线索。

6.根据权利要求5所述的方法,其特征在于,所述根据每一三元组信息对应的每一事件信息,生成每一事件信息对应的事件线索的步骤,包括:针对每一三元组信息对应的每一事件信息,从该三元组信息对应的连续图像序列中,截取在该事件信息包括的时间段内的连续图像序列,作为该事件信息对应的目标图像序列;

由该事件信息对应的目标图像序列组成视频,作为该事件信息对应的事件线索。

7.根据权利要求1所述的方法,其特征在于,所述行为事件检测模型通过以下步骤训练获得:

获取预设训练集,所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息;

将每一样本视频分别输入预设神经网络,得到每一样本视频中发生的行为事件的预测事件信息;

根据每一样本视频对应的预测事件信息和标注事件信息,确定行为事件检测的损失值;

根据所述损失值,确定所述预设神经网络是否收敛;

若是,则将当前的预设神经网络确定为行为事件检测模型。

8.一种事件信息获取装置,其特征在于,所述装置包括:获取单元,用于获取待检测视频;

第一确定单元,用于确定所述待检测视频中每一帧图像中所有目标以及所有目标的类型;

第二确定单元,用于根据每一帧图像中所有目标的类型,按照预设的动作执行者的类型、受动目标的类型和交互工具的类型,确定每一帧图像对应的多个三元组信息,所述三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标;

截取单元,用于从所述待检测视频中截取与每一三元组信息对应的至少一个连续图像序列;

检测单元,用于将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型,得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息,所述行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型,所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。

9.根据权利要求8所述的装置,其特征在于,所述第一确定单元,还用于确定所述待检测视频中每一帧图像中所有目标的位置;

所述第二确定单元,具体用于:

根据每一帧图像中所有目标的类型,按照预设的动作执行者的类型、受动目标的类型和交互工具的类型,确定每一帧图像对应的多个疑似三元组信息,所述疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标;

针对每一帧图像对应的每一疑似三元组信息,根据该疑似三元组信息包括的各个目标的位置,确定该疑似三元组信息包括的每两个目标之间的距离值;

若确定的距离值均小于预设距离阈值,则将该疑似三元组信息作为该帧图像对应的三元组信息。

10.根据权利要求8所述的装置,其特征在于,所述事件信息包括行为事件类型、行为事件发生的时间段以及所述事件信息对应的三元组信息中的一种或多种。

11.根据权利要求10所述的装置,其特征在于,所述事件信息包括行为事件类型以及行为事件发生的时间段;所述装置还包括判断单元和合并单元;

所述判断单元,用于在得到每一三元组信息对应的每一事件信息之后,针对每一三元组信息,判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息;

所述合并单元,用于若存在第一事件信息,则合并时间段间隔小于预设时间阈值的多个第一事件信息,得到合并后的事件信息作为该三元组信息对应的事件信息,所述合并后的事件信息包括的时间段的起始时间为所述多个第一事件信息包括时间段中的最早时间,所述合并后的事件信息包括的时间段的结束时间为所述多个第一事件信息包括时间段中的最晚时间。

12.根据权利要求8-11任一项所述的装置,其特征在于,所述装置还包括:生成单元,用于在得到每一三元组信息对应的每一事件信息之后,根据每一三元组信息对应的每一事件信息,生成每一事件信息对应的事件线索。

13.根据权利要求12所述的装置,其特征在于,所述生成单元,具体用于:针对每一三元组信息对应的每一事件信息,从该三元组信息对应的连续图像序列中,截取在该事件信息包括的时间段内的连续图像序列,作为该事件信息对应的目标图像序列;

由该事件信息对应的目标图像序列组成视频,作为该事件信息对应的事件线索。

14.根据权利要求8所述的装置,其特征在于,所述装置还包括:训练单元,用于训练获得所述行为事件检测模型,包括:获取子单元,用于获取预设训练集,所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息;

检测子单元,用于将每一样本视频分别输入预设神经网络,得到每一样本视频中发生的行为事件的预测事件信息;

第一确定子单元,用于根据每一样本视频对应的预测事件信息和标注事件信息,确定行为事件检测的损失值;

第二确定子单元,用于根据所述损失值,确定所述预设神经网络是否收敛;

第三确定子单元,用于若确定所述预设神经网络收敛,则将当前的预设神经网络确定为行为事件检测模型。

15.一种电子设备,其特征在于,包括处理器和存储器;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。

16.一种机器可读存储介质,其特征在于,存储有能够被所述处理器执行的机器可执行指令,所述机器可执行指令促使所述处理器:实现权利要求1-7任一所述的方法步骤。