1.一种基于视频的行为预测方法,其特征在于,所述方法包括:
针对包含监控目标的视频帧序列中的每个视频帧,确定包含所述监控目标的图像区域;
如果包含所述监控目标的图像区域满足预设行为判定条件,则确定所述监控目标实施第一行为,并获取该图像区域所属目标视频帧的第一时间戳、所述目标视频帧中所述监控目标的第一空间位置,得到所述第一行为对应的第一时间戳、所述第一行为对应的第一空间位置;
在基于所述视频帧序列确定出的第一行为中,根据所述第一行为对应的第一时间戳、预设的时间间隔阈值,确定发生时间间隔小于所述时间间隔阈值的第二行为;
生成包含所述第二行为对应的第二时间戳、所述第二行为对应的第二空间位置的行为列表;
通过预设的行为识别预测算法、所述行为列表、所述视频帧序列,确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别,所述第二行为后发生的预测行为所属的行为类别通过如下方式确定得到:在预先设置的关联行为的排列顺序中查找第二行为,将所述排列顺序中排列在第二行为后的行为作为预测行为,确定所述预测行为所属的行为类别。
2.根据权利要求1所述的方法,其特征在于,所述获取该图像区域所属目标视频帧的第一时间戳、所述目标视频帧中所述监控目标的第一空间位置,得到所述第一行为对应的第一时间戳、所述第一行为对应的第一空间位置包括:确定该图像区域所属目标视频帧的第一时间戳;
针对每个目标视频帧,确定所述监控目标在该目标视频帧中的初始空间位置;
根据各目标视频帧对应的初始空间位置,确定所述监控目标的第一空间位置;
所述通过预设的行为识别预测算法、所述行为列表、所述视频帧序列,确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别包括:在所述视频帧序列中,获取与所述第二时间戳、所述第二空间位置对应的视频数据,得到行为时空立体图像序列;
通过预设的行为预测算法、所述行为列表、所述行为时空立体图像序列,确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别。
3.根据权利要求2所述的方法,其特征在于,所述生成包含所述第二行为对应的第二时间戳、所述第二行为对应的第二空间位置的行为列表之后,还包括:在目标数据模态的视频帧序列中,获取与所述第二时间戳、所述第二空间位置对应的视频数据,得到目标数据模态的行为时空立体图像序列,其中,所述目标数据模态包括红绿蓝RGB模态、光流模态、深度信息模态、稀疏关键点模态、稠密关键点模态、红外图像模态中的至少一种;
所述通过预设的行为识别预测算法、所述行为列表、所述视频帧序列,确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别包括:通过预设的行为识别预测算法、所述目标数据模态的行为时空立体图像序列,确定所述目标数据模态对应的所述第二行为所属的行为类别、以及所述第二行为后发生的预测行为所属的行为类别。
4.根据权利要求1所述的方法,其特征在于,所述确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别之后,还包括:根据所述第二行为的预设持续时间、所述第二行为对应的第二时间戳,确定所述预测行为的发生时间;
根据所述第二行为的第二空间位置与预设的空间位置变化规则,确定所述预测行为的预测空间位置;
提示所述预测行为所属的行为类别、所述预测行为的发生时间、所述预测空间位置。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
如果所述第二行为为预设的感兴趣行为,则针对所述行为列表包含的各第二行为,获取该第二行为对应的展示视频帧,所述展示视频帧为突出显示有所述监控目标的目标视频帧;
所述提示所述预测行为所属的行为类别、所述预测行为的发生时间、所述预测空间位置包括:根据所述预测空间位置、所述第二行为对应的目标视频帧,生成所述预测行为的展示视频帧;
在预设的显示页面中,按照所述第二行为的发生时间的先后顺序,依次显示各第二行为对应的展示视频帧,在所述各第二行为对应的展示视频帧后,显示所述预测行为的展示视频帧及所述预测行为的发生时间。
6.一种基于视频的行为预测装置,其特征在于,所述装置包括:
第一确定模块,用于针对包含监控目标的视频帧序列中的每个视频帧,确定包含所述监控目标的图像区域;
第一获取模块,用于当包含所述监控目标的图像区域满足预设行为判定条件时,确定所述监控目标实施第一行为,并获取该图像区域所属目标视频帧的第一时间戳、所述目标视频帧中所述监控目标的第一空间位置,得到所述第一行为对应的第一时间戳、所述第一行为对应的第一空间位置;
第二确定模块,用于在基于所述视频帧序列确定出的第一行为中,根据所述第一行为对应的第一时间戳、预设的时间间隔阈值,确定发生时间间隔小于所述时间间隔阈值的第二行为;
生成模块,用于生成包含所述第二行为对应的第二时间戳、所述第二行为对应的第二空间位置的行为列表;
行为识别与预测模块,用于通过预设的行为识别预测算法、所述行为列表、所述视频帧序列,确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别,具体用于:在预先设置的关联行为的排列顺序中查找第二行为,将所述排列顺序中排列在第二行为后的行为作为预测行为,确定所述预测行为所属的行为类别。
7.根据权利要求6所述的装置,其特征在于,所述获取模块包括:
第一确定子模块,用于确定该图像区域所属目标视频帧的第一时间戳;
第二确定子模块,用于针对每个目标视频帧,确定所述监控目标在该目标视频帧中的初始空间位置;
第三确定子模块,用于根据各目标视频帧对应的初始空间位置,确定所述监控目标的第一空间位置;
所述行为识别与预测模块包括:
获取子模块,用于在所述视频帧序列中,获取与所述第二时间戳、所述第二空间位置对应的视频数据,得到行为时空立体图像序列;
第一行为识别与预测子模块,用于通过预设的行为预测算法、所述行为列表、所述行为时空立体图像序列,确定所述第二行为所属的行为类别,以及所述第二行为后发生的预测行为所属的行为类别。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于在目标数据模态的视频帧序列中,获取与所述第二时间戳、所述第二空间位置对应的视频数据,得到目标数据模态的行为时空立体图像序列,其中,所述目标数据模态包括红绿蓝RGB模态、光流模态、深度信息模态、稀疏关键点模态、稠密关键点模态、红外图像模态中的至少一种;
所述行为识别与预测模块包括:
第二行为识别与预测子模块,用于通过预设的行为识别预测算法、所述目标数据模态的行为时空立体图像序列,确定所述目标数据模态对应的所述第二行为所属的行为类别、以及所述第二行为后发生的预测行为所属的行为类别。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于根据所述第二行为的预设持续时间、所述第二行为对应的第二时间戳,确定所述预测行为的发生时间;
第四确定模块,用于根据所述第二行为的第二空间位置与预设的空间位置变化规则,确定所述预测行为的预测空间位置;
提示模块,用于提示所述预测行为所属的行为类别、所述预测行为的发生时间、所述预测空间位置。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于当所述第二行为为预设的感兴趣行为时,针对所述行为列表包含的各第二行为,获取该第二行为对应的展示视频帧,所述展示视频帧为突出显示有所述监控目标的目标视频帧;
所述提示模块包括:
生成子模块,用于根据所述预测空间位置、所述第二行为对应的目标视频帧,生成所述预测行为的展示视频帧;
显示子模块,用于在预设的显示页面中,按照所述第二行为的发生时间的先后顺序,依次显示各第二行为对应的展示视频帧,在所述各第二行为对应的展示视频帧后,显示所述预测行为的展示视频帧及所述预测行为的发生时间。
11.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1‑5任一所述的方法步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑5任一所述的方法步骤。