利索能及
我要发布
收藏
专利号: 2020112609478
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种行为检测方法,其特征在于,所述方法包括:

获取待检测视频,所述待检测视频包括多个待检测图像;

从所述多个待检测图像中选取同一目标对象的多个目标待检测图像,基于所述多个目标待检测图像获取所述目标对象的切片序列,所述切片序列包括基于所述目标对象的目标框位置从所述多个目标待检测图像中截取的子图像;

根据所述切片序列获取所述目标对象的多个行为特征;

针对每个行为特征,基于指定类型行为对应的多个类簇中心特征,确定所述行为特征与每个类簇中心特征的相似度;基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征;

基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为,或所述待检测视频不存在所述指定类型行为。

2.根据权利要求1所述的方法,其特征在于,

所述基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为,或所述待检测视频不存在所述指定类型行为,包括:若所述多个行为特征对应的目标类簇中心特征与所述多个类簇中心特征完全相同,且所述多个行为特征对应的目标类簇中心特征的顺序与所述多个类簇中心特征的顺序匹配,则确定所述待检测视频存在所述指定类型行为;

否则,确定所述待检测视频不存在所述指定类型行为;

其中,所述多个行为特征对应的目标类簇中心特征的顺序与所述多个行为特征的时间先后顺序匹配;所述指定类型行为包括多个子行为,子行为的数量与类簇中心特征的数量相同,所述多个子行为与所述多个类簇中心特征一一对应,所述多个类簇中心特征的顺序与所述多个子行为的发生顺序匹配。

3.根据权利要求1所述的方法,其特征在于,所述从所述多个待检测图像中选取同一目标对象的多个目标待检测图像,包括:对所述多个待检测图像中的特定目标进行目标检测,得到特定目标在多个候选待检测图像中的对象位置;候选待检测图像是所述多个待检测图像中存在特定目标的待检测图像,所述特定目标包括至少一个目标对象;

对所述多个候选待检测图像中的同一个目标对象进行目标跟踪,得到所述目标对象在多个目标待检测图像中的对象位置;目标待检测图像是所述多个候选待检测图像中存在所述目标对象的待检测图像。

4.根据权利要求3所述的方法,其特征在于,

所述基于所述多个目标待检测图像获取所述目标对象的切片序列,包括:基于所述目标对象在多个目标待检测图像中的对象位置,确定所述目标对象的目标框位置,所述目标框位置是所有对象位置的最大外接矩形;

基于所述目标框位置从所述多个目标待检测图像中截取多个子图像;

按照单位长度对所述多个子图像进行切片,得到至少一个切片序列;

其中,相邻两个切片序列之间的间隔为固定间隔值。

5.根据权利要求1所述的方法,其特征在于,基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征,包括:基于所述行为特征与每个类簇中心特征的相似度,确定最大相似度;

将所述最大相似度对应的类簇中心特征确定为所述目标类簇中心特征;

或者,确定所述最大相似度是否大于相似度阈值,若是,则将所述最大相似度对应的类簇中心特征确定为所述目标类簇中心特征。

6.根据权利要求1-5任一项所述的方法,其特征在于,

所述指定类型行为对应的多个类簇中心特征的获取方式,包括:

获取发生所述指定类型行为的多个标定样本图像;

从所述多个标定样本图像中选取同一样本对象的多个目标样本图像,基于所述多个目标样本图像获取所述样本对象的样本序列,所述样本序列包括基于所述样本对象的样本框位置从所述多个目标样本图像中截取的子图像;

根据所述样本序列获取所述样本对象的多个样本特征;

对所述多个样本特征进行聚类,得到多个类簇,每个类簇内包括至少一个样本特征;针对每个类簇,基于所述类簇内的样本特征确定所述类簇的类簇中心特征,以得到所述多个类簇分别对应的类簇中心特征。

7.根据权利要求6所述的方法,其特征在于,

针对所述类簇内的每个样本特征,均包括多个特征维度的特征值;

所述基于所述类簇内的样本特征确定所述类簇的类簇中心特征,包括:针对每个特征维度,基于所述类簇内的所有样本特征中的所述特征维度的特征值,确定所述特征维度的目标特征值;

基于所述多个特征维度的目标特征值确定所述类簇的类簇中心特征。

8.根据权利要求6所述的方法,其特征在于,

所述基于所述类簇内的样本特征确定所述类簇的类簇中心特征之后,还包括:从所述类簇内的所有样本特征中选取与所述类簇中心特征距离最近的样本特征,将选取的样本特征对应的样本序列确定为所述类簇的行为类簇样例;

所述基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为,或所述待检测视频不存在所述指定类型行为之后,还包括:若所述待检测视频存在所述指定类型行为,则显示存在所述指定类型行为的切片序列,并显示每个类簇的行为类簇样例;若所述待检测视频不存在所述指定类型行为,则显示存在所述指定类型行为的切片序列及不存在所述指定类型行为的切片序列,并显示每个类簇的行为类簇样例。

9.一种行为检测装置,其特征在于,所述装置包括:

第一获取模块,用于获取待检测视频,所述待检测视频包括多个待检测图像;从所述多个待检测图像中选取同一目标对象的多个目标待检测图像,基于所述多个目标待检测图像获取所述目标对象的切片序列,所述切片序列包括基于所述目标对象的目标框位置从所述多个目标待检测图像中截取的子图像;

第二获取模块,用于根据所述切片序列获取所述目标对象的多个行为特征;

确定模块,用于针对每个行为特征,基于指定类型行为对应的多个类簇中心特征,确定所述行为特征与每个类簇中心特征的相似度;基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征;基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为,或所述待检测视频不存在所述指定类型行为。

10.一种行为检测设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;

所述处理器用于执行机器可执行指令,以实现如下步骤:

获取待检测视频,所述待检测视频包括多个待检测图像;

从所述多个待检测图像中选取同一目标对象的多个目标待检测图像,基于所述多个目标待检测图像获取所述目标对象的切片序列,所述切片序列包括基于所述目标对象的目标框位置从所述多个目标待检测图像中截取的子图像;

根据所述切片序列获取所述目标对象的多个行为特征;

针对每个行为特征,基于指定类型行为对应的多个类簇中心特征,确定所述行为特征与每个类簇中心特征的相似度;基于所述行为特征与每个类簇中心特征的相似度从所述多个类簇中心特征中选取目标类簇中心特征;

基于所述多个行为特征对应的目标类簇中心特征确定所述待检测视频存在所述指定类型行为,或所述待检测视频不存在所述指定类型行为。