利索能及
我要发布
收藏
专利号: 201710131577X
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种检测视频中的动作的方法,包括:

获取视频中多个片段分别对应的动作度估值;

根据所述多个片段分别对应的动作度估值,生成所述视频的时序动作度序列;以及基于所述时序动作度序列,聚合得到所述视频中的动作预测时域区间。

2.如权利要求1所述的方法,其中,所述获取视频中多个片段分别对应的动作度估值包括:利用第一卷积神经网络计算所述视频中多个片段中的每个片段分别对应的第一动作度估值,所述第一动作度估值由所述片段中任意一帧图像得到;

利用第二卷积神经网络计算所述每个片段分别对应的第二动作度估值,所述第二动作度估值由所述片段的光流场图像得到,所述光流场图像由所述片段中任意多帧图像提取的光流场合并形成;以及根据所述每个片段分别对应的第一动作度估值及第二动作度估值,得到所述每个片段分别对应的动作度估值。

3.如权利要求2所述的方法,其中,所述根据所述每个片段分别对应的第一动作度估值及第二动作度估值,得到所述每个片段分别对应的动作度估值包括:将所述每个片段分别对应的第一动作度估值及第二动作度估值相加,得到所述每个片段分别对应的动作度估值。

4.如权利要求1所述的方法,其中,所述根据所述多个片段分别对应的动作度估值,生成所述视频的时序动作度序列包括:对所述多个片段分别对应的动作度估值进行归一化处理,并根据归一化处理后的各动作度估值,生成所述视频的时序动作度序列。

5.如权利要求1所述的方法,其中,所述基于所述时序动作度序列,聚合得到所述视频中的动作预测时域区间包括:获取所述时序动作度序列中的各前景片段,所述前景片段对应的动作度估值大于或等于动作度阈值;

基于容忍度阈值,将相邻的多个所述前景片段聚合为所述动作预测时域区间。

6.如权利要求5所述的方法,其中,所述容忍度阈值用于表征在所述动作预测时域区间中所述前景片段的比例。

7.如权利要求1所述的方法,所述方法还包括:根据所述动作预测时域区间中包含的片段,确定所述动作预测时域区间对应的动作类别。

8.如权利要求7所述的方法,其中,所述根据所述动作预测时域区间中包含的片段,确定所述动作预测时域区间对应的动作类别包括:分别基于每个动作类别,获取所述动作预测时域区间中各片段的得分,并将所述各片段的得分合并,得到当前动作类别的总得分;以及根据所述每个动作类别的总得分,确定所述动作预测时域区间的目标动作类别。

9.一种检测视频中的动作的装置,包括:

获取模块,用于获取视频中多个片段分别对应的动作度估值;

生成模块,用于根据所述多个片段分别对应的动作度估值,生成所述视频的时序动作度序列;以及聚合模块,用于基于所述时序动作度序列,聚合得到所述视频中的动作预测时域区间。

10.一种检测视频中的动作的系统,包括:

存储器,用于存储可执行指令;以及

处理器,用于与所述存储器通信以执行所述可执行指令从而完成以下操作:获取视频中多个片段分别对应的动作度估值;

根据所述多个片段分别对应的动作度估值,生成所述视频的时序动作度序列;以及基于所述时序动作度序列,聚合得到所述视频中的动作预测时域区间。