利索能及
我要发布
收藏
专利号: 2023111627082
申请人: 深圳科腾飞宇科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-12-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视频处理的对象分析方法,其特征在于,包括:

对于待处理对象监控视频,分离出所述待处理对象监控视频中的待处理对象监控视频帧序列和待处理对象监控音频帧序列,所述待处理对象监控视频基于对待处理对象进行视频监控以形成;

将所述待处理对象监控视频帧序列进行关键信息挖掘操作,以输出对应的原始视频特征表示;

将所述待处理对象监控音频帧序列对应的原始补充特征表示和所述原始视频特征表示进行多阶段的特征聚合操作,以获得多阶段的特征聚合操作各自形成的聚合视频特征表示;

对形成的多个聚合视频特征表示进行特征合并操作,形成合并视频特征表示,以及,依据所述原始视频特征表示和所述合并视频特征表示,分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列;

将所述重要对象监控视频帧子序列作为所述待处理对象的代表视频;

所述将所述待处理对象监控音频帧序列对应的原始补充特征表示和所述原始视频特征表示进行多阶段的特征聚合操作,以获得多阶段的特征聚合操作各自形成的聚合视频特征表示的步骤,包括:对于第一阶段的特征聚合操作,包括:

将所述待处理对象监控音频帧序列进行关键信息挖掘操作,以输出所述待处理对象监控音频帧序列对应的原始补充特征表示;

在所述原始视频特征表示中增加所述原始补充特征表示,以形成所述原始视频特征表示对应的中间特征表示;

对所述中间特征表示和所述原始补充特征表示进行聚合操作,以及,将聚合形成的特征表示进行关键信息挖掘操作,以形成第一阶段的特征聚合操作对应的聚合视频特征表示;

对于第一阶段的特征聚合操作外的每一个阶段的特征聚合操作,包括:

将所述待处理对象监控音频帧序列进行关键信息挖掘操作,以输出所述待处理对象监控音频帧序列对应的原始补充特征表示;

在上一个阶段的特征聚合操作对应的聚合视频特征表示中增加所述原始补充特征表示,以形成对应的中间特征表示;

对所述中间特征表示和上一个阶段的特征聚合操作对应的聚合视频特征表示进行聚合操作,以及,将聚合形成的特征表示进行关键信息挖掘操作,以形成当前阶段的特征聚合操作对应的聚合视频特征表示;

所述对形成的多个聚合视频特征表示进行特征合并操作,形成合并视频特征表示,以及,依据所述原始视频特征表示和所述合并视频特征表示,分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列的步骤,包括:对于所述多个聚合视频特征表示中的每一个聚合视频特征表示:

抽取出一个聚合视频特征表示的整体分布环境特征表示,以及,基于所述整体分布环境特征表示和所述一个聚合视频特征表示,确定出对应的一个整体视频特征表示;

对确定出的多个整体视频特征表示进行特征表示的大小更新操作,以形成大小一致的多个整体视频特征表示,以及,将大小一致的多个整体视频特征表示进行聚合操作,以形成对应的合并视频特征表示;

将所述合并视频特征表示进行空洞滤波操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示;

对所述空洞滤波视频特征表示和所述原始视频特征表示进行聚合操作,以形成对应的深度聚合视频特征表示,以及,将所述深度聚合视频特征表示进行滤波操作和插值操作,以形成所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列;

其中,所述将所述合并视频特征表示进行空洞滤波操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示的步骤,包括:对于配置的多个空洞参数中的每一个空洞参数,基于该空洞参数对所述合并视频特征表示进行空洞滤波操作,以形成该空洞参数对应的局部空洞滤波视频特征表示;

对所述多个空洞参数对应的多个局部空洞滤波视频特征表示进行聚合操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示。

2.如权利要求1所述的基于视频处理的对象分析方法,其特征在于,所述将所述待处理对象监控音频帧序列进行关键信息挖掘操作,以输出所述待处理对象监控音频帧序列对应的原始补充特征表示的步骤,包括:将所述待处理对象监控音频帧序列进行特征空间映射操作,以形成对应的特征空间映射特征表示,以及,对所述特征空间映射特征表示进行特征表示参数的行列分布调整操作,以形成第一调整特征表示;

将所述第一调整特征表示进行滤波操作,以形成滤波特征表示;

对所述滤波特征表示进行特征表示参数的行列分布调整操作,以形成对应的第二调整特征表示;

将所述第二调整特征表示进行滤波操作,以形成所述待处理对象监控音频帧序列对应的原始补充特征表示。

3.如权利要求1所述的基于视频处理的对象分析方法,其特征在于,所述在上一个阶段的特征聚合操作对应的聚合视频特征表示中增加所述原始补充特征表示,以形成对应的中间特征表示的步骤,包括:将所述上一个阶段的特征聚合操作对应的聚合视频特征表示进行特征表示参数的行列分布调整操作,以形成调整聚合视频特征表示;

对所述调整聚合视频特征表示和所述原始补充特征表示进行聚合操作,以形成对应的优化补充特征表示;

对所述调整聚合视频特征表示和所述优化补充特征表示进行聚合操作,以形成对应的中间特征表示。

4.如权利要求3所述的基于视频处理的对象分析方法,其特征在于,所述对所述调整聚合视频特征表示和所述原始补充特征表示进行聚合操作,以形成对应的优化补充特征表示的步骤,包括:对所述调整聚合视频特征表示和所述原始补充特征表示进行拼接操作,以及,将进行拼接操作形成的特征表示进行线性整合操作,以形成对应的线性整合第一特征表示;

将所述线性整合第一特征表示进行参数分布调整和滤波操作,以形成对应的优化线性整合第一特征表示;

对所述原始补充特征表示和所述优化线性整合第一特征表示进行叠加操作,以及,将进行叠加操作形成的特征表示进行滤波操作,以形成对应的优化补充特征表示。

5.如权利要求3所述的基于视频处理的对象分析方法,其特征在于,所述对所述调整聚合视频特征表示和所述优化补充特征表示进行聚合操作,以形成对应的中间特征表示的步骤,包括:对所述调整聚合视频特征表示和所述优化补充特征表示进行拼接操作,以及,将进行拼接操作形成的特征表示进行线性整合操作,以形成对应的线性整合第二特征表示;

将所述线性整合第二特征表示进行参数分布调整和滤波操作,以形成对应的优化线性整合第二特征表示;

对所述优化补充特征表示和所述优化线性整合第二特征表示进行叠加操作,以及,将进行叠加操作形成的特征表示进行滤波操作,以形成对应的中间特征表示。

6.一种基于视频处理的对象分析系统,其特征在于,包括:

监控视频分离模块,用于对于待处理对象监控视频,分离出所述待处理对象监控视频中的待处理对象监控视频帧序列和待处理对象监控音频帧序列,所述待处理对象监控视频基于对待处理对象进行视频监控以形成;

关键信息挖掘模块,用于将所述待处理对象监控视频帧序列进行关键信息挖掘操作,以输出对应的原始视频特征表示;

特征聚合模块,用于将所述待处理对象监控音频帧序列对应的原始补充特征表示和所述原始视频特征表示进行多阶段的特征聚合操作,以获得多阶段的特征聚合操作各自形成的聚合视频特征表示;

重要视频帧提取模块,用于对形成的多个聚合视频特征表示进行特征合并操作,形成合并视频特征表示,以及,依据所述原始视频特征表示和所述合并视频特征表示,分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列;

对象代表视频确定模块,用于将所述重要对象监控视频帧子序列作为所述待处理对象的代表视频;

所述特征聚合模块具体用于:

对于第一阶段的特征聚合操作,包括:

将所述待处理对象监控音频帧序列进行关键信息挖掘操作,以输出所述待处理对象监控音频帧序列对应的原始补充特征表示;

在所述原始视频特征表示中增加所述原始补充特征表示,以形成所述原始视频特征表示对应的中间特征表示;

对所述中间特征表示和所述原始补充特征表示进行聚合操作,以及,将聚合形成的特征表示进行关键信息挖掘操作,以形成第一阶段的特征聚合操作对应的聚合视频特征表示;

对于第一阶段的特征聚合操作外的每一个阶段的特征聚合操作,包括:

将所述待处理对象监控音频帧序列进行关键信息挖掘操作,以输出所述待处理对象监控音频帧序列对应的原始补充特征表示;

在上一个阶段的特征聚合操作对应的聚合视频特征表示中增加所述原始补充特征表示,以形成对应的中间特征表示;

对所述中间特征表示和上一个阶段的特征聚合操作对应的聚合视频特征表示进行聚合操作,以及,将聚合形成的特征表示进行关键信息挖掘操作,以形成当前阶段的特征聚合操作对应的聚合视频特征表示;

所述对形成的多个聚合视频特征表示进行特征合并操作,形成合并视频特征表示,以及,依据所述原始视频特征表示和所述合并视频特征表示,分析出所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列,包括:对于所述多个聚合视频特征表示中的每一个聚合视频特征表示:

抽取出一个聚合视频特征表示的整体分布环境特征表示,以及,基于所述整体分布环境特征表示和所述一个聚合视频特征表示,确定出对应的一个整体视频特征表示;

对确定出的多个整体视频特征表示进行特征表示的大小更新操作,以形成大小一致的多个整体视频特征表示,以及,将大小一致的多个整体视频特征表示进行聚合操作,以形成对应的合并视频特征表示;

将所述合并视频特征表示进行空洞滤波操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示;

对所述空洞滤波视频特征表示和所述原始视频特征表示进行聚合操作,以形成对应的深度聚合视频特征表示,以及,将所述深度聚合视频特征表示进行滤波操作和插值操作,以形成所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列;

其中,所述将所述合并视频特征表示进行空洞滤波操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示,包括:对于配置的多个空洞参数中的每一个空洞参数,基于该空洞参数对所述合并视频特征表示进行空洞滤波操作,以形成该空洞参数对应的局部空洞滤波视频特征表示;

对所述多个空洞参数对应的多个局部空洞滤波视频特征表示进行聚合操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示。

7.如权利要求6所述的基于视频处理的对象分析系统,其特征在于,所述重要视频帧提取模块具体用于:对于所述多个聚合视频特征表示中的每一个聚合视频特征表示:

抽取出一个聚合视频特征表示的整体分布环境特征表示,以及,基于所述整体分布环境特征表示和所述一个聚合视频特征表示,确定出对应的一个整体视频特征表示;

对确定出的多个整体视频特征表示进行特征表示的大小更新操作,以形成大小一致的多个整体视频特征表示,以及,将大小一致的多个整体视频特征表示进行聚合操作,以形成对应的合并视频特征表示;

将所述合并视频特征表示进行空洞滤波操作,以形成所述合并视频特征表示对应的空洞滤波视频特征表示;

对所述空洞滤波视频特征表示和所述原始视频特征表示进行聚合操作,以形成对应的深度聚合视频特征表示,以及,将所述深度聚合视频特征表示进行滤波操作和插值操作,以形成所述待处理对象监控视频帧序列包括的重要对象监控视频帧子序列。