利索能及
我要发布
收藏
专利号: 2024108996762
申请人: 漳州汉文信息科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-02-20
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于智能数据处理的信息实时交互系统,其特征在于,包括:停车场监控视频获取模块,用于获取部署于停车场内的多个摄像头采集的监控视频;

视频特征编码模块,用于对所述部署于停车场内的多个摄像头采集的监控视频进行监控视频特征编码以得到起始多视角对象特征图和进展多视角对象特征图;

停车场异常情况结果生成模块,用于基于所述起始多视角对象特征图和所述进展多视角对象特征图,判断停车场内监控对象是否存在异常情况;

其中,所述视频特征编码模块,包括:

视频预处理单元,用于对所述部署于停车场内的多个摄像头采集的监控视频进行关键帧提取以得到多个监控视频的起始帧和多个监控视频的进展帧;

关键帧特征提取单元,用于对所述多个监控视频的起始帧和所述多个监控视频的进展帧分别进行特征提取以得到所述起始多视角对象特征图和所述进展多视角对象特征图;

其中,所述关键帧特征提取单元,包括:

候选框特征编码子单元,用于将所述多个监控视频的起始帧和所述多个监控视频的进展帧通过候选框特征提取器以得到多个具有候选框的起始特征图和多个具有候选框的进展特征图;

跟踪对象特征编码子单元,用于将所述多个具有候选框的起始特征图和所述多个具有候选框的进展特征图通过基于三维卷积神经网络的跟踪对象特征提取器以得到所述起始多视角对象特征图和所述进展多视角对象特征图;

其中,所述跟踪对象特征编码子单元,包括:

将所述多个具有候选框的起始特征图和所述多个具有候选框的进展特征图分别按样本维度进行排列为以获得起始输入张量和进展输入张量;

将所述起始输入张量和所述进展输入张量分别通过基于三维卷积神经网络的跟踪对象特征提取器以得到所述起始多视角对象特征图和所述进展多视角对象特征图;

其中,所述停车场异常情况结果生成模块,包括:

停车场特征融合单元,用于将所述起始多视角对象特征图和所述进展多视角对象特征图通过基于空间注意力机制的跟踪对象特征提取器以得到对象跟踪特征向量;

优化单元,用于对所述对象跟踪特征向量进行基于感知性反馈的特征依赖性调整以得到优化对象跟踪特征向量;

异常判断生成单元,用于将所述优化对象跟踪特征向量通过分类器以得到分类结果,所述分类结果用于判断停车场内监控对象是否存在异常情况;

其中,所述优化单元,包括:

将所述对象跟踪特征向量与分类器的分类权重矩阵进行相乘以得到中间特征向量;

将所述对象跟踪特征向量与所述中间特征向量进行拼接以得到拼接特征向量;

将第一权重矩阵乘以拼接特征向量后再加上第一偏置向量以得到编码拼接特征向量;

将所述编码拼接特征向量通过sigmoid函数进行激活以得到激活值;

将一减去激活值后再与中间特征向量进行按位置相乘以得到加权中间特征向量;

将所述激活值与对象跟踪特征向量进行按位置相乘以得到加权对象跟踪特征向量;

将所述中间特征向量与所述对象跟踪特征向量进行按位置相减以得到差异特征向量;

将所述加权中间特征向量与所述加权对象跟踪特征向量进行相加后再除以所述差异特征向量以得到第二中间特征向量;

将所述第二中间特征向量通过ReLU函数以得到优化对象跟踪特征向量。

2.根据权利要求1所述的基于智能数据处理的信息实时交互系统,其特征在于,所述候选框特征提取器为CenterNet、ExtremeNet或RepPoints。

3.根据权利要求2所述的基于智能数据处理的信息实时交互系统,其特征在于,所述异常判断生成单元,包括:使用所述分类器的全连接层对所述优化对象跟踪特征向量进行全连接编码以得到全连接编码特征向量;

将所述全连接编码特征向量通过所述分类器的Softmax分类函数以得到所述优化对象跟踪特征向量归属于各个分类标签的概率值,所述分类标签包括用于表示停车场内监控对象存在异常情况和停车场内监控对象不存在异常情况;

将所述概率值中最大者对应的分类标签确定为所述分类结果。

4.一种基于智能数据处理的信息实时交互方法,使用权利要求1所述的基于智能数据处理的信息实时交互系统,其特征在于,包括:获取部署于停车场内的多个摄像头采集的监控视频;

对所述部署于停车场内的多个摄像头采集的监控视频进行监控视频特征编码以得到起始多视角对象特征图和进展多视角对象特征图;

基于所述起始多视角对象特征图和所述进展多视角对象特征图,判断停车场内监控对象是否存在异常情况。