利索能及
我要发布
收藏
专利号: 2022105054549
申请人: 南京晓庄学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于智慧社区管理的视频监控方法,其特征在于,所述方法包括:对智慧社区进行区域划分,得到至少一个区域空间;

针对每一区域空间,设置视频摄像设备、音频摄像设备和多个电子闸机设备,所述视频摄像设备和所述音频摄像设备用于对所述区域空间中的目标对象进行监控,以得到监控结果;

根据监控结果,控制所述多个电子闸机设备中每一电子闸机设备的开闭,实现所述智慧社区中各区域空间中目标对象的数量均衡;

其中,针对每一区域空间,所述方法还包括:

获取所述摄像设备拍摄的至少一路视频数据,以及所述音频摄像设备录制的至少一路音频数据;

对所述至少一路视频数据和所述至少一路音频数据进行多维特征提取,得到至少四类特征信息,所述至少四类特征信息包括视频全局特征信息、视频局部特征信息、音频节奏特征信息以及音频噪声特征信息;

对所述至少四类特征信息进行基于融合的对象丰满度预测,得到所述监控结果,所述监控结果表征所述区域空间中目标对象的量化值,所述目标对象表征在所述区域空间中的虚构活体,所述虚构活体应用于智慧社区管理,所述虚构活体的数量除以区域空间的面积得到所述对象丰满度;

其中,所述对所述至少一路视频数据和所述至少一路音频数据进行多维特征提取,得到至少四类特征信息,包括:对所述至少一路视频数据进行全局特征信息提取和局部特征信息提取,得到第一全局特征图和第一局部特征图;

对所述第一全局特征图和所述第一局部特征图进行关键位置搜索,得到所述第一全局特征图中的关键位置集合和所述第一局部特征图中的关键位置集合,所述关键位置被认为是包含的特征的重要程度小于预设阈值的位置;

基于所述第一全局特征图与所述第一全局特征图中的关键位置集合的差集,得到第二全局特征图;

基于所述第一局部特征图与所述第一局部特征图中的关键位置集合的差集,得到第二局部特征图;

对所述第二全局特征图和所述第二局部特征图分别对应进行深度全局特征信息提取和深度局部特征信息提取,得到第三全局特征图和第三局部特征图;

融合所述第一全局特征图和所述第三全局特征图,得到所述视频全局特征信息;

融合所述第一局部特征图和所述第三局部特征图,得到所述视频局部特征信息。

2.根据权利要求1所述的方法,其特征在于,所述对所述至少一路视频数据和所述至少一路音频数据进行多维特征提取,得到至少四类特征信息,包括:对所述至少一路音频数据进行音频节奏信息提取和音频噪声信息提取,得到第一节奏图和第一噪声图;

对所述第一节奏图和所述第一噪声图进行关键位置搜索,得到所述第一节奏图中的关键位置集合和所述第一噪声图中的关键位置集合,所述关键位置被认为是包含的特征的重要程度小于预设阈值的位置;

基于所述第一节奏图与所述第一节奏图中的关键位置集合的差集,得到第二节奏图;

基于所述第一噪声图与所述第一噪声图中的关键位置集合的差集,得到第二噪声图;

对所述第二节奏图和所述第二噪声图分别对应进行深度节奏信息提取和深度噪声信息提取,得到第三节奏图和第三噪声图;

融合所述第一节奏图和所述第三噪声图,得到所述音频节奏特征信息;

融合所述第一节奏图和所述第三噪声图,得到所述音频噪声特征信息。

3.根据权利要求2所述的方法,其特征在于,所述对所述至少四类特征信息进行基于融合的对象丰满度预测,得到所述监控结果,包括:对所述视频全局特征信息和所述视频局部特征信息进行视频跨空间融合,得到视频融合信息;

对所述音频节奏特征信息以及所述音频噪声特征信息进行音频跨空间融合,得到音频融合信息;

对所述视频融合信息和所述音频融合信息进行加权跨空间融合,得到媒体融合信息;

对所述媒体融合信息进行对象丰满度映射,得到所述监控结果。

4.根据权利要求1所述的方法,其特征在于,所述对所述第一全局特征图和所述第一局部特征图进行关键位置搜索,得到所述第一全局特征图中的关键位置集合和所述第一局部特征图中的关键位置集合,包括对所述第一全局特征图进行关键位置搜索,所述对所述第一全局特征图进行关键位置搜索包括:对所述第一全局特征图进行切割,得到图像矩阵,所述图像矩阵中每一元素包括所述第一全局特征图中至少9个像素位置;

针对所述图像矩阵中的每一元素,对所述元素中的各像素位置对应的特征信息依次进行基于通道的池化和预设的spatial池化,得到所述元素对应的第一指示信息;并且,对所述图像矩阵中除去所述元素之外其他元素中的特征信息进行全量融合,基于融合结果进行视频推理还原,根据推理还原处理结果得到所述元素对应的第二指示信息;

根据所述第一指示信息和所述第二指示信息,得到所述元素对应的关键度;

将关键度大于预设阈值的元素所覆盖的位置,均确定为所述关键位置。

5.根据权利要求1所述的方法,其特征在于,所述所述根据监控结果,控制所述多个电子闸机设备中每一电子闸机设备的开闭,包括:响应于所述监控结果指示所述量化值大于第一预设数量阈值,并且所述多个电子闸机设备不是全部开启的情况,将正在处于关闭状态的至少一个闸机打开;

响应于所述监控结果指示所述量化值小于第二预设数量阈值,并且所述多个电子闸机设备不是全部关闭的情况,将正在处于打开状态的至少一个闸机关闭。

6.一种用于智慧社区管理的视频监控装置,其特征在于,所述装置包括:区域划分模块,用于对智慧社区进行区域划分,得到至少一个区域空间;

监控模块,用于针对每一区域空间,设置视频摄像设备、音频摄像设备和多个电子闸机设备,所述视频摄像设备和所述音频摄像设备用于对所述区域空间中的目标对象进行监控,以得到监控结果;

控制模块,用于根据监控结果,控制所述多个电子闸机设备中每一电子闸机设备的开闭,实现所述智慧社区中各区域空间中目标对象的数量均衡;

其中,针对每一区域空间,所述装置还用于:

获取所述摄像设备拍摄的至少一路视频数据,以及所述音频摄像设备录制的至少一路音频数据;

对所述至少一路视频数据和所述至少一路音频数据进行多维特征提取,得到至少四类特征信息,所述至少四类特征信息包括视频全局特征信息、视频局部特征信息、音频节奏特征信息以及音频噪声特征信息;

对所述至少四类特征信息进行基于融合的对象丰满度预测,得到所述监控结果,所述监控结果表征所述区域空间中目标对象的量化值,所述目标对象表征在所述区域空间中的虚构活体,所述虚构活体应用于智慧社区管理,所述虚构活体的数量除以区域空间的面积得到所述对象丰满度;

其中,所述对所述至少一路视频数据和所述至少一路音频数据进行多维特征提取,得到至少四类特征信息,包括:对所述至少一路视频数据进行全局特征信息提取和局部特征信息提取,得到第一全局特征图和第一局部特征图;

对所述第一全局特征图和所述第一局部特征图进行关键位置搜索,得到所述第一全局特征图中的关键位置集合和所述第一局部特征图中的关键位置集合,所述关键位置被认为是包含的特征的重要程度小于预设阈值的位置;

基于所述第一全局特征图与所述第一全局特征图中的关键位置集合的差集,得到第二全局特征图;

基于所述第一局部特征图与所述第一局部特征图中的关键位置集合的差集,得到第二局部特征图;

对所述第二全局特征图和所述第二局部特征图分别对应进行深度全局特征信息提取和深度局部特征信息提取,得到第三全局特征图和第三局部特征图;

融合所述第一全局特征图和所述第三全局特征图,得到所述视频全局特征信息;

融合所述第一局部特征图和所述第三局部特征图,得到所述视频局部特征信息。

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至5中任一项所述的一种用于智慧社区管理的视频监控方法。

8.一种电子设备,其特征在于,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1至5中任一项所述的一种用于智慧社区管理的视频监控方法。