利索能及
我要发布
收藏
专利号: 2022111387991
申请人: 深圳市博科思智能股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图像处理的运维管理方法,其特征在于,所述基于图像处理的运维管理方法包括:

基于智能通信防护箱中预设的图像采集终端采集目标监测路口的第一视频数据并获取所述目标监测路口的第一信号数据,以及对所述第一视频数据和所述第一信号数据进行预处理,得到第二视频数据和第二信号数据;其中,基于智能通信防护箱中预设的图像实时拍摄终端采集目标监测路口的第一视频数据,并从预置的交通信号数据库中匹配与所述第一视频数据同一时段的交通信号数据,得到第一信号数据;获取所述第一视频数据对应的视频延迟时间,并根据所述视频延迟时间对所述第一信号数据进行时间轴提前处理,得到标准信号数据;对所述第一视频数据和所述标准信号数据进行预处理,得到第二视频数据和第二信号数据;

对所述第二视频数据进行视频图像分割,得到多个视频监控图像,并分别提取所述多个视频监控图像中的多个机动车辆以及多个行人和非机动车辆;其中,调用预置的视频分帧工具对所述第二视频数据依次进行图像分割,得到多个视频监控图像;将所述多个视频监控图像输入预置的机动车识别模型进行机动车识别,得到多个机动车辆;将所述多个视频监控图像输入预置的行人和非机动车识别模型进行行人和非机动车识别,得到多个行人和非机动车辆;具体的,该机动车识别模型包括Darknet‑53网络、Batch NonIlalization层、LeakyReLU层和卷积层;通过Darknet‑53网络卷积得到的最后的特征图大小为26*26,将最后一个卷积层得到的特征图与最后一个池化层得到的特征图进行全局特征融合,将特征图大小从26*26叠加为13*13,并增加其通道数目;在Darknet‑53网络后面跟随一个Batch NonIlalization层,增加网络的泛化能力,增加训练数据对训练网络的适应程度,然后再输入下一个卷积层或者池化层;具体的,行人和非机动车识别模型采用行人动态识别模型和MASK R‑CNN模型组合识别,行人动态识别模型是基于目标检测模型并采用行人数据集训练得到的具备对行人进行特异性识别的检测模型,MASK R‑CNN模型包括目标特征提取网络、RPN网络、ROI Align层和FCN网络,通过目标特征提取网络提取视频监控图像的目标特征图;将目标特征图输入RPN网络中,以供通过RPN网络根据预置锚框信息,生成目标特征图对应的预选框;将预选框和目标特征图输入ROI Align层,以供通过ROI Align层对将预选框和目标特征图融合,并对预选框进行分割和端点的池化,得到标注特征图;将标注特征图输入FCN网络,以供通过FCN网络对标注特征图的各个像素点进行预测,得到非机动车辆;

根据所述多个机动车辆以及所述多个行人和非机动车辆对所述多个视频监控图像进行图像数据集分类,得到第一图像集和第二图像集;具体的,根据多个机动车辆以及多个行人和非机动车辆对多个视频监控图像进行图像数据集分类,将带有机动车辆的视频监控图像生成第一图像集,将带有行人和非机动车辆的视频监控图像生成第二图像集,对于视频监控图像中机动车辆、行人和非机动车辆都存在的图像,将这种图像存放在第一图像集和第二图像集中;

根据所述第一图像集对所述目标监测路口进行机动车辆流量分析,得到所述目标监测路口的机动车流量数据;其中,计算所述第一图像集中的每个机动车辆通过所述目标监测路口的通过时间;获取所述目标监测路口的路口长度,并根据所述路口长度和所述通过时间计算每个机动车辆的通过速度;根据所述通过速度计算单位时间内所述目标监测路口的机动车流量,得到机动车流量数据;其中,机动车辆流量分析首先计算机动车辆通过目标监测路口的通过时间,再获取路口长度,并根据路口长度和通过时间计算每个机动车辆的通过速度;根据通过速度计算单位时间内目标监测路口的机动车流量,得到机动车流量数据;

根据所述第二信号数据分别对所述第一图像集中的多个机动车辆进行行驶路径检测,得到每个机动车辆的行驶路径,并根据每个机动车辆的行驶路径对所述多个机动车辆进行机动车辆违章分析,得到第一违章分析结果;其中,调用预置的路径检测模型对所述第一图像集中的多个机动车辆进行机动车辆行驶路径检测,生成每个机动车辆的行驶路径;基于每个机动车辆的行驶路径确定所述多个机动车辆中的违章车辆;对所述违章车辆进行机动车辆违章分析,得到第一违章分析结果;其中,机动车辆行驶路径检测的过程包括:从第一图像集中识别出同一机动车辆的相关图像,根据相关图像识别该机动车辆的已有路径,根据该机动车辆的已有路径估计该机动车辆在当前帧图像中的参考位置框;对于该机动车辆在第一图像集中的当前帧图像中的参考位置框,分别计算该参考位置框与在当前帧图像中检测出的每个目标框的交并比;根据该参考位置框与在当前帧图像中检测出的每个目标框的交并比,在当前帧图像中检测出的所有目标框中寻找该参考位置框的匹配目标框;若未寻找到该参考位置框的匹配目标框,则认为该机动车辆在当前帧图像中没有出现,且若该机动车辆连续在预设目标值的图像中没有出现,则认为该机动车辆的路径完结;若寻找到该参考位置框的匹配目标框,则根据该匹配目标框的位置更新路径集合中的该机动车辆的路径,若寻找到该参考位置框的匹配目标框,对于在当前帧图像中检测出的任一目标框,若该目标框未与任一机动车辆在当前帧图像中的参考位置框匹配上,则将该目标框作为新的机动车辆,并将该目标框的位置作为该机动车辆的路径的第一个路径点的位置,生成每个机动车辆的行驶路径,然后根据每个机动车辆的行驶路径判断车辆是否压线、闯红灯违章行为,得到第一违章分析结果;

根据所述第二信号数据分别对所述第二图像集中的多个行人和非机动车辆进行行人和非机动车辆违章分析,得到第二违章分析结果;其中,根据所述第二信号数据对所述第二图像集中的多个行人进行闯红灯违章识别,得到行人违章结果;对所述非机动车辆进行违章载人识别,得到非机动车辆违章结果;根据所述行人违章结果和所述非机动车辆违章结果生成第二违章分析结果;具体的,根据第二信号数据对第二图像集中的多个行人进行闯红灯违章识别,得到行人违章结果,行人的违章是闯红灯行为,将图像中的多个行人和第二信号数据相结合进行对比分析,得到行人违章结果;对非机动车辆进行违章载人识别,得到非机动车辆违章结果,如果第二图像集中的非机动车辆存在载人的情况,确定该非机动车违章,得到非机动车违章结果;根据行人违章结果和非机动车辆违章结果生成第二违章分析结果;

根据所述机动车流量数据、所述第一违章分析结果和所述第二违章分析结果生成所述目标监测路口对应的运维管理策略,其中,根据所述机动车流量数据生成所述目标监测路口的交通繁忙等级;根据所述第一违章分析结果和所述第二违章分析结果生成违章处罚方案;将所述交通繁忙等级和所述违章处罚方案作为运维管理策略并输出;具体的,根据机动车流量数据生成目标监测路口的交通繁忙等级;根据第一违章分析结果和第二违章分析结果生成违章处罚方案;将交通繁忙等级和违章处罚方案作为运维管理策略并输出;将运维管理策略发送至管理终端,管理人员根据该运维管理策略进行道路管控,如果该运维管理策略与实际情况偏差较大,对运维设备的参数进行调整,根据每个路口的实际情况不同设置不同的告警值,然后生成对应的调整运维管理策略。

2.一种基于图像处理的运维管理装置,其特征在于,所述基于图像处理的运维管理装置包括:

采集模块,用于基于智能通信防护箱中预设的图像采集终端采集目标监测路口的第一视频数据并获取所述目标监测路口的第一信号数据,以及对所述第一视频数据和所述第一信号数据进行预处理,得到第二视频数据和第二信号数据;其中,基于智能通信防护箱中预设的图像实时拍摄终端采集目标监测路口的第一视频数据,并从预置的交通信号数据库中匹配与所述第一视频数据同一时段的交通信号数据,得到第一信号数据;获取所述第一视频数据对应的视频延迟时间,并根据所述视频延迟时间对所述第一信号数据进行时间轴提前处理,得到标准信号数据;对所述第一视频数据和所述标准信号数据进行预处理,得到第二视频数据和第二信号数据;

提取模块,用于对所述第二视频数据进行视频图像分割,得到多个视频监控图像,并分别提取所述多个视频监控图像中的多个机动车辆以及多个行人和非机动车辆;其中,调用预置的视频分帧工具对所述第二视频数据依次进行图像分割,得到多个视频监控图像;将所述多个视频监控图像输入预置的机动车识别模型进行机动车识别,得到多个机动车辆;

将所述多个视频监控图像输入预置的行人和非机动车识别模型进行行人和非机动车识别,得到多个行人和非机动车辆;具体的,该机动车识别模型包括Darknet‑53网络、Batch NonIlalization层、LeakyReLU层和卷积层;通过Darknet‑53网络卷积得到的最后的特征图大小为26*26,将最后一个卷积层得到的特征图与最后一个池化层得到的特征图进行全局特征融合,将特征图大小从26*26叠加为13*13,并增加其通道数目;在Darknet‑53网络后面跟随一个Batch NonIlalization层,增加网络的泛化能力,增加训练数据对训练网络的适应程度,然后再输入下一个卷积层或者池化层;具体的,行人和非机动车识别模型采用行人动态识别模型和MASK R‑CNN模型组合识别,行人动态识别模型是基于目标检测模型并采用行人数据集训练得到的具备对行人进行特异性识别的检测模型,MASK R‑CNN模型包括目标特征提取网络、RPN网络、ROI Align层和FCN网络,通过目标特征提取网络提取视频监控图像的目标特征图;将目标特征图输入RPN网络中,以供通过RPN网络根据预置锚框信息,生成目标特征图对应的预选框;将预选框和目标特征图输入ROI Align层,以供通过ROI Align层对将预选框和目标特征图融合,并对预选框进行分割和端点的池化,得到标注特征图;将标注特征图输入FCN网络,以供通过FCN网络对标注特征图的各个像素点进行预测,得到非机动车辆;

分类模块,用于根据所述多个机动车辆以及所述多个行人和非机动车辆对所述多个视频监控图像进行图像数据集分类,得到第一图像集和第二图像集;具体的,根据多个机动车辆以及多个行人和非机动车辆对多个视频监控图像进行图像数据集分类,将带有机动车辆的视频监控图像生成第一图像集,将带有行人和非机动车辆的视频监控图像生成第二图像集,对于视频监控图像中机动车辆、行人和非机动车辆都存在的图像,将这种图像存放在第一图像集和第二图像集中;

分析模块,用于根据所述第一图像集对所述目标监测路口进行机动车辆流量分析,得到所述目标监测路口的机动车流量数据;其中,计算所述第一图像集中的每个机动车辆通过所述目标监测路口的通过时间;获取所述目标监测路口的路口长度,并根据所述路口长度和所述通过时间计算每个机动车辆的通过速度;根据所述通过速度计算单位时间内所述目标监测路口的机动车流量,得到机动车流量数据;其中,机动车辆流量分析首先计算机动车辆通过目标监测路口的通过时间,再获取路口长度,并根据路口长度和通过时间计算每个机动车辆的通过速度;根据通过速度计算单位时间内目标监测路口的机动车流量,得到机动车流量数据;

检测模块,用于根据所述第二信号数据分别对所述第一图像集中的多个机动车辆进行行驶路径检测,得到每个机动车辆的行驶路径,并根据每个机动车辆的行驶路径对所述多个机动车辆进行机动车辆违章分析,得到第一违章分析结果;其中,调用预置的路径检测模型对所述第一图像集中的多个机动车辆进行机动车辆行驶路径检测,生成每个机动车辆的行驶路径;基于每个机动车辆的行驶路径确定所述多个机动车辆中的违章车辆;对所述违章车辆进行机动车辆违章分析,得到第一违章分析结果;其中,机动车辆行驶路径检测的过程包括:从第一图像集中识别出同一机动车辆的相关图像,根据相关图像识别该机动车辆的已有路径,根据该机动车辆的已有路径估计该机动车辆在当前帧图像中的参考位置框;

对于该机动车辆在第一图像集中的当前帧图像中的参考位置框,分别计算该参考位置框与在当前帧图像中检测出的每个目标框的交并比;根据该参考位置框与在当前帧图像中检测出的每个目标框的交并比,在当前帧图像中检测出的所有目标框中寻找该参考位置框的匹配目标框;若未寻找到该参考位置框的匹配目标框,则认为该机动车辆在当前帧图像中没有出现,且若该机动车辆连续在预设目标值的图像中没有出现,则认为该机动车辆的路径完结;若寻找到该参考位置框的匹配目标框,则根据该匹配目标框的位置更新路径集合中的该机动车辆的路径,若寻找到该参考位置框的匹配目标框,对于在当前帧图像中检测出的任一目标框,若该目标框未与任一机动车辆在当前帧图像中的参考位置框匹配上,则将该目标框作为新的机动车辆,并将该目标框的位置作为该机动车辆的路径的第一个路径点的位置,生成每个机动车辆的行驶路径,然后根据每个机动车辆的行驶路径判断车辆是否压线、闯红灯违章行为,得到第一违章分析结果;

处理模块,用于根据所述第二信号数据分别对所述第二图像集中的多个行人和非机动车辆进行行人和非机动车辆违章分析,得到第二违章分析结果;其中,根据所述第二信号数据对所述第二图像集中的多个行人进行闯红灯违章识别,得到行人违章结果;对所述非机动车辆进行违章载人识别,得到非机动车辆违章结果;根据所述行人违章结果和所述非机动车辆违章结果生成第二违章分析结果;具体的,根据第二信号数据对第二图像集中的多个行人进行闯红灯违章识别,得到行人违章结果,行人的违章是闯红灯行为,将图像中的多个行人和第二信号数据相结合进行对比分析,得到行人违章结果;对非机动车辆进行违章载人识别,得到非机动车辆违章结果,如果第二图像集中的非机动车辆存在载人的情况,确定该非机动车违章,得到非机动车违章结果;根据行人违章结果和非机动车辆违章结果生成第二违章分析结果;

生成模块,用于根据所述机动车流量数据、所述第一违章分析结果和所述第二违章分析结果生成所述目标监测路口对应的运维管理策略,其中,根据所述机动车流量数据生成所述目标监测路口的交通繁忙等级;根据所述第一违章分析结果和所述第二违章分析结果生成违章处罚方案;将所述交通繁忙等级和所述违章处罚方案作为运维管理策略并输出;

具体的,根据机动车流量数据生成目标监测路口的交通繁忙等级;根据第一违章分析结果和第二违章分析结果生成违章处罚方案;将交通繁忙等级和违章处罚方案作为运维管理策略并输出;将运维管理策略发送至管理终端,管理人员根据该运维管理策略进行道路管控,如果该运维管理策略与实际情况偏差较大,对运维设备的参数进行调整,根据每个路口的实际情况不同设置不同的告警值,然后生成对应的调整运维管理策略。

3.一种基于图像处理的运维管理设备,其特征在于,所述基于图像处理的运维管理设备包括:存储器和至少一个处理器,所述存储器中存储有指令;

所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于图像处理的运维管理设备执行如权利要求1所述的基于图像处理的运维管理方法。

4.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1所述的基于图像处理的运维管理方法。