1.一种基于工程施工安全监控视频的报警方法,所述方法包括:
响应于接收到目标工程施工现场的监控设备发送的多模态监控数据,对多模态监控数据包括的监控图像序列,执行以下处理步骤:对所述监控图像序列进行对象行为识别,以生成对象行为识别结果;
根据所述对象行为识别结果,生成标准对象行为识别文本;
响应于确定所述标准对象行为识别文本表征存在安全问题,生成告警提示信息,以及将所述告警提示信息发送至相关联的告警终端;
对多模态监控数据包括的监控视频,执行以下处理步骤:
对所述监控视频进行分帧处理,以生成监控视频帧图像序列;
对所述监控视频帧图像序列中的每个监控视频帧图像进行异常检测,以生成图像异常检测结果,得到图像异常检测结果组;
响应于确定所述图像异常检测结果组中存在满足异常条件的图像异常检测结果,生成异常提示信息,以及控制相关联的语音警报终端进行告警。
2.根据权利要求1所述的基于工程施工安全监控视频的报警方法,其特征在于,所述方法还包括:采用多模态语言模型,对所述标准对象行为识别文本进行标记处理,生成标记对象行为识别文本,其中,所述标记对象行为识别文本用于突出表征对象行为和安全隐患事件;
对所述标记对象行为识别文本进行特征提取,生成对象行为识别文本特征向量,以及对所述对象行为识别文本特征向量进行安全等级预测。
3.根据权利要求2所述的基于工程施工安全监控视频的报警方法,其特征在于,所述响应于确定所述标准对象行为识别文本表征存在安全问题,生成告警提示信息,包括:响应于预测的安全等级表征存在安全问题,根据所述标准对象行为识别文本和所述预测的安全等级,通过所述多模态语言模型,生成告警提示信息。
4.根据权利要求3所述的基于工程施工安全监控视频的报警方法,其特征在于,所述对所述对象行为识别文本特征向量进行安全等级预测,包括:确定所述对象行为识别文本特征向量与预先构建的对象行为向量数据库中每个对象行为向量之间的向量相似度,其中,所述对象行为向量数据库中存储有对象行为向量和对应的安全等级标识;
将向量相似度最高的对象行为向量确定为目标对象行为向量;
将所述目标对象行为向量对应的安全等级确定为所述对象行为识别文本特征向量的预测安全等级。
5.根据权利要求1所述的基于工程施工安全监控视频的报警方法,其特征在于,所述对所述监控图像序列进行对象行为识别,以生成对象行为识别结果,包括:将所述监控图像序列中的每个监控图像输入至预先训练的施工监控报警图像识别模型中,以生成施工监控报警图像识别子结果,得到施工监控报警图像识别子结果集;
将所述监控图像序列中的每个监控图像输入至预先训练的对象行为异常识别模型中,以生成对象行为异常识别子结果,得到对象行为异常识别子结果集;
将所述施工监控报警图像识别子结果集与所述对象行为异常识别子结果集合并为对象行为识别结果。
6.根据权利要求5所述的基于工程施工安全监控视频的报警方法,其特征在于,在所述将所述监控图像序列中的每个监控图像输入至预先训练的施工监控报警图像识别模型中,以生成施工监控报警图像识别子结果之前,所述方法还包括:获取施工监控图像信息集,其中,所述施工监控图像信息集中的施工监控图像信息包括:标注标签、干预标签和报警监控图像特征信息集;
根据所述施工监控图像信息集,训练标注标签分类网络和干预标签分类网络,其中,所述标注标签分类网络和所述干预标签分类网络均对应有报警监控图像特征序列;
根据所述标注标签分类网络对应的报警监控图像特征序列与所述干预标签分类网络对应的报警监控图像特征序列,确定报警监控图像干预因果特征集;
根据所述报警监控图像干预因果特征集和所述施工监控图像信息集,对初始施工监控报警图像识别模型进行训练,得到训练完成的施工监控报警图像识别模型。
7.一种计算机设备,其中,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1‑6中任一所述的方法的步骤。
8.一种计算机可读存储介质,其中,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1‑6中任一所述的方法的步骤。