1.一种基于混合模型的道路积水图像检测预警方法,其特征在于:包括如下步骤:步骤1:在监测路段的不同位置设置数个摄像机,由所述摄像机拍摄监测路段的监控图像;由用户在监控图像中动态标注并设置积水检测区域和积水等级标志区域;
步骤2:对待提取特征的输入图像进行图像特征提取,其步骤如下:
步骤A1:待提取特征的输入图像为步骤1中由用户动态标注的监控图像;对待提取特征的输入图像进行特征提取,特征提取包括提取检测区图像和提取积水深度标位图像;
步骤A2:检测区图像从实时监控视频中标定位置提取;
步骤A3:积水深度标位图像包括两组图像:一组为预置的未积水标志位对比图像、另一组为实时监控的积水标位图像;
步骤3:将步骤2提取的检测区图像和积水深度标位图像通过混合数据的方式,并经过减均值和归一化的操作后生成待检测图像,并输入到ResNet残差网络;
所述混合数据包括按照224*224尺度变换的原始图像、原始图像的RGB统计直方值;
步骤4:在ResNet残差网络对待检测图像进行训练,包括如下步骤:步骤B1:对ResNet残差网络进行改进:将ResNet残差网络改进成50层,其中,1~20层的卷积核大小为7×7,21~40层卷积核的大小为5×5,41~50层的卷积核心大小为3×3;
步骤B2:在ResNet残差网络的倒数第49层进行全连接操作,求出输入到ResNet残差网络的图像数据的稀疏特征,第50层使用Softmax分类器,训练或预测待检测图像的标签;
步骤B3:取ResNet残差网络的第49层的特征数据,将该特征数据与所述预置的未积水标志位对比图像进行对比;
步骤5:使用时间窗方法间隔检测路面积水状态,其步骤如下:
步骤C1:设置检测时间窗T=300秒,检测频率为freq=10,在帧率fps为25的视频流中,每个检测窗口T内共有750个积水检测区域图像序列送入Softmax分类器进行场景分类;
步骤C2:将积水检测区域图像subimg送入编码器Encoder,提取ResNet的第50层的特征数据F={f1,f2,f3,f4},按一下公式计算分类结果:y=index(max(Fi));
式中:index()函数为最大概率标签max(Fi)的下标位置,当y=1,即判定本次检测结果为道路积水,i的取值为正整数;
步骤C3:当判断为道路积水后,根据以下公式求检测窗口内所有检测区图像序列的平均积水置信α:式中:N为检测图片总数,T为检测窗口时长,fps为帧率,freq为检测频率,α为积水置信度,n值为判定积水的图片与总检测图片比值;
步骤C4:置信度α阈值设置为0.85,统计平均积水置信度,当积水置信度>0.85,启动积水深度检测;
步骤C5:在积水检测区域标注出10CM、20CM、30CM和40CM深度标志位图像区域,依次读取10CM~40CM深度标志位图像,送入编码器encoder,提取ResNet残差网络的第49层特征数据,并存储在特征字典Dict_f中,启动图像对比进程;Dict_f字典结构如以下公式:Dict_f={"deep10":f10,"deep20":f20,"deep30":f30,"deep40":f40};
式中:键值deep10~deep40分别表示10CM~40CM的积水深度预置位初始图像,f10~f40分别为10CM~40CM的积水深度预置位初始图像的编码特征;
步骤C6:当Softmax分类器判定检测区图像ROI为积水时,依次读取10CM~40CM的深度预置位实时图像,启动深度比对,采用图像特征相似度判定积水深度检测位是否积水,相信度计算公式如以下公式:式中:Df_pre,i和Df_cur,i分别表示第i个积水深度检测区的预置的未积水标志位对比图像和当前图像,i={10cm,20cm,30cm,40cm};
对S进行归一化处理,得S’,当相似度S’大于设计阈值0.7时,则判定预置的未积水标志位对比图像与当前图像相同,即未达到该深度的积水阈值;反之,则达到该深度的积水阈值;
步骤6:根据步骤C6的结果:如果检测到路面发生积水,且积水超过警戒阈值,启动消息预警。
2.如权利要求1所述的一种基于混合模型的道路积水图像检测预警方法,其特征在于:所述待检测图像的标签包括积水、积雨和正常路面。
3.如权利要求1所述的一种基于混合模型的道路积水图像检测预警方法,其特征在于:在执行步骤B2时,采用二次分类方法实现检测:首先区分待检图片为路面或车辆,再次区分路面图片为积水、积雨或正常路面;ResNet残差网络中的训练数据集共使用4类标签:积水路面、积雨路面、正常路面和车辆。
4.如权利要求1所述的一种基于混合模型的道路积水图像检测预警方法,其特征在于:在执行步骤B3时,将该特征数据与所述预置的未积水标志位对比图像进行对比,即,将该特征数据的实时监控的积水标位图像与所述预置的未积水标志位对比图像进行对比。
5.如权利要求1所述的一种基于混合模型的道路积水图像检测预警方法,其特征在于:在执行步骤6时,消息预警包括通过手机短信、微信或平台预警的形式向管理人员发送预警信息。
6.如权利要求1所述的一种基于混合模型的道路积水图像检测预警方法,其特征在于:在执行步骤3时,使用多通道混合图像特征,分别提取输入图像的颜色、纹理和轮廓信息,作为ResNet残差网络的并行输入通道,训练图像特征。
7.如权利要求1所述的一种基于混合模型的道路积水图像检测预警方法,其特征在于:在执行步骤C1时,Softmax分类器进行场景分类采用二次分类和多帧平均置信的策略,消除过往车辆对积水路面和积水深度断定的影响,具体作法是:取检测区图像进行一次分类,并启动计数器C、Cw和Cr,C、Cw和Cr分别表示检测帧数、积水和积雨结果累计数,如果分类结果为车辆,则跳过该帧,如分类为路面,则C累加1,并启动二次分类;当路面二次分类为积水,则Cw累加1,如二次分类结果为积水,则Cr累加1;当C累计到200帧,分别统计积水和积雨的置信度αw和ar,平均置信按以下公式计算:当ar>αw>T时,判定路面为积水,并启动积水深度检测模块,当αw>ar>T时,判定路面为积雨,否则,判定路面为正常状态,其中T为预设阈值。