利索能及
我要发布
收藏
专利号: 2020102143999
申请人: 南京鑫和汇通电子科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种对开式刀闸运动状态的精确检测方法,其特征在于,包括:采集对开式刀闸的实时监控视频,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向;对于初始帧图像后的每一帧图像利用同样的方式依次进行精确分析,对下一帧图像的精确分析方式为:计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角,根据校正夹角精确分析该帧图像中刀闸的状态并记录;同样的方式继续处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态;

计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角的具体计算方式为:

利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像,利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件,根据模型文件计算刀闸臂的中点和中线;

通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对该帧图像进行检测,获取该帧图像中所有的刀闸区域和刀闸状态,再结合模型文件对该帧图像中的刀闸进行定位;

根据上述定位的结果对该帧图像进行边缘检测,获取边缘线集合,计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;

利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合,将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配,将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,以最终的左刀闸臂边缘线和右刀闸臂边缘线为基准,计算左刀闸臂和右刀闸臂之间的初始夹角。

2.根据权利要求1所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向的具体方式为:未给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,若第一帧图像中刀闸的状态是闭合,运动方向是从闭合到打开,若刀闸的状态是打开,运动方向是从打开到闭合,若刀闸的状态是虚合,继续检测下一帧图像直至刀闸的状态改变后再确定运动方向,第一帧图像中刀闸的状态为刀闸的初始状态,第一帧图像为初始帧图像;

给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,用于验证初始状态,若第一帧图像中刀闸的状态与初始状态不一致,同样的方式依次处理下一帧图像,直至出现刀闸状态和初始状态一致的一帧图像,该帧图像为初始帧图像。

3.根据权利要求1所述的对开式刀闸运动状态的精确检测方法,其特征在于,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为:计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ1和θ1,计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ2和θ2,系统误差记为noise=|(γ1‑γ2)‑(θ1‑θ2)|;

前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ2‑γ2)|,当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ1‑γ1)|,采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θnew,θnew=w1_coe*|θ2‑γ2|+w2_coe*|θ1‑γ1|,其中,w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数,且w1_coe+w2_coe=1,结合系统误差,当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θfinal,θfinal=w1_coe*|θ2‑γ2|+w2_coe*|θ1‑γ1|+noise。

4.根据权利要求2所述的对开式刀闸运动状态的精确检测方法,其特征在于,获取实时监控视频第一帧图像中刀闸的状态的方式为:计算第一帧图像中左刀闸臂和右刀闸臂的夹角,根据该夹角判断刀闸的状态;

根据用户需求设定刀闸在打开状态下的角度阈值T‑o和闭合状态下的角度阈值T‑c;

若第一帧图像中的左刀闸臂和右刀闸臂之间的夹角大于T‑o,判定刀闸是打开状态,若该夹角小于T‑c,判定刀闸是闭合状态,若该夹角介于T‑o和T‑c之间,判定刀闸是虚合状态;

计算第一帧图像中左刀闸臂和右刀闸臂间的夹角的方式与上述计算下一帧图像中左刀闸臂和右刀闸臂间的初始夹角的方式一致。

5.根据权利要求1所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为:根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态;

若出现当前帧图像的预测状态不同于可靠状态,且连续N_conti帧图像的预测状态均不同于可靠状态,将连续N_conti帧图像的预测状态作为更新后的可靠状态;

根据预测状态和运动方向确定刀闸的输出状态,刀闸的输出状态即为最终的精确分析结果。

6.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为:根据实际需求设定刀闸在闭合状态下的角度中阈值T‑d、角度高阈值hT‑d和角度低阈值lT‑d,hT‑d>T‑d>lT‑d,若根据训练模型获取的当前帧图像中的刀闸状态为打开状态,则预测状态为打开状态;

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为虚合状态,对于刀闸从开到合的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T‑d,预测状态为闭合状态,否则为可靠状态,对于刀闸从合到开的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT‑d,预测状态为闭合状态,否则为可靠状态;

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为闭合状态,刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT‑d,预测状态为虚合状态,否则为可靠状态;

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为打开状态,则预测状态为虚合状态。

7.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据预测状态和运动方向确定刀闸的输出状态的具体方式为:根据实际需求设定刀闸在打开状态下的角度中阈值T‑e、角度高阈值和hT‑e和角度低阈值lT‑e,hT‑e>T‑e>lT‑e,若当前帧图像中刀闸的预测状态是虚合状态,若上一帧图像的输出状态为打开,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于lT‑e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于T‑e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为虚合,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于T‑e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于hT‑e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为闭合或未知,则最终输出状态为预测状态;

若当前帧刀闸的预测状态是闭合或打开状态,则最终输出状态为预测状态。

8.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,检测到刀闸停止运动的具体方式为:给定连续帧数阈值,若连续帧图像中经过精确分析的刀闸状态保持不变,且连续帧数大于连续帧数阈值,表明刀闸维持同一个状态,此时停止检测,验证最终状态。

9.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,验证视频中刀闸运动的最终状态的具体方式为:若刀闸的初始状态是打开状态,验证最终状态时是闭合状态则操作完成,验证最终状态时是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的初始状态是闭合状态,验证最终状态时是打开状态则操作完成,验证最终状态时是虚合状态,则报警提示并请示工作人员人工确认和处理;

若刀闸的初始状态是虚合状态,若刀闸的运动方向为由闭合到打开,验证最终状态是打开状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向为由打开到闭合,验证最终状态是闭合状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向未知,则表明刀闸一直处于虚合状态,报警提示并请示工作人员人工确认和处理。