欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2019108956073
申请人: 南京鑫和汇通电子科技有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种剪刀式刀闸开合状态检测方法,其特征在于,采集剪刀式刀闸的模板图像,根据模板图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件;

在同样的位置利用同样的设备采集同一剪刀式刀闸的目标图像;

通过多种途径获取剪刀式刀闸的样本图像,对样本图像利用深度学习算法进行训练获取标注刀闸臂和刀闸臂关节点位置的训练模型;

利用训练模型对目标图像进行检测,获取目标图像中一个或一个以上的刀闸所在的矩形区域,结合模型文件对目标图像中的刀闸定位同时获取刀闸估计状态;若刀闸估计状态为打开,则直接输出刀闸状态为打开,否则根据定位结果对刀闸进行边缘检测,获取边缘线集合;

根据模型文件和训练模型计算目标图像中剪刀式刀闸的刀闸臂关节点和角平分线;计算目标图像的刀闸臂关节点到边缘线集合中的每条边缘线的距离,给定上距离阈值和下距离阈值,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;利用角平分线将更新边缘线集合上下区分,分别获取上刀闸臂边缘线集合和下刀闸臂边缘线集合并进行对称配对,确定最终的上刀闸臂边缘线和下刀闸臂边缘线;计算上刀闸臂和下刀闸臂之间的夹角,根据夹角获取刀闸状态。

2.根据权利要求1所述的剪刀式刀闸开合状态检测方法,其特征在于,“根据模板图像建立该型号刀闸的刀闸臂的边界线模型并保存为模型文件”的方式为:在计算机上设置一个程序,利用该程序打开模板图像,对模板图像中剪刀式刀闸的上下刀闸臂的左右边界和上下边界进行描边,形成一个四边形模板,上下刀闸臂在该四边形模板内,将四边形模板的四个端点坐标保存为模型文件;若模板图像中的刀闸是闭合状态,根据刀闸臂的实际位置进行描边,若模板图像中的刀闸是打开或虚合状态,根据刀闸的上下固定边界估算刀闸臂闭合状态下的位置,并对其闭合状态下的位置描边。

3.根据权利要求2所述的剪刀式刀闸开合状态检测方法,其特征在于,“获取刀闸估计状态”的方式为:根据刀闸定位结果的矩形区域,获取该矩形区域的左上端点和长宽比例,给定长宽比例阈值和距离比例阈值;将目标图像与模板图像重叠,计算左上端点至模板图像中的刀闸臂的上边界的距离,若该距离占刀闸臂总长度的比例大于给定的距离比例阈值,且长宽比例大于给定的长宽比例阈值,则判定刀闸为打开状态,否则刀闸为闭合或虚合状态。

4.根据权利要求2所述的剪刀式刀闸开合状态检测方法,其特征在于,“根据模型文件和训练模型计算目标图像中剪刀式刀闸闭合或虚合状态下的刀闸臂关节点”的方式为:根据模型文件计算四边形模板的中心点,设定估算阈值R,将该中心点对应到目标图像中,在目标图像中以该中心点为中心,刀闸臂的宽度为宽、刀闸臂宽度的R倍为长在目标图像中建立闭合状态下包含刀闸臂关节点的关节点矩形框;根据训练模型获取目标图像中定位后的包含标注关节点位置的所有的修正关节点矩形框,计算修正关节点矩形框中与关节点矩形框重叠面积最大的修正关节点矩形框,其中心为刀闸臂关节点。

5.根据权利要求1所述的剪刀式刀闸开合状态检测方法,其特征在于,“计算刀闸臂角平分线”的方式为:

获取采集目标图像的相机的畸变系数,并根据目标图像尺寸计算相机矩阵camera_matrix=[focal_length,0,center.x;0,focal_length,center.y;0,0,1],其中focal_length为目标图像宽度,center.x和center.y分别为目标图像中点的x坐标和y坐标;

根据模型文件中的四个端点坐标估算其对应的世界坐标,根据模型文件中四个端点坐标、世界坐标、相机矩阵和畸变系数,获取相机所在的坐标系关于世界坐标系的旋转矩阵与平移矩阵,根据旋转矩阵和平移矩阵获取变换矩阵;

根据变换矩阵获取刀闸臂关节点在理想图像中的关节点坐标,得出理想图像的过关节点且与地面平行的角平分线;

将理想图像的角平分线上的任一点通过变换矩阵计算器在目标图像中的对应坐标,该对应坐标与刀闸臂关节点的连线为目标图像的角平分线。

6.根据权利要求1所述的剪刀式刀闸开合状态检测方法,其特征在于,“利用角平分线将更新边缘线集合上下区分,分别获取上刀闸臂边缘线集合和下刀闸臂边缘线集合”的具体方式为:在目标图像中计算以关节点为起点的垂直于角平分线且方向向上或方向向下的单位方向向量

遍历更新边缘线集合中的边缘线,对其中任一条边缘线的两个端点记作T1和T2,将T1与刀闸臂关节点的向量记作 将T2与刀闸臂关节点的向量记作 计算 和对于方向向上的单位方向向量 若 则T1在角平分线上侧,否则在角平分

线下侧,若 则T2在角平分线上侧,否则角平分线下侧;对于方向向下的单位方向向量 若 则T1在角平分线下侧,否则在角平分线上侧,若则T2在角平分线下侧,否则角平分线上侧;

若T1和T2均在角平分线上侧,则该边缘线为上刀闸臂边缘线,若T1和T2均在角平分线下侧,则该边缘线为下刀闸臂边缘线,若T1和T2分别在角平分线两侧,计算该边缘线以角平分线为分割线的上下线段长度,该边缘线为上下侧线段较长侧的边缘线,获取上刀闸臂边缘线集合和下刀闸臂边缘线集合。

7.根据权利要求1所述的基于角平分线线模型的剪刀式刀闸开合角度检测方法,其特征在于,“将上刀闸臂边缘线集合和下刀闸臂边缘线集合进行对称配对,确定最终的上刀闸臂边缘线和下刀闸臂边缘线”的方式为:给定角度阈值,对于上刀闸臂边缘线集合中的任一条边缘线相对于水平位置的角度记为Mh,h代表不同的上刀闸臂边缘线,将任两个上刀闸臂边缘线的角度差值位于角度阈值内的划分为同组,将同组内的上刀闸臂边缘线按照从长到短排序;对于下刀闸臂边缘线集合中的任一条边缘线相对于水平位置的角度记为Nm,m代表不同的下刀闸臂边缘线,将任两个下刀闸臂边缘线的角度差值位于角度阈值内的划分为同组,将同组内的下刀闸臂边缘线按照从长到短排序;

遍历上刀闸臂边缘线集合的所有同组和下刀闸臂边缘线集合的所有同组并进行一一配对,计算任两组的校正刀闸臂边缘线和配对分数,分数最高的组合对应的校正上刀闸臂边缘线和校正下刀闸臂边缘线即为最终的上刀闸臂边缘线和下刀闸臂边缘线。

8.根据权利要求7所述的基于角平分线线模型的剪刀式刀闸开合角度检测方法,其特征在于,“遍历上刀闸臂边缘线集合的所有同组和下刀闸臂边缘线的所有同组并进行一一配对,计算任两组的校正刀闸臂边缘线和配对分数”的方式为:根据模型文件计算顶部两个端点之间的上中点和底部两个端点之间的下中点,遍历上刀闸臂边缘线集合的所有同组和下刀闸臂边缘线集合的所有同组,计算每组的平均角度,上刀闸臂边缘线集合中每组的平均角度结合上中点获取上刀闸臂边缘线每组的校正上刀闸臂边缘线,校正上刀闸臂边缘线与角平分线的交点记作A点;下刀闸臂边缘线集合中每组的平均角度结合下中点获取下刀闸臂边缘线每组的校正下刀闸臂边缘线,校正下刀闸臂边缘线与角平分线的交点记作B点,计算A点和B点之间的距离dAB;刀闸臂的上固定边界至下固定边界的距离为d0,dAB/d0>0.5则剔除A点所在的同组和B点所在的同组;

设定任两组配对分数的计算公式为 其中系数ST表

示上刀闸臂边缘线集合的任一个同组内边缘线长度的平方和;SB表示下刀闸臂边缘线集合的任一个同组内边缘线长度的平方和;β为可调节的灵敏度参数;最高的配对分数S对应的A点所在的校正上刀闸臂边缘线和B点所在的校正下刀闸臂边缘线为最终的上刀闸臂边缘线和下刀闸臂边缘线。

9.根据权利要求7所述的基于角平分线线模型的剪刀式刀闸开合角度检测方法,其特征在于,“计算上刀闸臂和下刀闸臂之间的夹角”的方式为:以最终的上刀闸臂边缘线和下刀闸臂边缘线为基准,若最终的上刀闸臂边缘线相对于闭合状态刀闸臂角平分线所在直线的角度为α1,最终的下刀闸臂边缘线相对于闭合状态刀闸臂角平分线所在直线的角度为α2,上下刀闸臂间的最终夹角为θ=|α2-α1|。