利索能及
我要发布
收藏
专利号: 2021101715124
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于机器视觉的屏蔽门行人等待提醒系统,其特征在于:包括车站ICSC平台、门控器、线路门楣平台和智能门楣控制器,其中,所述的智能门楣控制器分别控制车站ICSC平台、门控器、线路门楣平台;所述的智能门楣控制器与智能门楣终端分别相连。

2.根据权利要求1所述的基于机器视觉的屏蔽门行人等待提醒系统,其特征在于:所述的智能门楣终端统计每个屏蔽门的客流数据发送至智能门楣控制器,智能门楣控制器将客流信息送到线路门楣平台,进行断面客流统计。

3.根据权利要求1所述的基于机器视觉的屏蔽门行人等待提醒系统,其特征在于:所述的智能门楣终端内置海思Hi3516SoC芯片、摄像头、语音播报和网络通信单元。

4.实现权利要求1‑3中任意一项所述的基于机器视觉的屏蔽门行人等待提醒系统的方法,其特征在于:包括如下步骤:

步骤1:在每个屏蔽门顶部安装智能门楣终端,智能门楣终端的摄像头正对候车区;

步骤2:收集对应场景下的行人数据集以及上下客标志图标数据,对收集的数据集进行标注,并制作训练集和测试集;此时的数据集是顶视角度的,制作标签把行人完整框住;

步骤3:对改进的mobile‑yolov3目标检测模型进行训练。

5.根据权利要求4所述的基于机器视觉的屏蔽门行人等待提醒方法,其特征在于:所述的步骤2中,对收集的数据集进行标注具体为:采用sort目标追踪算法对行人目标进行追踪快速对收集数据进行标注,公式如下

其中u和v分别代表目标人物中心的水平和垂直像素位置,而s和r分别代表目标边界框面积的比例和纵横比, 分别代表u,v,s的变化率,x为跟踪的目标,T为转置。

6.根据权利要求4所述的基于机器视觉的屏蔽门行人等待提醒方法,其特征在于:所述的步骤2中,制作训练集和测试集具体为,从Pascal VOC格式的数据集转换为LMDB格式,使用LMDB内存映射数据库,包括以下步骤:

1)制作Pascal VOC格式的数据集

1.1)收集对应场景下的行人数据将其放在一个目录下;

1.2)使用labelImage标注工具对图片进行标记,每张图片都得到同名的xml格式的标注文件,该文件中主要包括图片的宽、高,以及每个目标的类型名及目标标注框的左上点(xmin,ymin)和右下点的坐标(xmax,ymax);

1.3)编写程序按照9:1的比例生成train.txt和val.txt两个包含数据集路径的文本将数据集划分为训练集和测试集;

2)数据转换成LMDB文件

使用caffe自带的脚本程序将训练集和测试集生成LMDB形式的数据库,训练时在网络的data层,输入LMDB文件路径。

7.根据权利要求4所述的基于机器视觉的屏蔽门行人等待提醒方法,其特征在于:所述的步骤3具体为:将准备好的数据集输入改进的mobile‑yolov3目标检测模型,包括如下步骤:

3.1)使用一个卷积核为3×3的标准卷积层进行图像特征提取;

3.2)为了加快特征提取速度,采用13个可分离卷积层进行特征提取;

3.3)使用一个Inception‑C结构,通过不同大小的卷积核支路获得不同的感受野,多维度感知目标整体和局部的特征,获取特征图,其中1×1的卷积支路通道数为384,3×3的卷积支路通道数为384,5×5的卷积支路通道数为128,最大池化层支路通道数为128;

3.4)使用一个卷积核大小为1×1的标准卷积层提取最终的特征图,特征图输入到Detection层输出检测框的坐标与置信度。

8.根据权利要求7所述的基于机器视觉的屏蔽门行人等待提醒方法,其特征在于:所述的步骤3中,数据集由图像本身及其对应的标签构成,并利用训练好的目标检测模型对机器视觉设备所拍摄的目标区域进行行人识别检测,此时,由机器视觉设备所拍摄的目标区域内容作为训练好的模型的输入数据,将待检测数据输入后,模型就会直接产生相应的检测结果;根据检测到的上下客标志图标自动划分上下客区域,将检测到的区域内行人的坐标信息与划分好的上下客区域的位置进行比较,当下客区乘客数量超过预先设定好的阈值时,通过语音播报提醒乘客移位到上客区候车。

9.根据权利要求7所述的基于机器视觉的屏蔽门行人等待提醒方法,其特征在于:所述的步骤3使用如下训练模型:

其中,lbox为预测框损失,S为网格数,B代表标定框, 代表标定框中是否有目标,wi为预测框的宽,hi为预测框的高,xi为预测框的中心横坐标位置,yi为预测框的中心纵坐标位置; 为物体的实际中心横坐标位置, 为物体的实际中心列坐标位置, 为物体的实际标定框的宽, 为物体的实际中心标定框的高;lcls置信度损失,p(i c)预测物体类别,为物体实际类别, 代表标定框中是否有目标;lobj为条件类被概率损失;ci为预测物体置信度, 为实际物体置信度;λcoord是衡量lbox损失重要性的参数;λclass是调整物体类别的权重;λnoobj是调整没有识别到物体的识别框的权重;λobj是调整识别到物体的识别框的权重;i为横坐标,j为纵坐标,c为预测物体,loss是损失函数。