利索能及
我要发布
收藏
专利号: 2020113850828
申请人: 北方工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-11-28
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种交叉口环境下辅助盲人过街的智能引导机器人系统,其特征在于:包括用于采集交叉口环境数据和机器人运行状态数据的信息采集单元(101)、用于处理交叉口环境信息的信息处理单元(102)、用于控制机器人转向角度和速度的运动控制单元(103)及扶持设备,所述信息采集单元(101)的输出端与所述信息处理单元(102)的输入端相连,所述信息处理单元(102)的输出端与所述运动控制单元(103)的输入端相连,所述扶持设备安装于机器人主体上。

2.根据权利要求1所述的一种交叉口环境下辅助盲人过街的智能引导机器人系统,其特征在于:所述信息采集单元(101)包括用于获取当前时刻交叉口信号灯灯色状态和剩余时长的ZigBee无线通信设备(116)、用于采集交叉口图像信息的高清摄像头(111)、用于采集障碍物信息的三维激光雷达(112)、用于采集机器人加速度和角速度数据的惯性导航传感器(113)、用于采集机器人实际转向角度的转向角传感器(114)及用于采集机器人实际运行速度的线速度传感器(115);

所述信息处理单元(102)包括信号灯识别模块(104)、斑马线识别模块(105)、障碍物识别模块(106)、地图构建模块(107)及路径规划模块(108),所述信号灯识别模块(108)对ZigBee无线通信设备(116)获取的当前信号灯灯色状态和剩余时长进行判定,若当前信号灯灯色状态为绿灯,则触发斑马线识别模块(105)、障碍物识别模块(106)、地图构建模块(107)及路径规划模块(108)。

3.根据权利要求3所述的一种交叉口环境下辅助盲人过街的智能引导机器人系统,其特征在于:所述斑马线识别模块(105)对高清摄像头(111)采集的交叉口场景图像进行处理,识别出盲人所在交叉口的斑马线并确定大致行进区域;

所述障碍物识别模块(106)对信息采集单元(101)中高清摄像头(111)获取的图像信息与三维激光雷达(112)的云数据进行分析处理,获取盲人周围障碍物尺寸、位置和运动状态信息;

所述地图构建模块(107)用于构建全局环境地图,并结合过街过程中盲人位置与周围障碍物信息实时更新局部环境地图。

4.根据权利要求3所述的一种交叉口环境下辅助盲人过街的智能引导机器人系统,其特征在于:所述路径规划模块(108):首先设定人行横道上距离盲人最远的斑马线中点为目标点,建立盲人过街初步路径,将斑马线中点连线方向预先设定为盲人过街方向;然后由目标点位置、预设速度阈值计算得到安全过街预估时长,并与剩余绿灯时长进行比较,当安全过街预估时长小于剩余绿灯时长时,规划局部行进路径;接着结合惯性导航传感器采集的加速度和角速度数据,实时更新局部行进路径内自身航向、姿态、速度和位置等信息,若检测到局部行进路径内障碍物与盲人过街初步路径之间存在冲突,则进一步分析障碍物运动状态;针对静态障碍物采取主动避障操作;针对动态障碍物则预测障碍物运动轨迹,根据轨迹预测结果进行主动避障和路径规划。

5.根据权利要求4所述的一种交叉口环境下辅助盲人过街的智能引导机器人系统,其特征在于:所述运动控制单元(103)包括转向角控制模块(109)和速度控制模块(110),所述转向角控制模块(109)采用位置式PID算法,通过转向角传感器(114)获取实际转向角并反馈给控制器,实现机器人转向角控制;所述速度控制模块(110)采用增量式PID算法,通过线速度传感器(115)获取实际运行速度并反馈给控制器,实现机器人速度控制。

6.一种应用于如权利要求1‑5所述交叉口环境下辅助盲人过街的智能引导方法,其特征在于:包括以下步骤:

步骤1、判断交叉口信号灯当前灯色状态并获取当前灯色剩余时长,若当前信号灯为绿灯显示状态,进入步骤2;

步骤2、对高清摄像头(111)拍摄的交叉口场景图像进行分析处理,识别出斑马线,确定大致行进区域;采用低通滤波和高通滤波算法对图像进行增强处理,接着进行灰度二值化处理,并运用Sobel边缘检测算法提取斑马线边缘,最后利用霍夫变换检测出斑马线,确定斑马线区域为大致行进区域;

步骤3、在联合标定高清摄像头(111)和三维激光雷达(112)的基础上,融合高清摄像头(111)的图像信息与三维激光雷达(112)的云数据信息识别周围障碍物:先利用图像语义分割和Faster R‑CNN神经网络对高清摄像头获取的图像进行处理,识别周围障碍物类别,再采用均值聚类算法对三维激光雷达(112)获取的云数据信息进行聚类分割,剔除斑马线区域以外的类簇,保留斑马线区域内的障碍物类簇,接着利用卡尔曼滤波算法进行障碍物跟踪,获取障碍物位置、尺寸与运动状态信息;

步骤4、结合步骤2获取的斑马线信息、步骤3获取的障碍物信息和惯性导航信息采用占据栅格地图算法构建全局环境地图,并根据机器人实时位置变化和障碍物信息对全局环境地图进行实时修正,同时构建局部环境地图;

步骤5、设定人行横道上距离盲人最远的斑马线中点为目标点,建立盲人过街初步路径,将斑马线中点连线方向预先设定为盲人过街方向,由目标点位置、预设速度阈值计算得到盲人安全过街预估时长,当安全过街预估时长小于剩余绿灯时长时,根据障碍物位置和运动状态变化采取相应的避障方法,实时规划行进路径;

步骤6、按照步骤5所规划的行进路径,利用PID自适应控制方法控制机器人转向角和行进速度,转向角控制采用位置式PID算法,并通过转向角传感器(114)获取实际转向角并反馈给控制器,实现机器人转向角控制;速度控制采用增量式PID算法,并通过线速度传感器(115)获取实际运行速度并反馈给控制器,实现机器人速度控制,引导盲人完成安全过街。

7.根据权利要求6所述的一种交叉口环境下辅助盲人过街的智能引导方法,其特征在于:所述步骤5具体包括:首先设定人行横道上距离盲人最远的斑马线中点为目标点,机器人运动过程中机器人质心为圆心、半径为R的圆形区域为判定区域;然后建立盲人过街初步路径,将斑马线中点连线方向预先设定为盲人过街方向;接着由目标点位置和预设速度阈值计算得到盲人过街预估时长,对比盲人过街预估时长与剩余绿灯时长:若盲人过街预估时长大于或等于剩余绿灯时长,则语音提醒盲人当前绿灯时长不能满足安全过街需求,机器人保持静止操作,等待下一绿灯状态;若盲人过街预估时长小于剩余绿灯时长,则根据所述障碍物位置和运动状态信息分析判定区域内障碍物是否与盲人过街初步路径存在冲突,对动态障碍物采用长短时记忆神经网络方法进行轨迹预测,若判定区域内存在静态障碍物干扰盲人过街初步路径,则采取主动避障操作;若判定区域内动态障碍物的预测轨迹与盲人过街初步路径存在冲突,则采取主动避障操作;否则机器人沿盲人过街初步路径运动。

8.根据权利要求7所述的一种交叉口环境下辅助盲人过街的智能引导方法,其特征在于,

对动态障碍物采用长短时记忆神经网络方法进行轨迹预测的具体方法为:将过街场景中每个行人i在过去时刻t的状态 作为LSTM编码器的输入,则所有行人的历史轨迹集合为: 其中,tobs是轨迹的观测时域。在每一时刻,LSTM对特征向量进行编码,得到序列的上下文向量其中,μ为全连接层,将二维坐标转化为特征向量;wμe为该全连接层参数。

单个行人i在t时刻的状态不仅与当前位置信息和过去状态有关,也与周围其他行人的影响有关。因此引入卷积社会池化结构,将目标行人邻近二维区域(m,n)内其它行人的LSTM隐层状态共享,构建社会张量 反映行人间的社会交互关系:其中 为第j个人在t‑1时刻所对应的LSTM隐藏状态;1mn为检测所提取的周围行人的位置(x,y)是否在所观测的二维区域(m,n);Ni为涉及的所有周围行人总数。

考虑到行人运动存在不确定性,因此基于行人历史轨迹信息、行人意图Ik和行人间交互输出多模态轨迹坐标,使预测的行人轨迹符合二元高斯分布:t t t

其中Θ=(μ,∑)为在t时刻二元高斯分布所对应的参数,分别代表均值和方差。