利索能及
我要发布
收藏
专利号: 2022108180331
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种适应于移动机器人的VR随动控制系统,其特征在于:包括移动机器人系统、基站和本地随动控制系统;

所述移动机器人系统包括移动平台、二自由度云台、移动机器人无线通信模块、运动控制模块、电源模块和摄像头模块;所述移动平台为移动机器人系统的载体,由本地随动控制系统控制完成位置切换;所述二自由度云台设置于移动平台上,能够根据运动控制模块的控制信号完成姿态的调整;所述移动机器人无线通信模块接收基站信号,下达给运动控制模块,并发送移动机器人系统相关信息;所述运动控制模块安装在移动平台上,用于解析运动控制指令,处理传感器信号,闭环控制移动平台与二自由度云台;所述电源模块为不同的模块提供不同电平的电流;所述摄像头模块为免驱高清双目摄像头,安装在二自由度云台的托盘处,摄像头模块采集到的视频图像进行压缩编码后通过移动机器人无线通信模块、基站传输到本地随动控制系统;

所述基站在移动机器人系统和本地随动系统之间进行信息的传输;

所述本地随动控制系统包括VR眼镜、视觉惯性里程计、随动控制器和本地网络通信模块;所述VR眼镜配带于操作者眼部,包括光学成像模块和图像接受模块,所述图像接受模块接受经过随动控制器处理的视频图像流,通过光学成像模块呈现摄像头模块的实时视频图像;所述视觉惯性里程计安装在VR眼镜上,包括视觉里程计和惯性测量单元,能够准确获取人体位置和头部姿态的变化;所述随动控制器由操作者随身携带,对视频图像进行解码、图像格式变换、校正处理后将视频图像投影到VR眼镜进行显示,对操作者的身体信息数据进行处理,生成运动控制指令,通过本地网络通信模块、基站、移动机器人无线通信模块传输到运动控制模块。

2.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统,其特征在于:所述视觉惯性里程计的处理步骤为:首先,测量数据处理部分负责将摄像头模块采集到的视频图像做特征提取追踪和对惯性测量单元数据的采集,并进行惯性测量单元预积分处理;然后,利用SFM进行视觉初始化,进行惯性测量单元和摄像头之间的外参估计,利用重力加速度来确定世界坐标系和惯性测量单元的偏置和初始速度以及将世界坐标系和相机坐标系对齐;同时,将IMU与摄像头模块的数据时间戳进行同步,将视频图像的特征信息加入到惯性测量单元相邻两帧图像的信息增量中,将两者做紧耦合处理,并进行位姿估计和联合优化,得到姿态角、速度和加速度信息;当有新的关键帧被加入至滑动窗口时,将旧关键帧边缘化处理,更新先验信息和对惯性测量单元的残差;最后对局部优化的结果进行回环检测,对回环涉及到的关键帧进行提取,利用Ceres优化器进行全局的位姿图优化。

3.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统,其特征在于:所述随动控制器的运动控制算法具体为:

建立移动平台的运动学模型;采用前向欧拉法将模型离散化为差分模型;通过传感器感知获取当前移动平台的状态,确定控制和预测时域大小,获得预测模型;对人体移动路径采用三次样条插值平滑处理,将得到的平滑路径数据发送到移动机器人系统端,通过计算得到相关状态的误差量;调整不同误差量权重,同时考虑移动平台的运动学约束;设计目标函数;最后调用优化求解器求解下一次系统的输入量;循环往复,实现移动平台对人体移动轨迹的稳定而准确的跟踪。

4.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统,其特征在于:所述VR随动控制系统的运行步骤如下:

步骤一:操作者配带好VR眼镜和随动控制器;启动系统,建立随动控制器与移动机器人系统的网络连接,若成功发送确认消息,继续接下来的工作,失败则记录并提示操作者;

步骤二:二自由度云台上的摄像头模块采集视频图像,所述视频图像进行压缩编码后经过移动机器人无线通信模块、基站和本地网络通信模块传输到随动控制器,经解码处理后显示在VR眼镜上;

步骤三:视觉惯性里程计获取操作者的身体信息数据,所述信息数据包括操作者的头部姿态和人体位置;

步骤四:所述步骤三获取的信息数据经传感器传输到随动控制器,并由随动控制器处理生成控制参考量,通过模型预测控制算法生成运动控制指令,将运动控制指令通过本地网络通信模块、基站和移动机器人无线通信模块传输到移动机器人系统的运动控制模块,运动控制模块根据移动平台的运动学模型对控制指令进行解算,生成控制参考量,控制移动平台和二自由度云台运动进而实现摄像头模块位置姿态的随动控制;

步骤五:操作者通过调整自身的身体信息数据,控制移动平台的位置和二自由度云台的姿态,实现远程随动观察周围环境。

5.根据权利要求4所述的一种适应于移动机器人的VR随动控制系统,其特征在于:所述步骤四的具体流程为:

运动控制采用安装在随动控制器上的ROS作为中间件实现,获取视觉惯性里程计的头部姿态和人体位置变化的数据后分成两部分处理,一方面是姿态的控制,将俯仰角度和偏航角度以话题形式发布到ROS节点,移动机器人系统通过移动机器人无线通信模块订阅节点,从而接收到指令,输入到运动控制模块,生成二自由度云台的控制输入量,控制两个无刷电机,从而调整到与人头部一致的角度,此时移动平台的姿态控制有两种模式,一是云台跟随模式,即移动平台会随云台转动到相同的偏航角度,添加这一模式主要考虑到画面可能存在延迟,进而导致人的感知与实际移动平台的方向存在偏差,避免云台已经转动到理想的偏转角度,人在进行移动时,移动平台还没有达到理想方向的情况;二是指令模式,针对操作者移动的方向与头部偏转方向不一致的情况,移动平台直接接受随动控制器控制,此时二自由度云台的姿态控制和移动平台的方向控制是相互独立的;另一方面是移动平台的位置控制,其流程如下:视觉惯性里程计感知操作者的人体实时位置每隔采样时间就会得到人体的运动速度和方向,累积0.5s得到多个采样点,并进行三次样条曲线拟合,得到人体的位置变化轨迹,通过传感器将操作者的身体信息数据传输到随动控制器,随动控制器记录这段轨迹,然后考虑到移动平台的运动学模型和输入输出限制进行状态的映射,通过控制算法生成运动控制指令,以话题的形式发布,移动机器人系统接收到指令,根据移动平台的运动学模型,进行运动学解算,生成控制量,准确控制移动平台的位置。

6.根据权利要求1所述的一种适应于移动机器人的VR随动控制系统,其特征在于:所述本地网络通信模块、基站和移动机器人无线通信模块均支持高频无线网络,能够利用TCP网络通信协议进行信息的传输。