利索能及
我要发布
收藏
专利号: 2022102831521
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于混合现实技术的ROS智能车交互方法,其特征在于,包括用于获取控制信息的本地端和用于ROS智能车响应操作信息并执行对应操作的远程端,所述本地端包括HoloLens眼镜,所述远程端是由搭载Linux平台ROS系统的工控机进行控制的的智能小车,首先进行本地端实施步骤:步骤一:通过Unity设计好的项目文件通过Visual Studio部署至HoloLens端;

步骤二:操作者启动并佩戴HoloLens眼镜,开启HoloLens中部署的项目文件;

步骤三:在HoloLens全息图中,可以看见所设计的ROS智能车的数字模型和渲染的场景,但此时的ROS智能小车数字模型与实体是不匹配的;

步骤四:等待与远程端进行连接;

接下来开启远程端的实施步骤:

步骤五:ROS智能车的主体是ROS程序控制底盘履带电机使履带进行运动控制,包括底层设备的控制,常用函数的实现,还有发布ROS里程功能,通过IMU进行姿态融合,基于思岚A2雷达的SLAM方案,构建地图,进行导航以及避障;

步骤六:ROS系统启动基于WebSocket的通信模块,连接到HoloLens的ROS‑Bridge服务器;

步骤七:服务器接收到连接请求后,开启端口,并订阅相关话题;

步骤八:采集HoloLens的深度图,将深度图转换为点云,在ROS智能车是放置Kinect V2相机,采取ROS智能车的点云信息;

步骤九:通过ROS智能车所搭载的工控机,利用算法将所得到点云信息的进行匹配,得到两者的坐标之间的刚体变换矩阵T_Trans,并将得到的刚体变换矩阵T_Trans通过TCP通讯传送至HoloLens端;

步骤十:由于T_Human与T_MRobot的位置转换矩阵可以已知的,加上T_Trans的转换矩阵,就可以计算出T_MRobot_1的转换矩阵;

步骤十一:将所得到的T_MRobot_1矩阵应用到HoloLens的混合现实界面的数字模型中,就可以实现Robot坐标系与Mrobot_1坐标系相重合,进而就可以在混合现实界面中可以将ROS智能小车的数字模型与实体相重合;

步骤十二:届时,MR操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ROS智能车;

步骤十三:当拖动全息图中的小车数字模型时,HoloLens发布目标位置信息;

步骤十四:根据ROS通信格式,对ROS系统接收到来自HoloLens的目标位置信息进行处理;

步骤十五:通过ROS中的Action机制向 Navigation 栈发布目标点位置;

步骤十六:ROS智能车导航中的Navigation 栈接收到位置信息,驱动ROS智能车运动至指定目标,同时,在混合现实界面的数字模型与实体的运动状态与姿态相符合。

2.根据权利要求1所述的一种基于混合现实技术的ROS智能车交互方法,其特征在于,所述ROS智能车顶部搭载雷达,所述雷达与设于ROS机器人底盘内的控制器连接,用于传递障碍物感知信息。

3.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法,其特征还包括:

Hololens眼镜本地端与ROS智能车远程端通过Ros‑sharp功能包进行通讯,其通讯数据格式为JSON格式。

4.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法,其特征在于,当ROS智能车运动时,远程端发送将自身位置姿态信息至服务器,Hololens眼镜本地端解析数据类型,并将其呈现在MR场景中,具体的为:当远程端运动时,ROS智能车所搭载的里程计以及IMU数据也随之改变,本地端通过ROS‑sharp功能包订阅相关话题并获取JSON形式数据,本地端解析JSON数据并将其表现在MR场景中,其JSON数据格式主要是包括geometry_msgs/PoseWithCovariance pose、geometry_msgs/TwistWithCovariance twist。

5.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法,其特征在于,Hololens眼镜本地端可以发送位置信息至服务器,ROS智能车远程端解析数据类型并做出指定动作,具体的为:远程端通过Ros‑sharp订阅相关节点,当MR操作者在MR界面中操作ROS智能车的数字模型时,会发布位置相关的JSON格式信息,ROS远程端获取位置信息,并执行相关指令,其JSON数据格式主要是包括float64 x、float64 y以及float64 z,分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。