利索能及
我要发布
收藏
专利号: 2024109271820
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种井下多机器人协同数字孪生场景模型构建方法,其特征在于:包括以下步骤:

S1、感知模块安装:根据巷道长度和横截面,在机器人上安装感知模块;

S2、传感器内外参标定:获得本质安全型激光雷达畸变校正参数、本质安全型相机内参、惯性测量单元零偏、超宽带测距单元修正系数;求本质安全型激光雷达到惯性测量单元、视觉相机到惯性测量单元的外参变换、UWB移动节点到UWB锚节点的外参;

S3、坐标系对齐与时间同步:将感知模块通过USB端口接入到计算模块中,完成本质安全型激光雷达、本质安全型相机、超宽带测距单元的坐标系对齐和时间同步;

S4、彩色点云构建:利用本质安全型激光雷达、本质安全型相机、惯性测量单元、UWB移动节点,基于图优化的方法完成高精度彩色点云构建并计算机器人六自由度的位姿;

S4.1、数据采集:主控模块通过WiFi远程遥控主机器人i运行,主机器人i通过Mesh节点控制子机器人往复采集巷道激光雷达点云数据、惯性测量单元角速度和线加速度数据、视觉图像数据、UWB测距信息数据;

S4.2、机器人运动模型构建:构建机器人的运动模型;

S4.3、状态传播:利用误差迭代扩展卡尔曼滤波的方法对运动模型进行离散化,构建运动传播方程和协方差矩阵;

S4.4、传感器观测模型构建:计算移动节点和UWB锚节点的距离,构建UWB距离和位置观测方程,通过直接计算两点之间的发射波与接收波之间的时间间隔实现距离的测量;提取雷达特征点,构建雷达点面、点线、线线观测;计算特征点的RGB信息和像素逆深度,构建视觉观测,通过最小化观察到的地图点的RGB颜色与其在当前图像中测量的颜色之间的光度误差来估计当前状态;计算惯性测量单元的角速度和加速度,构建IMU观测;

S4.5、构建因子图优化模型:该因子图由一种表示系统状态的变量节点与四种表示测量约束的因子节点组成,五种因子节点为系统的状态估计提供不同的测量约束,系统的后端优化模块利用上述五种因子构建多传感器因子图,通过增量平滑优化的方式获得最优的状态估计参数;

S4.6、激光惯性里程计子系统构建:基于S4.5因子图优化模型,融合S4.1采集到原始点云和IMU数据来进行S4.3状态传播,最小化雷达特征点到平面的残差来估计系统的状态,然后在收敛的状态下,被添加到全局地图中成为地图点,并标记雷达特征点所在位置相对应的体素为激活或非激活;

S4.7、视觉惯性里程计子系统构建:利用一个帧对帧的光流来跟踪地图点,利用因子图优化模型估计系统状态,通过最小化跟踪地图点之间的帧到地图的光度误差来进一步优化系统的状态估计;

S4.8、因子图优化:当因子图建立完成后,求解最优的一组系统状态使得因子图S4.5中所有的边达到最优,最终得到系统最优状态量;

S4.9、全局地图纹理渲染:在S4.7中帧到地图的视觉惯性里程计子系统即VIO更新后,得到了当前帧的精确位姿,然后通过最小化观察到的地图点的RGB颜色与其在当前图像中的测量颜色之间的光度误差来直接有效地融合视觉数据,从而更新地图点的颜色;

S4.10、彩色点云地图构建:首先,S4.9在纹理渲染后,对跟踪地图点集进行更新,其次,将跟踪地图点集中的每个点投影到当前的图像上,最终通过S4.9颜色渲染的得到的全局地图,构建彩色点云,并通过S4.8完成系统状态的最优估计;

S5、彩色网格地图构建:基于S4中构建的彩色点云,结合顶点检索、定点投影降维、二维Delaunay三角剖分、体素网格划分实现彩色网格地图的构建;

S5.1、彩色点云地图导入:将S4.10构建完成的原始彩色点云同步导入计算模块的网格重建单元中;

S5.2、点云预处理:S5.1得到的原始彩色点云进行滤波、下采样、去除噪声处理;

S5.3、体素方式顶点检索和顶点扩展:首先使用分层体素将原始彩色点云细分为许多区域,检索需要与新添加的点进行网格划分的顶点,其次执行3D点云膨胀来添加网格顶点以腐蚀体素之间的间隙,获得更高质量的三角网格;

S5.4、投影降维:利用从S5.3中检索到的网格顶点,将3D顶点投影至2D平面,最终得到投影降维后的点云;

S5.5、二维Delaunay三角剖分:把投影降维后的点云剖分成不均匀的三角形网格,得到Delaunay三角剖分后的三角面片;

S5.6、彩色网格地图构建:通过体素网格划分操作和二维Delaunay三角剖分后新构造的三角形面,更新三角面片,并逐步将网格地图合并到当前保存在地图结构中的体素中;

S6、多机器人协同探索与建图:利用UWB锚节点为信息中枢,结合S4计算的机器人最优状态估计和S5构建的彩色网格地图,实现多机器人协同编队控制与路径规划和地图融合;

S6.1、多机器人部署:将主机器人i、子机器人j和子机器人r部署至巷道指定位置,并按照S5.1至S5.3步骤完成感知模块安装、内外参标定、坐标系对齐与时间同步,并完成计算模块的时间同步和无线Mesh节点通讯频率一致;

S6.2、多机器人协同路径规划:主机器人i利用基于A*的全局路径规划算法根据其在S4.8和S4.10得到的定位信息和地图信息,搜索出一条从起始点到目标点的全局最优路径,主机器人i利用基于DWA的局部路径规划算法,通过计算子机器人j和子机器人r相对障碍物的距离来调整子机器人的位姿;

S6.3、多机器人编队控制与避障:构建多机器人的跟随编队运动模型,主机器人i进行全局和局部路径规划来实现自主导航,子机器人j和子机器人r在跟随主机器人i的同时测量相对障碍物的距离;

S6.4、多机器人UWB测距与数据交换:当多个机器人进入某个UWB锚节点的测距范围内,通过UWB进行测距和交换主机器人i当前位姿和子机器人当前位姿以及锚点位置;

多机器人相对位姿变换方式为:在有共同锚点的情况下,机器人在汇合时直接估算机器人之间的变换,机器人只需要在测量邻近机器人距离时发送其当前位置和锚点位置,接收到信息后,机器人计算自身与发送方之间的变换矩阵,变换矩阵正确估算出来后,所有从邻近机器人接收到的信息都正确放置在该机器人的坐标系中;对于主机器人i和子机器人j,将主机器人i到子机器人j的坐标系的变换矩阵标记为 其中 是表示旋转的3×3矩阵, 是表示平移的3×1向量,借助加速度计和陀螺仪,确定重力方向并为所有机器人定义相同的z轴:在创建坐标系时,z轴与重力方向相反对齐,估算两个坐标系之间的偏j航角θ和平移向量 变换矩阵Ti包括:

由此利用两个机器人的锚点位置估计,获得主机器人i和子机器人j位置的差向量在z轴上的投影,即 留下三个参数(θ,tx,ty)待估计,这三个参数的求解方法包括以下步骤:S6.4.1、机器人及锚节点位置交换:假设主机器人i和子机器人j简单地在二维空间内独立移动,两个机器人都有自己的坐标系oixiyi和ojxjyj,初始化后也有锚点A的位置,并且在各自的坐标系中跟踪自己的轨迹,当主机器人i经过点B而子机器人j经过点C时,进入通信范围,获得一个双向距离测量d1,同时,将彼此在各自的坐标系oixiyi和ojxjyj中的当前位置和锚点A的位置传输给彼此,得到 其中 为A,B点在主机器人i系下的位置, 为A,C点在j系下的位置;

S6.4.2、子机器人位置C在主机器人坐标系下的坐标求解:以主机器人i的视角来说明,当主机器人i接收到锚点A的位置和子机器人j的当前位置点C在ojxjyj的坐标系中的表示,即 和 时,主机器人i从 知道ojxjyj的原点必须位于以锚点A为中心、半径为|AOj|的圆Ⅲ上,此外,主机器人i根据 和 计算|AC|,以找到子机器人j的位置点C必须位于以A为中心、半径为|AC|的圆Ⅱ上,得到点B和C之间的距离是测量范围d1,并且点C也必须位于以其当前位置B为中心、半径为d1的圆Ⅰ上,通过求解下式:求得C点在主机器人i系下的位置

S6.4.3、求解主机器人i位置B在子机器人j系下的坐标:当子机器人j接收到锚点A的位置和主机器人i的当前位置点B在i的坐标系中的表示,即 和 时,子机器人j从 知道oixiyi的原点必须位于以锚点A为中心、半径为|AOi|的圆上,此外,子机器人j根据 和 计算|AB|,以找到主机器人i的位置B必须位于以A为中心、半径为|AB|的圆上,得到点B和C之间的距离是测量范围d1,并且点B也必须位于以子机器人j当前位置C为中心、半径为d1的圆上,通过求解下式:求得B点在子机器人j系下的位置

S6.4.4求解D、E分别在子机器人和主机器人i系下的坐标:当主机器人i位于B点,且子机器人j在主机器人i系下的位置为 为了进一步确定子机器人j和主机器人i的位置在彼此坐标系下的表示,采取两个后续点D和E之间的额外测量d2,重复步骤S6.4.2和S6.4.3,通过求解下式:得到D在子机器人j下的位置 和E在主机器人i系下的位置

S6.4.5机器人间位姿求解:由S6.4.2‑S6.4.4所述求解得到B点在子机器人j系下的位置 C点在主机器人i系下的位置 D点在子机器人j系下的位置 以及E点在主机器人i系下的位置 最终通过下式:求得主机器人i到子机器人j的平移和旋转分别为tx,ty,θ

S6.5、多机器人彩色网格地图融合:多机器人系统在建图时,每个机器人都以各自建图算法启动时的起点为地图原点进行构建局部地图,基于局部地图间的坐标系变换进行地图的融合拼接;

S7、全局描述子构建:构建一种三角形的描述子,然后将彩色点云投影到平面边界并提取其中的关键点,相邻关键点形成三角形描述子,描述子对旋转和平移完全不变,同时保持高度的可区分性;

S8、发布数据:主机器人i通过计算模块处理由S4.10所计算的原始彩色点云和S5.6得到的更新后的彩色网格地图,并以惯性测量单元采样率的频率发布里程计;

S9、数字孪生场景模型构建:将S5.6全局彩色网格地图导入至主控模块,主控模块通过Unity3D对彩色网格地图进行处理和分析,实现煤矿井下的数字孪生场景模型构建;

S10、数字孪生场景模型更新:机器人群在巷道往复建模过程中,利用S7构建的全局描述子进行区域检测,若检测到巷道某位置的原始描述子与新建模得到的新描述子不符合,则该场景被标记为更新区域,然后在主控模块控制机器人前往建图,并将得到的局部彩色网格地图更新到全局彩色网格地图中,完成数字孪生场景更新。

2.根据权利要求1所述的一种井下多机器人协同数字孪生场景模型构建方法,其特征在于:所述S7中,三角形描述符是在点云关键帧内提取的,由三个关键点编码组成的全局描述符,能描述关键帧中关键点的相对分布,三角形描述符用三角形对场景中的任意三个关键点进行编码,三角形的形状是由边长或夹角唯一决定的,与关键点周围的局部描述符相比,三角形的形状完全是旋转和平移不变的,构建完三角形描述子后,通过匹配点云之间描述符的边长来实现地点识别,通过描述子匹配对中获得的点对应关系进一步用于几何验证。

3.根据权利要求1所述的一种井下多机器人协同数字孪生场景模型构建方法,其特征在于:所述S8中具体操作为:以并行方式处理彩色点云和彩色网格点云的数据,彩色点云生成后,不断传入网格重建单元中对点云进行处理,最终在线生成彩色网格地图;以并行方式实现多机器人的位姿估计以及多机器人地图融合,在井下多机器人协同建图过程中,子机器人不断地把局部地图和位姿结果传入主机器人i计算模块中,主机器人i计算模块并行地优化机器人群的最优姿态以及融合子机器人间和主机器人i的局部地图。

4.一种如权利要求1‑3任一项所述的一种井下多机器人协同数字孪生场景模型构建方法的系统,其特征在于:包括主机器人i和子机器人,所述主机器人i和所述子机器人均与主控模块连接,所述主机器人i设有可视化模块、感知模块、计算模块和通讯模块;

可视化模块:用于显示数字孪生场景模型、设备模型、监测机器人运动状态、电量、磨损情况、监测外界环境温湿度;

感知模块:用于机器人感知煤矿井下的特征、温度和湿度;

计算模块:用于处理井下单机器人和多机器人移动、定位建图、探索、路径规划的数据;

通讯模块:用于井下多机器人间、井下及地面的通讯;

所述感知模块包括本质安全型激光雷达、本质安全型相机、超宽带测距单元和惯性测量单元;所述计算模块包括定位建图单元、网络重建单元、规划控制单元和多机协同单元,所述多机协同单元与所述子机器人连接,所述子机器人包括子机器人j和子机器人r;所述主机器人i与所述子机器人的结构相同,包括履带底盘,所述履带底盘顶部设有防爆箱体,所述防爆箱体内部设有所述惯性测量单元和所述计算模块,所述防爆箱体顶部设有固定支架,所述固定支架顶部一侧设有所述超宽带测距单元,所述超宽带测距单元一侧设有所述本质安全型相机,所述本质安全型相机一侧设有WiFi基站,所述WiFi基站上设有Mesh节点,所述WiFi基站一侧设有两个所述本质安全型激光雷达,两个所述本质安全型激光雷达中间设有所述可视化模块。