利索能及
我要发布
收藏
专利号: 2021111748143
申请人: 重庆科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于BIM与机器视觉的挖掘机开挖隧道精确控制系统,其特征在于,包括多线激光雷达、双目相机、ZigBee无线模块、中控计算机、显示装置和报警装置,所述多线激光雷达和双目相机安装在挖掘机上,所述多线激光雷达用于获取隧道现场开挖断面信息,所述双目相机用于获取隧道现场环境图像信息,所述ZigBee无线模块安置在隧道开挖施工现场,所述ZigBee无线模块用于将隧道现场开挖断面信息和隧道现场环境图像信息无线传输至中控计算机上,所述中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型,将该实测断面模型与已有BIM隧道模型进行自动对比,并将对比结果回传到设于挖掘机驾驶室内的显示装置上显示,且在对比结果出现超欠挖现象时触发设于挖掘机驾驶室内的报警装置进行报警;其中,所述中控计算机利用隧道现场开挖断面信息和隧道现场环境图像信息进行融合建模形成实测断面模型具体包括以下步骤:S1、多线激光雷达点云数据与双目相机联合标定:

S11、将多线激光雷达的极坐标测量数据表示为[ρ,ω,α],其中ρ表示激光点的数据,ω表示激光点的垂直角度,α表示激光点的水平角度,将激光点通过下式从极坐标形式转化为直角坐标形式:C C C C T

S12、假设空间中一点在双目相机坐标系下坐标为X=(x ,y ,z) ,在像素坐标系下的坐标为(u,v),将这个点的三维坐标和像素坐标通过如下公式表示:式中,K为双目相机内参矩阵,[I 0]为单位矩阵;假设所述空间中一点在世界坐标系下W W W W T的三维坐标为X=(x ,y ,z) ,将世界坐标系和双目相机坐标系的转化关系表达如下:式中,R为世界坐标系与双目相机坐标系的旋转矩阵,t为世界坐标系与双目相机坐标系的平移矩阵;综合上式(2)和(3),可得:S13、依据求得的双目相机内参矩阵K,进行多线激光雷达与双目相机联合外参标定,将双目相机的像素点在像素坐标系下的二维坐标与多线激光雷达的激光点在激光雷达坐标系下的三维坐标一一对应起来,具体如下:式中,R'为激光雷达坐标系与双目相机坐标系的旋转矩阵,t'为激光雷达坐标系与双目相机坐标系的平移矩阵;

S2、双目相机视觉特征匹配与特征点同步:

S21、使用BRIEF‑128描述子,选取特征点附近的128对像素点;

S22、取出点集 特征点方向角度为A,通过下式转化为旋转矩

阵:

则旋转后的点集SA=RAS,特征描述子为:

g128(i,A):=f128(I)I(ui,vi)∈SA     式(7)S23、使用汉明距离判断特征描述子间的匹配程度,若当前特征点与最邻近点的汉明距离越小且与次邻近点的汉明距离越大,则匹配效果越好,经过匹配可以得到从两个角度同时拍摄到的图像点;

S24、经过特征匹配,得到物理世界中B点在左眼相机OL和右眼相机OR两个相机图像中的投影点PL和PR,左眼相机OL和右眼相机OR的中心距离为基线的长度b,双目相机焦距为f,建立双目相机几何模型;

S25、根据建立的双目相机几何模型,通过下式求得B点与双目相机的垂直距离z:式中,uL为PL的像素横坐标,uR为PR的像素横坐标;

S26、以左眼相机OL中心为原点,建立相机坐标系O‑x‑y‑z,设B点在相机坐标系中的坐标为(xC,yC,zC),此时B点的z坐标在左目图像中的像素坐标(uL,vL)均已知,由相机坐标系O‑x‑y‑z中的相似三角形关系可得:结合式(8)和式(9)计算出所有特征点在相机坐标系O‑x‑y‑z下的三维坐标,每一组图像算出的特征点作为一帧点云数据;

S3、多线激光雷达特征匹配:

2

S31、多线激光雷达点云数据为H={hk}.k=1,...,K,hk∈R ,设扫描帧的位姿为ξ,旋转的角度为θ,激光雷达位姿为Tξ,则点云中全局坐标为:式中,h表示点云中每个数据点,ξθ表示激光雷达采用数据的旋转,ξx、ξy表示激光雷达采用数据的平移;

S32、构建一个概率网格G:rZ*rZ→[Pmin,Pmax],在分立网格点中设置分辨率大小,每个网格点的数值代表它存在障碍物点的概率,并定义每个网格点包含了它所在的方形区域内所有的点;

S33、将连续的多帧点云数据累积起来,形成局部地图与点云进行匹配,设置两个点集hit和miss,同时设置初始概率Phit和Pmiss,插入点云时把所在网格点记作hit,点云与挖掘机之间连线所有网格点记作miss,某网格点第一次被观测到就把它的概率Pm赋值Phit或Pmiss,若已经被观测过,则通过下式更新概率值:‑1

Gnew(x)=clamp(odds (odds(Gold(x))·odds(Phit)))     式(12)式中,Pm表示网格点存在障碍物的概率,odds()表示存在障碍物的概率和不存在的概率的比值,Gnew()表示更新的概率,clamp()表示数值限制在[Pmin,Pmax]之间,Gold(x)表示之前已经观察到的网格点;

S4、融合建模:

S41、每隔一段时间,系统通过将当前帧的扫描点云数据与局部点云地图进行特征匹配,然后使用LM法进一步优化点云帧位姿与局部地图的位姿变换,再将当前扫描的点云扫描数据加入局部地图;

S42、使用双目相机采集的图像特征进行回环检测,需要在位姿图中加入视觉位姿节点,双目相机对周围环境感知频率远高于激光雷达,所以在相邻两个激光雷达位姿点之间会有多个视觉关键帧位姿,由此就完成了将视觉关键帧加入整体的位姿图;

S5、闭环检测:

图像闭环检测使用视觉词袋度量两幅图像的相似程度,经离线采集大量图像,提取出N个特征点,使用K‑means方法将它们归成k个单词的词典,随机选取k个中心点c1…ck,计算每个样本与每个中心点的距离,取最小的作为它的归类,重新计算每个类的中心点,如果每个中心点都变化很小,则算法收敛结束,否则返回步骤S2;

使用TF‑IDF模型计算相似度,在建立字典时计算IDF,统计某个单词wi中特征点数量占所有特征点数量的比例,设一共有n个特征,ni个wi,该单词的IDF如下式所示,且后面将IDF记为I:设图像A中单词wi出现了li次,而所有单词共出现了l次,单词出现频率TF记作F且为:则wi的权重等于F与IDF的乘积:

ηi=Fi×Ii     式(15)

用一个向量vA描述图像A:

使用L1范数形式采用下式计算两幅图像相似度:

式中,vAi表示向量vA的各个元素,vBi表示向量vB的各个元素;

S6、全局优化:

经过闭环检测后,判断检测结果,比如总分为100若分数大于70,则认为找到了足够相似的图像匹配,然后把这个匹配结果作为一个全局约束加入到优化问题中,将优化问题中的观测误差具体化为:式中,argmin表示后式取得最小值时Im、Is的最小值,为了保证残差最小化时收敛速度和稳定性,使用回归损失函数ρ对观测误差进行封装,Im是关键帧A在全局坐标系下的位姿,Is是与关键帧A建立闭环的关键帧B在全局坐标系下的位姿,它们之间的约束通过相对位姿ξij和协方差∑ij来描述,对于一组关键帧i和j,相对位姿ξij描述的是分别采集到该帧的时刻机器人所处的位置,这个位置由激光雷达的连续的帧间匹配给出,协方差∑ij的由闭环检测算法给出, 表示优化全局中的局部子地图位姿, 表示扫描位姿,E表示残差函数,在这个约束问题中具体形式为:式中,e()表示相对位姿同变换位姿的误差, 表示坐标平移分量,

表示旋转角度分量。

2.根据权利要求1所述的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统,其特征在于,所述中控计算机将该实测断面模型与已有BIM隧道模型进行自动对比的过程为,通过下式计算BIM隧道模型SS和实测断面模型SC两者差值C:C=SS‑SC

其中,当C>0时,为欠挖;当C<0时,为超挖;当C=0时,为非超欠挖。

3.根据权利要求1所述的基于BIM与机器视觉的挖掘机开挖隧道精确控制系统,其特征在于,所述显示装置为显示屏,所述报警装置为蜂鸣器。