利索能及
我要发布
收藏
专利号: 2023103922170
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于幕墙板材安装及防碰撞预警的位姿估计方法,其特征在于,该方法具体包括以下步骤:S1:获取幕墙板材的精准抓取位置:用带有特殊标记点的幕墙板材存放装置存放幕墙板材,使用双目视觉精准定位;所述幕墙板材存放装置包括框架(1)、调节装置和固定装置(2);所述固定装置(2)上设置有特殊标记点(201);通过固定装置(2)将幕墙板材立放于框架(1)上,利用双目视觉对特殊标记点(201)定位,实现幕墙板材位置的精准定位;

S2:采用数据采集系统获取数据集,并将其划分为训练集、验证集和测试集;

所述数据采集系统(3)包括双目相机(301)和倾角传感器(302),倾角传感器贴合在双目相机侧面;

获取数据集的具体步骤为:

S21:在拍摄前将相机拍摄平面与安装区域平面平行放置,对倾角传感器(302)进行标定;

S22:结合安装区域以及相机参数,选定能够拍摄到整个安装区域的拍摄距离范围,在不同影响因素下进行拍摄,获取大量的安装区域的双目RGB图像;

S23:在每次拍摄的同时需要获取倾角传感器(302)的数值,数值通常为按照Z‑Y‑X顺序旋转的欧拉角(α,β,γ),其中α、β、γ分别表示倾角传感器(302)相对于原始自身坐标系的X、Y、Z轴旋转的角度;此处记录的数值表示了相机拍摄平面相对于幕墙安装区域平面的旋转量;

S24:对左右双目RGB图像分别进行像素级分割,用直线划分出安装区域,作为语义分割任务的标签;

S25:把双目RGB图像进行数据增强作为数据集的图片,增加训练样本;

S26:将欧拉角(α,β,γ)转换为四元数qm来表示旋转量;对qm求逆得到 用来表示幕墙板材安装区域平面相对于拍摄平面的旋转量;

其中,w为qm的实部,决定旋转角的大小;x、y、z为qm的虚部,决定旋转变换的方向;(x,y,z)为特殊标记点在相机坐标系下的三维坐标;

S27:用四元数 表示的姿态信息作为姿态估计的标签,完成数据集的建立;每份数据包括通过双目相机获取的左右两张RGB图、安装区域分割标签以及姿态估计标签S28:完成标注后,取数据集的70%作为训练集,20%作为验证集,10%作为测试集;

S3:将训练集输入基于计算机视觉以及深度学习的位姿估计网络模型进行训练,通过验证集和训练集的损失曲线来确认训练终止时间,最后利用训练完成的网络模型估算出相机到安装区域的相对位姿关系(T,q);

S4:实时位姿的估计:首先对相机与幕墙机器人抓手即幕墙板材的相对位姿关系进行标定,得到相机到机器人抓手的位姿(T0,q0);然后用标定的数据(T0,q0)以及位姿估计网络模型估算的数据(T,q)转换为机器人抓手到安装区域的位姿信息(Te,qe)。

2.根据权利要求1所述的位姿估计方法,其特征在于,步骤S1中,机器人抓手精准抓取幕墙板材位置通过双目视觉定位来获取;利用固定装置上的特殊标记点(201)做特征匹配,得到标记点在左右两图上的坐标分别为像素坐标系下的(ul,vl)和(ur,vr);

以左相机为主相机,根据相机本身的焦距f,水平基线b,图片在像素坐标系X、Y方向上的像素密度mx、my和图像物理坐标系原点(ox,oy),得到特殊标记点在相机坐标系下的三维坐标(x,y,z);

其中,fx、fy分别表示在X、Y方向上的焦距;

通过相机坐标系下特殊标记点的坐标和幕墙板材中心的相对位置关系,实现板材的精准抓取位置估计。

3.根据权利要求1所述的位姿估计方法,其特征在于,步骤S3中,训练基于计算机视觉以及深度学习的位姿估计网络模型,具体包括以下步骤:S31:通过监督学习训练网络,使得网络能通过语义分割得到安装区域初步结果;

S32:对分割预测结果进行筛选得到目标分割区域;

S33:对目标分割区域拟合得到由直线构成的区域,得到最终划分区域;

S34:根据划分区域,得到区域的一个角点及其对角的像素坐标系下的二维坐标,通过双目原理得到角点在相机坐标系下的三维坐标;计算二者中点即安装区域中点,该点坐标即为相机到安装区域中心的平移矩阵T;

S35:将分割并处理得到的左右两张图片进行拼接,通过监督学习训练网络,设计损失函数RLoss,使得网络能够估计旋转量q。

4.根据权利要求3所述的位姿估计方法,其特征在于,步骤S33中,采用RANSAC方法对目标分割区域进行拟合。

5.根据权利要求1所述的位姿估计方法,其特征在于,步骤S4中,机器人抓手到安装区域的位姿信息(Te,qe)的计算公式为: 其中, 表示q0的共轭四元数。

6.根据权利要求1~5中任意一项所述的位姿估计方法,其特征在于,将Te和qe反馈给幕墙抓取机器人,使得机器人通过反馈量调整机械臂的运动;先根据qe调整幕墙板材的姿态,使幕墙板材平面与安装区域平面平行;再根据Te提供的位置信息将幕墙板材向安装区域中心O移动,直至距离20cm处,发出防碰撞预警信息并限制机械臂移动速度,防止发生碰撞导致损伤板材或边框结构,并实现在安装过程中的微调,从而实现精准安装。