1.一种基于双目视觉的液压支架位姿检测方法,其特征在于,待检测液压支架的顶梁底部固定设置标志点标靶,标志点标靶上设置有5个LED标志点,同一标志点标靶上的标志点中任意两点不构成线性相关,不同液压支架上的标志点的波长与直径不同;液压支架底座上设置用于拍摄标志点标靶的双目相机以及双目相机的信号处理模块;
基于双目视觉的液压支架位姿检测方法,包括以下步骤:
S1.以双目相机的中心为坐标原点建立相机坐标系OcXcYcZc,以液压支架的重心为坐标原点建立液压支架坐标系OhXhYhZh,以液压支架顶梁的重心为坐标原点建立顶梁坐标系OtXtYtZt,以标志点标靶的中心建立标志点坐标系OmXmYmZm,上述坐标系的Z轴方向竖直向上,X轴方向指向待采煤壁,Y轴方向平行于采煤机行走方向,坐标系符合右手定则;
S2.确定液压支架坐标系和顶梁坐标系的相对姿态关系为 ,确定顶梁坐标系和标志点坐标系之间的相对姿态关系为 ,其中,i表示液压支架的编号;
S3.建立图像坐标系olxlyl和orxryr,以图像左上角为坐标原点,水平向右方向为x轴,竖直向下方向为y轴,液压支架上一点在液压支架坐标系中坐标 与在标志点坐标系中坐标的相对坐标变换关系可以表示为:S4.双目相机针对标志点标靶拍摄照片,并将照片输入信号处理模块;
S5.信号处理模块对标志点进行基于卷积神经网络的目标检测,将标志点根据所属的液压支架进行分组和编号;对标志点进行二值化处理和形态学处理,计算标志点的中心点二维坐标;
S6.利用立体视觉原理,对双目相机拍摄的同一标志点标靶中的标志点进行立体匹配,得到各标志点在相应的液压支架的双目相机的相机坐标系下的三维空间坐标;
S7.通过标志点的三维空间坐标,利用对偶四元数方法,构建误差模型,并通过拉格朗日乘数法构造辅助函数进行求解,分别求解单个标志点坐标系在相机坐标系下的姿态矩阵,再根据液压支架坐标系、顶梁坐标系、标志点坐标系之间已确定的相对姿态关系和 ,求解单台液压支架坐标系在相机坐标系下的姿态矩阵 ,即对姿态矩阵 解耦后获得姿态参数一,即第i台液压支架在相机坐标系下的旋转角和平移向量;
S8.对姿态参数一求逆矩阵,得到相机坐标系在第i台液压支架坐标系下的旋转角和平移向量,以第i台液压支架为基准液压支架,结合第j台液压支架的姿态参数一,使用矩阵乘法进行坐标系的旋转和平移变换,求解得到不同液压支架坐标系之间的姿态矩阵其中i为基准液压支架,j为目标液压支架,对姿态矩阵 进行解耦,得到姿态参数二,即不同液压支架之间的旋转角和平移向量;
S9.存储姿态参数一及姿态参数二,信号处理模块向双目相机发出解算完成信号,重复进行步骤S4至步骤S8。
2.根据权利要求1所述的一种基于双目视觉的液压支架位姿检测方法,其特征在于,步骤S5包括:S5‑1.将各标志点分别用矩形预测框标出;
S5‑2.预测框内的像素点的集合用 表示,Dn表示集合 中第 个像素点, 的坐标由参数 和 所限制在多个方形区域内,其中 为第 个预测框角点坐标, 为第 个预测框的宽和高,即
S5‑3.定义第 个预测框内像素点的灰度值函数为 ,将标志点根据所属的液压支架进行分组和编号;
S5‑4.基于OSTU模型确定各组标志点图像的自适应灰度阈值k*,将图像转化为二值化模型;
S5‑5.通过形态学处理获得标志点轮廓;
S5‑6.定义每组标志点图像二值化后像素点的集合为 , 为集合 中第 个标志点的像素点,定义点 处灰度值为 ,则S5‑7.构建第 个光学特征标志点的整幅二值化图像灰度值函数 ,其中 , ;N和M分别为预测框的宽和高;
S5‑8.通过矩特征计算目标区域轮廓中心:离散函数 的 阶矩可以表示为则第 个标志点的中心点坐标 为
。
3.根据权利要求1所述的一种基于双目视觉的液压支架位姿检测方法,其特征在于,双目相机对标志点标靶拍摄多张照片,根据多张照片中标志点的解算结果取平均值。
4.根据权利要求1所述的一种基于双目视觉的液压支架位姿检测方法,其特征在于,标志点为圆形。
5.根据权利要求1所述的一种基于双目视觉的液压支架位姿检测方法,其特征在于,双目相机与信号处理模块安装在防爆保护外壳内。
6.根据权利要求1所述的一种基于双目视觉的液压支架位姿检测方法,其特征在于,双目相机固定安装在相机支撑杆上,相机支撑杆中部连接缓冲弹簧,所述缓冲弹簧外套设限位管。