1.一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,待检测液压支架的顶梁底部固定设置标志点模组,标志点模组上设置有5个LED标志点,同一标志点模组上的标志点中任意两点不构成线性相关,不同液压支架上的标志点的波长与直径不同;
以m台液压支架为一组,每组的最末台液压支架同时为相邻组的首台液压支架,每组处于中间位置的液压支架的底座上均设置用于拍摄标志点标靶的双目相机以及双目相机的信号处理模块,双目相机能够拍摄包括所在液压支架在内的m台液压支架的标志点模组;调整各双目相机模块初始位置状态,使各双目相机模块之间没有旋转角,只存在平移关系;
标志点辅助双目视觉的液压支架群直线度检测方法,包括以下步骤:
S1.以工作面端部固定位置建立工作面坐标系OfXfYfZf,以双目相机的中心为坐标原点建立相机坐标系OcXcYcZc,以液压支架的重心为坐标原点建立液压支架坐标系OhXhYhZh,以液压支架顶梁的重心为坐标原点建立顶梁坐标系OtXtYtZt,以标志点模组上5个LED标志点的中心为原点建立标志点坐标系OmXmYmZm,以上坐标系的Z轴方向竖直向上,X轴方向指向待采煤壁,Y轴方向平行于采煤机行走方向,坐标系符合右手定则;
S2.确定液压支架坐标系和顶梁坐标系的相对姿态关系为 确定顶梁坐标系和标志点坐标系之间的相对姿态关系为 其中,i表示液压支架的编号;
S3.确定工作面坐标系与第一台双目相机模块的相机坐标系之间的相对姿态关系为液压支架上一点在液压支架坐标系中坐标Phi与在标志点坐标系中坐标Pmi的相对坐标变换关系可以表示为:S4.双目相机针对标志点标靶拍摄照片,并将照片输入信号处理模块;
S5.信号处理模块对标志点进行基于卷积神经网络的目标检测,将标志点根据所属的液压支架进行分组和编号;对标志点进行二值化处理和形态学处理,计算标志点的中心点二维坐标;
S6.利用立体视觉原理,对双目相机拍摄的同一标志点标靶中的标志点进行立体匹配,得到各标志点在相应的液压支架的双目相机的相机坐标系下的三维空间坐标;
S7.以工作面第一台液压支架的标志点坐标系为待测坐标系,以工作面第一台双目相机的相机坐标系为基准坐标系,利用对偶四元数方法,求解待测坐标系在基准坐标系下的姿态变换关系 对姿态齐次矩阵进行解耦,得到姿态参数0,即第一台液压支架的标志点坐标系相对于第一台液压支架双目相机模块的相机坐标系的旋转角和平移向量;
S8.根据液压支架坐标系、顶梁坐标系、标志点坐标系和工作面坐标系之间的关系,可以求解第1台液压支架上一点在其液压支架坐标系中坐标Ph1与在工作面坐标系中坐标Pf的相对变换关系,也就是第1台液压支架与工作面坐标系的姿态变换关系 可以表示为S9.根据各标志点在对应相机坐标系下的三维坐标,以第i台液压支架的标志点坐标系为基准坐标系,以第i+1台液压支架的标志点坐标系为待测坐标系,利用对偶四元数方法,求解待测坐标系在基准坐标系下的姿态变换关系 并结合已预先确定的姿态关系,求解得到第i+1台液压支架与第i台液压支架的姿态变换关系 对姿态齐次矩阵进行解耦,得到姿态参数i,即第i+1台液压支架的标志点坐标系相对于第i台液压支架的标志点坐标系的旋转角和平移向量S10.结合工作面坐标系与第一台双目相机模块的相机坐标系的相对关系、姿态参数0、姿态参数i,进行直线度串联,即可以解算各液压支架在工作面坐标系下的姿态变换关系S11.对齐次矩阵 解耦,分别得到各液压支架相对于工作面坐标系原点的旋转矩阵R和平移向量T,即可以作为各液压支架的直线度参数;
S12.储存当前直线度参数,重复步骤S4至步骤S11,进行新的直线度解算。
2.根据权利要求1所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,步骤S5包括:S5‑1.将各标志点分别用矩形预测框标出;
S5‑2.预测框内的像素点的集合用D表示,Dn表示集合D中第n个像素点,Dn的坐标由参数n n n n n n(x' ,y')和(w ,h )所限制在多个方形区域内,其中(x' ,y')为第n个预测框角点坐标,n n(w ,h)为第n个预测框的宽和高,即
n n n n n n
Dn={(xn,yn)x'≤xn≤x'+w ,y'≤yn≤y'+h}
S5‑3.定义第n个预测框内像素点的灰度值函数为fn(xn,yn),将标志点根据所属的液压支架进行分组和编号;
S5‑4.基于OSTU模型确定各组标志点图像的自适应灰度阈值k*,将图像转化为二值化模型;
S5‑5.通过形态学处理获得标志点轮廓;
S5‑6.定义每组标志点图像二值化后像素点的集合为B,Bn为集合B中第n个标志点的像素点,定义点Bn(xn,yn)处灰度值为gn(xn,yn),则Bn={(xn,yn)|g(xn,yn)=1 or 0}
S5‑7.构建第n个光学特征标志点的整幅二值化图像灰度值函数hn(xn,yn),其中x=1,2,…,N,y=1,2,…,M;N和M分别为预测框的宽和高;
S5‑8.通过矩特征计算目标区域轮廓中心:离散函数h(x,y)的j+k阶矩可以表示为则第n个标志点的中心点坐标 为
3.根据权利要求1所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,标志点模组包括固定支架、标志点、防尘挡板及调节杆,固定支架设置在顶梁底部,标志点固定设置在固定支架底部,固定支架上设置朝向标志点的通风孔,防尘挡板铰接在固定支架底部的相对两侧,调节杆为伸缩杆,调节杆两端分别与防尘挡板和固定支架铰接。
4.根据权利要求3所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,固定支架朝向顶梁一侧依次连接支撑杆及安装脚,安装脚内设置磁铁,安装脚与顶梁贴合,安装脚靠近支撑杆一侧设置调节螺母,支撑杆与调节螺母螺纹连接。
5.根据权利要求3所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,标志点朝向双目相机一侧设置锥形扩散筒。
6.根据权利要求3所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,固定支架上侧固定设置散热片。
7.根据权利要求1所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,双目相机对标志点模组拍摄多张照片,根据多张照片中标志点的解算结果取平均值。
8.根据权利要求1所述的一种标志点辅助双目视觉的液压支架群直线度检测方法,其特征在于,标志点为圆形。