利索能及
我要发布
收藏
专利号: 2020104522881
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多目立体视觉的机械臂智能控制系统,包括安装在目标物体边上作用于目标物体的机械手,机械手小臂的末端安装有夹爪;以及与机械手信号连接的机械手控制器,其特征在于:在机械手周边固定安装有作用于目标物体的双目摄像机图像采集单元,双目摄像机图像采集单元采用了改进的跨尺度引导滤波结合加权中值滤波视差细化的算法,实现对目标物体的三维重建,完成目标物体的粗定位,并采用5‑3‑5多项式插值轨迹规划方法进行机械臂运动轨迹规划,将物体三维重建的坐标传输至机械臂控制器,机械臂控制器控制机械手利用5次多项式和3次多项式来进行轨迹规划;所述的机械手的夹爪处安装有单目摄像机图像采集单元,其随机械臂移动获取图像;单目摄像机图像采集单元采用基于SURF的模板匹配法进行目标物体精确定位;所述的双目摄像机图像采集单元通过数据线与上位机连接,所述的单目摄像机图像采集单元和机械手控制器通过无线传输模块与上位机互相通信;

所述改进的跨尺度引导滤波结合加权中值滤波视差细化的算法是采用跨尺度引导滤波算法结合加权中值滤波算法对视差图进行细化;使用高斯金字塔对双目摄像机图像采集单元获取的图像进行采样,获取不同分解层下的图像,对不同分解层采用不同的代价聚合方法;再将各个尺度聚合后的代价卷融合得到最终代价卷,求得视差图,完成物体三维重建;

所述的不同分解层采用不同的代价聚合方法为:奇数采样层使用基于拉普拉斯算子的引导图滤波,偶数采样层使用快速引导滤波的方法实现各个分解层下单独的代价聚合;如公式(1):

s  s  s  s 

其中,G(d ,p )为不同采样层下进行代价聚合的结果,GGF(d ,p )表示使用引导滤波s  s 

相似核,GLoG(d ,p )表示使用拉普拉斯算子滤波作为相似核,s表示高斯金字塔下的采样层数;

所述的奇数采样层使用基于拉普拉斯算子的引导图滤波作代价聚合,引导图滤波算法构建的优化函数模型为:

E(ak,bk)为函数模型能量;φ为惩戒参数;Wk表示以像素k为中心、固定距离为半径的方形窗口;Ii为引导图像在窗口Wk中的像素强度,Pi为输入图像在窗口中Wk的像素强度;ak和bk表示线性系数,在窗口Wk内为固定值;

在所述的引导图滤波算法中引入拉普拉斯算子来计算图像局部窗口内的拉普拉斯边缘;在引导图滤波算法的优化函数的惩戒参数中引入一个权值项H(s):其中,H(s)为惩戒参数中引入的一个权值项,s为局部窗口内的中心像素;s’为局部窗口内的所有像素;LoG(s)表示拉普拉斯算子幅值;N为局部窗口内的像素总数;γ为窗口内LoG(s)最大值的10%。

2.根据权利要求1所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述的机械手控制器包括密封固定形成容腔的上壳体和下壳体,容腔内固定连接有控制器电路板;所述的控制器电路板上设置有电源控制模块、红外传感检测模块、压力传感器模块、无线传输模块和电机驱动模块;所述无线传输模块通过5G移动通信与上位机信号连接,所述电源控制模块将工作电压转换为不同等级电压为不同芯片提供电源。

3.根据权利要求2所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述红外传感检测模块与固定于外壳的红外传感器连接,当红外传感器在工作状态下检测到上料区有目标物体存在时,向控制器机发送检测信号,控制器通过无线信号传输模块将检测信号发送至上位机,上位机通过串口信号触发双目摄像机图像采集单元采集图像。

4.根据权利要求2所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述压力传感器模块与固定在机械臂末端夹爪上的压力传感器连接,当爪子夹持物体时,控制器通过压力传感器检测到的压力数据的大小,通过电机驱动模块调整相应的电机工作,从而控制夹爪夹合的程度。

5.根据权利要求2所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述机械手可采用三自由度机械手、四自由度机械手、五自由度机械手、六自由度机械手和七自由度机械手中的任一款机械手;当机械手采用的是六自由度机械手时,则电机驱动模块包括分别驱动六个电机的控制模块,包括控制夹爪张合度的电机、手腕电机、大手臂摆动电机、小手臂摆动电机、手腕摆动电机和底座转动电机。

6.根据权利要求1所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述双目摄像机图像采集单元采用两个平行安装在支架上的摄像头,两个摄像头的基线与目标物体的水平线一致,其成像距离可达50米。

7.根据权利要求1所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述的5‑3‑5多项式插值轨迹规划方法进行机械臂运动轨迹规划,其具体方式为:用5次多项式来规划起始点和第一个中间点之间的运动路径,再利用一个3次多项式来描述第一个中间点和目标物体上面这个中间点之间的路线,最后使用5次多项式来表示目标物体上面这个中间点和终止点之间的轨迹。

8.根据权利要求7述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于:所述的5‑3‑5多项式表达形式如下:

2 3 4 5

θ(t)1=a10+a11t+a12t+a13t+a14t+a15t    (4)

2 3

θ(t)2=a20+a21t+a22t+a23t       (5)

2 3 4 5

θ(t)3=a30+a31t+a32t+a33t+a34t+a35t     (6)其中t是引入的归一化时间变量(t∈[0,1]),定义如下:τ为实际时间(s);τi为第i段轨迹终点i的实际时间;ti=τi‑τi‑1为通过第i段运动轨迹的实际时间;

规定各运动段的本地起始时间τij=0,τif为本地终止时间;由已知的边界约束条件和过渡条件,即可求解出多项式函数的所有未知系数。