利索能及
我要发布
收藏
专利号: 202111394436X
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于双目视觉的地面侦察机器人手势控制方法,其特征在于,步骤1、将操作人员操控的控制端和侦察机器人之间建立连接;

步骤2、打开控制端的显示器,显示侦察机器人拍摄的侦察图像;

步骤3、判断控制指环的档位,并将档位信息发送给侦察机器人并执行下一步;

步骤4、解码控制指环发送来的档位信息并判断控制指环档位是否处于机器人车体控制档,如果是处于机器人车体控制档,则根据双目摄像装置获得操作人员的指尖点所在区域信息进行机器人车体运动控制指令编码,然后发送给执行端并执行步骤6,如果是处于机械臂末端控制档,则将双目摄像装置获得操作人员的连续指尖点坐标信息进行机械臂末端运动控制指令编码,然后通过发送给执行端并执行步骤5;

步骤5、执行端接收机械臂末端运动控制指令编码并解码为连续指尖点坐标信息,然后控制机械臂末端跟踪指尖点运动;

步骤6、执行端接收机器人车体运动控制指令编码,然后解码为机器人车体运动控制指令,然后控制机器人车体向指定方向移动;

步骤7、判断程序是否结束,如果是,则结束对机器人的控制,否则,执行步骤3;

步骤4中,双目摄像装置获得操作人员指尖点的具体步骤为:步骤41、双目摄像装置拍摄操作人员手势的双视角图像;

步骤42、采用基于对抗网络的半监督语义分割算法对拍摄的双视角图像进行语义分割;

步骤43、采用指尖检测算法对步骤42得到的语义分割后的手势图像进行指尖检测;

步骤44、采用三维重建算法将步骤43检测到的二维图像指尖点重建为三维指尖点;

步骤42中,基于对抗网络的半监督语义分割算法,具体为:步骤421、构建网络;

包括一个语义分割网络和一个判别网络,语义分割网络用于生成与输入手势图像相对应的语义分割图,判别网络通过检测分割网络产生的分割图与真实标签图之间的差别,来调整语义分割结果;

步骤422、确定损失函数和训练方式;

本网络的训练包括语义分割网络的训练和判别网络的训练,在训练过程中,用到两种训练方式:全监督性训练和半监督训练;

全监督训练中,只使用有标签的图像进行训练,语义分割网络的损失函数为:语义分割网络生成的语义分割图和真实标签的交叉熵损失 、对抗损失 , 为全监督训练的损失函数,计算公式如下:

其中,为超参数,用于调节两损失所占权重,输入图像为x,像素坐标为(h,w),K为类别数,语义分割结果为 ,判别网络输入为 或真实标签的独热码 ,当(h,w)处的像素点x属于k类别时, =1;否则, =0,判别网络的输出结果为, 表示输入图像经语义分割网络和判别网络之后所得的置信图上该像素点处的值,D( )表示真实标签经过独热码编码得到的置信图上该像素点处的值;

半监督训练中,针对有标签的图像,分割网络的损失函数为:分割网络生成的语义分割图和真实标签的交叉熵 、对抗损失 ;针对无标签的图像,把判别网络得到的置信度较高的区域记作伪标签,代替真实标签,进而,分割网络的损失函数变为:分割网络生成的语义分割图和伪标签的交叉熵 、对抗损失 为半监督训练的损失函数,其中, 为超参数,用于调节各损失函数所占比重, 为半监督交叉熵损失,其中,M为设置的阈值,

当 时,=1,否则,=0,F(·)为筛选函数,用来选择分类置信度较高的像素点,这些像素点构成伪标签;

步骤423、开始训练;

包括语义分割网络的训练和判别网络的训练,在训练时,先训练判别网络,再训练语义分割网络;

步骤4231、训练判别网络;

使用有标签图像进行全监督训练,损失函数是交叉熵损失函数Ld,训练方法为梯度下降法,训练目的为使Ld最小化;

其中, 表示二分类交叉熵损失,计算公式如下:步骤4232、训练分割网络;

首先,对网络进行全监督训练,使得语义分割网络和判别网络都掌握一定的工作能力;

其次,将有标签和无标签图像同时放入网络进行半监督训练;将无标签图像经语义分割网络得到的类别概率图送入判别网络,得到置信图,再对其进行二值化处理得到伪标签,利用伪标签进行半监督训练。

2.根据权利要求1所述的基于双目视觉的地面侦察机器人手势控制方法,其特征在于,指令编码包括包头、功能位、数据位、数据、校验位、包尾,其中包头为机器人控制的起始位,功能位代表控制指环档位,指环档位包括停止档、控制机器人车体档或控制机械臂末端档,数据位表示即将接收数据的位数,数据是指尖点坐标信息或指尖点所在区域信息,校验位用于校验传输数据的准确与否,包尾为结束位。

3.根据权利要求1所述的基于双目视觉的地面侦察机器人手势控制方法,其特征在于,步骤43中指尖检测算法具体包括:步骤431、获取语义分割得到的语义分割图;

步骤432、对语义分割图进行灰度化、二值化处理;

步骤433、利用Canny算子边缘检测的方法从图中找到手势轮廓,并画出来;

步骤434、通过求手势轮廓的零阶矩 、一阶矩 、二阶矩 来计算手势轮廓的重心( ),即为手的重心;

步骤435、从手势轮廓点中找到距离重心最远的点,该点即为指尖点;

步骤436、画出指尖点。

4.根据权利要求1所述的基于双目视觉的地面侦察机器人手势控制方法,其特征在于,步骤44中的三维重建算法,包括:步骤441、获取指尖检测得到的指尖点左右视图;

步骤442、标定双目摄像头的坐标点参数;

步骤443、进行双目矫正;

根据上一步获得的双目摄像头参数对手势指尖点左右视图进行畸变矫正和极线矫正,使左右视图成像原点一致、两个摄像头光轴平行、左右成像共面、对极线行对齐;

步骤444、进行立体匹配;

对双目矫正后的指尖图像,通过立体匹配算法对其进行立体匹配,计算视差图;

步骤445、根据视差图进行三维重建;

根据视差图,通过几何关系求出深度图,生成三维点云图像,并利用摄像头参数求出指尖点的三维坐标。

5.根据权利要求1所述的基于双目视觉的地面侦察机器人手势控制方法,其特征在于,步骤5中机械臂末端控制时,具体为:步骤51、读取三维重建得到的指尖点的三维坐标;

步骤52、将读取到的三维坐标映射到机械臂坐标系;

步骤53、判断机械臂末端是否到达指尖点处,如果是,执行步骤51,读取下一个指尖点坐标,如果否,执行下一步;

步骤54、对指尖点坐标进行逆运动学求解,计算出指尖点坐标对应的机械臂各关节角值;

步骤55、使用机器人轨迹跟踪控制算法控制多自由度机械臂的各个关节跟踪指尖点反解后的关节角并最终使机械臂末端跟随指尖点运动。

6.根据权利要求1所述的基于双目视觉的地面侦察机器人手势控制方法,其特征在于,步骤6中车体运动时,依据的指尖点所在区域,将区域划分为A、B、C、D、E,若指尖点位于区域A,则控制机器人车体前进;指尖点位于区域B,则控制机器人车体后退;指尖点位于区域C,则控制机器人车体左转;指尖点位于区域D,则控制机器人车体右转;指尖点位于区域E,则控制机器人车体停止,

A区域可用如下约束条件表示:B区域可用如下约束条件表示:C区域可用如下约束条件表示:D区域可用如下约束条件表示

E区域可用如下约束条件表示:其中,r为E区域圆的半径, 、 分别为右下限和左上限。