1.基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,包括柔性机械爪(1)、分类舱(2)、主控制计算机(3)、水下摄像头(4),其中柔性机械爪(1)、水下摄像头(4)与主控制计算机(3)通过线缆相连,并分别与水下嵌结物采集机器人供电系统联通,柔性机械爪(1)能将不同种类的嵌结物放入对应的分类舱(2)内;
利用所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统的水下嵌结物回收与分类方法,包括以下步骤:A1.水下摄像头拍摄目标嵌结物并将图像信息传给主控制计算机;
A2.主控制计算机对目标嵌结物图像进行预处理;
A3.主控制计算机提取图像特征;
A4.主控制计算机进行图像特征匹配,确定置信度;
A5.主控制计算机判断图像置信度A是否处于置信区间;
A5.1当单片判断图像置信度A未处于置信区间,则进入下一个目标嵌结物抓取工作流程,从步骤A1开始循环;
A5.2当主控制计算机判断图像置信度A处于置信区间,进入步骤A6;
A6.主控制计算机控制柔性机械爪抓取目标嵌结物;
A7.压力传感器将压力信息持续传递给主控制计算机;
A8.主控制计算机判断压力值是否大于或等于接触压力;
A8.1当主控制计算机判断压力值小于接触压力,从步骤A6开始循环;
A8.2当主控制计算机判断压力值大于或等于接触压力,进入步骤A9;
A9.触觉传感器阵列获取目标嵌结物的硬度、纹理信息,并传递给主控制计算机;
A10.主控制计算机提取目标嵌结物的硬度、纹理信息特征;
A11.主控制计算机进行目标硬度、纹理信息特征匹配;
A12.主控制计算机判断触觉置信度B是否处于置信区间;
A12.1当主控制计算机判断触觉置信度B未处于置信区间,则丢弃抓获嵌结物,进入下一个目标嵌结物抓取工作流程,从步骤A1开始循环;
A12.2当主控制计算机判断触觉置信度B处于置信区间,进入步骤A13;
A13.主控制计算机计算综合置信度C=a·A+b·B,其中a,b为权重系数,a+b=1;
A14.主控制计算机判断综合置信度C是否处于置信区间;
A14.1当主控制计算机判断综合置信度C未处于置信区间,则丢弃抓获嵌结物,进入下一个目标嵌结物抓取工作流程,从步骤A1开始循环;
A14.2当主控制计算机判断综合置信度C处于置信区间,进入步骤A15;
A15.主控制计算机确定嵌结物种类,并控制机械手将目标嵌结物送入对应分类舱;
A16主控制计算机是否收到停止嵌结物回收工作指令;
A16.1当主控制计算机未收到停止嵌结物回收工作指令,则进入下一个目标嵌结物抓取工作流程,从步骤A1开始循环;
A16.2当主控制计算机收到停止嵌结物回收工作指令,进入步骤A17;
A17.主控制计算机控制水下嵌结物抓取机器人返航。
2.根据权利要求1所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述的柔性机械爪(1)包括操控臂(11)、柔性夹(12)、触觉传感器阵列(13),其中操控臂(11)由控制头(111)、控制龙骨(112)、紧固螺栓(113)组成,控制头(111)用于传输控制信号和触觉特征信号,并控制控制龙骨(112)执行抓紧和放松工作,紧固螺栓(113)用于紧固柔性夹(12),柔性夹(12)嵌套在控制龙骨(112)上并通过紧固螺栓(113)二次加固连接。
3.根据权利要求2所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述触觉传感器阵列(13)黏附在柔性夹(12)的内侧的防水耐腐柔性膜(121)内层,所述触觉传感器阵列(13)包括硬度传感器(131)、压力传感器(132)、纹理传感器(133)、光纤(134),硬度传感器(131)、压力传感器(132)、纹理传感器(133)交替阵列,并由光纤(134)连通。
4.根据权利要求3所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述硬度传感器(131)、压力传感器(132)、纹理传感器(133)基本组成包括上层电极层(231)、触觉芯片层(232)、下层电极层(233)、粘贴层(234),其中上层电极层(231)、下层电极层(233)为柔性电极,用于传输触觉芯片层(232)接触嵌结物产生的电信号,粘贴层(234)用于为上层电极层(231)、触觉芯片层(232)、下层电极层(233)提供黏附平面,并能黏附在柔性夹(12)的内侧的防水耐腐柔性膜(121)内层,触觉芯片层(232)根据不同的信息获取需求,分别对应设为硬度芯片层、压力芯片层和纹理芯片层。
5.根据权利要求1所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统还包括传输系统,传输系统包括触觉传感器阵列(13)、USB阵列(14)、USB集成器(15)、主控制计算机(3)和光纤若干,触觉传感器阵列(13)用于获取嵌结物各接触点的触觉特征信息,由光纤通过USB阵列(14)输送,并由USB集成器(15)集中嵌结物各接触点的触觉特征信息通过光纤传递给主控制计算机(3)以梳理并获得嵌结物各接触点的触觉特征信息。
6.根据权利要求1所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述A2中预处理,首先通过调整图像的白平衡来校正颜色偏移,然后使用直方图均衡化和滤波器增强图像的对比度,最终根据水下环境特点,使用拉普拉斯增强算法增强图像细节特征。
7.根据权利要求1所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述的A4主控制计算机进行图像特征匹配,确定置信度,将卷积神经网络模型加载到系统中,并将提取的特征输入到神经网络模型中,通过模型学习特征之间的相似性,采用最近邻搜索的匹配方法,根据特征相似性计算得到匹配结果,以确定图像置信度。
8.根据权利要求1所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述的A8主控制计算机判断压力值是否大于或等于接触压力,将柔性机械爪上的压力传感器与嵌结物相接触,实时采集接触压力数据,并将压力数据从模拟信号转化为数字信号输入到单片机中,提取出特定时间段内的平均压力值,然后与实验测得的标准接触压力进行比较。
9.根据权利要求1所述的基于视觉—触觉多特征感知的水下嵌结物回收与分类系统,其特征在于,所述的A13主控制计算机计算综合置信度,对机械爪上每个触觉传感器进行数据采集和归一化处理,将数据映射到相同的范围内,为每个传感器分配一个权重,将置信度与对应的权重进行相乘得到综合置信度。