1.一种基于机器视觉与触觉感知的物体描述生成方法,其特征在于,包括以下步骤:S1,预处理视觉和触觉原始数据;
S2,将采集到的视觉和触觉信息分别输入二维卷积神经网络和一维卷积神经网络,并将两个神经网络输出的特征向量串联得到视触融合特征向量;
S3,将得到的视触融合特征向量输入到两个全连接网络分支中,第一个全连接网络用于物体的识别分类,第二个全连接网络用于物体的物理属性识别;两个全连接网络所使用的监督标签都是标准的多分类任务和多标签任务中的标签形式,多分支输出的神经网络有两个分支就会有两个损失函数,多分类任务中使用的是交叉熵损失函数,多标签任务中使用的 损失函数是 pytorch神经网络架构提供的多标签分类损失函数MultilLabelSoftMarginLoss();
S4,将两个全连接网络得到的分类结果和物理属性以关键词的形式嵌入到物体描述语句中;将分类结果和物理属性转化为关键词的具体方法为,将物体类别关键词排序形成n个元素的列表,然后将物体类别关键词的索引值作为物体的标签,每个物体只有一个标签;
多分类任务的输出是n个概率值,由概率值最大的数值的索引可以找到对应的物体类别关键词;
多标签分类任务中标签生成与多分类任务相似,先将m个物理属性关键词排序形成一个m个元素的列表,多分类的标签是由m个元素组成分别和m个物理属性关键词对应,要从多标签分类网络输出得到物理属性关键词,需要得到网络输出中预测值为1的索引,然后根据索引从物理属性关键词列表中调取相应的属性,完成物理属性关键词的提取。
2.根据权利要求1所述的基于机器视觉与触觉感知的物体描述生成方法,其特征在于:所述S1中,视觉信息的预处理方法为,将原始高像素图像进行尺寸变换,变换为像素值
300*300大小的图片,同时对图片亮度、对比度、饱和度随机产生30%的偏移处理,得到最终需要输入的图像。
3.根据权利要求1所述的基于机器视觉与触觉感知的物体描述生成方法,其特征在于:所述S1中,触觉信息的预处理方法为,使用matlab软件对数据剪切,将长短不一的多维数据进行压缩处理,最终得到长短一致的触觉数据。
4.根据权利要求1所述的基于机器视觉与触觉感知的物体描述生成方法,其特征在于:所述S2中,视觉和触觉信息是成对输入的,视觉信息输入二维卷积神经网络,触觉信息输入一维卷积神经网络;对于触觉信息特征提取共使用三层一维卷积神经网络,激活函数使用的是RELU函数;对于视觉信息特征提取使用densnet169模型。