1.一种机器人环境下零样本物体实例分割方法,其特征在于:包括以下步骤,S1、获取当前场景彩色和深度信息图像;
S2、采用Viridis颜色映射方法将深度图像映射到RGB颜色空间;
S3、将预处理后的彩色化深度图像输入到SAM模型中,设置非最大抑制阈值为低值,生成多样化的物体掩码候选;
所述步骤S3具体为,在分割阶段,给定一个彩色化的深度图像 使用默认设置的SAM模型进行处理,将非最大抑制阈值设为0.5,生成Nm个与物体类别无关的掩码候选H×W其中对于i=1,2,...,Nm,有mi∈{0,1} ;
S4、利用预训练的ViT作为场景表示的特征描述模型处理图像,提取每个注意力头部的类别标记与所有图像块标记之间的注意力图;
所述步骤S4具体为,通过DINOv2训练的ViT作为场景表示的特征描述模型来处理输入2
的RGB图像 ViT将图像分割成K×K大小的非重叠图像块,总数量为Np=HW/K ,在ViT的最后一层中,共包含Nh个注意力头,每个注意力头i都会生成一个注意力图表示类别标记与所有图像块标记之间的注意力权重,最后一层的关键特征表示记为 其中D表示特征向量的维度;
S5、基于信息熵对不同注意力头的注意力图ai进行加权;
所述 步 骤 S 5具 体 为 ,对于 每 个 注意 力 图 a i,其 信 息 熵通 过 公 式计算,其中P(·)表示归一化操作;权重通过公式计算,使具有低熵值的注意力头获得更高的权重;
S6、计算背景块与所有图像块之间的相似度矩阵来判断一个块是否属于背景;
S7、在经过筛选后的物体掩码区域内,应用K‑Medoids聚类算法进行采样;
所述步骤S6中的背景块的索引通过公式 确定;加权后的特征Fω通过元素乘法Fω=W⊙F得到,并重塑为 最终的背景块特征与其它所有图像块特征之间的余弦相似度矩阵 用于表示每个图像块作为背景的得分;当掩码对应的图像块的平均得分超过预设阈值τ时,该掩码被识别为背景并被移除,去除非对象掩码后得到对象掩码集合Mo;
S8、将采样获得的代表性点作为提示信息输入到SAM模型中,利用模型的精确分割能力,生成改进的物体实例分割结果。
2.根据权利要求1所述的一种机器人环境下零样本物体实例分割方法,其特征在于:所述步骤S7在每个候选对象掩码区域Mo内,采用K‑Medoids聚类算法的聚类中心作为正样本点。
3.根据权利要求2所述的一种机器人环境下零样本物体实例分割方法,其特征在于:所述步骤S8将S7中获得的正样本点提示用于指导SAM执行分割,从而获得改进的分割结果。
4.一种机器人环境下零样本物体实例分割系统,其特征在于:实现权利要求1‑3任意一项所述的分割方法,包括图像获取模块,机器人采用RGB‑D相机获取当前场景RGB图像和深度图像,用于后续处理;
处理模块,将图像获取模块采集的深度图像映射到RGB颜色空间;
初始分割模块,将处理后的彩色化深度图像输入到图像分割视觉基础模型生成多样化的物体掩码候选;
精确分割模块,利用预训练的ViT提取图像获取模块获取图像的注意力图,然后计算每个注意力头部注意力图的信息熵,构建特征加权机制,进而通过背景相似性矩阵计算,筛选的物体掩码区域并进行采样,最后将采样获得的代表性点作为提示信息输入到SAM模型中,实现物品实例的精确分割。
5.根据权利要求4所述的一种机器人环境下零样本物体实例分割系统,其特征在于:所述掩码包括前景物体、背景区域以及部分噪声掩码。