利索能及
我要发布
收藏
专利号: 2022115276822
申请人: 北京科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多任务学习的图像分割方法,适用于网状结构图像,网状结构图像中除网状结构之外的各独立的连通域为网格;其特征在于,所述方法包括:构建样本数据集;其中,所述样本数据集由对比学习数据集、网状结构图像、对应语义分割标签和对应关系向量标签组成;

构建基于对比学习的特征提取器;

构建基于多任务学习的图像分割模型;其中,所述图像分割模型包括共享编码器、用于执行主任务的语义分割任务模块和用于执行辅助任务的关系预测任务模块;其中,所述共享编码器对输入图像进行多级卷积和池化,输出特征图;所述关系预测任务模块基于所述特征图预测输入图像中网格内部点与其所属网格间的隶属关系,并得到关系预测结果;所述语义分割任务模块基于所述特征图,得到输入图像的分割结果;

利用所述对比学习数据集对构建的特征提取器进行训练;

基于训练好的特征提取器,利用所述网状结构图像、对应语义分割标签和对应关系向量标签构成的数据集对构建的图像分割模型进行训练;

利用训练好的图像分割模型对待分割图像进行语义分割,得到分割结果。

2.如权利要求1所述的基于多任务学习的图像分割方法,其特征在于,所述语义分割任务模块采用UNet网络的解码器。

3.如权利要求1所述的基于多任务学习的图像分割方法,其特征在于,所述特征提取器采用对比学习方式进行训练。

4.如权利要求1所述的基于多任务学习的图像分割方法,其特征在于,所述特征提取器对待提取特征的图像进行处理的过程包括:步骤1,在不降低特征图分辨率的情况下进行两次3*3卷积;

步骤2,最大值池化降低特征图分辨率;

步骤3,再执行步骤1至步骤2的操作两次。

5.如权利要求3所述的基于多任务学习的图像分割方法,其特征在于,采用对比学习方式训练特征提取器时,采用InfoNCE loss作为损失函数,其公式为:+

其中,LinfoNCE表示InfoNCE loss损失函数,f表示编码器,x表示输入图像,x 表示正样本, 表示第i个负样本,n为负样本数量,τ为温度系数,控制模型对负样本的区分度;sim是度量两个特征相似性的函数,采用余弦相似度计算。

6.如权利要求1所述的基于多任务学习的图像分割方法,其特征在于,所述构建样本数据集,包括:对于训练特征提取器所需对比学习数据集,采取随机细化或3*3膨胀网状结构的增强方式制作正样本,在数据集中随机选取多张与当前标准图无关的网状结构图作为负样本;

针对待分割的数据进行标注,并进行数据增强来扩充数据集;

针对数据增强后的数据集中已标注图像中的网格内部点与其所属网格间的隶属关系进行计算,得到相应图像的网格内部点与其所属网格间的隶属关系。

7.如权利要求1或6所述的基于多任务学习的图像分割方法,其特征在于,所述隶属关系以各网格内部点指向其所属网格质心的向量进行表示。

8.如权利要求1所述的基于多任务学习的图像分割方法,其特征在于,所述关系预测任务模块具体用于:在所述图像分割模型训练时,初步特征图输入所述关系预测任务模块,得到初步关系预测向量;将所述初步关系预测向量与所述关系向量标签进行对比,得到关系预测误差;所述关系预测误差经过反向传播更新所述关系预测任务模块和所述共享编码器的模型参数,使所述共享编码器学习从网状结构图像提取包含关系信息的特征图,以丰富所述共享编码器的信息提取类型;

所述语义分割任务模块具体用于:

在所述图像分割模型训练时,初步特征图输入所述语义分割任务模块,得到初步语义分割结果;将所述初步语义分割结果与所述语义分割标签进行对比,得到语义分割误差;所述语义分割误差经过反向传播更新所述语义分割任务模块和所述共享编码器的模型参数,使所述共享编码器学习从网状结构图像提取包含语义信息的特征图。

9.如权利要求8所述的基于多任务学习的图像分割方法,其特征在于,所述特征提取器具体用于:在所述图像分割模型训练时,所述初步语义分割结果与所述语义分割标签输入训练好的特征提取器,分别得到语义分割结果的拓扑特征和语义分割标签的拓扑特征;所述语义分割结果的拓扑特征和所述语义分割标签的拓扑特征进行对比,得到拓扑特征差异;所述拓扑特征差异经过反向传播更新所述语义分割任务模块和所述共享编码器的模型参数,使所述共享编码器学习从网状结构图像提取包含拓扑信息的特征图,以丰富所述共享编码器的信息提取类型;

在所述图像分割模型预测时,所述语义分割任务模块将所述共享编码器提取到的包含语义信息、关系信息和拓扑信息的特征图通过多级卷积和上采样还原各级特征图分辨率,并进行同级间特征融合,得到同输入图像同等大小的更加准确的语义分割结果。

10.如权利要求1所述的基于多任务学习的图像分割方法,其特征在于,对所述图像分割模型进行训练时,对于关系预测任务模块,采用均方误差计算关系预测损失;对于语义分割任务模块,一方面采用二元交叉熵计算像素级损失,另一方面,采用训练好的特征提取器提取分割结果和标签的拓扑特征,采用均方误差计算两特征间差异作为拓扑损失;三种损失联合更新模型参数。