利索能及
我要发布
收藏
专利号: 2021111490502
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于边缘分布引导的图像分割方法,其特征在于,包括下列步骤:

步骤1:采集原始图像数据,进行数据预处理形成训练数据集;

步骤2:构建特征提取器,所述特征提取器为基于神经网络的特征提取网络,用于提取图片的多级特征图;

步骤3:构建边缘分布生成模块,所述边缘分布生成模块用于聚合所述特征提取器的多级特征,在理想边缘分布图的监督下生成边缘分布图;

所述边缘分布生成模块包括转换模块和聚合操作模块,其中,转换模块模块用于将特征提取器的最后T级的各特征图转换到所需的维度,得到T级转换特征图,其中,T≥2;

所述边缘分布生成模块包括T个转换模块和T‑1个聚合操作模块;

T‑1个聚合操作模块经T‑1次的逐级聚合处理得到最终的聚合特征图并作为边缘分布图,按照前向传播的方向,首个聚合操作模块的输入为最后两级转换特征图,其余聚合操作模块的输入为上一个聚合操作模块输出的聚合特征图,以及上一次参与聚类的转换特征图的上一级转换特征图,将待聚合处理的两个特征图中的尺寸较大者和较小者分别定义为第一特征图和第二特征图,将第一特征图进行下采样,再与第二特征图逐元素相加得到第二中间聚合特征图,将第二特征图进行上采样,再与第一特征图逐元素相加得到第一中间聚合特征图,将第二中间聚合特征图上采样后通过卷积块后,再与通过卷积块后的第一中间聚合特征图相加得到当前聚合处理的聚合特征图;

步骤4:构建基于边缘分布引导的解码器,所述基于边缘分布引导的解码器用于根据所述特征提取器提取的多级特征图和所述边缘分布生成模块生成的边缘分布图,纠正分割结果中与边缘分布图矛盾,获取图像的最终分割结果;

所述基于边缘分布引导的解码器包括顺次连接的N个BDGD‑A模块和M个BDGD‑B模块,其中N+M+1为特征提取器提取的特征图级数,且N≥1,M≥1;

按照前向传播的方向,首个BDGD‑A模块的输入包括:特征提取器的最后两级特征图和边缘分布生成模块生成的边缘分布图,其余BDGD‑A模块的输入包括上一级BDGD‑A模块的输出和边缘分布生成模块生成的边缘分布图,以及特征提取器的参与上一级BDGD‑A模块的特征图的上一级特征图;第一个BDGD‑B模块的输入包括第N个BDGD‑A模块的输出和边缘分布生成模块生成的边缘分布图,其余BDGD‑B模块的输入包括上一级BDGD‑B模块的输出和边缘分布生成模块生成的边缘分布图;

其中,BDGD‑A模块包括编码器特征支路和解码器特征支路;

所述编码器特征支路将特征提取器的特征图通过卷积块得到第一编码支路特征图,将第一编码支路特征图与边缘分布图相乘得到第一边缘分布增强特征图,对于首个BDGD‑A模块,输入编码器特征支路的特征图为倒数第二级特征图;

所述解码器特征支路将上一级BDGD‑A模块输出的特征图通过卷积块得到第一解码支路特征图,将第一解码支路特征图与下采样后的边缘分布图相乘得到第二边缘分布增强特征,对于首个BDGD‑A模块,将最后一级特征图通过卷积块得到第一解码支路特征图;

将所述第一解码支路特征图进行下采样,再与第一边缘分布增强特征图相加得到更新的第一边缘分布增强特征图;将所述第一编码支路特征图进行上采样,再与第二边缘分布增强特征图相加得到更新的第二边缘分布增强特征图,将更新的第二边缘分布增强特征图进行上采样后再与更新的第一边缘分布增强特征图相加得到BDGD‑A模块的输出特征图;

所述BDGD‑B模块将上一级的输出特征图通过卷积块得到第一中间特征图,所述第一中间特征图与边缘分布图相乘得到第二中间特征图,第二中间特征图与第一中间特征图相加得到第三中间特征图,第三中间特征图上采样后再与经过上采样的第一中间特征图相加,得到BDGD‑B模块的输出特征图;

步骤5:将所述边缘分布生成模块和边缘分布引导的解码器插入到所述特征提取器,构建基于边缘分布引导的分割网络;

步骤6:利用所述训练数据集对所述基于边缘分布引导的分割网络进行训练;

步骤7:对待分割图像进行尺寸调整和像素值归一化处理,再将待分割图像输入训练好的基于边缘分布引导的分割网络进行前向推理,根据基于边缘分布引导的分割网络的输出得到待分割图像的分割结果。

2.如权利要求1所述的图像分割方法,其特征在于,所述步骤1中,数据预处理包括:图像尺寸调整,像素值归一化处理,图像垂直翻转以及图像水平翻转。

3.如权利要求1所述的图像分割方法,其特征在于,所述特征提取器采用在ImageNet上预训练的EfficientNet‑B5分类网络。

4.如权利要求1所述的图像分割方法,其特征在于,所述转换模块用一个1x1卷积和多个具有不同空洞率的3x3卷积构成残差分支结构,将通过残差分支结构得到的特征在通道维度上拼接并使用一个1x1卷积将特征的维度转换到所需的维度。

5.如权利要求1所述的图像分割方法,其特征在于,所述聚合操作模块包括四条支路,第一支路包括一个卷积块,第二条支路包括顺次连接的一个平均池化层和卷积块,第三条支路包括顺次连接的一个上采样层和卷积块,第四支路包括一个卷积块,其中,第一和第二支路的输入为第一特征图,第三和第四支路的输入为第二特征图;且第一支路与第三支路的特征图相加得到第一中间聚合特征图,第二支路与第四支路的输出特征图相加得到第二中间聚合特征图,所述第二中间聚合特征图依次经过一个上采样层和一个卷积块,再与经过一个卷积块的第一中间聚合特征图相加得到聚合操作模块输出的聚合特征图。

6.如权利要求1所述的图像分割方法,其特征在于,所述理想边缘分布图的定义为:

其中ε(pij)表示从像素pij到边缘的最短欧氏距离,σ是标准差,

下标i、j用于标识像素的平面位置。

7.如权利要求1至6任一项所述的图像分割方法,其特征在于,步骤6具体包括:将训练数据集中的图像输入所述基于边缘分布引导的分割网络中进行训练,通过总损失函数Ltotal反向传播更新参数,获得训练后的基于边缘分布引导的分割网络;

所述总损失函数Ltotal的定义如下:

Ltotal=Lbdm+Lseg=Lbdm+Lwbce+Lwiou

其中,Lbdm用于表征所述边缘分布生成模块得到的边缘分布图与所述理想边缘分布图之间的损失,Lseg用于表征所述基于边缘分布引导的解码器得到的分割结果与真实分割结果之间损失,且Lseg为Lwbce和Lwiou两项损失的和;

其中,bij和 分别表示所述边缘分布图和所述理想边缘分布图的像素,sij和 分别表示所述基于边缘分布引导的解码器得到的分割结果和真实分割结果的像素,wij表示权重,λ表示预设的阈值,表达式 的取值方式为:当x为真时, 否则为0。