利索能及
我要发布
收藏
专利号: 2024101099874
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于形状感知和特征增强的结肠息肉图像分割方法,其特征在于,包括以下步骤:获取结肠息肉图像并进行划分,获得训练集和测试集,并对所述训练集和测试集进行图像增强预处理操作;

基于PVTv2主干提取网络、形状感知模块、特征增强模块、并行部分解码器和多模态注意模块构建初始分割模型;

通过预处理操作后的训练集对初始分割模型进行训练,并通过预处理操作后的测试集进行验证,获得调整权重参数的分割模型;

通过所述分割模型对待检测图像进行图像分割,获得结肠息肉图像;

通过预处理操作后的训练集对初始分割模型进行训练的方法包括:PVTv2主干提取网络提取训练集中结肠息肉图像的多尺度特征,生成4个层次的特征,所述4个层次的特征分别为E1、E2、E3、E4,将特征E1、E2、E3输入到形状感知模块中,生成分割图S1,将特征E2、E3、E4分别输入到特征增强模块中,获得增强特征F2、F3、F4,将F2、F3、F4输入到并行部分解码器中,生成初始分割图S5;

将F4和初始分割图S5输入到多模态注意模块中生成特征图M4,将特征图M4与初始分割图S5相加生成分割图S4,将F3和S4输入到多模态注意模块中生成特征图M3,将特征图M3与分割图S4相加生成分割图S3,将F2和分割图S3输入到多模态注意模块中生成特征图M2,分割图S1与特征图M2和分割图S3进行相加操作生成分割图S2,将分割图S2上采样到和输入的息肉图像相同的大小并进行Sigmoid操作得到最终的分割图;

通过多模态注意模块生成特征图的过程包括:

分别计算上一级分割图Si+1,i=2,3,4的前景注意、背景注意、边界注意,计算公式如下:H×W×1

其中,pred∈R 表示上一级分割图,Sforeground表示前景注意,Sbackground表示背景注意,Sboundary表示边界注意;

将所述前景注意、背景注意和边界注意分别与特征Fi相乘,得到三个结果分支,将所述结果分支分别进行1×1和3×3卷积操作,再与分割图Si+1相加,对这三个结果分支进行通道连接并进行挤压激励和3×3卷积操作,最后再与特征Fi相加生成特征图Mi,其中i=2,3,4。

2.根据权利要求1所述的基于形状感知和特征增强的结肠息肉图像分割方法,其特征在于,获取结肠息肉图像的方法包括:从Kvasir‑SEG、CVC‑ClinicDB、CVC‑ColonDB、CVC‑T和ETIS中抽取结肠息肉的内窥镜图像。

3.根据权利要求1所述的基于形状感知和特征增强的结肠息肉图像分割方法,其特征在于,所述图像增强预处理的方法包括:将所述结肠息肉图像集中图像的分辨率调整为352×352,并进行数据增强操作,所述数据增强操作包括水平翻转、垂直翻转、90度旋转和尺寸为224×224的随机剪裁。

4.根据权利要求1所述的基于形状感知和特征增强的结肠息肉图像分割方法,其特征在于,所述生成分割图S1的方法包括:将特征E1、E2、E3分别输入到3×3的卷积层,得到卷积特征并按顺序进行相邻特征之间的特征减法操作,获得编码器中相邻级别的不同尺度的特征差,然后基于特征差通过信道注意力进行重要通道特征突出,得到E1_2,E2_3,对E1_2和E2_3进行3×3卷积层、特征相减、通道注意力操作得到E1_3,将所述E1_2和E1_3进行相加得到E1_2_3,最后对特征图E2_3进行3×3卷积的结果和E1_2_3进行通道拼接和卷积层操作获得互补增强特征,基于互补增强特征通过空间注意力获得分割图S1。

5.根据权利要求1所述的基于形状感知和特征增强的结肠息肉图像分割方法,其特征在于,所述特征增强模块包括第一条分支、第二条分支、第三条分支、第四条分支和残差分支;

所述第一条分支包括依次连接的1×1卷积层和跨语义注意模块;

所述第二条分支包括依次连接的1×1卷积层、1×3卷积层、3×1卷积层、扩张率为3的膨胀卷积和跨语义注意模块;

所述第三条分支包括依次连接的1×1卷积层、1×5卷积层、5×1卷积层、扩张率为5的膨胀卷积和跨语义注意模块;

所述第四条分支包括依次连接的1×1卷积层、1×7卷积层、7×1卷积层、扩张率为7的膨胀卷积和跨语义注意模块;

所述残差条分支包括依次连接的1×1卷积层和非局部操作;

将所述第一条分支、第二条分支、第三条分支和第四条分支进行拼接,通过一个3×3卷积层和残差分支进行通道拼接得到特征增强模块。

6.根据权利要求1所述的基于形状感知和特征增强的结肠息肉图像分割方法,其特征在于,在训练过程中通过损失函数进行深度监督,所述损失函数的表达式为:

其中, 表示加权IoU损失, 表示加权BCE损失;

总损失表达式为:

其中G表示真实标签, 表示上采样的预测图。