利索能及
我要发布
收藏
专利号: 2024110495748
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Prompt的边缘增强医学图像分割方法,其特征在于,构建图像分割网络,该网络包括编码器、瓶颈层、解码器以及边缘感知学习模块,进行图像分割的过程包括以下步骤:获取骨骼CT图像,通过编码器对图像进行连续下采样,每一层下采样得到的特征作为对应解码器中上采样层中输入的高分辨率特征图;

通过边缘感知学习模块从骨骼CT图像中获取边缘信息、框信息以及掩膜信息,通过获取的信息与编码器最后一个下采样层输出的特征进行融合后作为瓶颈层的输入;

在编码器中,将瓶颈层或者前一层的输出作为低分辨率特征图,将低分辨率特征图和高分辨率特征图进行特征对齐和特征增强后作为当前层的输出,并将编码器最后一层的输出作为图像分割结果,根据高分辨率图像和低分辨率图像进行特征对齐后的特征图进行特征增强的过程包括:基于空间注意力机制,根据对齐后的特征图生成空间注意力图,利用空间注意力图对对齐后的特征图进行加权,得到第一加权特征图,包括:利用带有两个激活函数的1×1卷积层来生成空间注意力图 即:h′

使用attSA对输入特征F 进行空间调制,得到第一加权特征图,即:其中,σ(·)为sigmoid激活函数; 表示两个1×1卷积层的权重;δ(·)表示h h hReLU激活函数; 表示对齐后的特征图, 表示H×W ×C 维h h′ h h′ h

的实数空间,H表示对齐后的特征图F 的高;W表示对齐后的特征图F 的宽,C表示对齐后h′的特征图F 的通道数; 表示克罗内克积;

利用全局平均池生成对齐后的特征图的通道统计,基于通道注意力机制和通道统计生成每个通道的权重;

利用每个通道的权重分别对对齐后的特征图的每个通道进行加权,得到第二加权特征图,包括:h′

利用全局平均池生成对齐后的特征图F 计算其通道统计GCA,GCA的第c个元素的计算表示为:利用带有sigmoid激活的简单门控机制来生成通道注意力图attCA,表示为:h′

利用通道注意力图attCA来调整输入特征F ,即:h′c h

其中,F (i,j)表示第c个通道中位置(i,j)处的元素,i∈{1,2,...,H},j∈{1,2,...,hW}; 表示通道注意力中两个1×1卷积层的权重;δ(·)表示ReLU函数; 为h′c h′

通道注意力图attCA中第c个通道的注意力图,F 为对齐后的特征图F 中第c个通道的特征图;

将第一加权特征图和第二加权特征图通过相加进行融合,得到增强后的特征图。

2.根据权利要求1所述的一种基于Prompt的边缘增强医学图像分割方法,其特征在于,边缘感知学习模块对骨骼CT图像的处理过程包括:通过手动标注获得检测框,并利用边缘检测器从骨骼CT图像中提取边缘信息;

分别对检测框和边缘信息进行位置编码,然后通过MLP生成对应的权重与位置编码相乘,获得对应的框嵌入向量和边缘嵌入向量;

将边缘嵌入向量和框嵌入向量拼接在一起作为稀疏嵌入向量;

将骨骼CT图像中手动标注的掩码通过连续下采样转换成密集嵌入向量;

将稀疏嵌入向量和密集嵌入向量拼接在一起作为提示语音信息;

低分辨率特征图通过跨注意力机制与提示语义信息进行融合。

3.根据权利要求2所述的一种基于Prompt的边缘增强医学图像分割方法,其特征在于,图像中的掩码进行连续下采样的过程,即采用级联的三个下采样模块进行处理,第一、第二下采样模块由级联的2×2卷积单元、层归一化单元以及GELU激活函数构成;第三下采样模块由1×1卷积单元构成。

4.根据权利要求2所述的一种基于Prompt的边缘增强医学图像分割方法,其特征在于,若低分辨率特征图为S1、提示语义信息为S2,通过跨注意力机制进行融合的过程包括:T

S3=softmax((WQS2)(WKS1))WVS1其中,S3为低分辨率特征图通过跨注意力机制与提示语义信息进行融合得到的特征图;

WQ、WK、WV为可训练的跨注意力机制权值矩阵;WQS2为跨注意力机制中的查询矩阵,WKS1为跨T注意力机制中的键矩阵,WVS1为跨注意力机制中的值矩阵;(·) 表示矩阵的转置。

5.根据权利要求1所述的一种基于Prompt的边缘增强医学图像分割方法,其特征在于,将高分辨率特征图和低分辨率特征图进行特征对齐包括以下步骤:利用1×1卷积模块对高分辨率特征图进行处理得到对应的高分辨率特征图,利用3×3卷积模块对低分辨率特征图进行上采样得到上采样的低分辨率特征图,使上采样的低分辨率特征图尺寸与高分辨率特征图匹配;将上采样的低分辨率特征图与高分辨率特征图拼接后利用3×3卷积模块进行处理得到组合特征图;

利用光流估计法对组合特征图进行处理,得到光流特征图;

将光流特征图和高分辨率特征图输入warp网络进行局部对齐,得到局部对齐的特征图;

将局部对齐的特征图与上采样的低分辨率相加,得到对齐后的特征图。

6.一种基于Prompt的边缘增强医学图像分割系统,其特征在于,用于实现权利要求1所述的一种基于Prompt的边缘增强医学图像分割方法,包括预处理模块、编码器、解码器、边缘感知提示学习模块和瓶颈层,编码器和解码器中各层的特征图相互匹配;其中:预处理模块,用于对输入的骨骼CT图像进行预处理,包括将骨骼CT图像转换为特征图并进行增强和标注;

编码器,用于对输入的特征图进行多次下采样操作;

边缘感知模块,用于根据检测框和边缘信息融合得到提示语义信息;

瓶颈层,用于对提示语义信息进行过滤,得到输入解码器的初始高分辨率特征图;

解码器,用于对输入的特征图对应解码器进行多次上采样,在上采样过程中,将解码器对应层的输出进行上采样后作为低分辨率特征图,将低分辨率特征图和高分辨率特征图进行图像对齐和图像增强后作为当前层的输出,并将当前层的输出作为下一层的高分辨率特征图,解码器的最后一层输出的特征图即为分割结果。