利索能及
我要发布
收藏
专利号: 2023110625728
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进的Unet网络的皮肤病图像分割方法,其特征在于,包括以下步骤:

(1)预先有关皮肤病的医学图像,并对图像中待分割区域进行标记,将其作为标签,形成数据集;

(2)构建基于改进的Unet网络的图像分割模型;所述改进的Unet网络包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制;所述编码器由ResNext作为主干特征提取网络,SwinTransformer作为辅助特征提取网络;

(3)对图像分割模型进行训练,将训练集的图像输入模型中,生成模型预测的标签图,再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss,采用优化器进行优化,保存结果最好的一次权值,生成权值文件;

(4)图像分割模型加载保存的权值文件,将需要分割的图片输入进模型中实现皮肤病图像的分割;

步骤(2)所述网络特征聚合机制包括:SwinTransformer输入的特征图大小为H×W×C,在分别经过全局最大池化和全局平均池化之后,输出结果为两个1×1×C的特征图T1,T2,将它们分别输入进前置多层感知机,使通道数大小C变为C/16;再将得到两个特征图相加并输入进后置多层感知机中,将通道数大小C/16变为C,并且用Sigmoid激活函数进行激活,之后与ResNext输入的特征图进行相乘操作得到out1;接着对SwinTransformer输入的特征图在长、宽以及通道的维度上计算全局平均池化得到avg_out1,avg_out2,avg_out3,对SwinTransformer输入的特征图在长、宽以及通道的维度上计算全局最大池化得到max_out1,max_out2,max_out3;将avg_out3和max_out3在通道的维度上进行拼接并且进行一次

7×7的卷积操作;将所得结果分别直接使用Sigmoid激活函数激活得到spatial_out1,取反使用Sigmoid激活函数激活得到spatial_out2;将两个spatial_out1相加减去spatial_out2得到的结果用Sigmoid函数激活加上spatial_out1,再乘以out1得到新的out1;将max_out1和max_out2相乘,avg_out1和avg_out2相乘,所得结果相加并用Sigmoid函数激活乘以SwinTransformer输入的特征图得到out2;将out1,out2,SwinTransformer输入的特征图,ResNext输入的特征图相加得到最终结果。

2.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法,其特征在于,步骤(2)所述SwinTransformer一共由五层编码层组成,分别为stage1,stage2,stage3,stage4,stage5,通过SwinTransformer对待分割图片进行编码,得到通道数分别为48,128,

256,512,1024的子特征图F1~F5;所述ResNext一共由五层编码层组成,分别为conv1,conv2,conv3,conv4,conv5,通过ResNext对待分割图片进行编码,得到通道数分别为64,

256的特征图E1和E2;将F2与E2输入网络特征聚合机制得到E2’,再将E2’继续输入进编码层conv3得到通道数为512的特征图E3;将F3与E3输入网络特征聚合机制得到E3’,再将E3’继续输入进编码层conv4得到通道数为1024的特征图E4;将F4与E4输入网络特征聚合机制得到E4’,再将E4’继续输入进编码层conv5得到通道数为2048的特征图E5;将特征图E5输入进空洞空间卷积池化金字塔得到E5’;

子特征图E1通过卷积将通道数64变为128得到E1’;E1’~E4’分别输入至对应的边缘增强注意力机制通道中,分别得到子特征图E1”~E4”;E5’经过上采样得到M5,M5与E4”在通道维度上拼接,经过第四层解码层输出大小为M4的特征图,其再与E3”进行拼接,经过第三层解码层输出大小为M3的特征图,其与E2”进行拼接,经过第二层解码层输出大小为M2的特征图,其与E1”进行拼接,经过第一层解码层输出大小为M1的特征图,最后通过1×1的卷积核调整图片通道数,将通道数调整为分割目标数num_classes输出最终特征图P1。

3.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法,其特征在于,所述ResNext包括conv1,由一次7×7卷积块卷积得到,conv2~conv5分别由3,4,6,3个bottleneck构成。

4.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法,其特征在于,步骤(2)所述SwinTransformer包括stage1,由一次卷积得到,stage2~stage5分别由2,

2,18,2个SwinTransformrt Block构成。

5.根据权利要求1所述的一种基于改进的Unet网络的皮肤病图像分割方法,其特征在于,步骤(2)所述边缘增强注意力机制包括:网络特征聚合机制输入的特征图大小为H×W×C,在分别经过全局最大池化和全局平均池化之后,输出结果为两个1×1×C的特征图;再将它们一起输入到一个共用的多层感知机将特征图先降维再升维,再将两张输出的特征图相加,经过sigmoid激活函数归一化特征图的每个通道的权重spatial_out,将归一化后的权重和输入特征图相乘得到通道注意力;对通道注意力输出的特征图进行处理,分别进行global maxpooling和global average pooling,将输出的两张特征图在通道数上进行concatenate,再用1×1卷积调整通道数,最后经过sigmoid函数归一化权重;将归一化权重和输入特征图相乘得到空间注意力out1;将out1用Sigmoid函数激活,将所得结果分别直接使用最大池化将特征图缩小一倍,取反使用最大池化将特征图缩小一倍,将两者结果进行相加得到out2;将out1用Sigmoid函数激活,将所得结果分别直接使用最大池化将特征图缩小一倍,取反使用平均池化将特征图缩小一倍,将两者结果进行相加得到out3;将out1用Sigmoid函数激活,将所得结果直接使用最大池化将特征图缩小一倍得到out4;将out2,out3,out4相加得到新的out2;将out2用双线性插值使特征图放大一倍,加上spatial_out后用Sigmoid函数激活,最后和网络特征聚合机制输入的特征图进行相乘操作得到结果。

6.一种采用如权利要求1至5任一所述方法的基于改进的Unet网络的皮肤病图像分割系统,其特征在于,包括:

图像获取模块,预先有关皮肤病的医学图像,并对图像中待分割区域进行标记,将其作为标签,形成数据集;

图像分割模块,包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制;所述编码器由ResNext作为主干特征提取网络,SwinTransformer作为辅助特征提取网络;

图像分割训练模块,对图像分割模型进行训练,将训练集的图像输入模型中,生成模型预测的标签图,再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss,采用优化器进行优化,保存结果最好的一次权值,生成权值文件;图像分割模型加载保存的权值文件,将需要分割的图片输入进模型中实现皮肤病图像的分割。

7.根据权利要求6所述的一种基于改进的Unet网络的皮肤病图像分割系统,其特征在于,所述SwinTransformer一共由五层编码层组成,通过SwinTransformer对待分割图片进行编码,得到通道数分别为48,128,256,512,1024的子特征图F1~F5。

8.根据权利要求6所述的一种基于改进的Unet网络的皮肤病图像分割系统,其特征在于,所述ResNext一共由五层编码层组成,通过ResNext对待分割图片进行编码,得到通道数分别为64,256的特征图E1和E2。

9.根据权利要求6所述的一种基于改进的Unet网络的皮肤病图像分割系统,其特征在于,所述皮肤病图像分割系统还包括结果显示模块,多形式展示皮肤病图像分割后的结果。