1.一种基于模糊逻辑的医学图像深度分割方法,其特征在于,包括以下步骤:S1:对眼底医学图像数据集进行扩充,数据集中包含N对彩色原图和眼底血管分割图,将每张图片以中心点顺时针旋转,每10°保存新的图片,扩充到36*N对原图和对应分割掩码;
S2:使用CNN和Transformer模型分别提取眼底图像特征,CNN模型逐渐增加感受野并将特征从局部编码到全局,Transformer模型从全局自注意力开始,最后恢复局部细节,利用不同深度学习模型,将两个模型在三个不同尺度的特征图保存下来,进行后续融合;
S3:设计模糊融合模块将两个分支提取的相同尺度特征进行结合,模糊融合模块中结合注意力机制和模糊测度与模糊积分,对CNN特征和Transformer特征分别使用空间注意力和通道注意力来增强特征表示,对最低尺度特征计算模糊测度并使用Choquet模糊积分消除特征中的异质性和不确定性;
S4:构造模糊注意力融合模块逐步上采样与融合不同尺度特征图,处理分割边界的不确定性,将融合的特征图恢复到输入大小,生成最终分割图像;
S5:搭建基于模糊逻辑的深度学习网络FTransCNN,用扩充后的图像数据对模型进行训练,准确分割出眼底血管以及末梢图像。
2.根据权利要求1所述的基于模糊逻辑的医学图像深度分割方法,其特征在于,所述步骤S2的具体步骤如下:H×W×C
步骤S2.1:针对CNN模型,将大小为x∈R 的图像输入到由ResNet50组成的CNN特征提取网络中,其中H、W、C分别表示输入图像的高度、宽度和通道数,实现图像数据从高分辨率图像到低分辨率图像的转化,构建有五个模块的ResNet模型,每个模块将特征图下采样两倍,将第4个块输出 第3个块输出 和第2个块输出 的特征图保存下来,与Transformer模型相应大小的特征图进行后续融合;
步骤S2.2:针对Transformer模型,首先将图像划分为 块,其中,S设置为16,其次将这些Patch块展平并拼接,用全连接层对拼接的向量降维,接着对输入图像特征加入位置编码得到输入特征x,然后将预处理特征x输入到Transformer的编码器进行特征提取,最后将提取的特征进行上采样,得到与CNN模型提取特征尺度相同的特征,Transformer特征提取过程如下:Q K V
headi=Attention(XiWi ,XiWi ,XiWi) (2)0
MSA(Q,K,V)=Concat(head1,…,headi)W (3)MLP(X)=max(0,XW1+b1)W2+b2 (4)其中,Q,K,V为将输入X经过线性变换后得到的矩阵,Q表示要查询的信息,K表示被查询的向量,V表示查询得到的值,dk表示查询矩阵或者键值矩阵的维度,softmax是激活函数,Q K VWi、Wi、Wi分别表示第i个自注意力的线性变换矩阵,经过学习得到,Concat表示拼接操作,0
W表示线性变换矩阵,max为求最大值操作,W1、W2为权重,b1、b2是常数。
3.根据权利要求1所述的基于模糊逻辑的医学图像深度分割方法,其特征在于,所述步骤S3的具体步骤如下:步骤S3.1:对Transformer模型保存的特征使用通道注意力,首先利用全局平均池化操作对每个特征图进行压缩,使得多个特征图最终成为一维实数序列,计算过程如下所示:其中,squeeze代表压缩操作,ti(x,y)表示步骤S2中保存的Transformer模型第i个尺度的特征,H、W为特征的尺度大小,然后使用扩张操作来利用压缩操作中聚合的信息,使用了一个带有sigmoid激活的门控机制,计算方式如下:s=σ(W2·ReLU(W1·z)) (6)其中,σ表示sigmoid激活函数,ReLU为激活函数,
步骤S3.2:针对CNN模型提取的特征,使用空间注意力作为空间滤波器,增强局部细节,抑制无关区域,第一步使用平均池化和最大池化来生成通道注意力图:m=σ(MLP(AvgPool(ri)+MaxPool(ri))) (7)其中,σ表示sigmoid激活函数,ri表示步骤S2中保存的CNN模型第i个尺度的特征,AvgPool和MaxPool分别表示平均池化和最大池化操作,第二步利用特征之间的空间关系生成空间注意力图,沿通道轴应用平均池化和最大池化操作,并将它们连接起来生成有效的特征描述符,接着使用标准卷积层进行连接和卷积操作以获得二维空间注意力图:
7×7
ri'=σ(f ([AvgPool(m);MaxPool(m)])) (8)
7×7
其中,σ表示sigmoid激活函数,f 表示卷积核为7×7的卷积层;
步骤S3.3:使用Hadamard乘积对来自两个分支的特征之间的细粒度交互进行建模,利用残差块计算连接起来的交互特征hi和注意力特征t′i、r′i,最后对得到的最低尺度特征计算模糊测度并使用Choquet模糊积分消除特征中的异质性和不确定性,计算过程如下所示:fi=C(g(Residual([t′i,r′i,hi]))) (10)其中,W1和W2表示1×1的卷积层,ri和ti表示CNN和Transformer提取的特征,Conv是3×3的卷积层,Residual是残差连接,g表示模糊测度,C表示Choquet模糊积分。
4.根据权利要求1所述的基于模糊逻辑的医学图像深度分割方法,其特征在于,所述步骤S4的具体步骤如下:步骤S4.1:把步骤S3中融合两个不同分支但是尺度大小相同的特征图进行上采样,与上一级的特征图一起作为输入;
步骤S4.2:在模糊注意力融合模块中,假设输入的两个特征图分别用表示,X是上采样过的融合特征,Y是上一层卷积输出特征图,感受野表示卷积神经网络某一层输出的特征图上的像素点映射回输入图像上的区域大小,因此上一层卷积输H出Y具有更大的感受野,首先将特征图X和Y分别进行卷积和批规范化,使得其尺寸都为R×W×C,接着进行按元素求和,然后再次进行卷积和Sigmoid激活对通道进行缩减,最后把缩减H×W×C通道后的特征图与特征图Y进行按元素乘法,将特征图尺寸恢复为R ;
步骤S4.3:对每个特征图采用一个模糊学习模块,假设Z为输入特征图,其大小为H×W×C,对于特定通道C,M个隶属函数被应用于该通道中的每个特征点,隶属函数个数M在特征图的每个通道上保持相同,并且在不同的输入特征图之间变化,每个隶属度函数为特征点分配一个模糊类标签,所有隶属度函数为高斯函数形式,计算方式如下:其中,(x,y)是特征图通道C中的特征点,μk,c和σk,c是第k次高斯隶属函数的均值和标准差,Fx,y,k,c代表通道C中特征点(x,y)输出的第k次模糊类标签,将“与(AND)”模糊逻辑应用于特征点的所有隶属函数,通过以下方法获得输入特征图最终的模糊度Fx,y,c:其中,Π代表求乘积操作。
5.根据权利要求1所述的基于模糊逻辑的医学图像深度分割方法,其特征在于,所述步骤S5的具体步骤如下:步骤S5.1:将眼底图像数据集以8:2的比例划分为训练集和测试集输入到训练网络中;
步骤S5.2:搭建步骤S2、步骤S3、步骤S4所述网络模型FTransCNN,该模型首先用CNN和Transformer两个模型提取眼底图像特征,然后对提取的相同尺度特征进行模糊融合,最后使用模糊注意力模块上采样恢复图像尺寸;
步骤S5.3:损失函数使用BCE交叉熵和Dice相似系数,对于眼底图像的每个像素点的类别,其属于血管区域和其他区域的真实概率值和预测概率值分别为y和 BCE交叉熵函数形式为:Dice相似系数是衡量两个集合相似度的指标,用于计算两个样本的相似度,取值范围是[0,1],DSC计算公式如下:其中,|A|和|B|分别表示模型的预测图片和真实标签图像中的像素数目,|A∩B|表示两个图像中位置相同且标签相同的像素数目,最终的损失函数将BCE交叉熵和Dice相似系数相结合,各占据一半的权重,具体公式如下:Loss=0.5*BCE+0.5*Dice (15)
其中,Loss表示损失值;
步骤S5.4:用随机梯度下降进行优化,以最小化损失函数和最大化预测准确率为目标,训练所搭建的模型。