1.一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于,构建基于UNet和Transformer相融合的视网膜血管分割模型,该模型包括编码器、解码器以及融合注意力机制,所述编码器包括多流级联的卷积层、多个池化层和多个残差模块,每一个卷积层都使用残差模块,池化层设在两个卷积层单元之间;所述解码器包括级联的多个改进的基于扩展卷积的残差模块、多个上采样模块以及反卷积层,上采样模块设在两个相邻的改进的基于扩展卷积的残差单元之间;所述融合注意力机制将编码器中池化层的输出以及相邻流池化层的输出分别作为低层特征输入和高层特征输入,在第三层的融合注意力机制的高层特征输入是对应编码器池化层经过Transformer模块形成的特征图;根据所述的一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于,基于UNet和Transformer相融合的视网膜血管分割模型中多流级联的多层卷积类操作,且每流每层输出分别与同流后续层直接连接,卷积层单元的任意一层采用残差模块替换标准的UNet编码块,残差模块可以有效地防止训练阶段的梯度消失,多流编码器的输出表示为:ι ι ι
Η(x)={h(x,K,θ)|h(x,K,θk)=r(h(x,k‑1,θk‑1)),l=1,2,…,L}ι
其中,Η(x)表示不同编码路径中一系列网络操作的集合;h (x,K,θ)表示第l层编码流,K表示连续特征块,θ表示可学习权重;r表示每个特征块上的残差操作,包括池化层;
表示在原始输入图像x上的标准归一化函数;L表示路径流总数,在实验中设置为4;根据所述的一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于,基于UNet和Transformer相融合的视网膜血管分割模型中融合注意力机制的输出表示为:i i i i
F=u+u ⊙α;
i i
其中,F 表示在第i层融合注意力机制的输出,用残差的方式将注意力特征α 和原来特i征u统一在一起;
i i i‑1
u=C([e ,S(F )]);
i
其中,u表示第i层融合注意力机制中的原来特征;C(Z)表示一个卷积内核;S(Z)表示一i i‑1个上采样操作;[]表示对应的Concat操作;e和F 分别表示来自第i层编码器和前一个融合模块的结果;
i i
s=Pavg(fReLU(fBN(u)));
i
其中,s表示第i层融合注意力机制中的中间特征;Pavg(Z)表示全局平均池化操作;fReLU(Z)表示ReLU激活函数操作;fBN(Z)表示批归一化操作;
i i
α=σ(fC(fReLU(fC(s))));
i
其中,α 表示第i层融合注意力机制中的注意力特征;σ(Z)表示Sigmoid激活函数操作;
fC(Z)表示1×1的卷积操作。
2.根据权利要求1所述的一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于,基于UNet和Transformer相融合的视网膜血管分割模型中第i层改进的基于扩展卷积的残差模块的输出表示为:yi=fBN+ReLU(fC3(xi+DRF(xi));
其中,yi表示第i层改进的基于扩展卷积的残差模块的输出;fBN+ReLU(Z)表示依次进行批归一化操作和ReLU激活函数操作;fC3(Z)表示3×3的卷积操作;xi表示为第i层改进的基于扩展卷积的残差模块的输入;DRF(Z)表示改进的基于扩展卷积的残差模块结构。
3.根据权利要求1所述的一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于,改进的基于扩展卷积的残差模块结构DRF(Z)表示为:DRF(xi)=fBN+ReLU(fC(fBN+ReLU(fC(xi))×fBN+ReLU(fC3(xi))×IRCB(xi)));
其中,fC表示1×1的卷积操作;IRCB(Z)表示扩展卷积模块结构。
4.根据权利要求1所述的一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于,扩展卷积模块结构IRCB(Z)表示为:IRCB(xi)=fBN+ReLU(fC(xi))+fBN+ReLU(fC3+r3(fBN+ReLU(fC(xi))));
其中,fC3+r3(Z)表示扩展率为3的空洞卷积。
5.根据权利要求1所述的一种基于UNet和Transformer相融合的视网膜血管分割方法,其特征在于:其中,Transformer模块得到的是来源于多流级联的多层卷积神经网络下采样之后的特征图结果,对特征图进行固定大小的切片处理,嵌入位置向量,如下所示:其中,P表示切片的尺寸;N表示切片的数量;
其中,z0表示为嵌入位置向量的结果; 表示第一个特征图切片结果;Epos表示位置向量;
Transformer模块由L层多头注意力机制和多层感知器模块组成,多头注意力机制有两种不同划分处理方式,包括WMSA模块和SWMSA模块,其中WMSA模块是基于规则窗口的自注意模块,前一个模块的结果是8×8特征图,从左上角的像素开始均匀划分成4个窗口大小为4×4的窗口,然后进行注意力处理;其中SWMSA模块是基于跨窗口的自注意模块,前一个模块的结果是8×8特征图,从左上角的像素开始先进行小于窗口大小划分操作,然后在进行窗口大小划分操作,当分别取2,取4时,划分成4个窗口大小为2×2的窗口、2个窗口大小为2×
4的窗口、2个窗口大小为4×2的窗口以及1个窗口大小为4×4的窗口,然后对特征图进行移位,然后进行注意力处理,然后在设置自注意力后再次移位恢复以便后面紧跟WMSA模块,所述Transformer模块连续两层的输出为如下形式:l l+1
其中, 和z分别表示第l层的WMSA模块和MLP模块的特征输出; 和z 分别表示第l+1层的SWMSA模块和MLP模块的特征输出;SWMSA模块表示对特征图进行移位,在设置自注意力后再次移位恢复;LN(Z)代表LayerNorm层归一化操作。