利索能及
我要发布
收藏
专利号: 2024109242245
申请人: 临沂大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Transformer与CNN的视盘和视杯分割方法,其特征在于,包括以下步骤:S1.获取待分割的图像数据;

S2.将所述图像数据输入到训练好的基于Transformer与CNN的视盘和视杯分割模型,其中,基于Transformer与CNN的视盘和视杯分割模型的骨干网络为TransUNet网络,所述TransUNet网络包括编码器CNN模块、编码器Transformer模块和解码器模块;

S3.根据所述图像数据以及基于Transformer与CNN的视盘和视杯分割模型,得到视盘和视杯分割结果;

所述基于Transformer与CNN的视盘和视杯分割模型的训练过程包括以下步骤:S2‑1.获取视盘和视杯数据集;

S2‑2.将所述视盘和视杯数据集中图像输入到编码器CNN模块,得到图像的局部特征图;

所述将所述视盘和视杯数据集中图片输入到编码器CNN模块,得到图像的局部特征图,具体包括:首先把编码器CNN模块接收到的原始特征图x传入到一个卷积核大小为1×1的深度可分离卷积中进行卷积,同时把该原始特征图x分别传入到卷积核大小为3×3和5×5的深度可分离卷积中进行卷积,得到三种卷积核处理的特征图,然后将三种卷积核处理的特征图进行相加,得到相加后的特征图X1,再将相加后的特征图X1分别传入到大小为1×1和3×3的深度可分离卷积中进行卷积,并把得到的特征图再进行相加,得到特征图X2,最后把特征图X2传入到一个1×1的深度可分离卷积中进行卷积,并与通过一个1×1的深度可分离卷积的原始特征图x进行相加,得到图像的局部特征X3,层级卷积融合模块的具体操作公式如下:(1)

(2)

(3)

其中,DW表示深度可分离卷积操作,下角标1、3、5表示卷积核的大小,Conv表示一个1×

1的普通卷积操作;

S2‑3.将所述图像的局部特征图输入到编码器Transformer模块,得到编码特征表示;

S2‑4.将编码特征表示输入到解码器模块,得到视盘和视杯分割结果;

所述解码器中采用多尺度通道交叉融合模块代替TransUNet网络中的传统跳跃连接,所述多尺度通道交叉融合模块中的操作具体包括:多尺度通道交叉融合模块把编码器和解码器输出的特征图按照通道分成四份,其中,编码器每层输出的特征图分别为m1、m2、m3、m4,解码器每层输出的特征图分别为n1、n2、n3、n4,对解码器输出的特征图和编码器输出的特征图进行两两融合,然后把融合后的特征图分别传入膨胀因子为1、2、5、7的膨胀卷积中,将进行完膨胀卷积的特征图w按通道进行拼接,得到拼接后的特征图O,多尺度通道交叉融合模块具体操作公式如下:(4)

(5)

(6)

(7)

其中m表示解码器每一层的输出,Fd表示解码器的输出特征,n表示编码器每一层的输出,Fe表示编码器的输出特征,w代表对m和n进行交叉连接后的特征图,O代表最后该模块的输出,concat表示按通道拼接操作,D表示膨胀卷积操作,1、2、5、7表示膨胀因子。

2.根据权利要求1所述的基于Transformer与CNN的视盘和视杯分割方法,其特征在于,所述步骤S2‑1中视盘和视杯数据集为三个公开的视盘与视杯数据集,分别是RIM‑ONE‑v3、REFUGE和DRISHTI‑GS数据集。

3.根据权利要求1所述的基于Transformer与CNN的视盘和视杯分割方法,其特征在于,所述步骤S2‑3具体包括:将所述图像的局部特征X3输入到编码器Transformer模块中分割成小块,然后为每个小块分配一个固定的位置编码,接着对位置编码和每个小块对应的特征向量进行自注意力计算和特征交互,得到每个小块的编码特征表示。

4.根据权利要求1所述的基于Transformer与CNN的视盘和视杯分割方法,其特征在于,将所述步骤S2中的骨干网络TransUNet中的传统卷积全部改为所述层级卷积融合模块。