利索能及
我要发布
收藏
专利号: 2023105973340
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于CNN与Transformer的糖尿病视网膜病变分级方法,其特征在于,包括以下步骤:S1:导入带有多组原始图像的原始图像数据集,并将所述原始图像数据集划分为图像训练集和图像测试集;

S2:将图像训练集中的各个原始图像等分成若干个图像块,并生成不同粒度版本的打乱图像;

S3:通过残差网络ResNet50和Swin‑Transformer建立糖尿病视网膜病变分级网络,采用渐进式策略训练糖尿病视网膜病变分级网络;输入打乱图像,通过残差网络ResNet50的最后三层输出三个中间阶段不同粒度大小的特征谱;输入原始图像,通过Swin‑Transformer的最后三层输出三个中间阶段不同大小的特征谱;通过特征融合模块融合不同阶段卷积神经网络输出的特征谱与Swin‑Transformer输出的特征谱;串联残差网络ResNet50与Swin‑Transformer融合的最后三层输出的特征谱,得到串联阶段输出的多尺度多粒度的特征谱;

S4:定义分类损失函数和加权卡帕损失函数,并根据分类损失函数和加权卡帕损失函数构建损失层;

S5:利用图像训练集训练糖尿病视网膜病变分级网络得到训练集权重;利用测试样本集在训练集权重的基础上对糖尿病视网膜病变分级网络进行测试。

2.根据权利要求1所述的一种基于CNN与Transformer的糖尿病视网膜病变分级方法,其特征在于,S2具体为:S21:将原始图像I等分成K×K个图像块,根据图像块的索引得到大小为j×j的索引矩阵PI;

S22:随机打乱图像块,通过拼图生成器生成打乱图像,根据图像块的索引矩阵PI得到打乱图像的索引矩阵PS;

2 2

S23:根据打乱图像的索引矩阵PS得到独热形式的大小为K×j的矩阵P。

3.根据权利要求1所述的一种基于CNN与Transformer的糖尿病视网膜病变分级方法,其特征在于,S3具体为:建立糖尿病视网膜病变分级网络,包括残差网络、Swin‑Transformer、特征融合模块、卷积层和分类层;

采用渐进式策略训练糖尿病视网膜病变分级网络;训练过程具体包括,步骤1:通过所述特征融合模块融合残差网络第3层输出的特征谱a3与Swin‑Transformer第2层输出的特征谱b2,得到第一融合特征t3;步骤2:通过所述特征融合模块融合残差网络第4层输出的特征谱a4与Swin‑Transformer第3层输出的特征谱b3,得到第二融合特征t4;步骤3:通过所述特征融合模块融合残差网络第5层输出的特征谱a5与Swin‑Transformer第4层输出的特征谱b4,得到第三融合特征t5;步骤4:使用原始图像作为残差网络ResNet50与Swin‑Transformer的输入图像,串联残差网络ResNet50与Swin‑Transformer融合的特征谱X3,X4,X5,得到串联阶段输出的多尺度多粒度的特征谱Xconcat=Concat(X3,X4,X5);

步骤1,步骤2和步骤3的融合特征t3,t4,t5经过卷积层分别对得到对应的特征谱X3,X4,X5;

残差网络ResNet50提取打乱图像的图像特征ai,使用残差网络ResNet50的最后三层

5‑i+1

(a3,a4,a5)分别处理打乱图像,对不同粒度版本的输入图像,设K=2 ,K×K表示输入拼图中块的数量,其中i={3,4,5},分别对应输出三个阶段的特征谱a3,a4,a5;

Swin‑Transformer提取图像训练集的图像特征bl,使用Swin‑Transformer的最后三层(b2,b3,b4)分别处理图像训练集的图像,分别对应输出三个阶段的特征谱b2,b3,b4;

特征融合模块包括空间注意力模块,通道注意力模块和细粒度交互模块;在步骤1,步骤2,步骤3和步骤4中,使用特征融合模块融合相对应的残差网络与Swin‑Transformer提取的特征谱,具体描述如下:所述空间注意力模块包括通道池化层,7×7卷积层Conv和Sigmoid激活函数,通过空间注意力对CNN分支特征进行增强,其方法表示为:所述通道注意力模块包括平均池化层,全连接层和Sigmoid激活函数,通过通道注意力对CNN分支特征进行增强,其方法表示为:所述细粒度交互模块包括2个1×1卷积Conv1和Conv2,哈达玛积和一个3×3卷积Conv3,通过细粒度交互模块实现特征交互,其方法表示为:ci=Conv3(Conv1(ai)⊙Conv2(bl));

将两个分支的增强特征与交互特征融合在一起,经过一个残差块,以实现不同分支输出特征之间的互补关系,其方法表示为:通过卷积层 将融合后的特征谱的通道维度统一到1024维:

所述分类层由两个具有Batchnorm和Elu非线性的两个全连接层组成;糖尿病视网膜病变分为5个等级,分类层 通过分类器处理1024维的特征向量后得到一个5维的特征向量作为预测概率分布表示为:

3 4 5 concat

其中,步骤1,步骤2,步骤3和步骤4的预测概率分布分别表示为V ,V ,V ,V 。

4.根据权利要求3所述的一种基于CNN与Transformer的糖尿病视网膜病变分级方法,其特征在于,S4具体为:i

S41:在步骤1,步骤2和步骤3中,步骤i中使用V 表示预测概率分布,在步骤4中,使用表示预测概率分布;使用V表示图像真实标签,通过交叉熵损失计算分类损失函数,表示为:其中,n表示图像索引,m表示一个批量中图像总数, 可表示步骤1,步骤2和步骤3中的分类损失函数, 表示步骤4的分类损失函数。

S42:通过加权卡帕损失函数计算分类损失函数,表示为:

其中,N表示样本的数量,Nm表示类别m的样本数量,Q表示类别总数,wm,n表示二次加权矩阵,其中|m‑n|表示预测类别m和实际类别n之间的距离,tk表示第k个样本Xk的真实类别,P(q|Xk)表示第k个样本Xk预测类别属于q的条件概率;

S43:将交叉熵损失函数和加权卡帕损失函数加权平均获得总损失函数:其中,β为超参数, 可表示步骤1,步骤2和步骤3中的总损失函数, 表示步骤4的总损失函数。

5.根据权利要求4所述的一种基于CNN与Transformer的糖尿病视网膜病变分级方法,其特征在于,S5具体为:S51:采用图像训练集,通过自动微分技术,使用基于随机梯度下降和反向传播算法,根据总损失函数优化糖尿病视网膜病变分级网络;

S52:采用图像测试集在图像训练集权重的基础上对糖尿病视网膜病变分级网络进行测试。

6.一种使用如权利要求1‑3任一项所述的一种基于CNN与Transformer的糖尿病视网膜病变分级方法的系统,其特征在于,包括:拼图生成模块、残差网络模块、Swin‑Transformer模块、特征融合模块、损失函数模块和训练测试模块;其中,拼图生成模块,用于处理图像训练数据集,生成不同粒度大小版本的打乱图像;

残差网络模块,用于使用ResNet50的最后三层进行渐进式训练,在步骤1至步骤3中使用不同粒度大小的图像作为输入图像,并且选取不同的中间阶段特征谱输出,得到对象的局部细节信息;在步骤4中使用原始图像作为输入图像,残差网络ResNet50同时输出最后三层输出的特征谱,得到多尺度的特征信息;

Swin‑Transformer模块,用于使用Swin‑Transformer的最后三层进行渐进式训练,使用原始图像作为输入图像,在步骤1至步骤3中选取不同的中间阶段特征谱输出,得到对象的全局表示信息;在步骤4中Swin‑Transformer同时输出最后三层输出的特征谱,得到多尺度的特征信息;

特征融合模块,用于在步骤1至步骤3中融合残差网络与Swin‑Transformer相应阶段的特征谱,输出融合特征;在步骤4中串联步骤1至步骤3中融合的特征谱,得到串联阶段多尺度多粒度的特征谱;

损失函数模块,用于定义分类损失函数和加权卡帕损失函数,并根据分类损失函数和加权卡帕损失函数构建损失层;

训练测试模块,用于利用图像训练集优化糖尿病视网膜病变分级网络,利用图像测试集测试糖尿病视网膜病变分级网络。

7.根据权利要求6所述的系统,其特征在于,损失函数模块的工作流程具体为:i

在步骤1,步骤2,步骤3中,步骤i中使用V表示预测概率分布,在步骤4中,使用 表i示预测概率分布,第i阶段使用V 表示预测概率分布,使用V表示图像真实标签,通过交叉熵损失计算分类损失函数,表示为:其中,n表示图像索引,m表示一个批量中图像总数, 可表示步骤1,步骤2,步骤3中的分类损失函数, 表示步骤4的分类损失函数。;

通过加权卡帕损失函数计算分类损失函数,表示为:

其中,N表示样本的数量,Nm表示类别m的样本数量,Q表示类别总数,wm,n表示二次加权矩阵,其中|m‑n|表示预测类别m和实际类别n之间的距离,tk表示第k个样本Xk的真实类别,P(q|Xk)表示第k个样本Xk预测类别属于q的条件概率;

将交叉熵损失函数和加权卡帕损失函数加权平均获得总损失函数:

其中,β为超参数, 可表示步骤1,步骤2,步骤3中的总损失函数, 表示步骤4的总损失函数。

8.根据权利要求6所述的系统,其特征在于,拼图生成模块的工作流程具体为:将原始图像I等分成K×K个图像块,根据图像块的索引得到大小为j×j的索引矩阵PI;

随机打乱图像块,通过拼图生成器生成打乱图像,根据图像块的索引矩阵PI得到打乱图像的索引矩阵PS;

2 2

根据打乱图像的索引矩阵PS得到独热形式的大小为K×j的矩阵P。

9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1‑5任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1‑5任一项所述方法的步骤。