利索能及
我要发布
收藏
专利号: 202211171640X
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,该方法具体如下:获取并预处理数据集:对选用的数据集进行预处理得到眼底图像;

通过BALNet模型进行特征提取:眼底图像通过Xception网络处理得到全局特征,全局特征分别通过ECA注意力网络、ULSAM注意力网络和CAB注意力网络进行并行处理得到专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征;

通过BALNet模型进行特征融合及分类:全局特征、专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征分别通过LSTM网络处理后,进行连接和融合得到特征融合图,将特征融合图通过LSTM网络处理后,再通过softmax函数进行分类,获取糖尿病视网膜病变的五分类结果。

2.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,所述数据集采用DDR数据集;

预处理数据集具体如下:

将数据集中的原始图像进行剪裁:去除多余的黑色背景区域,减少噪音和无用信息对视网膜本身的影响;

通过数据增强的方式扩充数据集;其中,数据增强的方式包括上下反转、左右反转、添加波斯噪声以及尺寸缩小。

3.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,获取专注于通道的眼底图像细粒度特征具体如下:通过ECA注意力网络的无需降维的局部跨通道交互机制,提取来自backbone全局特征中的通道信息;

将得到的全局信息BEin(X)输入进行逐通道全局平均池化;

GAP层生成1×1×C的特征向量后,获取自适应卷积核尺寸k,公式如下:其中,C表示通道维度,决定一维卷积卷积核的大小;

将自适应卷积核尺寸k进行一维卷积层来进行跨通道信息交互,得到第二个1×1×C特征向量;

将ECA注意力网络的映射过程用Me表示,ECA注意力网络的输出BEout(X),公式如下:其中,表示元素操作,即将相应的元素逐个相乘;BEout(X)为ECA注意力网络的输出,即经过ECA注意力网络后得到的结果;BEin(X)则为ECA注意力网络的输入,同时也是Xception网络的输出。

4.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,获取专注于空间的眼底图像细粒度特征具体如下:通过输入ULSAM注意力网络的全局特征Muin,将特征分成g组[M1,M2...Mn...Mg],每一组均包括G个特征图;

对于每一组的子特征Mn,通过一个1×1的深度卷积得到的特征进行最大池化后,再通过一个只有一个卷积核的点卷积进行特征映射;

特征映射通过softmax函数激活后,得到由Mn推断出的注意力特征图An,公式如下:

3×3,1 1×1

An=softmax(PW(maxpool (DW (Mn))));

对空间重新校准后得到新的空间特征Mn′,公式如下:

其中, 是逐元素乘法; 是逐元素加法;

把g组特征连接到一起得到专注于空间的眼底图像细粒度特征Muout,公式如下:Muout=concat([M1′,M2′,...Mn′...Mg′])。

5.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,获取区分分类区域特征具体如下:CAB注意力网络通过对输入特征Qcin进行1×1的卷积层得到新的特征Q′,对Q′进行dropout操作随机删除一半特征得到Q″;

获取L类中不同类别的feature map的重要性的权重S={S1,S2,...,SL},公式如下:其中,GMP表示全局最大池;q″i,j表示Q″中第i类的第j个特征图;

对Q′进行按类别的跨通道平均池操作,以获取每个类的平均特征映射,公式如下:H×W×1

其中,q′i,j表示q'Q′中第i类的第j个特征图;Q′i_avg∈R 表示第i类的语义特征图;

获取最终增强了Qcin中用于区分分类区域特征Qcout,公式如下:

6.根据权利要求1‑5中任一项所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,通过BALNet模型进行特征融合及分类具体如下:将backbone得到的全局特征Oout与ECA注意力网络、ULSAM注意力网络和CAB注意力网络得到的专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征分别进行reshape重塑并通过拥有200节点的LSTM网络对专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征进行选择提取;

同时为了学习并防止过拟合,添加一个dropout层,随机丢弃50%的特征,得到最终特征,用LS表示LSTM网络特征映射过程,公式如下:O′out=DP(LS(reshape(Oout)));

B′out=DP(LS(reshape(Bout)));

M′out=DP(LS(reshape(Mout)));

Q′out=DP(LS(reshape(Qout)));

将得到的O′out、B′out、M′out以及Q′out四种不同特征进行concat融合,得到融合全局特征与通专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征的融合特征;

将融合特征输入进第二个拥有200节点的LSTM网络再次对融合后的特征进行选择提取,并通过dropout层丢弃20%的特征后,采用Flatten将输入一维化进入全连接层,再通过softmax激活函数完成分类,BALNet模型的最终输出公式如下:BALout=soft max(Flatten(LS(concat((O′out),(B′out),(M′out),(Q′out)))))。

7.根据权利要求1所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法,其特征在于,BALNet模型的改进具体如下:基于交叉熵损失函数添加惩罚项Te,公式如下:

改进后的交叉熵损失NLoss,公式如下:

其中,Te表示惩罚项; 表示预测值; 表示真实值。

8.一种基于多注意力与LSTM的糖尿病视网膜病变分类系统,其特征在于,该系统包括,获取及预处理模块,用于对选用的数据集进行预处理得到眼底图像;

特征提取模块,用于将眼底图像通过Xception网络处理得到全局特征,全局特征分别通过ECA注意力网络、ULSAM注意力网络和CAB注意力网络进行并行处理得到专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征;

特征融合及分类模块,用于全局特征、专注于通道的眼底图像细粒度特征、专注于空间的眼底图像细粒度特征和区分分类区域特征分别通过LSTM网络处理后,进行连接和融合得到特征融合图,将特征融合图通过LSTM网络处理后,再通过softmax函数进行分类,获取糖尿病视网膜病变的五分类结果。

9.一种电子设备,其特征在于,包括:存储器和至少一个处理器;

其中,所述存储器上存储有计算机程序;

所述至少一个处理器执行所述存储器存储的计算机程序,使得所述至少一个处理器执行如权利要求1至7任一项所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序可被处理器执行以实现如权利要求1至7中任一项所述的基于多注意力与LSTM的糖尿病视网膜病变分类方法。