1.一种用于视网膜病变分级检测的增强方法,其特征在于,利用Transformer模块增强CNN网络对全局特征的敏感性;通过交叉注意力模块建立图像间交互;通过多层次特征图有效获取和整合与各种病灶大小相关的信息,进而构建用于视网膜病变分级检测的网络架构;所述网络架构包括改进的CMT和Fusion_SK;所述改进的CMT,包括依次连接的Layer Norm层、Lightweight MHSA层、Layer Norm层、Inverted Residual FFN层;其中,Layer Norm层,为层归一化,用于同一通道内特征图归一化;
Lightweight MHSA层:
将输入 线性转换为查询query 键key 值value符号d、dk和dv分别是输入input,key或query和value的维度;符号H和W表示输入特征图的高和宽;为减轻计算开销,使用一个步长为k的k×k深度可分离卷积DWConv来减小注意力操作前K 和V的空间大小,也就 是 和此外,将可学习的相对位置偏差B整合到每个自注意力模块中,取代Transformer模块中的原始绝对位置偏差,旨在为图像获得类似卷积的旋转不变性能力;轻量级自注意力为:其中,Softmax为归一化指数函数;
而后,提出一种交叉自注意力机制,在注意力操作之前将使用的样本数量batchsize中所有图像的信息聚合, 和Kc为不同通道中键的计算值,Vc为不同通道中值的计算值,对应的交叉轻量级注意力定义为:
交叉轻量级注意力仅在注意力学习训练阶段应用,在注意力学习测试阶段则采用轻量级自注意力;
所述Fusion_SK包括Fuse模块和Select模块,输入由已调整为相同维度的各种特征图组成, 其中,Fuse模块:
首先通过元素求和合并多个特征图的结果:
U=∑Ui
其中Ui表示网络架构第i阶段的特征图;
随后,采用全局平均池化来提取每个通道的全局特征,然后使用全连接层进行降维:Z=RELU(BN(W(Fgp(U))))其中RELU=max(0,x);BN是批量归一化,用于加快收敛速度和避免梯度消失和梯度爆炸;
其中Fgp是全局平均池化, 表示全连接层的权重矩阵,使用减速比r=2和L=
32来控制其值:
d=max(C/r,L)
其中d是全连接层输出后的特征数量,C是输入特征图的通道数,max是取两数的最大值;
最后,利用多个全连接层来映射每个特征图的得分向量:Si=RELU(BN(WiZ))
其中
Select模块:
利用跨通道软注意力,自适应地将不同的权重分配给各种特征图,以控制其输出流的大小;具体来说,将多个分数向量在通道级接受softmax算子以获得权重向量,然后使用这些权重向量来激活或抑制不同的特征图:其中Aik是经过Selcet模块计算得到不同通道的权重;e是对数函数的底数,Sik是不同通道的分数;
Ui=UiAi
其中i是特征图索引,k是通道索引。
2.根据权利要求1所述的一种用于视网膜病变分级检测的增强方法,其特征在于,Inverted Residual FFN层:包括扩展层、深度卷积和投影层,中间穿插着GELU激活层和最终线性层之后的批量归一化,类似于反向残差块:IRFFN(X)=Conv(F(Conv(x)))其中IRFFN(X)是反向残差前馈全连接层,用于加强模型获取图像特征的能力,Conv(x)是卷积层用于提取图像的特征;
F(x)=DWConv(X)+X
其中F(x)表示残差块;X是输入的图像特征。