1.一种电子显微镜成像图像增强方法,其特征在于:包括以下步骤:S1、微生物电子显微镜图像数据集制作,对微生物样品使用电子显微镜成像设备,得到高分辨率图像,将五类微生物进行标注,所述五类微生物为大肠杆菌、葡萄球菌、幽门螺杆菌、酵母菌和枯草芽孢杆菌,标注后的图像构成微生物电子显微镜图像数据集;
S2、构建深度特征提取模块DFEM,包括特征提取模块和上采样模块;
在S2步骤中,对于深度特征提取模块,输入低分辨率微生物电子显微镜图像 ,,H、W和3分别表示微生物图像的高、宽和通道数;首先通过一个3×3标准卷积进行初步的特征提取得到 , , 为一个3×3卷积;将初始特征经过N个残差块得到图像特征 , , ;残差块包括以下三个步骤:首先进行多尺度特征提取,
, 表示1×1
卷积, 表示3×3卷积, 表示5×5卷积, 表示连接操作;然后提取其通道特 征 , , 为
Sigmod激活函数, 为全连接层, 为激活函数, 为全局平均池化;然后提取其空间特征, ,为最大池化, 为平均池化;然后对经过N个残差块得到的图像特征进行上采样,得到 , , ,
为深度卷积, 为PixelShuffle操作,得到的 为深度特征提取模块的输出;
S3、构建特征处理模块FPM,包括3×3卷积和ReLU激活函数;
在S3步骤中,对于特征处理模块,通过深度特征提取模块处理后的得到微生物的高分辨率特征 , , 、 和 分别表示 的高、宽和通道数;特征处理模块包括三个卷积层,每个卷积层之后使用ReLU激活函数,, ,, 为3×3卷积, 为激活函数, 为特征处理模块的输出;
S4、构建自适应特征增强模块AFE,包括初始潜在编码 latent code 的计算;
在步骤S4中,对于自适应特征增强模块,通过特征处理模块得到微生物图像特征, , 、 和 分别表示 的高、宽和通道数;使用双线性插值方法计算 中 个特征位置的初始潜在编码 latent code ,对应 中 个特征点的坐标, ,
, 是特征图 中 的第k个最近邻点的
特征值,k取值最大为4, 表示第k个临近点的权重,初始潜在编码 为自适应特征增强模块的输出;
S5、构建自适应注意力特征融合模块AAFF,包括使用自注意力加强特征融合;
在步骤S5中,对于自适应注意力特征融合模块,通过自适应特征增强模块得到微生物的初始潜在编码 latent code ,通过特征处理模块得到微生物的预处理图像特征, , , 、 和 分别表示 和的高、宽和通道数, 对应 中 个特征点的坐标, ;选取目标位置 周围的8个最近邻特征值, 表示特征图 中 位置的第k个最近邻点的特征值,k取值最大为8;首先计算初始潜在编码 latent code 与每个邻近特征 之间的相似性,相似性得分用 来表示,, 和 是线性变换,用于将特征映射到
Query和Key空间;然后计算注意力权重,注意力权重为每个邻近特征 在生成的最终潜在编码 中的重要性,注意力权重用 来表示,, 为激活函数, 使得权重
的总和为1;然后计算最终的潜在编码 , 为经过注意力机制增强的特征表示, , 是线性变换,用于将特征映射到Value空间, 为自适应注意力特征融合模块的输出;
S6、构建最终图像生成模块,包括反卷积、3×3卷积和ReLU激活函数;
在步骤S6中,对于最终图像生成模块,输入特征为 , ,首先 通过一层反卷积层和ReLU激活函数,, 为 反 卷 积 ,
为激活函数;然后使用一个卷积层将处理后的特征图 转换为最终的高分辨率图像,, 为一个3×3卷积, 为最终图像生成模块的输出;
S7、构建微生物电子显微镜图像高分辨率模型,依次由输入、深度特征提取模块DFEM、特征处理模块FPM、自适应特征增强模块AFE、自适应注意力特征融合模块AAFF、最终图像生成模块、全连接层和输出组成。