1.一种基于特征融合和注意力机制的医学图像分类方法,其特征在于按照以下步骤进行:步骤一:从医学图像数据库中获取任意尺寸的医学图像集,经图像预处理后得到医学图像训练集和医学图像测试集;
步骤二:根据医学任务,选取基于卷积神经网络主干网;
步骤三:引入特征金字塔,进行对医学图像的多尺度特征融合;
步骤四:引入交互注意力金字塔,生成主干网的权重系统;
在步骤四中,
所述交互注意力金字塔由四层并联结构组成,分别记为第一层至第四层,每一层均一个包含通道注意力模块和一个空间注意力模块,二者相并联,并设置有两个交互路径:第一交互路径和第二交互路径;
其中,第一交互路径:将第二层通道注意力模块输出的通道注意力掩码,通过广播加法运算,叠加至第三层通道注意力模块的输入端;
第二交互路径:将第三层通道注意力模块输出的通道注意力掩码,通过广播加法运算,叠加至第四层通道注意力模块的输入端;
在每一层中,通道注意力模块输出的通道注意力掩码与空间注意力模块输出的空间注意力掩码,先以广播加法形式相加,得到该层的综合注意力权重;该综合注意力权重再与该层输入的初始特征图,以哈德码积的形式进行逐元素相乘,从而生成该层增强后的特征输出;
步骤五:将主干网、特征金字塔和交互注意力金字塔组合后进行消融实验,得到各个模快组合的效果;
步骤六:采用医学图像训练集,对所述基于卷积神经网络的最优分类模型进行训练,得到基于医学任务的分类模型;
步骤七:将医学图像测试集输入到基于医学任务的分类模型中,结合平均池化后,输出医学图像分类结果。
2.根据权利要求1所述的基于特征融合和注意力机制的医学图像分类方法,其特征在于步骤一中,所述图像预处理步骤为:设置图像尺寸大小a×a,将医学图像集中所有图像进行尺寸统一化;
将尺寸统一化的所有医学图像分成待增强训练集和医学图像测试集;
对待增强训练集进行图像增强操作后得到医学图像训练集;
其中,所述图像增强操作内容为:
随机裁剪操作:随机的将待增强训练集中的医学图像的部分区域裁剪掉,并且填充0像素值;
随机水平翻转;随机修改图片的亮度、对比度和饱和度;
转化为张量的形式;
进行数据标准化;
标准化公式如下:
(1)
式(1)中u式图像均值,X表示图像矩阵:
(2)
式(2)中σ表示标准方差,N表示图像的像素。
3.根据权利要求2所述的基于特征融合和注意力机制的医学图像分类方法,其特征在于:步骤二中,所述基于卷积神经网络主干网至少包括VGG、ResNet、GoogleLeNet、Inception。
4.根据权利要求3所述的基于特征融合和注意力机制的医学图像分类方法,其特征在于:步骤二中,当确认基于卷积神经网络主干网后,在该主干网中设计四个层次的不同尺度的特征信息进行提取;该特征信息的矩阵尺寸大小为倍数关系。
5.根据权利要求4所述的基于特征融合和注意力机制的医学图像分类方法,其特征在于:步骤七中,所述平均池化的结果是将四层的结果以平均数的形式处理后输出的。