1.一种基于Transformer的多尺度二阶病理图像分类方法,其特征在于,包括:
获取待分类病理图像,对待分类病理图像进行预处理;
将预处理后的待分类病理图像输入至Swin Transformer网络中,提取待分类病理图像的多尺度特征;所述多尺度特征包含来自不同阶段的单尺度特征,不包含Swin Transformer网络第一阶段提取的特征;
将多个单尺度特征分别输入至二阶池化模块和一阶池化模块,提取单尺度二阶特征和单尺度一阶特征;具体过程为,将每个单尺度特征分别输入至二阶池化模块,采用二阶池化处理,提取单尺度二阶特征:将单尺度特征输入至二阶池化模块,对单个尺度的特征维度进行特征映射;通过重塑操作对单尺度特征的维数进行分组,并计算相邻组之间的协方差矩阵;拼接各协方差矩阵获得整体协方差矩阵,对整体协方差矩阵进行展平操作获得单尺度二阶特征;将每个单尺度特征分别输入至一阶池化模块,通过全局平均池化计算单尺度一阶特征;
分别对所述单尺度二阶特征和单尺度一阶特征进行类别预测,并联合预测结果,获得单尺度预测分数;具体为:其中, 和 表示用于分类的全连接层, 和 分别表示单尺度一阶特征和单尺度二阶特征,表示Swin Transformer的第个阶段;通过计算均值获得单尺度预测分数 ;
融合多个单尺度预测分数,输出待分类病理图像的类别预测结果;具体为,通过对多个单尺度预测分数进行求和,得到最终类别预测结果。
2.如权利要求1所述的基于Transformer的多尺度二阶病理图像分类方法,其特征在于,所述预处理包括:使用随机水平翻转图像、随机垂直翻转图像以及随机旋转图像的数据增强方式,统一待分类病理图像的尺寸。
3.一种基于Transformer的多尺度二阶病理图像分类系统,其特征在于,包括:
图像获取及预处理模块,用于获取待分类病理图像,对待分类病理图像进行预处理;
多尺度特征提取模块,用于将预处理后的待分类病理图像输入至Swin Transformer网络中,提取待分类病理图像的多尺度特征;所述多尺度特征包含来自不同阶段的单尺度特征,不包含Swin Transformer网络第一阶段提取的特征;
单尺度特征池化模块,用于将多个单尺度特征分别输入至二阶池化模块和一阶池化模块,提取单尺度二阶特征和单尺度一阶特征;具体过程为,将每个单尺度特征分别输入至二阶池化模块,采用二阶池化处理,提取单尺度二阶特征:将单尺度特征输入至二阶池化模块,对单个尺度的特征维度进行特征映射;通过重塑操作对单尺度特征的维数进行分组,并计算相邻组之间的协方差矩阵;拼接各协方差矩阵获得整体协方差矩阵,对整体协方差矩阵进行展平操作获得单尺度二阶特征;将每个单尺度特征分别输入至一阶池化模块,通过全局平均池化计算单尺度一阶特征;
单尺度预测分数计算模块,用于分别对所述单尺度二阶特征和单尺度一阶特征进行类别预测,并联合预测结果,获得单尺度预测分数;具体为:其中, 和 表示用于分类的全连接层, 和 分别表示单尺度一阶特征和单尺度二阶特征,表示Swin Transformer的第个阶段;通过计算均值获得单尺度预测分数 ;
最终分类预测模块,用于融合多个单尺度预测分数,输出待分类病理图像的类别预测结果;具体为,通过对多个单尺度预测分数进行求和,得到最终类别预测结果。
4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1‑2中任一项所述的基于Transformer的多尺度二阶病理图像分类方法中的步骤。
5.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑2中任一项所述的基于Transformer的多尺度二阶病理图像分类方法中的步骤。