1.一种多模态阿尔茨海默病病理图像分类方法,其特征在于,包括以下步骤:S1:选择同时具有MRI和PET影像的样本,基于对抗生成训练策略来训练得到三维循环一致生成对抗网络;
S2:选择只具有MRI而缺失PET影像的样本,通过所述三维循环一致生成对抗网络生成缺失的PET影像;
S3:利用生成的PET影像补全数据集中缺失的PET影像,得到完整的MRI和PET数据集;
S4:将完整的MRI和PET数据集输入可变形自注意力机制模块,提取不同模态下的多模态影像特征;
S5:将多模态影像特征输入多模态特征融合网络,提取MRI和PET间潜在的互补特征并生成融合特征图;
S6:将所述融合特征图输入到分类器中输出分类结果;
其中,可变形自注意力机制模块的处理过程为:
H×W×D×C
设置输入为单MRI模态的影像XMRI∈R ,其中H代表影像的长度,W代表影像的宽度,D代表影像的深度,C代表影像的特征维度,XMRI首先通过线性层的补丁嵌入模块将N个相同大小和位置的贴片划分为一系列图像块,设定H、W、D大小相等,嵌入图像块大小为s×s×s,其中 整个图像块序列在XMRI上看作是一个大小为s×s×s的均匀网格,图像块的系列表示为{Xi},其中,0≤i≤N‑1,对于每一个图像块Xi,将其左前坐标和右后坐标表示为和 其中:之后,每一个图像块Xi都会通过偏移预测网络预测一个位置偏移量和尺寸缩放量,位置偏移量和尺寸缩放量可用参数Δposition=(Δx,Δy,Δz)和Δscale=(Δh,Δw,Δd)表示,对于每个变形后的图像块 更新后的左前坐标和右后坐标表示为 和其中:
由于每个变形后的图像块大小均不同,采用采样和插值的方法来提取特征,在每一个3
图像块内采样一个统一的尺寸为k×k×k的网格{pj},其中,0≤j≤k‑1,由于网格的坐标通常是分数,因此,pj的值通过三线性插值计算8个相邻点Cj的加权平均值得到,具体公式如下:pj=ΗTrilinear(Cj,(xj,yj,zj))
之后,变形后的图像块 通过d维的线性层映射投影成特征向量并被嵌入到一个扁平化的特征图 中,然后,通过一个标准的多头自注意力模块将 作为输入并N×d N×d N×d N×d N×d N×d生成三组可学习的特征向量,分别为q∈R 、k∈R 、v∈R ;Wq∈R 、Wk∈R 、Wv∈R是三个可学习的线性嵌入矩阵,具体公式如下:Y=Concat{Atten1v1,...,AttenMvM}Wo其中,1≤m≤M, dm=d/M,Attenm表示不同图像块
之间的相似性矩阵,其通过qm和km相乘得到并可作为vm的加权权重,通过将M个注意力矩阵N×dAttenm拼接变换得到输出的最终特征Y∈R 。
2.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法,其特征在于,利用可变形自注意力机制自适应调整所选定的数据集中每个图像块的尺度和位置,并定位具有鉴别特征的病理区域。
3.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法,其特征在于,在步骤S6中,融合特征图在分类器中通过全局平均池化层压缩为一维向量,随后利用一个带有Sigmoid函数的全卷积层对特征图进行卷积运算与激活,输出阿尔茨海默病病理图像分类结果。
4.根据权利要求1所述的一种多模态阿尔茨海默病病理图像分类方法,其特征在于,三维循环一致生成对抗网络包括:两个生成器网络和两个判别器网络,分别记作:G1,G2,D1,D2,每个所述生成器包括编码器、解码器,生成器由9个残差块、5个3x3x3卷积层、4个下采样层和4个上采样层组成,每个残差块包括三个直连的卷积层,每个卷积层的卷积核大小为3×3×3,并选取ReLU作为激活函数,在下采样层将输出特征映射的大小减半通道数翻倍,在上采样层,通过反卷积层实现输出特征映射的大小扩展,通过跳跃连接,将子网络的特征图与特征图连接起来;
所述判别器包含5个Conv层,分别有16、32、64、128和1个通道,判别器输入一对真实和合成的图像,并输出一个二值指示器。
5.根据权利要求4所述的一种多模态阿尔茨海默病病理图像分类方法,其特征在于,三维循环一致生成对抗网络使用循环一致损耗来学习MRI和PET之间的双向映射。
6.一种多模态阿尔茨海默病病理图像分类系统,其特征在于,该系统包括:存储器、处理器,所述存储器中包括一种多模态阿尔茨海默病病理图像分类方法程序,所述一种多模态阿尔茨海默病病理图像分类方法程序被所述处理器执行时实现如下步骤:S1:选择同时具有MRI和PET影像的样本,基于对抗生成训练策略来训练得到三维循环一致生成对抗网络;
S2:选择只具有MRI而缺失PET影像的样本,通过所述三维循环一致生成对抗网络生成缺失的PET影像;
S3:利用生成的PET影像补全数据集中缺失的PET影像,得到完整的MRI和PET数据集;
S4:将完整的MRI和PET数据集输入可变形自注意力机制模块,提取不同模态下的多模态影像特征;
S5:将多模态影像特征输入多模态特征融合网络,提取MRI和PET间潜在的互补特征并生成融合特征图;
S6:将所述融合特征图输入到分类器中输出分类结果;
其中,可变形自注意力机制模块的处理过程为:
H×W×D×C
设置输入为单MRI模态的影像XMRI∈R ,其中H代表影像的长度,W代表影像的宽度,D代表影像的深度,C代表影像的特征维度,XMRI首先通过线性层的补丁嵌入模块将N个相同大小和位置的贴片划分为一系列图像块,设定H、W、D大小相等,嵌入图像块大小为s×s×s,其中 整个图像块序列在XMRI上看作是一个大小为s×s×s的均匀网格,图像块的系列表示为{Xi},其中,0≤i≤N‑1,对于每一个图像块Xi,将其左前坐标和右后坐标表示为和 其中:之后,每一个图像块Xi都会通过偏移预测网络预测一个位置偏移量和尺寸缩放量,位置偏移量和尺寸缩放量可用参数Δposition=(Δx,Δy,Δz)和Δscale=(Δh,Δw,Δd)表示,对于每个变形后的图像块 更新后的左前坐标和右后坐标表示为 和其中:
由于每个变形后的图像块大小均不同,采用采样和插值的方法来提取特征,在每一个3
图像块内采样一个统一的尺寸为k×k×k的网格{pj},其中,0≤j≤k‑1,由于网格的坐标通常是分数,因此,pj的值通过三线性插值计算8个相邻点Cj的加权平均值得到,具体公式如下:pj=ΗTrilinear(Cj,(xj,yj,zj))
之后,变形后的图像块 通过d维的线性层映射投影成特征向量并被嵌入到一个扁平化的特征图 中,然后,通过一个标准的多头自注意力模块将 作为输入并N×d N×d N×d N×d N×d N×d生成三组可学习的特征向量,分别为q∈R 、k∈R 、v∈R ;Wq∈R 、Wk∈R 、Wv∈R是三个可学习的线性嵌入矩阵,具体公式如下:Y=Concat{Atten1v1,...,AttenMvM}Wo其中,1≤m≤M, dm=d/M,Attenm表示不同图像块
之间的相似性矩阵,其通过qm和km相乘得到并可作为vm的加权权重,通过将M个注意力矩阵N×dAttenm拼接变换得到输出的最终特征Y∈R 。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括多模态阿尔茨海默病病理图像分类方法程序,所述多模态阿尔茨海默病病理图像分类方法程序被处理器执行时,实现如权利要求1至5中任一项所述的一种多模态阿尔茨海默病病理图像分类方法的步骤。