1.一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,包括以下步骤:S1,获取医学影像的异常样本数据集D1、健康样本数据集D2,D1中样本为包含异常区域的异常样本;D2中样本为健康样本;
S2,构造离散掩码自编码器MVQ‑MAE;
获取一VQ‑VAE,在其编码器的块嵌入层与编码层设置随机掩码层,得到VQ‑MAE,用D2训练VQ‑MAE得到离散掩码自编码器MVQ‑MAE,所述随机掩码层用于对块嵌入层的输出生成掩码再送入编码层中,所述编码层为L层Transformer层,所述MVQ‑MAE用于输入自然图像,重建后输出重建图像;
S3,对D2中的每个健康样本,通过融合扰动区域生成伪异常图,所有伪异常图构成数据集D3;
S4,对D2和D3中样本自动生成标注;
D3中样本为第一正样本,标签y1=1,D2中样本为第一负样本,标签y1=0,D2和D3中每个样本基于块嵌入层分为N个分块,包含扰动区域的分块为第二正样本,标签y2=1,其余分块为第二负样本,标签y2=0;
S5,构造医学影像异常区域识别网络,包括MVQ‑MAE、注意力图定位单元、差值图生成单元、残差图定位单元、多尺度分类器、异常分数定位单元、融合定位单元;
所述MVQ‑MAE用于输入样本X,输出重建样本 ,所述样本为D2中健康样本或D3中伪异常图;
所述注意力图定位单元用于获取X在MVQ‑MAE中每个Transformer层的自注意力矩阵,并加权融合得到注意力图 ;
所述差值图生成单元用于生成X和 的归一化差值图 ;
所述差值图定位单元用于计算差值图每个分块的平均残差,重排为图像再上采样到样本X尺寸,得到残差图 ;
所述多尺度分类器包括编码器、与编码器相连的第一分类头、第二分类头和第三分类头;
所述编码器用于输入差值图 ,分为N块后,每个分块经L层Transformer层提取L个分块特征,差值图第n个分块经第l层Transformer层提取的分块特征为 ,1≤n≤N,1≤l≤L;
所述第一分类头用于输出X为第一正样本的预测概率 ,第二分类头用于输出X中各分块为第二正样本的预测概率 ,第三分类头用于输出 为异常区域的预测概率 ,并根据异常阈值 得到 的异常标签 ,其中,若 ,则 ,否则 ;
所述异常分数定位单元用于将第L层N个分块的 ,按分块位置拼接为矩阵,再上采样至样本X尺寸,得到异常分数图 ;
所述融合定位单元用于对 、 和 加权融合得到融合图 、归一化为归一化融合图 ,再二值化处理得到融合异常区域图;
S6,用D2和D3训练医学影像异常区域识别网络,得到异常区域识别模型,并用D1测试;
S7,将D1中样本输入异常区域识别模型,输出对应的融合异常区域图;
S2中,构造VQ‑MAE具体包括步骤S21 S24;
~
S21,获取一VQ‑VAE,包括编码器和解码器,所述编码器包括块嵌入层、编码层、向量量化层;
S22,在块嵌入层、编码层间设置一随机掩码层;
所述块嵌入层用于将异常样本分个N个分块,将每个分块嵌入到高维空间得到嵌入向量,并将N个嵌入向量构成Token序列,Token序列中第n个分块的嵌入向量为zn;
所述随机掩码层用于对Token序列按预设遮挡比例r随机掩码,得到掩码序列,Token序列中第n个元素的掩码为Maskn;
所述编码层用于对掩码序列进行特征提取,得到连续的潜在表示z;
所述向量量化层用于基于码本将潜在表示z量化为N个离散的码字,得到离散Token序列;
所述解码器用于根据离散Token序列对异常样本进行重构,输出重构图像;
S23,构造VQ‑MAE的重构损失LVQ;
,
式中e为训练过程中对潜在表示z生成的码本向量,sg[∙]为停止梯度操作, 为L2范数的平方,β为LVQ中第二项权重;
S24,用D2按预设迭代次数训练VQ‑MAE,每次迭代计算数LVQ,并更新VQ‑MAE的网络参数和码本向量e的值,迭代结束后的码本向量作为离散Token序列。
2.根据权利要求1所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,S6中,以最小化总损失Ltotal训练医学影像异常区域识别网络;
,
式中,LUAD为归一化差值图损失,LVQ为VQ‑MAE的重构损失,Lalign为基于第三分类头计算的多尺度对齐损失,Lregion为基于第二分类头计算的区域监督损失,Lcls为基于第一分类头计算的全图分类损失,λvq、λ1、λ2、λ3分别是LVQ、Lalign、Lregion、Lcls的权重。
3.根据权利要求2所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,LUAD、Lalign、Lregion、Lcls分别下式得到;
,
,
,
,
,
LUAD公式中,Xi,j、 分别为X和 中第i行j列像素值,σi,j为X和 的方差图中第i行j列像素值,M为X中像素位置集合,|M|为X中像素总数,ϵ为极小值;
Lalign公式中,λl为第l层Transformer层的权重, 为欧几里得距离的平方;
Lregion公式中,Lcls(n)为差值图第n个分块的分类损失。
4.根据权利要求1所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,S3生成伪异常图具体为;
将健康样本作为自然图像P输入MVQ‑MAE,得到重建图像 ;
将 分为大小不同的子块并随机选取W个子块,预设第w个子块Bw的扰动强度因子为βw,1≤w≤W,对 中第i行j列像素 ,若 属于Bw则根据 ,生成扰动像素 ,所有扰动像素构成扰动区域;
用泊松融合将扰动区域与健康样本融合,得到伪异常图 。
5.根据权利要求1所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,所述注意力图定位单元得到注意力图 具体为:对第l层N个分块特征,经自注意力机制得到注意力权重,再按分块位置拼接成矩阵A(l) (l),将A 上采样至样本X尺寸得到第l层的自注意力矩阵 ;
依次得到L层的自注意力矩阵,再根据下式计算注意力图 ;
,
式中, 第l层Transformer层的权重。
6.根据权利要求1所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,差值图生成单元的归一化差值图 根据下式得到;
,
式中, 为X和 的差值图, 为基于差值图得到的方差图,ϵ为极小值。
7.根据权利要求1所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,S5中,所述多尺度分类器的编码器为共用MVQ‑MAE的编码器。
8.根据权利要求1所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,归一化融合图 根据下式得到融合异常区域图Mfinal;
,
式中,Mfinal(i,j)、 分别为Mfinal、 中第i行j列像素,τ为预设的融合定位阈值。
9.根据权利要求2所述的一种基于大模型自监督学习的医学影像异常区域识别方法,其特征在于,S6训练过程方法S61 S63;
~
S61,预设迭代次数;
S62,随机从D2和D3中抽取一批次样本,送入医学影像异常区域识别网络中,生成每个样本的融合异常区域图,计算Ltotal,并以最小化Ltotal调整多尺度分类器的网络参数;
S63,重复S62直至迭代结束,得到异常区域识别模型。