1.基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,包括:
数据集生成模块,用于采集腹部CT图像,并标注出肾脏和肿瘤区域,得到的掩膜作为真实值,挑选包含肾脏和肿瘤区域的切片并预处理后生成图像数据集D1;
第一阶段模型获得模块,用于构建轴向转换器U形网络模型深度学习网络,得到第一预测值,将图像数据集划分为训练集和测试集对该网络进行训练,得到第一阶段模型;
轴向转换器U形网络模型深度学习网络包括自动编码器、瓶颈层、反卷积上采样模块、自动解码器和分割头,自动编码器与自动解码器之间跳跃连接,自动编码器与瓶颈层之间加入下采样,瓶颈层与自动解码器之间加入上采样,其中自动编码器包括五个模块,前四个模块均为卷积模块,第五个模块为一个四层的三维轴向Transformer模块;瓶颈层包括两组卷积‑ReLu激活函数对和一个六层的三维轴向Transformer模块;自动解码器包括四个模块,每个模块包括两组卷积‑ReLu激活函数对,模块之间加入反卷积上采样;分割头由一个二维卷积构成;
其中,三维轴向Transformer模块中的每层包括一组高度轴特征提取器和宽度轴特征提取器,每层之间加入残差连接;
第二阶段模型获得模块,用于对图像数据集D1进行统一切片得到第二阶段图像数据集D2,并将D2划分为训练集和测试集,对轴向转换器U形网络模型深度学习网络进行训练,得到第二阶段模型;
掩膜获取模块,将肾脏肿瘤的CT图像输入到第一阶段模型中,进行背景、目标区域的二类分割,得到肾脏和肿瘤区域的分割掩膜,记为第一掩膜;根据第一掩膜裁剪该CT图像后输入到第二阶段模型中进行背景、肾脏、肿瘤的三类分割,得到肾脏、肿瘤的分割掩膜,记作第二掩膜;
分割结果获得模块,用于结合第一掩膜和第二掩膜得到第三掩膜,并对其进行后处理得到最终的分割图像。
2.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,数据集生成模块被配置以执行以下动作:将腹部平扫CT图像中肾脏和肿瘤区域进行人工标注,得到真实值,其中0像素点代表背景,1像素点代表肾脏,2像素点代表肿瘤;将平扫CT图像进行预处理,包括B样条插值重采样、强度裁剪和Z‑Score归一化,得到图像数据集D1。
3.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,第一阶段模型获得模块被配置以执行以下动作:步骤1、将图像数据集D1按照设定比例分为训练集和测试集,其中训练集用于训练网络,测试集用于评估网络的分割能力;将尺寸为N×H×W×C的训练集输入到轴向转换器U形网络模型深度学习网络中,其中N表示输入图像的切片数量,H表示输入图像的高度,W表示输入图像的宽度,C表示输入图像的通道数,经过自动编码器的第一个卷积模块,图像的通道数扩展为32,在第二、三、四个卷积模块中,每经过一个卷积模块通道数提高一倍且分辨率下降一倍,经过四个卷积模块后,输出第一特征图,图像尺寸为N×HB×WB×CB,其中HB表示第一特征图的高度, WB表示第一特征图的宽度, CB表示第一特征图的通道数,CB=256;利用三维轴向Transformer模块对第一特征图进行特征提取,得到第二特征图,此时输出的图像尺寸保持不变;
对第二特征图进行最大池化操作实现下采样使得图像分辨率下降一倍,通道数提升一倍,尺寸变为 经过瓶颈层,尺寸变为 经过反卷积操作实现上采样将图像尺寸提升一倍,通道数下降一倍,变为 经过自动解码器后尺寸变为N×H×W×32,经过分割头后尺寸变为N×H×W×1,1代表此阶段为二分类任务,只需要输出一个通道;经过Sigmoid激活函数扩大前景与背景的像素的距离,输出第一预测值;
步骤2、利用骰子损失和交叉熵损失,计算第一预测值与真实值的误差,具体计算公式为:
Loss1=0.5×LossBCE+0.5×LossDice
其中,Loss1表示最终的损失函数,LossBCE表示BCE的损失函数,LossDice表示骰子的损失函数,y、分别表示真实值和第一预测值;
将最终的损失函数经过反向传导,更新轴向转换器U形网络模型深度学习网络的各个层参数,得到第一阶段模型。
4.根据权利要求3所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,自动编码器中,每个卷积模块由残差连接的两组卷积‑ReLu激活函数对组成,卷积和激活函数之间加入批量归一化层;每个卷积模块之间添加最大池化下采样和残差连接。
5.根据权利要求3所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,得到第二特征图包括以下内容:’ ’
经过一个1×1的卷积使得通道数降低,为C B=CB/2,C B表示经过一个1×1卷积后的通道数,将三维图像按照高维度平铺为二维,计算按高度轴的轴向注意力,具体公式为:其中,x、y分别表示图像中像素格点的横坐标、纵坐标;uxy表示像素点(x,y)处的输出;a表示累加系数,代表所累加的轴的长度;softmax表示softmax激活函数;qxy表示像素点(x,y)处的查询键值; 表示qxy的转置;kxa表示像素点(x,a)处的钥匙键值; 分别表示像素点(x,a)处查询键值q、钥匙键值k和值键值v的相对位置编码; 表示kxa的转置;vxa表示像素点(x,a)处的值键值;WQ、WK、WV分别表示查询键值q、钥匙键值k和值键值v的(B)线性映射矩阵,三个矩阵均为可学习矩阵;X 表示经过四个卷积模块后的图像; 表示X(B)
在像素点(x,y)处的像素值;Ch表示vxy的维度,Ch=CB/head,其中head表示多头注意力的头数;kxy表示像素点(x,y)的钥匙键;vxy表示像素点(x,y)的值键; 表示qxy与kxy的维度大小; 表示vxy的维度大小;
再次进行特征重排,将三维图像按照宽度轴平铺为二维,计算按照宽度轴的轴向注意力,计算方法与按高度轴的轴向注意力的计算方法相同,经过1×1卷积学习特征的同时恢复通道数为CB,经过一次归一化后输出第二特征图。
6.根据权利要求5所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,第二阶段模型获得模块被配置以执行以下动作:步骤1、将图像数据集D1进一步裁剪,取肾脏肿瘤最小外接矩形,只保留包含肾脏和肿瘤的区域,并统一大小,得到第二阶段图像数据集D2;
步骤2、将第二阶段图像数据集D2按照设定比例分为训练集和测试集,将第二阶段图像数据集D2输入到轴向转换器U形网络模型深度学习网络中,输出第二预测值,其中,D2经过自动编码器、瓶颈层、反卷积上采样模块、自动解码器时的过程与第一阶段模型获得模块中的相应过程相同,经过分割头时输出通道数设为3,第一个通道中的像素值代表背景的概率,第二通道的像素值代表肾脏区域的概率,第三个通道像素值代表肿瘤区域的概率,经过Softmax激活函数使得三个通道相同位置像素值和为1;
步骤3、利用骰子损失和交叉熵损失,计算第二预测值与真实值的误差,具体计算公式为:
Loss2=0.5×LossCE+0.5×LossDice
其中,Loss2表示最终的损失函数,LossCE表示交叉熵损失函数,yi表示第i类的真实值,表示第i类的第二预测值;
将最终的损失函数经过反向传导,更新轴向转换器U形网络模型深度学习网络的各个层参数,得到第二阶段模型。
7.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,掩膜获取模块被配置以执行以下动作:对未经标注的腹部平扫CT图像进行预处理,预处理包括B样条插值重采样、强度裁剪和Z‑Score归一化,输入到第一阶段模型中,得到相应的预测值,将预测值中大于0.5的像素值设定为目标区域,并将像素值统一为1;小于等于0.5的像素值设定为背景区域,并将像素值统一为0,将该二分类掩膜为第一掩膜;
根据第一掩膜裁剪CT图像,仅保留肾脏和肿瘤区域,将裁剪后的图像输入到第二阶段模型中,得到肾脏、肿瘤、背景的三类分割预测值,该预测值包含三个通道,表明每个像素点均对应三个通道,若第一通道的像素值最大,则该像素点为背景,像素值设置为0;若第二通道的像素值最大,则该像素点为肾脏,像素值设置为1;若第三通道的像素值最大,则该像素点为肿瘤,像素值设置为2,至此得到第二阶段分割掩膜;根据裁剪恢复第二阶段分割掩膜至原始CT图像大小,得到三分类掩膜为第二掩膜。
8.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,分割结果获得模块中后处理包括形态学操作、连通性分析和先验知识。
9.根据权利要求8所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统,其特征在于,分割结果获得模块被配置以执行以下动作:取第一掩膜和第二掩膜非零区域的交集,保留两个掩膜共有的分割区域并进行合并,得到第三掩膜,其中像素值0表示背景,像素值1表示肾脏,像素值2表示肿瘤;对第三掩膜进行形态学膨胀操作,取最大的两个联通区域,若第二大联通区域体积小于最大联通区域体积的20%则舍弃第二大联通区域,反之则保留第二大联通区域,通过形态学腐蚀操作使图像还原,得到最终的分割图像。