1.一种基于多视图和三维卷积融合策略的PET图像分割方法,其特征在于,所述方法包括以下步骤:
步骤1、针对三维PET图像的成像特点修改ResUnet网络及ResUnet‑3D网络模型,使之适合三维PET图像的分割;
所述步骤1中,考虑到输入的图片的分辨率较低,过多的下采样层会导致信息大量丢失,将ResUnet和ResUnet‑3D模型的下采样层数减少为3层;又由于淋巴瘤的大小多变,使用二进制交叉熵损失函数不利于收敛,将损失函数改为Dice相似系数损失函数;
步骤2、进行数据预处理:将三维的训练数据沿三个视图方向进行切片,得到三个视图方向的二维数据,并对二维数据和三维数据进行相同的归一化方法,使其利于对应网络模型的训练与收敛;
所述步骤2中,所述数据预处理的实现过程为:
为了统一形状使网络更容易训练,将所有三维PET数据进行裁剪,所有的三维PET数据裁剪成48×96×480的形状;对于二维模型需要结合三个视图方向的信息来提高空间信息的利用率,则需要将三维PET数据切片成三个视图方向的二维PET数据,所述三个视图方向的二维PET数据包括:正视图:将三维PET数据沿宽增大的方向进行切片,得到数量与宽相同,大小为长乘高的二维切片;俯视图:将三维PET数据沿高增大的方向进行切片,得到数量与高相同,大小为长乘宽的二维切片;左视图:将三维PET数据沿长增大的方向进行切片,得到数量与长相同,大小为宽乘高的二维切片;由于三维PET数据的像素值大小超出图片可视范围255,所以将所有的二维PET数据和三维PET数据进行归一化,将像素值归一化至0到1之间以加速网络的收敛速度;
步骤3、将预处理的数据分别输入到各自对应网络中进行训练,得到4个训练完成的预测模型;其中,分别将预处理的三个视图方向的二维PET数据输入到修改后的ResUnet网络模型中进行训练,将预处理的三维PET数据输入至修改后的ResUnet‑3D网络模型中进行训练,最终得到对应的四个三维预测结果;
步骤4、将各个模型的对训练集的预测结果输入到三维卷积神经网络融合模型中训练各个模型的预测结果所占的权重;
所述步骤4中,三维融合模型为一个单层的三维卷积神经网络,其1×5的卷积核中的值分别对应四个三维预测结果和一个原PET图像的权重,每个三维预测结果与原PET图像分别与对应的权重相乘相加得到最终的分割结果;
步骤5、将测试数据输入预测模型,得到的4个预测结果与PET图像一起输入到融合模型中,得到最终的分割结果。
2.根据权利要求1所述的一种基于多视图和三维卷积融合策略的PET图像分割方法,其特征在于:所述步骤3中,ResUnet和ResUnet‑3D网络预测模型网络结构如下:(1)特征提取:由于PET图低分辨率的特点,在编码阶段减少了下采样的层数,将resnet50的5层下采样层减少为3层,每次下采样通道数翻倍,因为网络使用的是U形结构,需要将每次下采样得到的特征图保存,在跳跃连接时使用;
(2)上采样:使用双线性差值作为上采样方法,每次上采样通道数减半,并与下采样对应的特征图进行拼接,往复循环至分辨率与原图分辨率一致,最后一次上采样得到的通道数为1,使用sigmoid函数进行归一化,将分数转化为概率,以0.5为阈值划分前景和背景;
(3)其他:期间的反向传播中,权重、偏执等的调整都由loss损失函数来确定,通过构造损失函数并进行梯度下降处理,反向传播修正各个参数。