1.一种基于轻量级多模态的脑部肿瘤图像分割方法,其特征在于,包括如下步骤:获取多模态脑部核磁共振图像数据集,并构建基于二叉树结构的多模态数据融合特征提取网络,特征提取网络包括与模态数量一致的树形编码层;
当所述多模态脑部核磁共振图像数据集中包含有四个模态的脑部核磁共振图像时,则所述构建的基于二叉树结构的多模态数据融合特征提取网络包括四层树形编码层;
第四层树形编码层输入四个模态的脑部核磁共振图像,经过局部特征提取器和多模态融合单元的处理后,向第三层树形编码层输出三个经过特征提取和模态间特征融合后的图像;
第三层树形编码层经过局部特征提取器和多模态融合单元的处理后,向第二层树形编码层输出两个经过特征提取和模态间特征融合后的图像;
第二层树形编码层经过局部特征提取器和多模态融合单元的处理后,向第一层树形编码层输出一个经过特征提取和模态间特征融合后的图像;
基于二叉树结构的多模态数据融合特征提取网络中从上到下,树形编码层的输入从4依次递减至1,所述树形编码层中每个模态的通道数都一致,且上一层的树形编码层的模态通道数是下一层树形编码层中模态通道数的1/2倍;
为每个模态的脑部核磁共振图像构建局部特征提取器,并利用局部特征提取器对当前模态脑部核磁共振图像进行特征提取;
所述局部特征提取器包括第一卷积层、第二卷积层和新增卷积层;
所述当前模态脑部核磁共振图像依次经过第一卷积层、新增卷积层和第二卷积层,完成当前模态脑部核磁共振图像的特征提取;
所述新增卷积层的输入尺寸和输出尺寸均与第一卷积层的输入尺寸和输出尺寸一致,第三卷积层的输入尺寸与新增卷积层的输出尺寸一致,第三卷积层的输出尺寸为输入尺寸的1/2倍;
为两个相邻模态的特征提取结果构建多模态融合单元,并利用多模态融合单元将两个相邻模态的特征提取结果进行模态间特征融合,所有模态间特征融合后形成当前树形编码层的输出;
所述多模态融合单元为双模态融合单元,该单元存在两个模态的输入,最终输出为一个模态;
所述双模态融合单元包括第一通道注意力机制、第二通道注意力机制、低秩交互通道注意力机制和空间注意力机制;
所述第一通道注意力机制用于输入一个模态的特征提取结果,第二通道注意力机制用于输入与之相邻模态的特征提取结果;
当所述两个相邻模态的特征提取结果经过双模态融合单元的模态间特征融合后,生成单个模态的特征融合结果,所述单个模态的特征融合结果的尺寸与所述两个相邻模态的特征提取结果的尺寸一致;
当前树形编码层中所有单个模态的特征融合结果组成该树形编码层的输出;
所述利用多模态融合单元将两个相邻模态的特征提取结果进行模态间特征融合时,包括:利用第一通道注意力机制和第二通道注意力机制学习两个相邻模态的通道注意力;
利用低秩交互通道注意力机制采用两个低秩矩阵进一步学习两个相邻模态的通道注意力;
利用空间注意力机制对低秩交互通道注意力机制学习结果进行空间注意力学习;
为每层树形编码层生成跳跃连接参数,并对所有树形编码层的输出进行上采样后再利用跳跃连接参数进行衔接融合操作;
构建出脑部肿瘤图像分割网络,并利用该分割网络在完成衔接融合操作后,获得脑部肿瘤图像的分割结果;
利用多模态脑部核磁共振图像数据集对基于二叉树结构的多模态数据融合特征提取网络和脑部肿瘤图像分割网络进行训练、验证和测试。
2.根据权利要求1所述的一种基于轻量级多模态的脑部肿瘤图像分割方法,其特征在于,所述利用跳跃连接参数进行衔接融合操作,其公式为:,
其中, 表示特征融合函数,其输入维度为 ,n表示第n个模态,m表示每个单模态的通道维度,特征融合函数的输出维度为m。
3.根据权利要求1所述的一种基于轻量级多模态的脑部肿瘤图像分割方法,其特征在于,所述第一通道注意力机制的计算公式为:,
所述第二通道注意力机制的计算公式为:
,
所述低秩交互通道注意力机制的计算公式为:
,
所述空间注意力机制的计算公式为:
,
其中,a表示第a个模态,a+1表示与a模态相邻的模态,且a≤n‑1。
4.根据权利要求1所述的一种基于轻量级多模态的脑部肿瘤图像分割方法,其特征在于,在获得脑部肿瘤图像的分割结果之后,且在利用多模态脑部核磁共振图像数据集对基于二叉树结构的多模态数据融合特征提取网络和脑部肿瘤图像分割网络进行训练、验证和测试之前,还包括:将多模态脑部核磁共振图像数据集划分为训练集、验证集和测试集;
对训练集、验证集和测试集中的多模态脑部核磁共振图像进行裁剪操作,裁剪到统一尺寸,并进行过滤操作,过滤出所有标注过区域的图像;
对进行裁剪操作和过滤操作后的训练集和测试集中的已标注过区域的图像进行数据增强。