1.一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,该方法包括:获取待检测的医学图像,对待检测的医学图像进行增强处理;将增强后的医学图像输入到训练好的目标分割模型中,得到分割结果;所述目标分割模型包括骨干网络和分割网络;
对目标分割模型进行训练的过程包括:
S1:获取不同用户的多模态医学影像数据,并对每个多模态医学影像数据标注出组织器官轮廓;
S2:对划分出组织器官轮廓的多模态医学影像数据进行数据增强,得到训练数据集;
S3:以人体解剖结构模型图库为先验知识,构建不同身体区域的最优层次结构树;
S4:将训练数据集中的数据输入到对应的最优层次结构树中,从最优层次结构树的根节点出发进行层序遍历,得到定位框;
S5:采用骨干网络对增强后的图像进行特征提取,得到特征图;骨干网络为全卷积神经网络,该网络结构由初始层、跃层连接块、非线性层、转换层以及卷积层构成;采用骨干网络对增强后的图像进行特征提取的过程包括:S51:根据定位框对增强后的图像数据进行定位;
S52:对定位框内的图像进行尺寸归一化处理,得到尺寸一致的待分割图像区域;
S52:将待分割图像区域输入到初始层中捕获底层细节,得到特征图C1;
S53:将特征图C1输入第一卷积层中,得到非线性信息和跃层信息;
S54:将非线性信息和跃层信息输入到第一转换层中增加通道数,并进行2倍下采样,得到特征图C2;
S55:将特征图C2顺序输入到第二卷积层、第二转换层以及第三卷积层中得到最终的特征图C3;
S6:根据定位框采用分割网络对特征图进行定位分割处理,得到分割结果;分割网络包括全卷积神经网络和全连接分类网络;采用分割网络对特征图进行分割处理的过程包括:S61:根据目标区域在最优结构层次树中的位置,动态选择全卷积神经网络FCCN分支或全连接分类网络FCNN分支对特征图C3进行分割;其中,FCCN分支负责分割稀疏的细长器官,FCNN分支负责分割大体积组织器;
S62:将特征图C3输入到FCCN分支中,经过第一卷积层和第二卷积层后得到特征图C4;
将特征图C4输入到第三卷积层中,得到特征图C5;对特征图C5进行平均池化后输入到全连接层和softmax层中,得到分割结果;
S63:将特征图C3输入到FCNN分支进行卷积和最大池化操作,得到特征图C4;将特征图C4作为输入重新进行卷积和最大池化操作,得到特征图C5;将特征图C5作为输入重新进行卷积和最大池化操作,得到特征图C6;最后对特征图C6进行上采样恢复到原图尺寸,并输入到softmax层,得到分割结果;
S7:根据分割结果计算模型的损失函数,不断调整参数,当损失函数收敛时完成模型的训练。
2.根据权利要求1所述的一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,对多模态医学影像数据进行数据增强的过程包括:利用自适应数据标准筛查机制剔除多模态医学影像数据中的离群数据;根据标注的组织器官轮廓在x‑y‑z方向上进行平移扰动及以x‑y‑z为轴进行透视变换;以待分割体素为中心,从矢状面,冠状面和水平面进行切片;对上述切片进行分区自适应直方图均衡化和强度归一化,得到训练数据集。
3.根据权利要求2所述的一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,采用自适应数据标准筛查机制剔除多模态医学影像数据中的离群数据的过程包括:步骤1:将数据集D划分为k个大小相同的互斥子集,采用分层采样的方法从数据集获取数据,将采集的数据分配到每个子集中;
步骤2:将k‑1个互斥子集的并集作为训练集,余下的互斥子集作为测试集,得到k组训练集和对应的测试集;
步骤3:将训练集中的数据输入到神经网络模型中进行训练,再将测试集中的数据输入到神经网络模型中进行前向推理,得到每个数据的Dice相似系数;
步骤4:根据Dice相似系数采用孤立森林算法剔除离群数据。
4.根据权利要求3所述的一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,Dice系数的表达式为:其中,TP为真正样本,FP为假正样本,FN为假负样本。
5.根据权利要求1所述的一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,构建不同目标区域的最优层次结构树的过程包括:S31:根据人体解剖结构模型图库对不同组织进行区域划分,根据划分后的区域构建待优化的层次结构树,在层次结构树中将每层的相同组织作为一个节点;
S32:从待优化的层次结构树的第一层开始层序遍历,将当前层次中的节点作为父节点,下一层次的节点作为子节点,计算父子节点之间的距离;
S33:根据计算的父子节点之间的距离在构建的层次结构树中对重复的节点进行筛查,将重复的节点从层次结构树中删除;
S34:计算删除重复节点后层次结构树的所有情况的路径和,将路径和最小的层次结构树作为最优层次结构树。
6.根据权利要求1所述的一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,得到定位框的过程包括:将训练集中的三维影像数据输入到最优层次结构树,从最优层次结构树的根节点出发进行层序遍历;根据节点中编码的组织器官共有特征,在父节点的内部进行匹配搜索,并将搜索到的组织器官切片后输出,得到定位框。
7.根据权利要求1所述的一种基于知识与数据融合驱动的多模态医学影像目标分割方法,其特征在于,模型的损失函数表达式为:FCNN分支的损失函数为:
其中,yi为标签值,xi为预测值,n为单个批次的样本数量;
FCCN分支的损失函数为:
γ
FL(pt)=‑αt(1‑pt) log(pt)
其中,pt为预测为t类的概率,γ为权重系数,αt为分类权重。