1.一种多模态图像分割方法,其特征在于,包括以下步骤:
‑首先,读取多模态图像的每个模态下的数据,获得对应的三维矩阵,按照矢状面进行二维矩阵数据切片的提取操作;然后,进行归一化处理并去除不包含目标的切片,得到训练数据集,所述的训练数据集包含原始切片以及标注分割好的图片;
所述的归一化处理包括:
设X为原始图像的像素矩阵,按以下公式进行计算:
得到归一化图像矩阵 归一化之后的图像中像素值大小在‑1~1之间;
‑构建基于编码‑解码结构与特征融合的全卷积神经网络模型,全卷积神经网络模型包括以下三部分:带多模态特征融合的编码器、解码器以及中间特征融合模块;
所述带多模态特征融合的编码器为多通道的卷积结构,每个通道由多个卷积块构成,卷积块由卷积层conv、归一化层BatchNorm、激活函数ReLU构成;模态Fat和模态Int通道之间、模态Opp和模态Wat之间分别在每个卷积块之间插入特征融合模块CMFB,所述的特征融合模块CMFB用于融合两个模态的特征图,增强不同模态之间的特征提取效果;
所述的解码器接受来自编码器提取的特征图,除了第一层的解码器,其余解码器都由卷积块构成,卷积块由卷积层conv、归一化层BatchNorm、激活函数ReLU构成;各个卷积块之间通过上采样操作连接;
所述的中间特征融合模块接收来自不同模态的特征图,先通过通道拼接操作,然后使用1×1卷积降低特征维度,与解码器的特征模块再次拼接;
‑通过训练数据集对全卷积神经网络模型进行监督学习,得到具有泛化能力的分割模型;
通过反向传播算法对全卷积神经网络模型进行监督学习,训练时采用的损失函数为交叉熵,计算式如下:其中,pi为预测值,yi为真实标签值;网络参数优化器为Adam;
‑将实际采集到的多模态图像归一化,输入具有泛化能力的分割模型中,得到分割粗略图;
‑对分割粗略图使用形态学中计算连通区域的方法,得到精细的图像分割结果;
通过具有泛化能力的分割模型提取各个模态图片的特征,对每一个像素进行分类,得到二值粗略分割图像;通过对分割粗略图中的所有连通区域统计像素数值,去除小于设定阈值的连通区域,得到精细的图像分割结果;
所述的全卷积神经网络模型由三部分构成:第一部分为带多模态特征融合的编码器,带多模态特征融合的编码器用于提取特征,使用五层的编码块产生特征图为其中 表示第a个模态的第j层编码器的特征通道数, 表示第a个模态的第j层卷积块的图片尺寸,对于特征融合模块,特征融合公式表示为:conv为卷积操作,ReLu为激活函数;
第二部分为中间特征融合模块,中间特征融合模块的表达式为:
表示第j层编码器经过多模态融合后得到的特征,
conv为1×1卷积,concat表示按通道拼接;
最后一部分为解码器,解码器用于恢复原始尺寸,对每一个像素点预测其标签;每一层解码器的表达式为:Gb=convblock(cibcat(Gb‑1,Fb)),convblock为卷积块,Gb为第b层的解码器产生的特征图,第b层解码器得到的特征通过反卷积操作得到第b+1层的输入特征。
2.一种多模态图像分割系统,其特征在于,用于实现如权利要求1所述的多模态图像分割方法,包括:训练数据集构建模块,用于读取多模态图像的每个模态下的数据,获得对应的三维矩阵,按照矢状面进行二维矩阵数据切片的提取操作;然后进行归一化处理并去除不包含目标的切片,得到训练数据集,所述的训练数据集包含原始切片以及标注分割好的图片;
全卷积神经网络模型构建模块,用于构建基于编码‑解码结构与特征融合的全卷积神经网络模型,所述的全卷积神经网络模型包括以下三部分:带多模态特征融合的编码器、解码器以及中间特征融合模块;
模型训练模块,用于通过训练数据集对构建出的全卷积神经网络模型进行监督学习,得到具有泛化能力的分割模型;
粗略图分割模块,用于将实际采集到的多模态图像归一化,输入具有泛化能力的分割模型中,得到分割粗略图;
精细分割模块,用于对分割粗略图使用形态学中计算连通区域的方法,得到精细的图像分割结果。
3.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述的处理器执行所述的计算机程序时实现如权利要求1所述的多模态图像分割方法的步骤。
4.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于:所述的计算机程序被处理器执行时实现如权利要求1所述的多模态图像分割方法的步骤。