1.一种多视图多模态图像分割方法,其特征在于,包括:获取一组多模态多视图图像;
多模态多视图图像为乳腺图像,乳腺图像包括头尾位和内外侧斜位两种视图,每种摄影体均可获得低能和高能两种不同模态影像,共四种类型的乳腺图像;
四种不同类型的图像分别表示为
其中 表示ni数据集的第i种类型的乳腺图像,Yij表示第i种类型中第j张乳腺图像的真实标签,Xij为对应的预测分割结果;
将分割乳腺和肿瘤视为一个二元分割任务,联合使用二元交叉熵损失和Dice Loss作为每个任务的目标,损失函数为:其中,pi和yi分别表示第i个像素的预测值和真实值,V表示所有像素个数,∈作为平滑因子添加;
对每张多模态多视图图像进行编码,生成第一特征图;
对第一特征图进行解码,生成第二特征图;
利用解码器对第一特征图进行解码,生成第二特征图;
在所述解码器中,将第一特征图不断经过上采样操作且与编码器的低级特征图相加,再通过残差网络进行细化得到具有一组图片所有语义信息的第二特征图;
选取一组多模态多视图图像中任一视图和模态信息作为先验信息,并编码为one‑hot向量;
T
将头尾位视图中的低能影像编码为one‑hot向量:e1=(1,0,0,0) ;将头尾位视图中的T高能编码为one‑hot向量:e2=(0,1,0,0) ;将内外测斜位视图中的低能编码为one‑hot向T T量:e3=(0,0,1,0) ;将内外测斜位视图中的高能编码为one‑hot向量:e2=(0,0,0,1) ;
将第一特征图进行全局池化操作得到聚合特征,并将其与one‑hot向量拼接;
基于拼接向量及卷积核生成器,产生分割对应视图和模态的卷积核;
卷积核参数共分为三层,前两层八个通道,最后一层两个通道,两个特征用来分割乳腺和肿瘤;
利用所述卷积核对第二特征图进行卷积操作,得到对应视图及模态图像的分割结果。
2.如权利要求1所述的多视图多模态图像分割方法,其特征在于,利用编码器对每张多模态多视图图像进行编码,生成第一特征图。
3.如权利要求2所述的多视图多模态图像分割方法,其特征在于,在所述编码器中,对多模态多视图图像依次进行卷积和池化下采样操作,得到特征提取的第一特征图。
4.一种多视图多模态图像分割系统,其特征在于,包括:图像获取模块,其用于获取一组多模态多视图图像;
多模态多视图图像为乳腺图像,乳腺图像包括头尾位和内外侧斜位两种视图,每种摄影体均可获得低能和高能两种不同模态影像,共四种类型的乳腺图像;
四种不同类型的图像分别表示为
其中 表示ni数据集的第i种类型的乳腺图像,Yij表示第i种类型中第j张乳腺图像的真实标签,Xij为对应的预测分割结果;
将分割乳腺和肿瘤视为一个二元分割任务,联合使用二元交叉熵损失和Dice Loss作为每个任务的目标,损失函数为:其中,pi和yi分别表示第i个像素的预测值和真实值,V表示所有像素个数,∈作为平滑因子添加;
第一特征图生成模块,其用于对每张多模态多视图图像进行编码,生成第一特征图;
第二特征图生成模块,其用于对第一特征图进行解码,生成第二特征图;
利用解码器对第一特征图进行解码,生成第二特征图;
在所述解码器中,将第一特征图不断经过上采样操作且与编码器的低级特征图相加,再通过残差网络进行细化得到具有一组图片所有语义信息的第二特征图;
先验信息编码模块,其用于选取一组多模态多视图图像中任一视图和模态信息作为先验信息,并编码为one‑hot向量;
T
将头尾位视图中的低能影像编码为one‑hot向量:e1=(1,0,0,0) ;将头尾位视图中的T高能编码为one‑hot向量:e2=(0,1,0,0) ;将内外测斜位视图中的低能编码为one‑hot向T T量:e3=(0,0,1,0) ;将内外测斜位视图中的高能编码为one‑hot向量:e2=(0,0,0,1) ;
向量拼接模块,其用于将第一特征图进行全局池化操作得到聚合特征,并将其与one‑hot向量拼接;
卷积核产生模块,其用于基于拼接向量及卷积核生成器,产生分割对应视图和模态的卷积核;
卷积核参数共分为三层,前两层八个通道,最后一层两个通道,两个特征用来分割乳腺和肿瘤;
图像分割模块,其用于利用所述卷积核对第二特征图进行卷积操作,得到对应视图及模态图像的分割结果。
5.如权利要求4所述的多视图多模态图像分割系统,其特征在于,在所述第一特征图生成模块中,利用编码器对每张多模态多视图图像进行编码,生成第一特征图。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑3中任一项所述的多视图多模态图像分割方法中的步骤。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑3中任一项所述的多视图多模态图像分割方法中的步骤。