1.一种基于主体和边界共同监督的超声图像语义分割方法,其特征在于:包括以下步骤:
S1:采集超声图像数据并进行处理和标注,得到调整后的标注图Gfinal,组成处理后的超声图像数据集,将超声图像数据集划分为训练集和测试集;
S2:处理标注图Gfinal,获得边界标签和主体标签;
S3:搭建主体和边界双分支监督网络,依次包括图像输入层、编码器、解码器和预测结果输出层;
编码器包括五个阶段,每个阶段包括两个卷积层,每个卷积层后设有Batch Normalization批归一化和ReLU激活函数;两个卷积层中,第一个卷积层是1x1卷积,第二个卷积层是带有空洞的常规卷积,自上而下,常规卷积中的空洞率分别为1、2、3、5、7;
解码器包括依次连接的两个双分支模块DB、两个主体和边界监督模块DBS;双分支模块DB包括三个部分:第一部分是1x1卷积,用于对输入的特征进行维度调整;第二部分是分别连接在第一部分的结构相同的两个分支,每个分支包括两个常规卷积,用于学习得到丰富的特征;第三部分包括通过反向传播不断得到更新的两个自适应参数,分别与双分支分别输出的特征图相乘进行特征融合,然后相加得到更具代表性的特征图作为双分支模块的输出;
主体和边界监督模块DBS的内部结构与双分支模块DB相同,用于拼接编码器的特征图和前一层解码器的特征图,输入到1x1卷积中进行特征降维处理;然后输入到双分支块中,一支用于生成主体特征图FBody,另一支用于生成边界特征图FBD,两个分支分别包括两个常规卷积;
S4:采用训练集对主体和边界双分支监督网络进行训练;
S5:将测试集输入到训练好的主体和边界双分支监督网络中,得到待分割超声医学图像的分割结果。
2.根据权利要求1所述的一种基于主体和边界共同监督的超声图像语义分割方法,其特征在于:所述的步骤S1中,具体步骤为:S11:对采集到的超声图像数据进行清洗,去除不合格的超声图像数据;
S12:根据放射学专业的专家经验对超声图像数据进行标注,将标注后的超声图像数据按照7:3的比例划分为训练集和测试集。
3.根据权利要求2所述的一种基于主体和边界共同监督的超声图像语义分割方法,其特征在于:所述的步骤S12中,具体步骤为:训练集中的图像采用包括放缩、随机裁剪、随机翻转的方式进行数据增广以实现更优的性能和鲁棒性;标注图像根据训练集的操作进行相应的调整。
4.根据权利要求1所述的一种基于主体和边界共同监督的超声图像语义分割方法,其特征在于:所述的步骤S2中,具体步骤为:S21:将调整后的标注图Gfinal划分为前景部分Gfg和背景部分Gbg,对前景部分Gfg做距离变换,得到前景部分Gfg内每个像素到背景部分Gbg的最近距离,称为距离图;
S22:将距离图中数值大于指定阈值的距离在前景中的对应像素归类为主体标签,将数值小于或等于阈值的距离在前景中的对应像素归类为边界标签:设 表示前景中的单个像素点, 表示前景的像素到背景的最短距离,GBody表示主体标签,GBD表示边界标签,α表示手动设置的阈值;则归类过程为:S23:将主体标签和边界标签中未经处理部分的值设置为0,得到主体标签、边界标签和标注图的关系为:Gfinal=GBody+GBD。
5.根据权利要求1所述的一种基于主体和边界共同监督的超声图像语义分割方法,其特征在于:所述的步骤S3中,i
设L表示监督第i个主体和边界监督模块的损失总和; 和 分别表示第i个主体和边界监督模块的主体特征图和边界特征图经上采样操作恢复成原始分辨率后,再经过1x1卷积得到相应通道的特征图后,与各自对应的标签所求的损失; 表示第i个主体和边界监督模块的边界特征图; 表示第i个主体和边界监督模块的主体特征图;λ1和λ2为超参数,默认设置均为1;则主体特征图FBody和边界特征图FBD分别受主体标签和边界标签的监督,由下式表达:设λ3和λ4是网络训练过程中设置的自适应权重参数,初始值设置为0.5;则主体特征图和边界特征图在自适应权重参数下进行特征融合以获取更具代表性的特征Di:i
主体和边界双分支监督网络通过设计不同的损失函数实现多个监督方式;设L为监督第i个主体和边界监督模块的损失总和,Lfinal为最终得到的全局特征图与标注图求得的损失,则总损失L为:
6.根据权利要求5所述的一种基于主体和边界共同监督的超声图像语义分割方法,其特征在于:所述的步骤S4中,具体步骤为:S41:将训练集从图像输入层输入到编码器中,从编码器的不同层中自上而下得到包含不同语义信息和不同分辨率大小的特征图F1~F5;
S42:对F5做双线性插值,得到与F4相同分辨率大小的特征图;将处理后的F5与F4进行拼接操作并输入到解码器的第一个双分支模块DB中,得到解码后的特征图D4;对D4做双线性插值,得到与F3相同分辨率大小的特征图;将双线性插值后的D4与F3进行拼接操作并输入到解码器的第二个双分支模块DB中,得到解码后的特征图D3;
S43:对D3进行双线性插值操作,得到与F2相同分辨率大小的特征图;将双线性插值后的D3与F2进行拼接操作后输入到解码器的第一个主体和边界监督模块DBS中,得到解码后的特征图D2;对D2做双线性插值操作,得到与F1相同分辨率大小的特征图;将双线性插值后的D2与F1进行拼接操作后输入到解码器的第二个主体和边界监督模块DBS中,得到解码后的特征图D1;
S44:对D1经过分类器处理后得到像素级别的分类预测,得到最终的超声图像分割结果。
7.一种用于权利要求1至6中任意一项所述的基于主体和边界共同监督的超声图像语义分割方法的主体和边界双分支监督网络,其特征在于:依次包括图像输入层、编码器、解码器和预测结果输出层;
编码器包括五个阶段,每个阶段包括两个卷积层,每个卷积层后设有Batch Normalization批归一化和ReLU激活函数;两个卷积层中,第一个卷积层是1x1卷积,第二个卷积层是带有空洞的常规卷积,自上而下,常规卷积中的空洞率分别为1、2、3、5、7;
解码器包括依次连接的两个双分支模块DB、两个主体和边界监督模块DBS;双分支模块DB包括三个部分:第一部分是1x1卷积,用于对输入的特征进行维度调整;第二部分是分别连接在第一部分的结构相同的两个分支,每个分支包括两个常规卷积,用于学习得到丰富的特征;第三部分包括通过反向传播不断得到更新的两个自适应参数,分别与双分支分别输出的特征图相乘进行特征融合,然后相加得到更具代表性的特征图作为双分支模块的输出;
主体和边界监督模块DBS的内部结构与双分支模块DB相同,用于拼接编码器的特征图和前一层解码器的特征图,输入到1x1卷积中进行特征降维处理;然后输入到双分支块中,一支用于生成主体特征图FBody,另一支用于生成边界特征图FBD,两个分支分别包括两个常规卷积。
8.一种计算机存储介质,其特征在于:其内存储有可被计算机处理器执行的计算机程序,该计算机程序执行如权利要求1至权利要求6中任意一项所述的一种基于主体和边界共同监督的超声图像语义分割方法。