利索能及
我要发布
收藏
专利号: 2021108047646
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,包括以下步骤:

1)、堆叠标准块和减少块,得到网络结构相同的胎儿心脏超声图像分类网络1、分类网络2和分类网络3,使用3个分类网络构建多粒度胎儿心脏超声图像识别模型,其中标准块和减少块是基本图像计算单元,每个块中有7个节点,节点1,2为输入节点,节点3,4,5,6为中间节点,中间节点之间为不同的卷积操作,节点7为输出节点,对所有中间节点的图像特征按通道进行连接,堆叠是按顺序连接标准块和减少块;

(1)

2)、将胎儿心脏超声图像数据输入分类网络1,得到粗分类标签Y 和本次分类的最大(1)

分类概率P ;

3)、将分类网络1中全局平均池化层前的特征图输入到注意力模块,注意力模块能从特征图中判断重要特征得到注意力特征,输出一个坐标值和尺寸大小;

4)、根据步骤3)输出的坐标值和尺寸大小,对输入分类网络1的胎儿心脏图像进行裁剪,得到原始图像中器官区域的子图;

5)、对步骤4)得到胎儿心脏器官子图进行放大处理,得到与原始图像大小一样的胎儿心脏器官图像;

(2)

6)、将处理后的胎儿心脏器官图像数据输入分类网络2,得到分类标签Y 和本次分类(2)

的最大分类概率P ;

7)、在分类网络2后重复步骤3)、4)、5),得到处理后的胎儿心脏器官细节特征图像,将(3)

此胎儿心脏器官细节特征图像数据输入分类网络3,得到细粒度分类标签Y 和本次分类的(3)

最大分类概率P ,通过对胎儿心脏超声图像进行多粒度识别,得到识别结果。

2.根据权利要求1所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,所述步骤1)堆叠标准块和减少块,得到网络结构相同的胎儿心脏超声图像分类网络1、分类网络2和分类网络3,具体包括:三个分类网络都由20个块组成,第6、11、16块为减少块,其余块为标准块,在训练阶段,采用3层卷积的辅助分类网络对整个网络进行训练;最后,通过全局平均池化层和全连接层输出分类结果。

3.根据权利要求1所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,(1)

所述步骤2)将胎儿心脏超声图像数据输入分类网络1,得到粗分类标签Y 和本次分类的最(1) (1)

大分类概率P ,具体包括:分类标签Y 为分类网络1的输出结果,用来与图像的真实标签t (1)

Y做交叉熵运算来优化分类网络1的网络参数,最大分类概率P 为分类标签中概率最大的值。

4.根据权利要求3所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,所述步骤3)具体包括:将分类网络1中全局平均池化层前的特征图输入到注意力模块,具体包括:

将分类网络1输出的特征图基于通道做全局最大池化和全局平均池化,将池化后的两个结果基于通道做一个联接,然后经过一个卷积操作进行降维,再将特征经过第一个全连接层输出为1024维的特征向量,然后将1024维向量输入到第二个全连接层输出为3维的特征向量,最后将3维的特征向量经过sigmoid函数输出一个坐标值(x,y)和边长尺寸的一半

7×7

l,具体可表示为:Fatt(X)=sigmoid(fc3(fc1024(f ([MaxPool(X),AvgPool(X)])))),其中X表示原始图像经过卷积操作得到的特征图,Fatt(X)注意力模块输出值,fc3表示输出维度为3

7×7

的全连接函数fc1024表示输出维度为1024的全连接函数,f 表示卷积核大小为7x7的卷积操作,MaxPool(X)表示最大池化操作,AvgPool(X)表示全局平均池化。

5.根据权利要求4所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,所述步骤4)根据步骤3)输出的坐标值和尺寸大小,对输入分类网络1的胎儿心脏图像进行裁剪,得到原始图像中器官区域的子图,具体包括:坐标值(x,y)为裁剪区域的中心坐标,l为裁剪区域边长的一半,因此裁剪区域的左上坐标为(xl,yl)=(x‑l,y‑l)、右下坐标为(xr,yr)=(x+l,y+l),根据这两个坐标得到需裁剪的正方形区域,在原始图像中裁剪出此区域,得到裁剪后的胎儿心脏器官子图数据。

6.根据权利要求5所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,所述步骤5)对得到胎儿心脏器官子图进行放大处理,具体包括:将胎儿心脏器官子图的尺寸变为与原始图像尺寸大小一样,得到与原始图像大小一样的胎儿心脏器官图像。

7.根据权利要求6所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,(2)

所述步骤6):将处理后的胎儿心脏器官图像数据输入分类网络2,得到分类标签Y 和本次(2) (2)

分类的最大分类概率P ,其中分类标签Y 为分类网络2的输出结果,用来与图像的真实标t (2)

签Y做交叉熵运算来优化分类网络2的网络参数,P 为本次分类的最大分类概率,用来与P(1)

计算成对排序损失函数来优化注意力模块参数,成对排序损失函数公式表示为:Lrank1=(1) (2) (1) (2)max(0,P ‑P ‑0.5),其中P 为分类网络1的最大分类概率,P 为分类网络2的最大分类概率。

8.根据权利要求7所述的一种基于多粒度的胎儿心脏超声图像识别方法,其特征在于,(3)

所述步骤7)将处理后的胎儿心脏器官细节特征图像输入分类网络3,得到分类标签Y 和本(3) (3)

次分类的最大分类概率P ,其中分类标签Y 为分类网络3的输出结果,用来与图像的真实t (3)

标签Y 做交叉熵运算来优化分类网络3的网络参数,P 为本次分类的最大分类概率,用来(2)

与P 计算成对排序损失函数来优化注意力模块参数,成对排序损失函数公式表示为:Lrank2(2) (3) (2) (3)=max(0,P ‑P ‑0.5),其中P 为分类网络2的最大分类概率,P 为分类网络3的最大分类概率。