1.一种胎儿心脏超声图像诊断报告自动生成系统的实现方法,其特征在于,包括以下步骤:
1)将输入的胎儿心脏超声图像进行两种数据增强后编码为特征表示,根据特征计算对比损失,其中k∈[1,2,...,B],第k个图像和第k+B个图像为同一张图像的两种不同数据增强后的图像,l表示损失函数,B表示图像数量;
2)根据步骤1)得到的图像编码特征,使用注意力机制计算出全局图像特征和局部注意特征;
3)结合步骤2)得到的局部注意特征、图像对应真实句子的词向量和解码器上一个时间步的上下文向量得到新的输入特征,xt=[vatt+ct′‑1,et],vatt表示局部注意特征,et是当前时间步的词向量,ct′‑1是上一个时间步的上下文信息;
4)将步骤3)得到的输入特征与解码器的隐藏状态进行交互,将交互后得到的新的输入特征和新的隐藏状态传入到解码器LSTM中;多次交互输入xt与上一个时间步的隐藏状态ht‑1的计算过程如下:其中,⊙代表元素乘积, 是嵌入矩阵,Dx,Dh是输入特
征xt和隐藏状态ht‑1的维度,xt与ht‑1分别为当前输入特征和LSTM上一个时间步的隐藏状态,等同于xt, 等同于ht‑1;经过以上的计算,得到的 与 为计算后最终的特征与隐藏状态;将多次交互后的输入特征 和隐藏状态 输入到解码器LSTM参与解码;
5)将步骤2)计算得到的全局图像特征与解码器生成的当前时间步的隐藏状态一起传入到注意力块中,将注意力块生成的特征和解码器的隐藏状态使用GLU激活函数计算得到新的特征,称为上下文信息,利用上下文信息预测生成词,并根据真实词和生成词计算交叉熵损失;
将解码器当前时间步的隐藏状态ht作为注意力块的查询,图像全局特征vglobal同时作为键和值,传入到注意力块中计算得到新的特征 使用全连接层调整 的维度后与当前时间步的隐藏状态一起使用GLU激活函数,得到上下文信息ct′,并使用上下文信息预测当前时间步输出词向量的分布;
ct′=GLU([WdeFX‑Linear(vglobal,vglobal,ht),ht])其中Wde是嵌入矩阵,FX‑Linear表示一个X‑Linear注意力块的计算;
所述根据真实词和生成词计算交叉熵损失
其中的 表示根据前t‑1个真实词组成的真实句子 生成当前时间步的真实词 的概率,T表示真实句子的长度;
6)、循环步骤1)到步骤5)训练模型;
7)将步骤6)训练得到的模型封装到胎儿心脏超声图像诊断报告自动生成系统中。
2.根据权利要求1所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法,其特征在于:步骤1)所述将输入的胎儿心脏超声图像进行两种数据增强后编码为特征表示包括:对训练的一个批次大小为B的图像 使用两种不同的数据增强方式增强得到新的图像{faug1(I1),...,faug1(IB),faug2(I1),...,faug2(IB)},数据增强方式faug1、faug2包括随机旋转、水平翻转、垂直翻转,然后将得到的新的一批图像,批次大小变为原来的两倍,将这些图像传入到编码器中,编码器采用了残差网络Resnet‑101:Vi=Resnet101(Ii)
得到2B个图像的编码特征 其中图像特征 表示图像编码
后得到了N组特征,vk表示图像的第k组特征, 表示每组图像特征的维度,Dv是维度大小。
3.根据权利要求2所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法,其特征在于:步骤2)所述使用注意力机制计算出全局图像特征vglobal和局部注意特征vatt,具体为:注意力块叠加的计算公式如下:
其中 表示嵌入矩阵,m={1,2,3,...,
M+1},M表示叠加的注意模块个数, 表示m个注意力块叠加之后得到的特征, 表示初(0) (m)始键序列K 经过m个注意力块叠加之后得到K 的第i个元素, 表示表示初始值序列V(0) (m)经过m个注意力块叠加之后得到V 的第i个元素;
叠加注意力块M个后,得到全局图像特征vglobal和局部注意特征vatt如下:其中, 是嵌入矩阵,D是维度大小。
4.根据权利要求1‑3任一项所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法,其特征在于:构造整个模型训练的总损失函数为:
其中超参数α和β为两个损失在训练中的权重,左边是总对比损失k∈[1,2,...,B],第k个图像和第k+B个图像为同一张图像的两种不同数据增强后的图像,右边是交叉熵损失,表示根据前t‑1个真实词组成的真实句子 生成当前时间步的真实词 的概率,T表示真实句子的长度。
5.根据权利要求1所述一种胎儿心脏超声图像诊断报告自动生成系统的实现方法,其特征在于:所述步骤7)将训练好的模型封装到系统中,系统主要包括两个功能,分别是图像增强、生成报告;在使用系统时,首先选择性地对图像预处理,然后点击系统的生成报告按钮,系统会使用模型推理,生成对应胎儿心脏超声图像的诊断报告,显示到系统右下角,并且可以手动地保存报告与图像。