利索能及
我要发布
收藏
专利号: 2020114186726
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于,包括以下步骤:

1)通过超声诊断报告构建一个词库,每一个单词对应一个数字,以此将诊断报告构建为由数字表示的一维向量,并作为长短时记忆网络的输入;

2)通过长短时记忆网络提取句子特征和词特征,将长短时记忆网络各阶段的输出进行拼接得到词特征w,长短时记忆网络最后一层的隐藏层作为句子特征s;

3)将句子特征s与词特征w输入到由卷积神经网络构成的生成器G中,通过上采样的方式生成与假图像;

4)将生成图像 和真实图像I输入到由卷积神经网络构成的判别器D中,通过生成对抗思想得到对抗损失;

5)使用VGG网络提取真实图像和生成图像的深度特征,构建深度特征之间的均方误差,同时求取真实图像与生成图像的像素点之间的均方误差,最后计算生成图像相邻像素点之间的均方误差,通过三项均方误差构建内容保持损失;

6)结合内容保持损失与对抗损失,从全局内容和局部细节来优化生成图像;

7)最后通过计算损失梯度,通过梯度反向传播算法优化生成器与判别器。

2.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:步骤1)中所述构建词库,通过统计各个单词在超声诊断报告文本数据中出现的次数进行排序,其次序与单词构成一个字典,即次序就代表该单词。

3.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:步骤2)所述通过长短时记忆网络提取句子特征和词特征:s,w=LSTM(S)

其中s代表句子特征,w代表词特征,LSTM代表长短时记忆网络,S代表输入的一维文本向量。

4.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:步骤3)所述生成器G由三个阶段组成,每个阶段生成的特征图fi与词特征w构建成注意力特征 注意力特征 和特征图fi同时作为下一阶段的输入:f0=H0(s),

att

fi=Hi(fi‑1,Fi (fi‑1,w)),i∈{1,2,...,x‑1},att

其中Hi代表第i个阶段,fi代表第i个阶段的特征图,Fi 代表第i个阶段的注意力模型,HG代表图像生成层,代表生成图像,x代表模型的阶段数,H0代表第一阶段,f0代表第一阶段的特征图。

5.根据权利要求4所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:所述注意力模型的处理过程如下:词特征w首先由感知层Ai转换到和特征图相同的语义空间中,w′i=Aiw,w′i代表转换后j

的词特征,计算转换后的词特征w′i和特征图fi每个子区域fi ,j∈{1,...,50}之间的注意力分数:

其中 代表第k个单词,N代表句子长度,由每个单词的注意力分数得到注意力特征

6.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:步骤4)所述生成对抗思想为生成器生成图像期望判别器尽可能判别生成的图像为真,而判别器尽可能判别生成图像为假,以此构建对抗损失:其中D代表判别器,G代表生成器,I代表真实图像,代表生成图像,代表判别器判别真实图形为真的期望, 代表判别器判别真实图形与文本匹配的期望, 代表判别器判别生成图像为假的期望,代表判别器判别生成图像与文本不匹配的期望。

7.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:步骤5)所述内容保持损失Lp=LMSE+LVGG+LTV,其中LMSE代表生成图像与真实图像像素点之间的均方误差,LVGG代表真实图像与生成图像深度特征之间的均方误差,LTV而代表生成图像相邻像素点之间的均方误差。

8.根据权利要求7所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:所述LMSE,LVGG和LTV如下:其中MSE代表均方差函数,VGG代表VGG卷积神经网络,TV代表总变差损失函数,P代表生成图像的高,Q代表生成图像的宽,U1代表提取的深度特征的高,U2代表提取的深度特征的宽,y代表真实图像的像素点, 代表生成图像的像素点,v代表真实图像深度特征的像素点,代表生成图像深度特征的像素点。

9.根据权利要求1所述一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法,其特征在于:所述优化生成器与判别器,最终的目标函数为:其中λi,i∈{1,2,3,4}代表各项损失的权重。