1.一种模式驱动的胃镜检查报告智能生成方法,其特征在于,包括:S1、预处理胃镜检查图片,获取所述胃镜检查图片的视觉特征和部位特征向量;
S2、融合所述视觉特征和部位特征向量,获取所述胃镜检查图片的整体特征向量;
S3、将所述整体特征向量输入Transformer模型的编码器中,获取所述整体特征向量编码后的隐藏层状态值;
S4、将所述隐藏层状态值输入所述Transformer模型的解码器中,获取所述胃镜检查图片对应的目标文本序列向量,所述解码器引入位置模式存储器,所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息;
S5、根据所述目标文本序列向量和预先构建的报告词典,获取胃镜检查报告;
所述S4具体包括:
S41、将当前时刻的关键模式信息和上一时刻生成的词条输入所述位置模式存储器中,更新当前时刻的关键模式信息;
S42、根据所述当前时刻的关键模式信息和隐藏层状态值,通过所述解码器解码得到当前时刻的词条,获取所述胃镜检查图片对应的目标文本序列向量;
所述S41具体包括:
S411、在任意t时刻,将所述Pt‑1输入所述位置模式存储器的多头注意力层,获取查询向量Q,Q=Pt‑1·Wq (1)
S412、将所述Pt‑1和上一时刻生成的词条yt‑1进行级联后输入所述位置模式存储器的多头注意力层,获取键向量K、值向量V,K=[Pt‑1;yt‑1]·Wk (2)V=[Pt‑1;yt‑1]·Wv (3)其中,Wq、Wk、Wv分别表示线性转换器对查询向量Q、键向量K和值向量V的训练权重;
S413、根据所述查询向量Q、键向量K和值向量V,获取输出结果M;
其中,dk表示向量K的维度大小;softmax表示激活函数;
S414、根据所述M,获取所述当前时刻的关键模式信息Pt;
其中,fmlp表示多层感知器; 表示将上一时刻的输出结果Mt‑1输入多层感知器获取的向量结果;Z表示隐藏层状态值;fg表示门机制。
2.如权利要求1所述的胃镜检查报告智能生成方法,其特征在于,所述S2中整体特征向量表示为X=I·L={x1,x2,...,xS} (7)其中,所述整体特征向量X为S维;I与L分别表示所述视觉特征与部位特征向量:I=fv(Img)={i1,i2,...,iS} (8)L=ft(Img)={l1,l2,...,lS} (9)所述视觉特征向量I与部位特征向量L均为S维;fv表示视觉特征提取函数;ft表示部位特征提取函数;Img表示所述胃镜检查图片。
3.如权利要求1所述的胃镜检查报告智能生成方法,其特征在于,所述S42具体包括:S421、根据所述当前时刻的关键模式信息Pt和隐藏层状态值Z,通过所述解码器解码得到当前时刻的词条yt指:yt=fd(Z;Pt) (10)其中,fd表示解码器;
S422、根据所述yt,最终获取所述胃镜检查图片对应的目标文本序列向量Y={y1,y2,...,yT}。
4.如权利要求1~3任一项所述的胃镜检查报告智能生成方法,其特征在于,所述S5中报告词典的构建过程包括:根据临床胃镜检查医生在书写检查报告时的用词规则和范式,以及胃镜检查报告文本语料库来构建报告词典;所述词典包括位置名词、位置表征、病灶形状、病灶表征、修饰词以及常用的程度副词。
5.如权利要求1~3任一项所述的胃镜检查报告智能生成方法,其特征在于,所述关键模式信息与所述胃镜检查图片所属检查部位一一对应,所述检查部位种类至少包括食道、贲门、胃体胃底、胃角、胃窦、幽门或者十二指肠;所述胃镜检查报告的模板与所述检查部位种类一一对应。
6.一种模式驱动的胃镜检查报告智能生成系统,其特征在于,包括:预处理模块,用于预处理胃镜检查图片,获取所述胃镜检查图片的视觉特征和部位特征向量;
融合模块,用于融合所述视觉特征和部位特征向量,获取所述胃镜检查图片的整体特征向量;
编码模块,用于将所述整体特征向量输入Transformer模型的编码器中,获取所述整体特征向量编码后的隐藏层状态值;
解码模块,用于将所述隐藏层状态值输入所述Transformer模型的解码器中,获取所述胃镜检查图片对应的目标文本序列向量,所述解码器引入位置模式存储器,所述位置模式存储器记录有与所述部位特征向量对应的关键模式信息;
获取模块,用于根据所述目标文本序列向量和预先构建的报告词典,获取胃镜检查报告;
所述获取模块具体用于:
S41、将当前时刻的关键模式信息和上一时刻生成的词条输入所述位置模式存储器中,更新当前时刻的关键模式信息;
S42、根据所述当前时刻的关键模式信息和隐藏层状态值,通过所述解码器解码得到当前时刻的词条,获取所述胃镜检查图片对应的目标文本序列向量;
所述S41具体包括:
S411、在任意t时刻,将所述Pt‑1输入所述位置模式存储器的多头注意力层,获取查询向量Q,Q=Pt‑1·Wq (I)
S412、将所述Pt‑1和上一时刻生成的词条yt‑1进行级联后输入所述位置模式存储器的多头注意力层,获取键向量K、值向量V,K=[Pt‑1;yt‑1]·Wk (2)V=[Pt‑1;yt‑1]·Wv (3)其中,Wq、Wk、Wv分别表示线性转换器对查询向量Q、键向量K和值向量V的训练权重;
S413、根据所述查询向量Q、键向量K和值向量V,获取输出结果M;
其中,dk表示向量K的维度大小;softmax表示激活函数;
S414、根据所述M,获取所述当前时刻的关键模式信息Pt;
其中,fmlp表示多层感知器; 表示将上一时刻的输出结果Mt‑1输入多层感知器获取的向量结果;Z表示隐藏层状态值;fg表示门机制。
7.一种存储介质,其特征在于,其存储有用于模式驱动的胃镜检查报告智能生成的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~5任一项所述的胃镜检查报告智能生成方法。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~5任一项所述的胃镜检查报告智能生成方法。