利索能及
我要发布
收藏
专利号: 2024110127642
申请人: 南充市中心医院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度自监督对比学习的X光胸片智能分析方法,其特征在于,包括以下步骤:

获取X光胸片样本;

构建分析模型,该分析模型包括图像特征提取子网络、影像组学特征提取子网络和病灶特征增强模块;所述图像特征提取子网络包括图像特征编码模块、图像特征映射模块和判别模块;所述图像特征编码模块包括依次级连的N1个第一多模态特征提取模块;所述第一多模态特征提取模块包括3个图像特征提取子模块,所述图像特征提取子模块包括M1个图像特征提取单元,所述图像特征提取单元包括两组特征表达更新子单元及特征筛选更新子单元;所述影像组学特征提取子网络包括影像组学特征编码模块RFEr和影像组学特征映射模块;所述病灶特征增强模块包括边界框生成单元和信息获取单元;所述边界框生成单元根据X光胸片图像是否有对应的病灶标注信息,判断其是未标注图像还是有标注图像;对于未标注图像,将图像特征编码模块中最后一个第一多模态特征提取模块输出的特征进行梯度加权类激活映射生成热力图,并在热力图上生成病灶区域的预测边界框;对于有标注图像,直接使用病灶区域的真实边界框;所述信息获取单元组合使用预测边界框和真实边界框提取影像组学信息,提取到的影像组学信息是标注图像的精确影像组学信息和未标注图像的“pseudo拟”影像组学信息的组合;

所述图像特征编码模块、图像特征映射模块、病灶特征增强模块、影像组学特征编码模块和影像组学特征映射模块形成反馈回路,病灶特征增强模块利用反馈回路从获得的影像组学信息中学习区域定位特征,并获得正样本的影像组学信息;

利用X光胸片样本对分析模型进行训练:将X光胸片样本于图像特征编码模块中进行图像特征提取,输出图像表征,图像特征映射模块基于图像表征输出图像特征映射,得到图像特征视图,病灶特征增强模块基于X光胸片样本和图像表征提取影像组学信息,由影像组学特征编码模块对所述影像组学信息进行影像组学特征提取,输出影像组学表征,影像组学特征映射模块基于影像组学表征输出影像组学特征映射,得到影像组学特征视图;所述图像特征视图和影像组学特征视图在所述反馈回路中进行自监督深度对比学习,更新图像特征提取子网络以及影像组学特征提取子网络的网络参数;所述判别模块对图像特征编码模块输出的图像表征进行疾病分类和病灶定位;

所述分析模型的损失函数L包括自监督知识增强对比损失函数和有监督分类损失函数;

所述自监督知识增强对比损失函数用于X光胸片中的病灶定位任务的学习,所述有监督分类损失函数用于X光胸片中的病灶分类任务的学习;

损失函数L=λ×Lcl+(1‑λ)×Lfl,

其中,λ为自监督知识增强对比损失函数Lcl的权重,Lfl为有监督分类损失函数;

所述自监督知识增强对比损失函数的构建步骤为:

随机抽取一个mini‑batch的样本,样本数量为N,并在该mini‑batch中导出的成对扩增样本上定义对比预测任务:设在一个mini‑batch中,IFViewbd为身体部位b具有病灶d时的图像表征,RFViewbd为身体部位b具有病灶d时的影像组学表征,sim(u,v)为余弦相似度;

将阳性样本(IFViewbd,RFViewbd)的损失函数lvbd定义为:

其中,L[K=b,l≠d]∈{0,1}是一个损失函数,τ是常数,IFView(vbd)是指病灶d和身体部位b对应的图像特征视图;RFView(v'bd)是指病灶d和身体部位b对应的影像组学特征视图,所述阳性样本包括有病灶标注的X光异常胸片样本,以及病灶特征增强模块LFEM生成的具有预测边界框的样本;

在mini‑batch中的所有病灶‑阳性图像上计算最终的自监督对比损失:

有监督分类损失函数的定义如下:

其中α允许对阳性样本和阴性样本给予不同权重,γ用于区分易样本和相似难样本,y是指x光胸片的实际状态,0表示正常/阴性样本,1表示异常/阳性样本,y'指模型的预测结果;所述阴性样本为正常X光胸片样本或同一身体部位但患有不同疾病的X光胸片样本;疾病分类前,构建身体部位与疾病类型的对应关系。

2.根据权利要求1所述的基于深度自监督对比学习的X光胸片智能分析方法,其特征在于,在对分析模型的训练过程中,提高图像特征映射和影像组学特征映射之间的一致性,最小化图像表征的分类误差。

3.根据权利要求1所述的基于深度自监督对比学习的X光胸片智能分析方法,其特征在于,所述影像组学特征编码模块RFEr包括N2个第二多模态特征提取模块,所述第二多模态特征提取模块包括3个影像组学特征提取子模块,所述影像组学特征提取子模块包括M2个影像组学特征提取单元,所述影像组学特征提取单元包括两组特征表达更新子单元及特征筛选更新子单元。

4.根据权利要求3所述的基于深度自监督对比学习的X光胸片智能分析方法,其特征在于,所述特征表达更新子单元由6个Residual子模块及9个卷积层,1个Relu激励层构成;

所述特征筛选更新子单元由2个Residual子模块及5个卷积层,3个Relu激励层构成;

所述Residual子模块其由三个卷积层,2个Relu激励层构成,并且还包含了2个跨层的快捷连接。

5.一种X光胸片智能分析系统,其特征在于,包括控制模块、存储模块和样本获取模块;

所述样本获取模块与控制模块连接,向控制模块发送其获取的X光胸片样本,所述控制模块与存储模块连接,相互通信,所述存储模块用于存放至少一个可执行指令,所述可执行指令使控制模块基于所述X光胸片样本,执行如权利要求1‑4任一项所述的基于深度自监督对比学习的X光胸片智能分析方法对应的操作,对X光胸片上的病灶进行定位以及疾病分类。