利索能及
我要发布
收藏
专利号: 2024104718965
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种适用于乳腺超声图像异常检测的方法,其特征在于,首先,利用正常样本训练多个自动编码器并通过预训练模型提取特征创建全局记忆模块的全局记忆库;使用针对乳腺肿瘤异常检测领域的伪标签生成方法在正常样本上生成异常样本,训练单个正常和混有异常的自动编码器;其次,利用生成的异常样本与正常样本输入多个自动编码器,将正常样本训练的自动编码器的输出均值与异常样本训练的自动编码器的输出相减得到DInter,将正常样本训练的自动编码器输出的标准差DIntra与DInter、原图拼接,训练局部判别模块;然后,将原图经过预训练特征提取器提取特征后,将特征传入全局记忆模块,并经过k近邻算法得到AGobal;将局部判别模块的输出ALocal与全局记忆模块的输出AGobal进行交叉注意力计算,最终生成异常热力图AFinal;所述方法,包括如下训练步骤:(1)获取正常乳腺超声图像,进行图像预处理之后图像分辨率为224*224并将其构建为训练集;

(2)将训练集输入预训练的WideResnet50进行特征提取并构建全局记忆库M;

(3)使用训练集训练正常重建子模块;

(4)以50%的概率对训练集图像进行伪异常的生成,并使用生成后的图像与另外50%的正常图像对混淆重建子模块进行训练;

(5)将训练集图像以50%的概率生成伪异常,并行输入正常重建子模块与混淆重建子模块,将正常重建子模块的输出求标准差得到图像的内部差异DIntra,将正常重建子模块与混淆重建子模块输出相减求均值得到图像的外部差异DInter;

(6)将DIntra、DInter与训练集中原图进行通道级联,并输入局部判别模块中,得到与原图分辨率相同的ALocal,其中包含细粒度的局部异常置信度;

(7)将训练集中原图传入预训练的WideResnet50进行特征提取,并使用全局记忆模块对已有的全局记忆库进行最近邻计算得到全局记忆模块的输出AGobal,其中包含细粒度的全局异常置信度;

(8)将AGobal作为Value和Key,与作为Query的ALocal进行交叉注意力的计算得到注意力加权后的ALocal,最后将注意力加权后的ALocal与AGobal相加得到AFinal,完成局部异常和全局异常的融合检测。

2.根据权利要求1所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,还包括如下测试步骤:(01)输入为乳腺超声图像,进行图像预处理之后图像分辨率为224*224;

(02)在得到预处理的图像后,传入全局记忆模块并对已有的全局记忆库进行最近邻计算得到全局记忆模块的输出AGobal;

(03)在得到预处理的图像后,传入自监督局部差异模块,得到自监督局部差异模块的输出ALocal;所述自监督局部差异模块实现步骤(3)至步骤(6)的整体过程;

(04)将AGobal作为Value和Key,与作为Query的ALocal进行交叉注意力的计算得到注意力加权后的ALocal,最后将注意力加权后的ALocal与AGobal相加得到AFinal。

3.根据权利要求1所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,步骤(3)、(4)中,使用MSELOSS作为重建损失,表示如下:

4.根据权利要求1所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,所述全局记忆模块为针对乳腺超声图像的全局记忆模块,其实现如下:

1)基于预训练模型的特征提取

用 表示图像xi∈训练数据集XN和预训练网络 的层次j的特征;假设特征映射* * *是深度c 、高度h和宽度w的三维张量,用 表示位

* * *

置h∈{1,..,h},w∈{1,..,w}的c维特征切片;扩展 的符号,以解释不均匀的块大小p,p对应考虑的邻域大小,其中包含来自邻域的特征向量 以及位置(h,w)的局部感知特征其中的fagg为步长为1的自适应平均池化,对于一个特征映射张量 其局部感知的块特征集合 为:然后,通过在最高分辨率的特征图上进行双线性插值,这使得 和 的大

小相匹配,以保持一致性;最后,对于所有的训练样本xi∈XN,全局记忆库M被初步定义为:

2)基于贪婪核心集下采样的记忆库构建

对全局记忆库M进行降维,即使用一个核心集下采样机制来创建一个近似M的子集MC,子集MC在保持性能的同时减少了推理时间;

首先从输入特征数据中随机选择一些作为初始贪婪核心集的候选点,然后,计算特征之间的批次欧几里得距离作为近似距离矩阵,其中每个元素表示两个特征之间的距离;接下来,算法进入一个循环,从近似距离矩阵中选择具有最大近似核心集距离的特征,这个特征的索引被添加到核心集索引列表中,表示它将被保留;然后,计算新的近似核心集距离,以便下一次迭代选择下一个最佳特征;不断重复,直到达到所需的采样百分比;最终,被选中的特征将成为原始特征数据的子集,这个子集即为降维后的全局记忆库;

3)基于最近邻方法的全局异常检测

在得到全局记忆库M之后,计算测试数据的全局异常信息:首先将测试数据xtest输入预训练模型 得到测试数据的块特征集合 然后将计算图片的每一个块特征test

与全局记忆库M中的每个块特征m之间的欧几里德距离||p ‑m||2,欧几里德距离指标用于衡量两个特征向量之间的相似程度;通过比较测试数据的特征与记忆库中的特征,确定测试数据是否与正常样本相似,从而判断是否存在异常;然后找到距离最*近的k个记忆库补丁m ,并把它们之间的欧几里德距离作为相应的异常分数s;为匹配原始输入分辨率,通过双线性插值将异常分数s缩放原图的分辨率得到全局异常分数图AGobal:test,* *

s=||p ‑m||2

Argmax用于确定测试数据块特征集合中与当前记忆库补丁最相似的块特征,而Argmin用于确定全局记忆库中与当前测试数据块特征最相似的记忆库补丁;上式的意义是为了确定测试图像中的异常区域,并生成相应的异常分数,用于表达图像中的异常程度。

5.根据权利要求1所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,步骤(5)中,将正常重建子模块的输出求标准差得到图像的内部差异DIntra,即利用仅使用正常样本训练的自动编码器来量化图像内部的差异其中,K为集成的自动编码器数量, 为第i个自动编码器在像素τ上的输出, 为对于给定的像素τ,通过K个自动编码器对正常样本进行重建后,得到的重建值的均值, 是针对图像中单个像素τ计算得到的内部差异度量,用于衡量该像素的异常程度,DIntra是整个图像的内部差异度量,由每个像素的内部差异 构成,用于全面评估图像的异常情况。

6.根据权利要求5所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,步骤(5)中,将正常重建子模块与混淆重建子模块输出相减求均值得到图像的外部差异DInter,即使用混淆正常样本和生成异常样本训练自动编码器以及仅使用正常样本训练的自动编码器的差异作为图像的外部差异表示使用混淆正常样本和生成异常样本训练的自动编码器在像素τ上的输出的平均值, 表示仅使用正常样本训练的K个自动编码器在像素τ上的输出均值, 是针对图像中单个像素τ计算得到的外部差异度量,用于衡量该像素的异常程度,DInter是整个图像的外部差异度量,由每个像素的外部差异 构成,用于全面评估图像的异常情况。

7.根据权利要求1所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,步骤(4)、(5)中,训练集图像生成伪异常的流程如下:①随机选择异常的位置,在训练集图像的核心区域core,随机选择异常区域的中心坐标;核心区域计算公式为:core_percent默认为0.8,图像的高度为h和宽度为w;

②随机生成异常区域的宽度,允许它在预定范围内变化;

③选择生成椭圆形或圆形的异常区域,随机确定长宽比;

④设置异常区域的透明度,使其在预定范围内变化,以模拟不同程度的异常;

⑤随机选择一个旋转角度,将异常区域进行旋转,以增加异常的多样性;

⑥在图像上创建一个遮罩,遮罩内的像素值表示异常,而遮罩外的像素值为正常;

⑦将生成的异常遮罩叠加到训练集中原始图像上,形成最终的带有异常的图像。

8.根据权利要求1所述的一种适用于乳腺超声图像异常检测的方法,其特征在于,步骤(8)具体实现如下:将AGobal进行序列化,分为多个块序列:

Q=Patchify(ALocal)

引入超参数z减少AGobal作为交叉注意力的键向量K和值向量V的影响,将序列化的ALocal作为交叉注意力的查询向量Q;Patchify操作将ALocal分割成块序列有助于将注意力集中在图像的不同区域,使模型能够更好地关注重要的局部信息,降低计算复杂度,使得模型能够更高效地处理大型图像数据,便于局部处理和注意力机制的应用;使用查询向量Q和键向量K进行点积操作,并通过SoftMax函数获得注意力权重,Attention的意义是对局部异常分数图和全局异常分数图进行加权调整,以获得注意力加权调整后的序列S,序列S的意义在于它通过交叉注意力机制,结合了局部异常分数图和全局异常分数图的信息,并根据它们的相关性对图像中不同位置的重要性进行了加权调整;因此,S被视为模型对图像中异常区域的综合评估;注意力权重与值向量V相乘,并经过一个全连接层 进行投影,得到调整后的序列S:其中dk为K的维度,最后将序列S反序列化为与输入图像大小相同的图并与AGobal进行相加求均,得到最后的异常分数图AFinal:AFinal=Unpatchify(S)+AGobal

用FocalLoss即LFocal来增加对困难样本精确分割的鲁棒性:

γ

LFocal(pt)=‑α(1‑pt) log(pt)

其中Unpatchify操作的目的是将序列化的块重新组合成完整的图像,以便进行后续的处理和分析,这样做能够保持图像的完整性和结构,使得最终的异常分数图能够与全局异常分数图相结合,得到更综合的异常检测结果;γ为可调节因子,用于调节难易样本;α是加权系数向量,用于平衡不同类别的样本权重;pt为预测值对应的概率。

9.一种计算机可读存储介质,其上存储有能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1‑8任一所述方法的步骤。