利索能及
我要发布
收藏
专利号: 2025113481506
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多模态协同学习的胃镜图像半监督分类方法,其特征在于,包括:预训练阶段:构建一种基于一致性学习、恢复性学习和对齐性学习协同学习的自监督预训练策略,训练得到预训练阶段模型;预训练阶段,实现如下:对于输入的配对模态图像 , 为白光图像,为窄带光图像, 通过初始设置的编码器 和编码器 分别提取白光图像特征 和窄带图像特征 ;白光图像特征和窄带图像特征 经过一致性学习在低维度的特征空间中对齐表征,计算一致性损失;通过恢复性学习随机遮蔽配对模态图像 得到 , 为随机遮蔽后的白光图像, 为随机遮蔽后的窄带光图像, 分别由初始设置的编码器 和编码器 提取特征 和 , 和 经过统一的解码器 进行重建以计算重建损失 ;对齐性学习将 和 经过一个全局嵌入 投影到高维潜在特征空间并计算对齐损失;最终构建由一致性损失、重建损失和对齐损失组成的预训练阶段损失函数,并得到训练完成的预训练编码器 和预训练编码器 ;

字典构建阶段:根据预训练阶段模型学习的特征表示构筑漂移向量字典;漂移向量字典,构建方式如下:基于输入的配对模态图像 ,根据预训练编码器 和预训练编码器 ,提取无标签样本特征:其中 表示配对模态图像训练集样本总数, 和 分别表示预训练编码器 和预训练编码器 提取的白光图像特征和窄带光图像特征, 和 分别表示配对模态图像训练集中的第 个白光图像和第 个窄带光图像;

提取的无标签样本特征经过K‑means聚类生成 个簇:

其中 为聚类标签, ,表示分类类别数,为每个簇的原

型向量, 为指示函数;

对于每个簇  计算样本均值更新原型向量 为:

其中, 表示当 时的 值, 为簇 中的样本数量,簇 中的样本协方差矩阵表示为:根据协方差矩阵 计算漂移向量字典,即从均值为 、协方差为 的多元高斯分布中采样P个漂移向量 ,漂移向量 定义为:其中,p表示所取的漂移向量下标,P表示在多元高斯分布中共采样P个漂移向量;所有簇的漂移向量字典为 ,表示原始输入特征的维度;

多模态融合微调阶段:利用预训练权重初始化多模态融合微调模型,同时根据漂移向量字典产生的分布漂移为多模态融合微调模型提供额外的训练样本。

2.根据权利要求1所述的一种多模态协同学习的胃镜图像半监督分类方法,其特征在于,预训练阶段损失函数表示如下:其中 、 和 表示对应损失的加权系数。

3.根据权利要求1所述的一种多模态协同学习的胃镜图像半监督分类方法,其特征在于,多模态融合微调阶段,实现如下:带有类别标注的数据 ,通过初始设置的编码器 和编码器 ,提取对应模态特征 和 ,经过多模态编码器 融合特征表示得到多模态融合特征 , 和 根据漂移向量字典随机寻找原型 以及对应的漂移向量 和 , 与漂移向量 和逐元素相加得到基于知识转移的分布漂移特征 和 ;多模态融合微调阶段的损失函数定义如下:其中 表示类别标签, 表示分类头, 表示交叉熵函数。

4.根据权利要求3所述的一种多模态协同学习的胃镜图像半监督分类方法,其特征在于,多模态融合微调阶段,还引入一种用于多视图分类动态可信度融合方法TMC,以优化多模态融合微调阶段的损失函数,优化后的多模态融合微调阶段的损失函数定义如下:为白光样本和窄带光样本的融合损失, 为融合样本损失。

5.根据权利要求4所述的一种多模态协同学习的胃镜图像半监督分类方法,其特征在于, 定义如下:其中, 和 为对白光图像和窄带光图像的预测概率,为控制KL散度的参数, 和分别为白光图像和窄带光图像的狄利克雷分布的平均值, 和 分别表示白光图像类和窄带光图像类将真值标签替换为1之后的狄利克雷分布,避免惩罚基础真值类的狄利克雷参数为1, 表示计算狄利克雷分布的概率密度, 表示KL散度。

6.根据权利要求4所述的一种多模态协同学习的胃镜图像半监督分类方法,其特征在于, 定义如下:其中,为控制KL散度的参数,为融合模态的狄利克雷分布平均值,表示融合模态将真值标签替换为1之后的狄利克雷分布, 表示计算狄利克雷分布的概率密度, 表示KL散度。

7.一种计算机可读存储介质,其上存储有能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1‑6任一所述方法的步骤。