利索能及
我要发布
收藏
专利号: 2024116143846
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度辅助对比学习的胃部代表性图像分类方法,包括:获取内镜视频帧,构建并预训练深度估计网络,将视频帧输入到预训练的深度估计网络中,得到帧图像的深度估计图;

获取内镜相邻视频帧对,构建并预训练位姿估计网络,将相邻视频帧对输入到预训练的位姿估计网络中,得到相邻帧之间的位姿变换矩阵;

将帧图像的深度估计图和相邻帧之间的位姿变换矩阵作为中间量进行图像重建,得到正样本;对深度估计图和位姿变换矩阵中的平移向量进行特殊变换,图像重建后得到负样本;

构建并训练对比学习编码器:通过ConvNeXt编码器提取正负样本特征,并通过投影头获取正负样本特征的投影向量;分别计算正样本投影向量之间的相似度、正负样本投影向量间的交叉相似度和负样本投影向量间的相似度,通过最大化正样本间投影向量相似度和最小化负样本投影向量间相似度构造损失函数;

将带有是否为胃部代表性图像标记的内镜图像输入到对比学习编码器中提取特征,同时输入到预训练的深度估计网络中获得深度估计图;利用深度估计图对编码器输出特征进行加权,将加权后的特征输入到分类器中完成分类。

2.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述构建并预训练深度估计网络,具体为:所述深度估计网络包括深度编码器和深度解码器,基于Lite‑Mono模型构建深度编码器和深度解码器,并使用内镜视频对其进行自监督预训练;

所述将视频帧输入到预训练的深度估计网络中,得到帧图像的深度估计图,具体步骤为:在深度编码器中,使用下采样和连续扩张卷积提取多尺度局部特征;

通过自注意机制将全局上下文信息编码到提取的局部特征中;

经过特征提取和全局信息编码后,深度解码器使用双线性上采样来增加空间维度,并使用卷积层来连接编码器的特征,上采样块后跟随一个预测头,输出深度估计图。

3.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述位姿估计网络包括位姿编码器和位姿解码器;

使用预训练的ResNet18作为位姿编码器,并以一对相邻帧作为输入,进行特征提取;

使用四层卷积作为位姿解码器来估计相邻图像之间相应的6‑DoF相对姿态。

4.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述对深度估计图和位姿变换矩阵中的平移向量进行特殊变换,图像重建后得到负样本,具体为:对位姿变换矩阵中的X轴平移向量进行一定范围内的随机增大和缩小,并根据深度估计图与相机视角的关系对深度估计图进行调整,使用变换后的位姿变换矩阵和深度估计图进行图像重建,得到视角左右变化的负样本图像 和 ;

对位姿变换矩阵中的Y轴平移向量进行一定范围内的随机增大和缩小,并根据深度估计图与相机视角的关系对深度估计图进行调整,使用变换后的位姿变换矩阵和深度估计图进行图像重建,得到视角上下变化的负样本图像 和 ;

对位姿变换矩阵中的Z轴平移向量进行一定范围内的随机增大和缩小,并根据深度估计图与相机视角的关系对深度估计图进行调整,使用变换后的位姿变换矩阵和深度估计图进行图像重建,得到深度大小变化的负样本图像 和 。

5.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述图像重建,使用视频帧作为源图像,使用相邻帧作为重建图像的目标图像,计算源图像和重建图像的投影关系,并使用双线性采样实现源图像的重建;

计算公式具体如下:

其中 和 分别是源图像和重建图像的像素坐标,K是相机内参矩阵,T和D分别是变换后的位姿变换矩阵和深度估计图。

6.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述通过ConvNeXt编码器提取正负样本特征,并通过投影头获取正负样本特征的投影向量,具体为:选择去除分类头的ConvNeXt网络作为编码器,并将批次数据中所有图像的正负样本X按顺序输入到编码器中得到表示向量h;

向量h经过一个包含两层感知机的投影头得到向量z;

获取特征的投影向量后,将相邻帧的负样本投影向量加入到输入帧的负样本投影向量集合中。

7.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述分别计算正样本投影向量之间的相似度、正负样本投影向量间的交叉相似度和负样本投影向量间的相似度,通过最大化正样本间投影向量相似度和最小化负样本投影向量间相似度构造损失函数,具体为:对于每张图像的三个正样本向量,我们将它们两两之间余弦相似度的平均值作为正样本相似度:其中,是温度参数,n1为正样本数量3, 表示正样本向量对, 表示

两个向量的余弦相似度;

计算负样本与正样本的交叉相似度 和负样本的相似度 :

其中,n1为正样本数量3,对于前N‑1张图像,n2为12,对于第N张图像,n2为6;

计算每一张图像的损失 :

其中, 表示正样本相似度, 表示负样本与正样本的交叉相似度,

表示负样本的相似度。

8.如权利要求1所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述将带有是否为胃部代表性图像标记的内镜图像输入到对比学习编码器中提取特征,同时输入到预训练的深度估计网络中获得深度估计图;利用深度估计图对编码器输出特征进行加权,将加权后的特征输入到分类器中完成分类,具体为:大小为224×224的标记图像I首先通过预训练的编码器,产生形状为[64,2048,1,1]的特征x,其中64是批量大小,2048是通道数量,特征高度和宽度为1;

标记图像经过预训练的深度编码器进行特征编码,进而通过双线性上采样和卷积层进行解码,解码后使用一个预测头输出大小为224×224的深度估计图;

利用深度估计图对形状为[64,2048,1,1]的编码器输出特征x进行特征加权,得到具有相同形状的加权特征w;

加权特征w被传递给分类器,首先通过一个展平层达到[64,2048]的形状,然后通过一个全连接层获得分类结果。

9.如权利要求8所述的一种基于深度辅助对比学习的胃部代表性图像分类方法,其特征在于,所述利用深度估计图对形状为[64,2048,1,1]的编码器输出特征x进行特征加权,得到具有相同形状的加权特征w,具体为:形状为[1,224,224]的深度估计图 输入到两个平均池化层中进行1/2倍和1/4倍的缩小,其中1为通道数,深度估计图大小为224×224,得到形状分别为[1,112,112]和[1,56,

56]的深度估计图 和 ;

三个尺度的深度估计图进入一个卷积层,增大通道数,得到通道数为256的三个特征,进而通过全局平均池化层将三个特征下采样到1×1;

三个深度估计图特征和编码器输出特征在通道维度进行拼接融合,得到融合特征F;

F首先经过卷积层将通道数缩小到2048,与输出特征的通道数保持一致,然后利用Sigmoid函数得到归一化权重α;

对编码器输出特征施加权重α,得到加权后的特征w。

10.一种基于深度辅助对比学习的胃部代表性图像分类系统,包括:

深度估计模块,被配置为,获取内镜视频帧,构建并预训练深度估计网络,将视频帧输入到预训练的深度估计网络中,得到帧图像的深度估计图;

位姿估计模块,被配置为,获取内镜相邻视频帧对,构建并预训练位姿估计网络,将相邻视频帧对输入到预训练的位姿估计网络中,得到相邻帧之间的位姿变换矩阵;

正负样本构建模块,被配置为,将帧图像的深度估计图和相邻帧之间的位姿变换矩阵作为中间量进行图像重建,得到正样本;对深度估计图和位姿变换矩阵中的平移向量进行特殊变换,图像重建后得到负样本;

相邻帧对比学习模块,被配置为,构建并训练对比学习编码器:通过ConvNeXt编码器提取正负样本特征,并通过投影头获取正负样本特征的投影向量;分别计算正样本投影向量之间的相似度、正负样本投影向量间的交叉相似度和负样本投影向量间的相似度,通过最大化正样本间投影向量相似度和最小化负样本投影向量间相似度构造损失函数;

微调模块,被配置为,将带有是否为胃部代表性图像标记的内镜图像输入到对比学习编码器中提取特征,同时输入到预训练的深度估计网络中获得深度估计图;利用深度估计图对编码器输出特征进行加权,将加权后的特征输入到分类器中完成分类。